Caixa-preta

Termo para sistemas cujo funcionamento interno é difícil de interpretar: o modelo produz uma resposta, mas não é simples explicar por que chegou a ela, pois a decisão está distribuída entre milhões ou bilhões de parâmetros. Isso se torna um problema em usos sensíveis, como crédito, saúde ou justiça, em que entender o motivo da decisão é tão importante quanto a decisão em si. O esforço para tornar esses modelos compreensíveis chama-se explicabilidade.