A maioria dos sistemas de IA em produção é otimizada para fornecer uma resposta em vez de medir o quão incerta essa resposta é. Uma previsão de crescimento de 8 por cento parece precisa, mesmo quando os resultados realistas variam de uma queda a um aumento muito maior. Um cliente de alto risco pode estar logo acima de um limite definido arbitrariamente. Assim que uma previsão aciona uma ação automatizada, a incerteza oculta torna-se risco operacional.
Os métodos bayesianos mapeiam a incerteza por meio de distribuições de probabilidade em vez de valores estimados únicos. O sistema deve usar a incerteza para decidir quando pode agir sozinho, quando precisa de escrutínio e quando deve abster-se. A automação muda o custo da incerteza. Um sistema de IA pode avaliar milhares de casos e agir em segundos. Se estiver errado com confiança, multiplica os erros.
Um modelo bayesiano combina um prior com dados observados para produzir uma distribuição posterior. Para valores futuros, a distribuição preditiva posterior é crucial. Ela combina a incerteza sobre os parâmetros do modelo com a variabilidade das observações futuras. Modelos de demanda devem fornecer intervalos preditivos posteriores. Sistemas de churn devem mostrar se as estimativas de probabilidade permanecem estáveis entre segmentos de clientes.
Pontuações de confiança não devem ser tratadas como probabilidades, a menos que sejam calibradas. Um classificador pode relatar 90 por cento de confiança sem estar correto 90 por cento do tempo. Os guardrails bayesianos traduzem a incerteza em regras para decisões automatizadas. O sistema deve ponderar os resultados possíveis e os custos de decisões erradas.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing