Agentes baseados em LLMs podem parecer capazes de realizar muitas tarefas, incluindo escrever código, resumir artigos, planejar viagens e preencher formulários. Quando lhes é pedida uma probabilidade ou uma pontuação de confiança, eles a fornecem prontamente. Muitos projetistas de agentes usam LLMs para gerar pontuações de confiança dessa forma, mas não há uma boa razão para confiar nesse número.
Para entender por quê, vale compreender o que significa confiança. Considere um meteorologista que diz: "Tenho 70% de certeza de que vai chover amanhã." Sua confiança vem das informações que ele usa, como a pressão atmosférica atual, a umidade e o radar, junto com anos de registros meteorológicos. Em teoria, transformar essas informações em confiança é um cálculo. Dois meteorologistas com as mesmas informações aplicando corretamente a mesma regra deveriam chegar à mesma confiança. Quando discordam, é porque têm informações diferentes ou porque um aplicou mal a regra.
A precisão só pode ser avaliada ao longo de muitas previsões. Se um meteorologista diz 70% em muitos dias e chove em cerca de 70% deles, a previsão está calibrada. No entanto, a calibração sozinha não basta. Um meteorologista que sempre diz 30%, a média sazonal, está calibrado, mas não usa nenhuma informação sobre amanhã. Um previsor útil está calibrado e, além disso, dá pontuações de confiança próximas de 10% ou 90% quando as evidências justificam.
Portanto, uma pontuação de confiança confiável precisa de duas coisas: deve refletir quanta informação está disponível e apontar com força em uma direção, e deve ser verificada contra um registro escrito de previsões e resultados. Sem esse registro, não há como saber se uma pontuação é precisa. O autor argumenta que a confiança autogerada por um LLM não atende a nenhuma dessas condições, e por isso confiar nela é uma má ideia.
Fonte: Hacker News · Resumido por HeadlinesBriefing