Los agentes basados en LLM pueden parecer capaces de hacer muchas tareas, como escribir código, resumir artículos científicos, planificar viajes y rellenar formularios. Cuando se les pide una probabilidad o una puntuación de confianza, la proporcionan sin dudar. Muchos diseñadores de agentes utilizan los LLM para generar puntuaciones de confianza de esta manera, pero no hay una buena razón para confiar en ese número.
Para entender por qué, conviene saber qué significa confianza. Imagine a un meteorólogo que dice: «Estoy un 70 % seguro de que mañana lloverá». Su confianza procede de la información que utiliza, como la presión atmosférica actual, la humedad y el radar, junto con años de registros meteorológicos. En teoría, convertir esta información en una confianza es un cálculo. Dos meteorólogos con la misma información que apliquen correctamente la misma regla deberían llegar a la misma confianza. Cuando discrepan, es porque tienen información distinta o porque uno aplicó mal la regla.
La precisión solo puede juzgarse a lo largo de muchas predicciones. Si un meteorólogo dice 70 % en muchos días y llueve aproximadamente en el 70 % de ellos, el pronóstico está calibrado. Sin embargo, la calibración por sí sola no basta. Un meteorólogo que siempre dice 30 %, la media estacional, está calibrado pero no usa ninguna información sobre mañana. Un pronosticador útil está calibrado y, además, da puntuaciones de confianza cercanas al 10 % o al 90 % cuando la evidencia lo justifica.
Por tanto, una puntuación de confianza fiable necesita dos cosas: debe reflejar cuánta información hay disponible y apuntar con fuerza en una dirección, y debe contrastarse con un registro escrito de predicciones y resultados. Sin ese registro, no hay forma de saber si una puntuación es precisa. El autor sostiene que la confianza autogenerada por un LLM no cumple ninguna de estas dos condiciones, y por eso confiar en ella es una mala idea.
Fuente: Hacker News · Resumido por HeadlinesBriefing