Les agents fondés sur des LLM peuvent sembler capables d'accomplir de nombreuses tâches, comme écrire du code, résumer des articles, planifier des voyages ou remplir des formulaires. Lorsqu'on leur demande une probabilité ou un score de confiance, ils en fournissent volontiers un. De nombreux concepteurs d'agents utilisent les LLM pour générer ces scores de cette manière, mais rien ne justifie vraiment de faire confiance à ce chiffre.
Pour comprendre pourquoi, il est utile de bien saisir ce que signifie la confiance. Prenons un prévisionniste météo qui déclare : « Je suis confiant à 70 % qu'il pleuvra demain. » Sa confiance provient des informations qu'il utilise, comme la pression atmosphérique actuelle, l'humidité et le radar, ainsi que des années de relevés météorologiques. En théorie, transformer ces informations en confiance est un calcul. Deux prévisionnistes disposant des mêmes informations et appliquant correctement la même règle devraient aboutir à la même confiance. S'ils divergent, c'est qu'ils n'ont pas les mêmes informations ou que l'un a mal appliqué la règle.
L'exactitude ne peut être jugée que sur un grand nombre de prédictions. Si un prévisionniste annonce 70 % pendant de nombreux jours et qu'il pleut environ dans 70 % de ces cas, ses prévisions sont calibrées. Toutefois, la calibration seule ne suffit pas. Un prévisionniste qui annonce toujours 30 %, soit la moyenne saisonnière, est calibré mais n'utilise aucune information sur le lendemain. Un prévisionniste utile est calibré et donne en outre des scores de confiance proches de 10 % ou de 90 % lorsque les éléments le justifient.
Un score de confiance digne de confiance doit donc remplir deux conditions : il doit refléter la quantité d'informations disponibles et pencher nettement dans une direction, et il doit être vérifié par un registre écrit de prédictions et de résultats. Sans ce registre, il est impossible de savoir si le score est exact. L'auteur soutient que la confiance qu'un LLM génère de lui-même ne remplit aucune de ces conditions, ce qui rend son usage risqué.
Source: Hacker News · Résumé par HeadlinesBriefing