LLM-basierte Agenten können so wirken, als beherrschten sie viele Aufgaben, darunter das Schreiben von Code, das Zusammenfassen von Fachartikeln, das Planen von Reisen und das Ausfüllen von Formularen. Wird nach einer Wahrscheinlichkeit oder einem Konfidenzwert gefragt, liefern sie bereitwillig einen. Viele Agentenentwickler lassen LLMs auf diese Weise Konfidenzwerte erzeugen, doch es gibt keinen guten Grund, dieser Zahl zu vertrauen.
Um zu verstehen, warum, hilft ein Blick darauf, was Konfidenz bedeutet. Stellen Sie sich einen Wetterexperten vor, der sagt: "Ich bin zu 70 % sicher, dass es morgen regnet." Seine Sicherheit stammt aus den Informationen, die er verwendet, etwa dem aktuellen Luftdruck, der Luftfeuchtigkeit und dem Radar, zusammen mit jahrelangen Wetteraufzeichnungen. Theoretisch ist das Umwandeln dieser Informationen in eine Konfidenz eine Berechnung. Zwei Experten mit identischen Informationen, die dieselbe Regel korrekt anwenden, sollten zu derselben Konfidenz gelangen. Weichen ihre Werte voneinander ab, liegt das daran, dass sie unterschiedliche Informationen haben oder einer die Regel falsch angewendet hat.
Die Genauigkeit lässt sich nur über viele Vorhersagen beurteilen. Sagt ein Wetterexperte an vielen Tagen 70 % und regnet es an etwa 70 % dieser Tage, ist seine Prognose kalibriert. Kalibrierung allein genügt jedoch nicht. Ein Experte, der immer 30 % sagt, also den saisonalen Durchschnitt, ist ebenfalls kalibriert, nutzt aber keinerlei Informationen über den nächsten Tag. Ein nützlicher Prognostiker ist kalibriert und gibt zusätzlich dann Konfidenzwerte nahe 10 % oder 90 % an, wenn die Belege dies rechtfertigen.
Ein vertrauenswürdiger Konfidenzwert braucht daher zwei Eigenschaften: Er muss widerspiegeln, wie viele Informationen verfügbar sind, und stark in eine Richtung weisen, und er muss anhand einer schriftlichen Aufzeichnung von Vorhersagen und Ergebnissen überprüft werden. Ohne diese Aufzeichnung lässt sich nicht feststellen, ob ein Wert zutrifft. Der Autor argumentiert, dass die selbst erzeugte Konfidenz eines LLMs keine dieser beiden Bedingungen erfüllt, weshalb es ein schlechter Ansatz ist, sich auf sie zu verlassen.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing