Ich musste sorgfältig darüber nachdenken, wie technische Ergebnisse formuliert werden, besonders wenn ein Satz umgeschrieben wird, damit er sauberer klingt. Ein häufiger Fehler ist, eine Fehlerreduktion um 20 % in eine Genauigkeitsverbesserung um 20 % zu verwandeln. Da eine 20-prozentige Senkung des Fehlers eine kleine verbleibende Zahl verkleinert, kann sich die Genauigkeit selbst kaum bewegen. Die Zahl übersteht die Umformulierung, doch was sie beschreibt, ändert sich vollständig, und der Fehler kann beim schnellen Lesen unbemerkt bleiben.
Evidence Desk ist ein Browser-Tool, das ich zusammen mit Codex entwickelt habe, um solche Fehler aufzuspüren. Sie geben einen Entwurf und die zugehörigen Quelldateien an. Das Tool zerlegt den Entwurf in Behauptungen, findet für jede die nächstliegende Passage in den Quellen und führt explizite numerische, metrische und kausale Prüfungen durch. Jede Behauptung erhält die Markierung Gestützt, Möglicher Widerspruch oder Unzureichende Belege. Codex half bei der Umsetzung der Oberfläche, der Prüflogik und der Tests, während ich festlegte, was das Tool prüfen sollte, und sein Verhalten überprüfte.
Prüfen ist eine andere Aufgabe als Schreiben. Es fragt, ob die Belege tatsächlich sagen, was die Behauptung sagt, was enger ist als die Frage, ob die Behauptung wahr ist. Statt ein zweites generatives Modell als Gutachter einzusetzen, hängt Evidence Desk jede Warnung an die Passage, auf die sie sich stützt, und an eine genannte Begründung, damit der Autor gezielt widersprechen kann.
Der Ansatz hat Grenzen. Die Extraktion der Behauptungen ist grob, und die Suche beruht auf einfacher lexikalischer Überlappung mit manuell gesetzten Schwellenwerten. Ein hoher Trefferwert zeigt nur, wie eng ein Satz aus seiner Quelle abgeleitet wurde, und eine verzerrte Umformulierung ist per Definition eine enge Ableitung. Im eingebauten Beispiel fand das Tool die richtige Passage, übersah aber trotzdem den Widerspruch, was zeigt, wo regelbasierte Prüfungen versagen.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing