Dank an Claude Fable 5.1, Holden Saberhagen, Gabriel Kammer, Andres Erbsen, Alice McKean und Tristan Wylde-Larue für Kommentare.

Die Frontier-Labore werden nach dem Narrativ eines vollautomatischen Drop-in-Ersatzes für Wissensarbeiter bewertet, aber aktuelle Modelle benötigen selbst bei einfachen Aufgaben mühsame Überwachung. Schlagzeilen-Demos wie Navier-Stokes, FreeBSD-RCEs und der HuggingFace-Vorfall sind irreführend. Modelle generalisieren nur in der Nähe von Trainingsaufgaben, mit schwerwiegenden Einschränkungen. Reward Hacking erfordert rigorose Spezifikation durch Domänenexperten, deren Zeit teuer ist. Spezifikation ist eine eigene Fähigkeit; wenige Domänenexperten besitzen sie. Arbeitskosten können die direkte Implementierung übersteigen. Hardware zeigt Spezifikations-zu-Design-Verhältnisse von 3:1 oder 5:1. Viele Aufgaben erfordern sich entwickelnde Spezifikationen. Hochrangige Spezifikationen sind teuer zu verifizieren. Navier-Stokes ist der beste Fall: Lean ist auditiert, aber es gibt Soundness-Bugs. Menschliche Überprüfung skaliert nicht und ist anfällig für Hacks wie die xz-Backdoor.

Schlüsselentitäten: Unternehmen: HuggingFace | Personen: Claude Fable 5.1, Holden Saberhagen, Gabriel Kammer, Andres Erbsen, Alice McKean, Tristan Wylde-Larue