Eine neue Studie der Forscher der Princeton University deutet darauf hin, dass die Versprechen der KI-Branche für eine schnelle rekursive Selbstverbesserung übertrieben sein könnten. Unter Leitung von Peter Kirgis und Sayash Kapoor hat das Team die Fähigkeit von KI-Agenten evaluiert, offene KI-Forschung durchzuführen, unter Verwendung einer Methode namens "Schattenbewertung". Sie beauftragten den Claude Opus 4.8 von Anthropic, Fragen aus unveröffentlichten NeurIPS 2026 Papers zu beantworten, und stellten den Agenten sechs Tage, $3,000 in API-Guthaben und Zugang zu GPUs und dem Web zur Verfügung.
Obwohl die Agenten die ingenieurtechnischen Aspekte der Forschung erfolgreich abgeschlossen haben — Literaturreview, Durchführung von Experimenten und Erstellung von Ergebnissen — konnten sie keine veröffentlichungswürdigen Arbeiten erstellen. Die ursprünglichen Autoren lehnten beide Papers ab und nannten mangelnde Kreativität, schlechtes Urteilsvermögen und keine neuen Beiträge. Die Agenten führten seltsame Experimente durch, hatten Schwierigkeiten beim Schreiben und verpflichteten sich zu wenig vielversprechenden Ansätzen zu schnell.
Kapoor schreibt diesen Unterschied auf die aktuellen Trainingsmethoden, wobei er anmerkt, dass verstärkendes Lernen in prüfbaren Aufgaben herausragend ist, aber in offenen Forschungen, die Intuition und Geschmack erfordern, Schwierigkeiten hat. Trotz dieser Einschränkungen legt die Studie nahe, dass die übertriebenen Zeitpläne für die Automatisierung der KI-Forschung vorzeitig sein könnten.
Die Ergebnisse entsprechen den internen Beobachtungen von KI-Unternehmen. Der Mitbegründer von Anthropic, Jack Clark, bemerkte ähnliche Kreativitätsdefizite in seinen Bemühungen um die Automatisierung der Sicherheitsforschung und nannte dies ein "negatives Signal für kurze rekursive Selbstverbesserungszeitpläne".
Quelle: MIT Technology Review AI · Zusammengefasst von HeadlinesBriefing