HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI beschleunigt Forschung mit KI-Agenten

Hacker News •
×

Damit AGI der gesamten Menschheit zugutekommt, glauben wir, dass sie demokratisch governed sein muss. Das ist nur möglich durch eine informierte öffentliche Debatte über die Fähigkeiten, Risiken und Schutzmaßnahmen hochfähiger KI-Systeme. Menschen überall müssen die wahrscheinliche zukünftige Entwicklung von Frontier-KI verstehen, damit sie eine bedeutende Stimme in ihrer Entwicklung haben.

Transparenz über spezifische Risiken, Vorfälle und Schutzmaßnahmen ist notwendig, aber nicht ausreichend. Wir glauben auch, dass die Öffentlichkeit verstehen muss, wie die fähigsten Systeme entwickelt werden und wie sie den Forschungsfortschritt in Frontier-Labs antreiben. Wir wollen sicher automatisierte KI-Forschungsassistenten bauen, die unter menschlicher Aufsicht arbeiten und den Fortschritt im Deep Learning und Alignment vorantreiben, um iterative Verbesserungen zu ermöglichen.

Laut unseren Messungen haben wir jetzt das Ziel erreicht, das letztes Herbst angekündigt wurde, einen automatisierten Forschungsassistenten bis September dieses Jahres zu haben. Unter "Forschungsassistenten“ verstehen wir ein System, das gut definierte Forschungsaufgaben unter menschlicher Anleitung erledigen kann, einschließlich Aufgaben, die einem qualifizierten Forscher ein paar Tage dauern würden. Wir machen starke Fortschritte in Richtung eines automatisierten KI-Forschungsassistenten bis März 2028.

Im Laufe dieses Jahres hat sich die tägliche Arbeit von OpenAI-Forschern erheblich verändert. Forscher nutzen KI-Agenten den ganzen Tag über (oft in parallelen Sitzungen), und die Gesamtnutzung nimmt rapide zu und übertrifft das Wachstum bei anderen OpenAI-Teams. Forscher tragen schneller Code bei und führen mehr Experimente durch.

Die Art und Weise, wie Forscher Agenten nutzen, ändert sich ebenfalls: Agenten übernehmen zunehmend komplexe Aufgaben und haben dabei häufiger Erfolg. KI-Forschung ist ein komplexer Prozess mit vielen potenziellen Engpässen, sodass der insgesamt Fortschritttempo wahrscheinlich nicht mit diesen spezifischen Metriken Schritt halten wird. Aber insgesamt sind diese Erkenntnisse konsistent mit dem inneren Eindruck vieler von uns, dass agente Tools die Forschungsfortschritte tatsächlich beschleunigen.

Menschen setzen nach wie vor unsere ForschungsPrioritäten, bewerten, welche Ideen und Ergebnisse verfolgt werden, und entscheiden, ob ausgeweitet, pausiert oder deployt wird. Wenn verantwortungsvoll durchgeführt, glauben wir, dass automatisierte KI-Forschung Modelle hervorbringen wird, die direkt das menschliche Wohlbefinden steigern und die Mission von OpenAI vorantreiben. Sie können die Kosten für fortschrittliche Intelligenz senken, damit Menschen weltweit davon profitieren können.

Wir betreiben diese Arbeit teilweise, weil automatisierte Forschung uns helfen könnte, Alignment-Probleme zu lösen und gegen immer fähigere KI zu verteidigen. Ein automatisierter KI-Forschungsassistent kann auch ein automatisierter Alignment-Forschungsassistent sein. Fähigere und ausgerichtete Systeme könnten kritische Infrastruktur sichern, gefährliche KI-Agenten abwehren und neue Schutzmaßnahmen entwickeln.

Diese sind Gründe, nützliche automatisierte Forschungsfähigkeiten zu entwickeln, aber sie bedeuten nicht, dass rasches RSI necessarily ein Ergebnis ist, das wir verfolgen sollten. Whether und how to proceed must depend on our ability to preserve human control and on informed democratic choices about the benefits and risks. Wir wissen nicht, wie wir sicher bis zum vollständig ausgerichteten RSI gelangen können.

Wir arbeiten daran, Alignment- und Sicherheitsmaßnahmen im gleichen Maße wie Fähigkeiten zu skalieren. Aber wir können nicht annehmen, dass Fortschritte in Alignment und Sicherheit dem Tempo folgen, und fähigere Systeme könnten schwerer zu überwachen sein. Sorgfältige Alignment- und Sicherheitsarbeit steht im Mittelpunkt dieses Vorhabens, und sie beginnt mit der Messung und Minderung der Sicherheitsprobleme, die wir heute in agentic Coding-Systemen sehen.

Wenn wir feststellen, dass proceeding ein unakzeptables Sicherheitsrisiko darstellen würde, werden wir angemessen reagieren, einschließlich Drosselung oder Stillstand unserer Entwicklung oder Bereitstellung von Systemen, die wir für nicht ausreichend absichern können. Nach dem jüngsten Hugging Face-Vorfall haben wir dieses Engagement in die Tat umgesetzt, die Reinforcement Learning (RL) Ausbildung unserer neuesten Modelle für die Bereitstellung pausiert, während wir unsere Forschungsumgebungen weiter gehärtet und red-teamed haben und die Abdeckung unserer Überwachungssysteme erweitert haben.