In der Mitte von 2023, im Forschungsprojekt 'RLSlow', sahen wir die ersten Ergebnisse, die uns das Vertrauen gaben, dass wir das Training von Reasoning-Modellen skalieren könnten, wodurch vortrainierte Modelle befähigt würden, ihre eigenen Denkketten zu bilden. Szymon und ich verbrachten jene Nacht im Büro, nicht damit nachzudenken über die unglaublichen Benchmark-Zahlen, Produkte oder wissenschaftlichen Ergebnisse, die diese Technologie liefern wird - sondern vielmehr damit, die nüchterne Tatsache zu verarbeiten, dass wir tatsächlich Maschinen erleben werden, die in unserem Leben deutlich intelligenter sein werden als wir selbst, und wir sehen bereits die Form dieser Systeme; wir fragten uns, wie wir die Menschen auf die Bedeutung dessen aufmerksam machen könnten. Drei Jahre später sind Reasoning-Sprachmodelle ein rasch wachsender Teil der Wirtschaft und beginnen, die Grenzen der Wissenschaft zu verschieben.

Sie sind in der Lage, Computer und grafische Oberflächen zu bedienen, mit Menschen und untereinander zu kooperieren und Forschungsprojekte durchzuführen. Darüber hinaus verändern sie das Landschaft der Computersicherheit und präsentieren dabei klare neue Gefahren. In diesem Zeitraum fand viel neue Forschung statt, und unser Verständnis dieser Systeme ist erneut ein wenig anders als es 2023 der Fall war.

Auf der Grundlage interner Ergebnisse habe ich eine starke Erwartung, dass dieses Tempo des Fortschritts in rekursiver Selbstverbesserung aufrechterhalten werden kann. Wenn die KI-Entwicklung entlang ihres derzeitigen Pfades fortschreitet, werden die Systeme, die wir in den nächsten Jahren sehen werden, wahrscheinlich weitere Fähigkeitssprünge gleicher oder größerer Größe darstellen und zunehmend ihre eigene Entwicklung antreiben. Dies ist eine Zeit, die äußerste Vorsicht erfordert.

Ich mache mir Sorgen, dass niemand auf die Folgen eines weiteren schnellen Anstiegs der Maschinenintelligenz vorbereitet ist. Open AI wird weiterhin technische Lösungen für Alignment und Monitoring suchen, um defensive Systeme aufzubauen und bei Bedarf einseitig weiteres Skalieren zurückzuhalten; jedoch glaube ich, dass breitere Interventionen erforderlich sind.