Im letzten Beitrag stellten wir Minotaur vor, eine KI-Architektur auf Basis von ELC, die ihre Antworten durch Messen statt durch Vorhersagen ermittelt. Wir zeigten, wie sie echte Vorschriften mit Aufzeichnungen über deren Anwendung abglich, herausfand, welche Organisation gegen eine Regel verstoßen hat, in welchem Umfang und wo, und einen gebrochenen Regelverstoß von einer fehlerhaft erfassten Messung unterschied.
Heutige Sprachmodelle werden für etwas Umfassenderes bewundert: Sie können deduzieren, erklären, diagnostizieren, eine Hypothese abwägen, sich vorstellen, was geschehen wäre, wenn die Dinge anders gelegen hätten, und ihre Meinung ändern, wenn ihnen etwas Neues mitgeteilt wird. Das Gehirn von Minotaur, so argumentieren die Autoren, leistet die wichtigsten Arten des Schließens, die üblicherweise großen Sprachmodellen zugeschrieben werden, darunter Deduktion, Induktion, Abduktion, Diagnose und das Schlussfolgern über Verläufe, in denen das Stellen einer Frage die Antwort verändert. Es tut dies alles mit einer Operation auf einem Netzwerk, auf einem gewöhnlichen Prozessorkern, in etwa einer Viertelsekunde pro Frage in dem beschriebenen System.
In Blindtests, die von Personen verfasst wurden, die seinen Code nie gesehen hatten, erreichte Minotaur das Niveau eines aktuellen Sprachmodells, das in Worten schlussfolgert, bei einer polizeilichen Befragung, bei der die Fragen die Erinnerung des Zeugen verändern, sowie bei Lern-, Diagnose- und Vorhersagesystemen, die allein aus ihren Daten arbeiten. Der Beitrag stellt dem gegenüber, wie ein großes Sprachmodell darauf trainiert wird, das nächste Wort eines Textes vorherzusagen, weshalb es sowohl menschliche Stärken als auch Schwächen übernimmt, etwa die Neigung, sich von glaubwürdig klingenden Schlussfolgerungen und von der Formulierung einer Frage beeinflussen zu lassen.
Der Beitrag zeichnet außerdem siebzig Jahre früherer Versuche maschinellen Schließens nach. Beginnend mit dem Logic Theorist von Allen Newell, Cliff Shaw und Herbert Simon im Jahr 1956, kamen diese Bemühungen bis zu einem bestimmten Punkt voran und kamen dann zum Stillstand, was der Autor nutzt, um zu erklären, warum sich Sprachmodelle durchsetzten. Exaktes, überprüfbares Schließen war das Ziel der meisten Ansätze vor den Sprachmodellen.
Die zentrale Behauptung lautet, dass Minotaur schlussfolgert, indem es an der Struktur des Systems arbeitet, über das es schlussfolgert, statt nachzuahmen, wie Menschen ihr Denken niederschreiben.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing