In den letzten Wochen ist viel passiert. Ich bin sicher, dass Open AIs GPT-6 Astra derzeit bei allen im Vordergrund steht. Insbesondere Gedanken über seine Leistung, die Aspekte des geloopten Transformators/der rekurrenten Tiefe und Gerüchte, dass Astra seine Denkspur (d. h. Gedankenkette) "versteckt". In diesem Artikel möchte ich daher mit einigen kurzen Eindrücken von Astra und einigen Gedanken darüber beginnen, wohin das alles führt. Dann werde ich im Detail besprechen, was "geloopte Transformatoren" sind und wie (oder besser: ob) dies mit dem Verbergen von Gedankenketten zusammenhängt. Schließlich möchte ich nach der Behandlung der Grundlagen des geloopten Transformators einige neue Erkenntnisse aus aktuellen Forschungspapieren zu diesem Thema hervorheben.

Das Wichtigste zuerst. Bevor ich auf die Architekturgerüchte und die zugehörige Forschungsliteratur eingehe, möchte ich kurz einige Beobachtungen und Anekdoten zu GPT-6 Astra zusammenfassen. Letzte Woche wurde Open AIs neuer GPT-6 Astra mit großem Tamtam veröffentlicht. Ich habe ihn in den letzten Tagen benutzt, und es ist ein außergewöhnlich gutes Modell, wahrscheinlich das beste, das ich bisher verwendet habe. Aber was genau hat sich verbessert, und wie? Astra ist das beste Modell, das ich bisher verwendet habe, und es ist überproportional gut bei 3D-Rendering- und Animationsaufgaben (im Vergleich zu anderen Modellen). Damit meine ich, dass es zwar seinen Vorgänger GPT-5.6 in praktisch allen Kategorien (Schreiben, Mathematik, Programmieren und mehr) übertrifft, aber besonders bei grafischen Demos. Wir können dies auch in den Benchmarks sehen. Zum Beispiel ist GPT-6 Astra wirklich gut in Mathematik und Programmierung, wie unten gezeigt. Eines der Highlights (nicht in der Abbildung gezeigt) ist, dass Astra auch 99,9 % im ARC-AGI-3-Benchmark erreicht (GPT-5.6 Sol nur 7,8 %), der eine Mischung aus dem Lösen von Logikrätseln und Generalisierung misst. Die Benchmarks für Mathematik, Programmierung und Computernutzung sind jedoch interessanter, weil sie näher an der realen Nutzung sind.

Zurück zum Artificial Analysis Coding Agent Index v1.4 (unten rechts in der vorherigen Abbildung), der mehrere agentische Programmieraufgaben kombiniert: GPT-6 Astra ist eindeutig an der Spitze, aber es zieht nicht mit großen Sprüngen davon. Dies ist auch im allgemeinen Artificial Analysis Intelligence Index unten zu sehen, der verschiedene Arten von Aufgaben kombiniert, nicht nur Programmieraufgaben. Der große Vorteil der Artificial Analysis Benchmarks ist, dass sie unabhängig sind und daher möglicherweise etwas vertrauenswürdiger sind als selbstbewertete Benchmarks von Modellentwicklern. Das Harness-Setup hängt vom Benchmark ab. Zum Beispiel verwenden GDPval-AA und AA-Briefcase ihr Open-Source-, minimales Stirrup-Harness über die verschiedenen LLMs, die sie vergleichen. Im Intelligence Index v4.2 oben verwendet Terminal-Bench v2.1 Terminus 2, und τ³-Banking verwendet das τ-Bench-Harness. Der separate Coding Agent Index vergleicht auch verschiedene Coding-Agent-Harnesses. Für Bewertungen, die ein gemeinsames Harness verwenden, macht dies einen eher Äpfel-mit-Äpfel-Vergleich. Gleichzeitig werden Modelle während des Trainings in der Regel mit einem primären Harness im Hinterkopf entwickelt (und auf anderen Harnesses weniger feinabgestimmt). Außerdem wird das primäre Harness oft entwickelt, um die Stärken eines Modells zu unterstützen und zu verstärken. Daher könnten einige agentische Bewertungen unterschätzen, wie gut Astra in seinem primären Harness abschneidet. Wie stark dies seinen Intelligence-Index-Score beeinflusst, müsste getestet werden, indem Astra über Harnesses hinweg bei denselben Aufgaben verglichen wird. Als Randnotiz, wie mir ein Kollege kürzlich vorschlug (auch vom Claude Code Lead empfohlen), ist es vielleicht keine schlechte Idee, einige Ihrer vorhandenen AGENTS.md-Inhalte und SKILL.md-Dateien zu löschen (/zu archivieren), da neuere LLMs effizienter darin geworden sind, den Prompt zu verstehen und das vorliegende Problem zu lösen. Die zusätzliche Handreichung könnte neuere Modelle unnötig einschränken und zu schlechteren Lösungen führen. Natürlich schlage ich nicht vor, SKILL.md-Dateien nie wieder zu verwenden, aber für einige Workflows, da sie bei Wiederverwendung die Effizienz verbessern können, wenn...