Die neuesten Fortschritte unserer Modelle bringen stärkere Fähigkeiten beim Erstellen und Migrieren von Software in ressourcenarmen Programmiersprachen wie COBOL, Fortran und Visual Basic. Für diese Sprachen stehen den Modellen zum Lernen weniger Code und Dokumentation zur Verfügung als für Sprachen wie Python und JavaScript, dennoch stützen sie weltweit kritische Infrastruktur. COBOL unterstützt mehr als 40 % der Online-Banking-Systeme, 80 % der Kreditkartentransaktionen vor Ort und 95 % der Geldautomaten-Transaktionen, während Fortran in der Wettervorhersage und bei der Sicherheitsanalyse von Kernreaktoren eingesetzt wird. Eine bessere Fähigkeit der KI, in diesen Sprachen zu arbeiten, könnte Teams helfen, die Software, auf die wesentliche Dienste angewiesen sind, zu pflegen und zu modernisieren.
Die Pflege dieser Software ist schwierig. Die Dokumentation kann unvollständig sein, ursprüngliche Entwickler haben das Unternehmen möglicherweise verlassen, und wichtige Geschäftsregeln existieren womöglich nur im Code. Teams, die Fehler beheben oder auf eine andere Sprache migrieren, müssen das Verhalten bewahren, von dem ihre Systeme abhängen. Um Fortschritte zu messen, haben die Entwickler zwei Bewertungen geschaffen. Multi Lang Bench prüft, ob ein Modell in 20 Programmiersprachen eine SQLite-kompatible Datenbank-Engine von Grund auf erstellen kann. Die COBOL-Migrationsbewertung prüft, ob ein Modell bestehende Programme in eine andere Sprache überführen kann, ohne ihr Verhalten zu verändern.
Die neuesten Modelle zeigen deutliche Fortschritte. Bei Multi Lang Bench erreicht GPT-6 Astra eine durchschnittliche Testbestehensquote von 87,4 %, gegenüber 26,8 % bei GPT-5.6 Sol, mit Verbesserungen in jeder getesteten Sprache. GPT-6 Luna übertrifft ebenfalls GPT-5.6 Sol und erreicht 40,3 % bei geschätzten API-Kosten, die rund 78 % niedriger liegen. Bei der COBOL-Migrationsbewertung erreicht GPT-6.1 Sol bei niedrigem Reasoning-Aufwand eine Genauigkeit von 86,6 %, verglichen mit nur 5,4 % bei GPT-5.6 Sol, bei 39 % geringeren Kosten. Bei höherem Reasoning-Aufwand erreicht die Genauigkeit 97,9 %.
Insgesamt zeigen die Ergebnisse, dass die Modelle über ein breites Spektrum von Programmiersprachen deutlich besser werden und gleichzeitig kosteneffizienter arbeiten.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing