最新のモデルの進化により、COBOL、Fortran、Visual Basicといった低リソースのプログラミング言語で、ソフトウェアの構築と移行をより強力に行えるようになりました。これらの言語は、PythonやJavaScriptと比べてモデルが学習できるコードやドキュメントが少ないものの、世界中の重要なインフラを支えています。COBOLはオンラインバンキングシステムの40%以上、対面でのクレジットカード取引の80%、ATM取引の95%を支えており、Fortranは天気予報や原子炉の安全性解析に使われています。これらの言語でAIの能力を高めることは、不可欠なサービスが依存するソフトウェアの保守と近代化にチームが取り組む助けになります。
こうしたソフトウェアの保守は困難です。ドキュメントが不完全であったり、元の開発者がすでに退社していたり、重要な業務ルールがコードの中にしか存在しなかったりすることがあります。バグ修正や別の言語への移行に取り組むチームは、システムが依存している動作を維持しなければなりません。進捗を測るため、開発者は2つの評価を作成しました。Multi Lang Benchは、モデルが20のプログラミング言語にわたり、SQLite互換のデータベースエンジンをゼロから構築できるかを試します。COBOL移行評価は、既存のプログラムの動作を保ったまま別の言語へ移行できるかを試します。
最新のモデルは大きな進歩を示しています。Multi Lang BenchではGPT-6 Astraの平均テスト合格率が87.4%に達し、GPT-5.6 Solの26.8%から向上しました。テストされたすべての言語で改善が見られます。GPT-6 Lunaも GPT-5.6 Solを上回り、推定API費用が約78%低い状態で40.3%に達しました。COBOL移行評価では、GPT-6.1 Solが低い推論努力で86.6%の精度に達し、GPT-5.6 Solの5.4%と比べて大幅に向上し、費用は39%低くなっています。推論努力を高めると、精度は97.9%に達します。
全体として、これらの結果は、モデルが幅広いプログラミング言語で大幅に優れた働きをするようになる一方で、コスト効率も高まっていることを示しています。
出典: Hacker News · 要約：HeadlinesBriefing