Последние улучшения наших моделей дают более мощные возможности для создания и миграции программного обеспечения на языках программирования с ограниченными ресурсами, таких как COBOL, Fortran и Visual Basic. По сравнению с Python и JavaScript, на этих языках для обучения моделей доступно меньше кода и документации, однако они поддерживают критически важную инфраструктуру по всему миру. COBOL обеспечивает работу более 40% систем интернет-банкинга, 80% очных транзакций по кредитным картам и 95% транзакций банкоматов, а Fortran используется в прогнозировании погоды и анализе безопасности ядерных реакторов. Улучшение способности ИИ работать с этими языками может помочь командам поддерживать и модернизировать программное обеспечение, от которого зависят ключевые сервисы.
Поддерживать такое ПО сложно. Документация может быть неполной, первоначальные разработчики могут уже покинуть компанию, а важные бизнес-правила могут существовать только в коде. Команды, которые исправляют ошибки или переводят систему на другой язык, должны сохранить поведение, от которого зависят их системы. Чтобы измерить прогресс, разработчики создали две оценки. Multi Lang Bench проверяет, может ли модель с нуля создать совместимый с SQLite движок базы данных на 20 языках программирования. Оценка миграции COBOL проверяет, может ли модель перенести существующие программы на другой язык с сохранением их поведения.
Последние модели демонстрируют значительный прирост. В Multi Lang Bench GPT-6 Astra достигает средней доли успешно пройденных тестов 87,4% против 26,8% у GPT-5.6 Sol, с улучшением на каждом из протестированных языков. GPT-6 Luna также превосходит GPT-5.6 Sol, достигая 40,3% при примерно на 78% более низкой оценочной стоимости API. В оценке миграции COBOL GPT-6.1 Sol показывает точность 86,6% при низком уровне рассуждений против всего 5,4% у GPT-5.6 Sol, при этом стоит на 39% дешевле. При более высоком уровне рассуждений точность достигает 97,9%.
В целом результаты показывают, что модели становятся значительно лучше в работе с широким спектром языков программирования и одновременно становятся более экономичными.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing