Бенчмаркинг Real-SWE в сентябре 2026 года оценивает передовые модели ИИ на закрытых корпоративных кодовых базах из реального мира. Каждая задача происходит из закрытой производственной кодовой базы, лицензированной у реальной компании, и знакомит инженеров с проприетарными системами и критически важными для бизнеса проблемами. Результаты выявляют значительные разрывы в производительности между ведущими моделями: Claude Code достиг наивысшей доли решений — 38,8%, за ним следуют GPT-6 Astra Codex CLI с 33,8% и Gemini 3.8 Flash с 31,2%. Оценка измеряет комбинации модели и инфраструктурного каркаса, требуя от агентов ориентироваться в проприетарных соглашениях и внедрять изменения, влияющие на бизнес-операции в нескольких сервисах. Задачи реальных компаний требуют конкретного контекста, например правильного выставления счетов в зависимости от бизнес-правил и внешних налоговых сервисов. Задачи включают исправление биллинга счетов, чтобы каждый бизнес взимал правильный налог, а освобождённые клиенты оставались без налога. Бенчмарк подчёркивает, что задачи, созданные экспертами или синтетически, отличаются от реальной работы инженеров, поскольку и лежащий под ними артефакт программирования, и конкретность инструкций добавляют сложность, бросающую вызов сегодняшним передовым моделям.