Спасибо Claude Fable 5.1, Holden Saberhagen, Gabriel Kammer, Andres Erbsen, Alice McKean и Tristan Wylde-Larue за комментарии.

Передовые лаборатории оцениваются по нарративу полностью автоматической замены работников умственного труда, но текущие модели требуют кропотливого надзора даже в простых задачах. Громкие демо, такие как Navier-Stokes, RCE в FreeBSD и инцидент с HuggingFace, вводят в заблуждение. Модели обобщают только вблизи обучающих задач, с серьёзными оговорками. Для reward hacking нужна строгая спецификация от экспертов предметной области, чьё время дорого. Спецификация — это отдельный навык; мало у кого из экспертов он есть. Затраты на труд могут превышать прямую реализацию. Аппаратное обеспечение показывает соотношение спецификации к проектированию 3:1 или 5:1. Многие задачи требуют эволюционирующих спецификаций. Спецификации высокого уровня дорого проверять. Navier-Stokes — лучший случай: Lean проверен аудитом, но ошибки корректности существуют. Человеческая проверка не масштабируется и уязвима к атакам вроде бэкдора xz.

Ключевые сущности: Компании: HuggingFace | Люди: Claude Fable 5.1, Holden Saberhagen, Gabriel Kammer, Andres Erbsen, Alice McKean, Tristan Wylde-Larue