Agradecimentos a Claude Fable 5.1, Holden Saberhagen, Gabriel Kammer, Andres Erbsen, Alice McKean e Tristan Wylde-Larue pelos comentários.

Os laboratórios de fronteira são avaliados com base na narrativa de um substituto automático completo para trabalhadores do conhecimento, mas os modelos atuais precisam de supervisão laboriosa mesmo em tarefas simples. Demos de destaque como Navier-Stokes, RCEs do FreeBSD e o incidente HuggingFace enganam. Os modelos generalizam apenas perto das tarefas de treino, com ressalvas severas. O reward hacking precisa de especificação rigorosa por especialistas de domínio, cujo tempo é caro. A especificação é uma habilidade própria; poucos especialistas de domínio a possuem. Os custos de mão de obra podem exceder a implementação direta. O hardware mostra rácios de especificação para design de 3:1 ou 5:1. Muitas tarefas exigem especificações em evolução. Especificações de alto nível são caras de verificar. Navier-Stokes é o melhor caso: o Lean é auditado, mas existem bugs de solidez. A revisão humana não escala e é vulnerável a ataques como a backdoor xz.

Entidades-chave: Empresas: HuggingFace | Pessoas: Claude Fable 5.1, Holden Saberhagen, Gabriel Kammer, Andres Erbsen, Alice McKean, Tristan Wylde-Larue