"Pronto" raramente é uma propriedade intrínseca do trabalho; é um julgamento produzido pelo sistema ao redor dele. Os humanos dependem de um mosaico de sinais como testes, especificações, precedentes, aprovações e prazos. Um modelo de IA quase sempre pode produzir outra resposta sem se cansar.

Isso torna imperativo o lembrete de @steipete: você não deve mais fazer prompting manual para agentes de código, mas sim projetar loops que os acionem. Em vez de prompting manual, os sistemas executam seus próprios ciclos, verificam resultados e decidem os próximos passos. No entanto, o loop é tão bom quanto o verificador em cada etapa.

Mesmo antes da engenharia de loops, tudo já funcionava como um loop, apenas com uma chamada de ferramenta muito cara — a intervenção humana atuando como verificador. Considere o loop padrão de codificação: continue trabalhando até que os testes passem. Mas os testes são apenas um proxy.

No Spec Bench, agentes de ponta passaram em testes visíveis enquanto falhavam nos ocultos. Um agente produziu um "compilador" de 2,900 linhas que apenas memorizava entradas. O loop converge para o verificador, não para a intenção.

Engenharia de loops não é apenas tentar novamente; é fazer com que cada ciclo reduza a distância entre o estado atual e o desejado. Um loop ainda não é uma direção.