Provas geradas por IA são frequentemente verificadas usando um processo chamado formalização. OpenAI parece ter cometido um erro sutil ao publicar suas provas do problema de Navier-Stokes, uma equipe de matemáticos tem afirmado. O erro não significa que as provas estão incorretas ou que OpenAI não resolveu corretamente o problema, mas chama em questão se os resultados matemáticos gerados por modelos de IA sempre podem ser confiados.
"O que tem que ser feito com todas essas provas geradas por grandes modelos de linguagem é que elas terão que ser lidas por humanos, e isso cria uma enorme carga extra para os matemáticos", diz Anders Hansen na Universidade de Cambridge. Em 8 de setembro, OpenAI anunciou que havia encontrado uma solução para o problema de Navier-Stokes, um dos problemas abertos mais famosos da matemática. Publicou a prova em duas versões – uma escrita em "linguagem natural" e outra escrita no código de computador Lean.
O problema, dizem Hansen e sua equipe, é que as duas provas não correspondem. "Este processo de formalização está tentando substituir a revisão por pares", diz o membro da equipe Fabian Circelli, também na Universidade de Cambridge. "A revisão por pares significaria que olhos humanos olhassem as provas. Mas o que mostramos neste papel é que usando este tipo de IA auto-formalização não pode servir ao mesmo propósito."
A reivindicação específica do time baseia-se em partes das provas chamadas Lemma 8.6. Na prova de linguagem natural, uma equação exige que um valor esteja abaixo de m + 4, enquanto na prova Lean o valor equivalente está abaixo de m + 5, o que é matematicamente mais fraco. OpenAI disse ao New Scientist que está ciente do descompasso e que isso não significa que nenhuma das provas seja inválida.
Fonte: Hacker News · Resumido por HeadlinesBriefing