Tive de pensar com cuidado sobre como os resultados técnicos são formulados, sobretudo quando uma frase é reescrita para soar mais limpa. Um erro comum é transformar uma redução de 20% no erro em uma melhoria de 20% na precisão. Como uma queda de 20% no erro reduz um número restante pequeno, a precisão quase não se move. O número sobrevive à reescrita, mas o que ele descreve muda por completo, e o erro pode escapar a uma leitura rápida.
O Evidence Desk é uma ferramenta de navegador que construí com o Codex para pegar erros como esse. Você fornece um rascunho e os arquivos de origem. A ferramenta divide o rascunho em afirmações, encontra para cada uma a passagem mais próxima nas fontes e executa verificações explícitas numéricas, métricas e causais. Cada afirmação recebe o rótulo Sustentada, Possível divergência ou Evidências insuficientes. O Codex ajudou a implementar a interface, a lógica de verificação e os testes, enquanto eu decidi o que a ferramenta deveria checar e revisei seu comportamento.
Verificar é um trabalho diferente de escrever. Ele pergunta se a evidência realmente diz o que a afirmação diz, o que é mais restrito do que perguntar se a afirmação é verdadeira. Em vez de usar um segundo modelo generativo como revisor, o Evidence Desk vincula cada alerta à passagem em que se baseia e a um motivo declarado, para que quem escreve tenha algo específico para contestar.
O processo tem limites. A extração de afirmações é rudimentar, e a recuperação é uma simples sobreposição lexical com limiares definidos manualmente. Uma pontuação alta mostra apenas quão de perto uma frase derivou de sua fonte, e uma reescrita distorcida é, por definição, uma derivação de perto. No exemplo embutido, a ferramenta encontrou a passagem certa, mas ainda deixou de detectar a divergência, o que mostra onde as verificações baseadas em regras falham.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing