HeadlinesBriefing favicon HeadlinesBriefing.com

IA Verdadeira: Além do RAG para Sistemas Baseados em Evidências

Towards Data Science •
×

Há um erro de categoria em muitos sistemas LLM: recuperar documentos, colocá-los em contexto e chamar a resposta de "fundamentada". A recuperação dá acesso a candidatos para evidência, mas não prova que uma passagem recuperada apoia uma afirmação. Uma passagem pode estar desatualizada, incompleta, tematicamente semelhante, mas não implicativa, conflitante, não confiável ou injetada maliciosamente. O artigo original do RAG identificou a proveniência como um problema em aberto.

O objetivo pós-RAG deve ser um sistema narrativo baseado em evidências onde cada proposição material receba suporte inspecionável, cada decisão de negócios seja rastreável e a incerteza tenha uma representação de primeira classe. Otimizar o sistema de evidências cria um artefato que um desenvolvedor pode inspecionar. A nova unidade de controle é a afirmação atômica, não documentos. Um livro-razão de afirmações lista todas as afirmações atômicas com evidências e controles: um claim_id estável, texto da afirmação com extensão exata, extensões de evidência verbatim, fonte canônica com hash de conteúdo, contexto de recuperação e uma decisão de suporte (diretamente apoiado, síntese permitida, evidência insuficiente, evidência conflitante, não apoiado).

O portão de publicação inegociável: uma afirmação material sem suporte aceitável é um pedido para revisar, abster-se, rotular como inferência ou escalar. Isso força uma decisão de produto entre fluência não apoiada e incerteza visível.

Entidades-chave: Empresas: Towards Data Science