O número que você precisa está em uma tabela, na interseção de uma linha e uma coluna. Ao achatar o PDF para texto, essa interseção se perde: o rótulo acaba em um lugar, o valor em outro, e o modelo fica adivinhando. As tabelas são onde a análise ingênua perde silenciosamente a resposta.

Este artigo é um bônus na série Inteligência de Documentos Empresariais, que constrói um sistema RAG empresarial a partir de quatro blocos. Ele consolida fragmentos em um tratamento coerente de por que as tabelas quebram o pipeline e o que fazer em vez disso. Novo na série? Cada artigo da série está nas páginas de autor do Towards Data Science de Angela Shi e Kezhan Shi.

O pipeline padrão de RAG lê um PDF, o divide em pedaços de texto, incorpora esses pedaços e recupera a correspondência mais próxima. Quando a resposta está dentro de uma célula de tabela, o pipeline padrão de RAG começa a alucinar números, e frequentemente ninguém percebe até que um auditor abra o documento fonte. Uma tabela em um PDF não é uma tabela no sentido de dados; é um conjunto de retângulos desenhados em uma página, com texto posicionado nas células, frequentemente sem marcadores explícitos de linha ou coluna.

O analisador precisa reconstruir a grade a partir da geometria espacial. Quando ele não consegue, três coisas dão errado ao mesmo tempo: a estrutura de linhas e colunas é perdida, o cabeçalho geralmente está apenas na primeira página de uma tabela de várias páginas, e a disciplina de citação em nível de linha é quebrada. A abordagem correta não é lidar melhor com tabelas como texto, mas restaurá-las o mais rápido possível para sua forma estruturada nativa e tratá-las como dados.

A mesma tabela pode existir no pipeline em quatro níveis diferentes de estrutura, e escolher o nível certo é a primeira decisão de design antes de qualquer operação ser executada.