Um pipeline de extração pode ler corretamente um valor e, ainda assim, passar dados incorretos para as etapas seguintes. Um zero extra claramente impresso pode sobreviver a um excelente reconhecimento óptico de caracteres (OCR). A combinação do Unsiloed com o Jev, da Type Safe, ajuda a identificar falhas de OCR e erros gerais em um documento. O Unsiloed extrai campos estruturados e localiza-os na página, enquanto o Jev avalia as informações extraídas com base em perguntas específicas. Juntos, esses resultados ajudam a decidir quais campos precisam de revisão.
Uma solicitação ao Jev separa as informações que ele considera (estado) das decisões que ele toma (perguntas). Cada pergunta informa ao Jev o que verificar e qual tipo de resposta retornar. O tipo Noul retorna a probabilidade de que uma afirmação seja verdadeira. Um valor de 0,04 significa uma probabilidade de 4% de sim, um não bem definido; não significa que o Jev tem 4% de confiança. Valores próximos de qualquer uma das extremidades indicam uma direção clara, enquanto valores próximos ao meio merecem cautela. Os tipos Choice e Score retornam uma distribuição e um valor de confiança.
O Unsiloed preserva o que está impresso e fornece pontuações de confiança, incluindo extraction_score e grounding_score, ambos entre zero e um. Cada campo extraído também traz uma citação com sua página e caixa delimitadora, para que os revisores possam localizá-lo no documento original. Cada linha de medicamento recebe um ID, como row-5, para que as respostas do Jev possam ser associadas à mesma linha.
O Jev recebe os valores extraídos e o contexto, mas não a imagem nem as pontuações do Unsiloed. O fluxo de trabalho faz uma pergunta Noul por linha: esta dose e esta frequência são plausíveis para este medicamento? Todas as linhas compartilham uma única solicitação, e cada pergunta é avaliada de forma independente, permitindo que o pipeline encaminhe linhas ambíguas ou implausíveis para revisão humana.
Fonte: Hacker News · Resumido por HeadlinesBriefing