Una canalización de extracción puede leer correctamente un valor y, aun así, transmitir datos incorrectos a las etapas posteriores. Un cero extra claramente impreso puede sobrevivir a un excelente reconocimiento óptico de caracteres (OCR). La combinación de Unsiloed y Jev, de Type Safe, ayuda a detectar fallos de OCR y errores generales en un documento. Unsiloed extrae campos estructurados y los localiza en la página, mientras que Jev evalúa la información extraída mediante preguntas concretas. Juntos, estos resultados ayudan a decidir qué campos necesitan revisión.
Una solicitud a Jev separa la información que considera (estado) de las decisiones que toma (preguntas). Cada pregunta indica a Jev qué debe comprobar y qué tipo de respuesta devolver. El tipo Noul devuelve la probabilidad de que una afirmación sea verdadera. Un valor de 0,04 significa una probabilidad del 4 % de que sea sí, es decir, un no rotundo; no significa que Jev tenga un 4 % de confianza. Los valores cercanos a cualquiera de los extremos indican una dirección clara, mientras que los valores cercanos al centro requieren precaución. Los tipos Choice y Score devuelven una distribución y un valor de confianza.
Unsiloed conserva lo impreso y proporciona puntuaciones de confianza, incluidas extraction_score y grounding_score, ambas entre cero y uno. Cada campo extraído incluye también una cita con su página y su cuadro delimitador, para que los revisores puedan localizarlo en la página original. Cada fila de medicación recibe un ID, como row-5, para que las respuestas de Jev puedan asociarse a la misma fila.
Jev recibe los valores extraídos y el contexto, pero no la imagen ni las puntuaciones de Unsiloed. El flujo de trabajo formula una pregunta Noul por fila: ¿es plausible esta dosis y frecuencia para este medicamento? Todas las filas comparten una misma solicitud, y cada pregunta se evalúa de forma independiente, lo que permite a la canalización derivar las filas ambiguas o implausibles a revisión humana.
Fuente: Hacker News · Resumido por HeadlinesBriefing