He tenido que pensar con cuidado cómo se formulan los resultados técnicos, sobre todo cuando una frase se reescribe para sonar más limpia. Un error habitual es convertir una reducción del 20 % en el error en una mejora del 20 % en la precisión. Como un recorte del 20 % en el error reduce un número restante pequeño, la precisión apenas puede moverse. El número sobrevive a la reescritura, pero lo que describe cambia por completo, y el error puede pasar desapercibido en una lectura rápida.
Evidence Desk es una herramienta de navegador que construí con Codex para detectar errores como este. Usted aporta un borrador y sus archivos fuente. La herramienta divide el borrador en afirmaciones, encuentra para cada una el pasaje más cercano en las fuentes y ejecuta comprobaciones explícitas numéricas, métricas y causales. Cada afirmación se etiqueta como Respaldada, Posible discrepancia o Evidencia insuficiente. Codex ayudó a implementar la interfaz, la lógica de verificación y las pruebas, mientras que yo decidí qué debía comprobar la herramienta y revisé su comportamiento.
Verificar es un trabajo distinto al de escribir. Pregunta si la evidencia realmente dice lo que dice la afirmación, lo cual es más acotado que preguntar si la afirmación es verdadera. En lugar de usar un segundo modelo generativo como revisor, Evidence Desk adjunta cada advertencia al pasaje en el que se basa y a una razón explícita, para que quien escribe tenga algo concreto que cuestionar.
El proceso tiene límites. La extracción de afirmaciones es rudimentaria, y la recuperación se basa en un simple solapamiento léxico con umbrales fijados a mano. Una puntuación alta solo indica cuán estrechamente una frase se derivó de su fuente, y una reescritura distorsionada es, por definición, una derivación estrecha. En el ejemplo integrado, la herramienta encontró el pasaje correcto pero aun así no detectó la discrepancia, lo que muestra dónde fallan las comprobaciones basadas en reglas.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing