Benjamin Nweke descubrió un sutil fallo en la tubería LLM después de habilitar Salidas Estructuradas. Su trabajo de conciliación marcó inconsistencias en el análisis de confirmaciones de pagos. La causa raíz: el modelo completó un campo de fecha obligatorio con la fecha de ejecución del trabajo de extracción porque no podía devolver nada.

De manera similar, un sistema de recuperación de código abierto implementó una caché semántica usando umbrales de similitud de coseno para evitar generación redundante. Sin embargo, la caché carecía de un mecanismo para devolver abstención cuando las preguntas, a pesar de ser semánticamente similares, exigían respuestas correctas opuestas. Esto revela un defecto de diseño crítico compartido por los mecanismos de confiabilidad: they narrow output degrees of freedom to simplify downstream processing, but inadvertently remove the ability to abstain.

Las violaciones de restricciones son ruidosas, pero los valores forzados pasan silenciosamente por cada puerta, creando fallos difíciles de detectar. En el escenario de la caché, un salto omite tanto la recuperación como el modelo por completo, dejando sin generación que comparar. El hallazgo subraya que los mecanismos de confiabilidad, si bien son efectivos para reducir el ruido, pueden enmascarar problemas de procedencia cuando la respuesta correcta es ninguna de las anteriores.