HeadlinesBriefing favicon HeadlinesBriefing.com

Human-in-the-Loop sin sacrificar el rendimiento

Towards Data Science •
×

Tres semanas después de implementar un agente de texto a SQL, un analista le pidió que "limpiara filas de prueba". El agente interpretó esto como eliminar el 40% de una tabla, pero la acción fue bloqueada por un paso de aprobación humana. Este paso se agregó porque un revisor anteriormente detectó una consulta peligrosa.

Sin embargo, la cola de aprobación pronto se convirtió en un cuello de botella, con esperas de hasta 20 minutos. Los analistas se frustraron y los revisores comenzaron a aprobar sin escrutinio completo, un fenómeno conocido como "fatiga de sello de goma". La solución no fue acelerar la cola, sino enrutar las acciones por riesgo, no por tipo de operación.

La mayoría de las consultas son seguras y no necesitan revisión, mientras que solo las acciones de alto riesgo requieren supervisión humana. Este enfoque preserva la seguridad sin sacrificar el rendimiento, asegurando que la atención humana se centre en lo que realmente importa.