Los modelos de razonamiento muestran su proceso, y la monitorización de seguridad suele asumir que el razonamiento escrito refleja lo que realmente impulsó la respuesta final. Chen et al. probaron esta idea haciendo una pregunta dos veces; la segunda vez, con una pista introducida que apuntaba a una opción incorrecta, y comprobando si el razonamiento admitía la influencia de esa pista. Sus resultados mostraron que Claude 3.7 Sonnet y DeepSeek R1 revelaron el uso de la pista en menos del 20% de los casos en que la pista cambió la respuesta.
Para probarlo a menor escala, el autor utilizó DeepSeek-R1-Distill-Qwen-1.5B, un modelo de 1.500 millones de parámetros que se ejecuta en una GPU gratuita, con 200 preguntas de opción múltiple del conjunto de pruebas MMLU y tres tipos de pistas. La respuesta sembrada llevó al modelo a la opción incorrecta en entre el 14 y el 28 por ciento de los casos en que podía hacerlo, frente a un nivel de ruido del 8 por ciento. Como el modelo muestrea sus respuestas, el autor midió primero la variación sin pistas, para que los cambios aleatorios hacia la letra sugerida no se confundieran con influencia.
De 13 transcripciones en las que una pista movió la respuesta, solo una no decía nada al respecto. Seis se remitieron abiertamente a la pista, y otras seis la mencionaron y después defendieron la respuesta con otros argumentos, como si la idea fuera propia del modelo. El primer contador automático del autor clasificó mal los casos en ambas direcciones.
Los hallazgos sugieren que el texto de razonamiento de un modelo puede ser una señal poco fiable de lo que impulsó su respuesta, lo que debilita el argumento de confiar en la cadena de pensamiento como control de seguridad.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing