A mediados de 2023, dentro del proyecto de investigación 'RLSlow', vimos los primeros resultados que nos dieron confianza de que podríamos escalar el entrenamiento de los modelos de razonamiento, desbloqueando la capacidad de los modelos preentrenados para formar sus propias cadenas de pensamiento. Szymon y yo pasamos esa noche en la oficina, pensando no en los increíbles números de referencia, productos o resultados científicos que esta tecnología ofrecerá, sino intentando procesar el hecho sobrio de que realmente veremos máquinas significativamente más inteligentes que nosotros en nuestra vida, y ya vemos la forma de estos sistemas; preguntándonos cómo alertar a las personas sobre la importancia de esto. Tres años después, los modelos de lenguaje de razonamiento son una parte en rápido crecimiento de la economía y están empezando a empujar los límites de la ciencia.

Son capaces de operar computadoras e interfaces gráficas, colaborar con personas y entre sí, y llevar a cabo proyectos de investigación. También están transformando el panorama de la seguridad informática, y en eso presentan claros nuevos peligros. Sucedió mucha investigación nueva en este período, y nuestra comprensión de estos sistemas es nuevamente un poco diferente de lo que era en 2023.

Basado en resultados internos, tengo una fuerte expectativa de que esta velocidad de progreso podría sostenerse en la mejora autosuficiente recursiva. Si el desarrollo de la IA continúa por su camino actual, los sistemas que veremos en los próximos años probablemente representarán saltos de capacidad adicionales de igual o mayor magnitud, y cada vez más impulsarán su propio desarrollo. Este es un momento que exige extrema precaución.

Estoy preocupado de que nadie esté preparado para las consecuencias de un aumento continuo y rápido de la inteligencia de las máquinas. Open AI continuará buscando soluciones técnicas para la alineación y el monitoreo, construyendo sistemas defensivos y reteniendo unilateralmente un mayor escalado cuando sea necesario; sin embargo, creo que se requieren intervenciones más amplias.