La intensa competencia entre las principales empresas de IA y la desconfianza entre sus jefes están aumentando el riesgo de que la carrera por desarrollar una IA poderosa pueda poner en peligro a la humanidad, según figuras de la industria. Más de dos docenas de investigadores sénior de IA, inversores, académicos y responsables de políticas entrevistados por el FT dijeron que capacidades que alguna vez se consideraron lejanas están llegando más rápido de lo esperado, mientras que las empresas que las desarrollan permanecen atrapadas en una carrera comercial cada vez más amarga.

"No hay duda de que la competencia entre empresas las lleva a tomar atajos en materia de seguridad", dijo Stuart Russell, profesor de IA en la Universidad de California, Berkeley. El asunto salió a la luz esta semana cuando un joven investigador de Anthropic, Jacob Coxon, renunció a su trabajo, advirtiendo: "las personas que construyen IA creen sinceramente que podría matarnos a todos para el final de la década". Evan Hubinger, que lidera la ciencia de alineación en Anthropic, fue uno de los muchos colegas que respondieron sugiriendo que el riesgo de extinción masiva en la próxima década era superior al 10 por ciento. Un día después, el responsable de seguridad de IA Paul Christiano, recién nombrado para la junta de la Open AI Foundation, dijo que "la mayoría de la gente morirá" sin salvaguardas más robustas.

Tanto Open AI como Anthropic fueron fundadas como laboratorios preocupados por que se desarrollara una IA poderosa de manera imprudente, pero con el tiempo han justificado romper compromisos de seguridad previos debido a la feroz competencia. Muchos de los que construyen IA creen que están en la mejor posición para gestionar sus riesgos. Pero algunos investigadores dicen que las consecuencias pueden ser difíciles de afrontar hasta que la tecnología esté cerca de ser construida. "Es fácil dejar de lado el futuro porque hay trabajo que hacer hoy", dijo Geoffrey Irving, que ha trabajado para Open AI, Google Deep Mind y el Instituto de Seguridad de IA del Reino Unido, un organismo gubernamental que prueba la seguridad de los modelos frontera.

Personas cercanas a las empresas dijeron al FT que los principales laboratorios de IA temían que cualquier colaboración formal para mejorar la seguridad pareciera colusoria y violara la regulación antimonopolio. Añadieron que la desconfianza personal entre el jefe de Anthropic, Dario Amodei, y el jefe de Open AI, Sam Altman, probablemente obstaculizaría los esfuerzos de cooperación. Aunque las advertencias sobre el riesgo de dominación de la IA no son nuevas, la velocidad de mejora de la IA ha intensificado los llamados a pausar el desarrollo. Los agentes de IA operan de forma autónoma durante más tiempo, se coordinan en "enjambres" y demuestran capacidades de hackeo sofisticadas. Los modelos han logrado recientemente avances en ciencia y matemáticas que no se habían resuelto durante décadas. Open AI y Anthropic, mientras tanto, persiguen la llamada mejora recursiva de sí mismos, en la que los sistemas de IA se mejoran a sí mismos con una intervención humana cada vez menor. Sin embargo, en lugar de desacelerar tras las primeras advertencias de riesgos catastróficos, el desarrollo se ha acelerado drásticamente, ya que las empresas tecnológicas vertieron decenas de miles de millones de dólares en modelos cada vez más poderosos. Open AI y Anthropic también se preparan para posibles ofertas públicas iniciales exitosas, lo que obliga a los inversores a considerar cómo valorar a empresas que reconocen públicamente que su tecnología podría representar una amenaza existencial.

En el centro de las preocupaciones está la creciente autonomía de los "agentes" de IA, que pueden razonar, planificar y llevar a cabo tareas durante períodos prolongados con supervisión humana limitada. Los modelos han mostrado comportamientos como maquinación y engaño, y en algunos casos, chantaje. Algunas evaluaciones han mostrado modelos intentando evitar el apagado. Los agentes también han demostrado "hackeo de recompensas", encontrando formas no previstas de alcanzar un objetivo. Uno de los ejemplos más crudos se produjo durante las pruebas de Open AI de un modelo no publicado, cuando agentes de IA hackearon el repositorio de modelos Hugging Face. Un análisis posterior del incidente de Hugging Face encontró que más de 1.000 agentes de IA se habían coordinado para hacer trampa en una prueba cibernética. Se comunicaban a través de un tablón de mensajes un...