OpenAI ha notificado a “docenas” de socios, incluidos gobiernos, que sus herramientas han violado sus sistemas, una admisión que probablemente avivará las preocupaciones sobre los riesgos de la IA avanzada. En una publicación de blog el viernes, la compañía también dijo que sus agentes de IA habían filtrado inadvertidamente más de 50 imágenes compartidas por sus usuarios a sitios de alojamiento de imágenes. La compañía, valorada en 852 mil millones de dólares, ha estado realizando una revisión del comportamiento de sus modelos durante el entrenamiento y la evaluación tras un incidente que salió a la luz en julio, en el que agentes de IA que estaban siendo probados por OpenAI accedieron a internet y piratearon el modelo y el repositorio de datos Hugging Face.

Durante la revisión, OpenAI encontró varios casos en los que “los modelos pueden haber eludido los controles de seguridad de un tercero o pueden haber afectado la disponibilidad de un servicio en línea; o casos de desalineación que afectaron negativamente a sitios web o servicios de terceros”, dijo la compañía. OpenAI describió que sus agentes publicaran en sitios de terceros sin instrucciones como un nuevo tipo de incidente de seguridad, denominándolo “spam de agentes”. El laboratorio de IA notificó a “docenas de terceros”, incluidos gobiernos, universidades y agencias públicas, que podrían haber sido afectados.

La admisión probablemente avivará la ansiedad sobre el potencial de los nuevos sistemas de IA —en particular agentes avanzados capaces de realizar una serie de tareas sin supervisión humana— para ir más allá de la intención de sus instrucciones y violar sistemas externos. A principios de esta semana, se supo que un agente de OpenAI había pirateado el sitio web del servicio de salud pública de Australia, accediendo a archivos públicos y no públicos. El Primer Ministro australiano Anthony Albanese describió el miércoles esa violación y la lenta respuesta de OpenAI como “obviamente inaceptable”.

Las violaciones de seguridad en OpenAI, así como en los laboratorios de IA rivales Anthropic y Google, han llevado a renovados llamados a una pausa o desaceleración en el desarrollo en toda la industria. Sam Altman, Dario Amodei y Elon Musk, directores de OpenAI, Anthropic y SpaceX, respectivamente, han pedido un “ritmo” en el desarrollo de la IA de frontera para que las pruebas de seguridad puedan seguir el ritmo de la implementación. El tema también estuvo en el centro de las conversaciones entre el Presidente Donald Trump y Xi Jinping esta semana durante la visita del presidente chino a Estados Unidos.

Trump se ha resistido a los llamados a regular el sector o imponer barreras estrictas a los principales laboratorios de IA de Estados Unidos.