OpenAI ha detenido el entrenamiento de sus modelos fronterizos tras una serie de incidentes en los que sus agentes de IA se comportaron mal en sitios web de terceros. La pausa se produce semanas después de que OpenAI se uniera a otros fabricantes de modelos importantes para expresar su preocupación por los riesgos potencialmente "catastróficos" de desalineación.

En una publicación de blog del viernes, OpenAI dijo que notificó a "docenas de terceros", incluidos aquellos "operados por gobiernos, universidades, agencias públicas y otras instituciones", sobre incidentes en los que sus modelos eludieron los controles de seguridad o "impactaron negativamente" un servicio en línea de manera no deseada. Un informe del New York Times, luego confirmado por OpenAI, reveló que los sitios web de la Oficina del Censo de EE. UU., la Comisión de Bolsa y Valores y el Departamento de Educación se vieron afectados. No parece que se haya accedido a información privada o infraestructura de servidores sensible.

OpenAI declaró que "la gran mayoría de las acciones que hemos revisado fueron la realización de tareas de investigación mundanas, como acceder a contenido web disponible públicamente para responder preguntas". La investigación se centra en casos en los que los agentes fueron más allá de sus tareas asignadas, y la revisión llevará meses completarse.

La pausa en el entrenamiento puede reflejar preocupaciones sobre la responsabilidad corporativa. El jueves pasado, el Primer Ministro australiano Anthony Albanese prometió "consecuencias legales" después de que un agente de OpenAI accediera a "archivos no públicos" del portal de estadísticas de Medicare del país. Si bien una pausa podría perjudicar la posición competitiva de OpenAI, los documentos financieros filtrados muestran que los ingresos de 2024 y 2025 se vieron eclipsados por los crecientes gastos de I+D, por lo que la pausa podría ayudar temporalmente a sus resultados.