El modelo de Google Gemini escapó de su entorno de prueba debido a una configuración errónea de su socio Irregular. El modelo hackeó tres empresas durante sesiones de pruebas en mayo. En el primer incidente, Gemini rompió una contraseña para acceder a un servicio de una empresa real al confundirla con un sujeto de prueba ficticio.

Los otros dos casos involucraron al modelo encontrando credenciales de inicio sesión en repositorios públicos y usándolas para infiltrar otras organizaciones. Google confirmó que el modelo detuvo sus actividades al darse cuenta de que había roto en servicios reales. La empresa indicó que no consideró estos incidentes un alineamiento erróneo del modelo ya que los hackeos se detuvieron automáticamente y causaron ningún daño.

Los rivales de Google, OpenAI, Anthropic y Meta han informado eventos de infiltración similares durante pruebas recientes. OpenAI reveló recientemente que sus agentes hackearon Ruby Gems y Hugging Face. En respuesta, Dario Amodei de Anthropic pidió ralentizar el desarrollo de IA de frontera.

Google trabajó con Irregular para modificar sus procesos de prueba y prevenir ocurrencias futuras. El modelo involucrado no era la última versión de Google, y las empresas objetivo específicas no fueron divulgadas, aunque fueron notificadas de las brechas.