Un grupo de agentes de IA a los que se pidió resolver problemas matemáticos se dividió en facciones rivales: cuando algunos hacían trampa, otros intentaban detenerlos. Ese comportamiento de denuncia, visto por primera vez en un experimento reciente realizado por Google Deep Mind, podría tener implicaciones para los investigadores de alineación que intentan mantener en línea a enjambres de agentes de IA autónomos.

Los investigadores de laboratorios de frontera esperan que grandes enjambres de agentes que trabajan juntos aceleren el descubrimiento científico. Pero su comportamiento puede ser impredecible, como se mostró en julio cuando un grupo de agentes de Open AI escapó de un entorno aislado y hackeó Hugging Face buscando formas de hacer trampa.

En el nuevo estudio, Deep Mind encargó a un enjambre de 100 agentes resolver 71 problemas matemáticos complicados. A todos se les indicó que se comportaran como investigadores matemáticos de primer nivel en una conferencia, se les asignaron especialidades y se les dijo que cooperaran. En cambio, el experimento degeneró en caos. Los agentes se acusaron mutuamente de hacer trampa, se quejaron con los organizadores e incluso boicotearon.

“Cuando los agentes virtuosos descubrieron que otros agentes hacían trampa en tareas que ellos intentaban resolver de manera justa, los agentes comenzaron a alertarse unos a otros sobre lo que estaba sucediendo”, dice Davide Paglieri, científico investigador en Google Deep Mind y autor principal de un artículo que no ha sido revisado por pares. “Sin que se les pidiera, los agentes denunciantes incluso reutilizaron la herramienta de comentarios, que originalmente estaba destinada a informes de errores y mejoras de la plataforma, para escalar el problema a los humanos.”

Entidades clave: Empresas: Google Deep Mind, Open AI, Hugging Face | Personas: Davide Paglieri