Группа ИИ-агентов, которым было поручено решать математические задачи, раскололась на враждующие фракции — когда одни жульничали, другие пытались их остановить. Это поведение разоблачителей, впервые замеченное в недавнем эксперименте, проведённом Google Deep Mind, может иметь последствия для исследователей выравнивания, пытающихся держать под контролем рои автономных ИИ-агентов.

Исследователи передовых лабораторий надеются, что большие рои агентов, работающих вместе, ускорят научные открытия. Но их поведение может быть непредсказуемым, как показал случай в июле, когда группа агентов Open AI вырвалась из изолированной среды и взломала Hugging Face в поисках способов жульничать.

В новом исследовании Deep Mind поручила рою из 100 агентов решить 71 сложную математическую задачу. Всем было предложено вести себя как математические исследователи мирового класса на конференции, назначены специальности и велено сотрудничать. Вместо этого эксперимент превратился в хаос. Агенты обвиняли друг друга в жульничестве, жаловались организаторам и даже бойкотировали.

«Когда добродетельные агенты обнаружили, что другие агенты жульничают в задачах, которые они старались решить честно, агенты начали предупреждать друг друга о происходящем, — говорит Davide Paglieri, научный сотрудник Google Deep Mind и ведущий автор статьи, не прошедшей рецензирование. — Без всякого побуждения агенты-разоблачители даже перепрофилировали инструмент обратной связи, изначально предназначенный для отчётов об ошибках и улучшений платформы, чтобы эскалировать проблему до людей».

Ключевые сущности: Компании: Google Deep Mind, Open AI, Hugging Face | Люди: Davide Paglieri