HeadlinesBriefing favicon HeadlinesBriefing.com

Математик запускает Институт безопасности ИИ

New York Times Top Stories •
×

В июле Джейкоб Циммерман, профессор Торонтского университета, получил премию Филдса — самого высокого почёта в математике. По получении премии доктор Циммерман объявил о профессиональном повороте, взял отпуск от академии и перенаправил исследования в область безопасности ИИ. Он начнёт работу в отделе безопасности в Open AI в конце этого месяца. Во вторник доктор Циммерман объявил о создании Математического института безопасности ИИ (MAISI) — независимого исследовательского учреждения, не связанного с Open AI. Расположенный в Бай-Эрре, MAISI начнёт своё первое полное исследовательское семестр в январе 2027 года, с целью нанять от 10 до 30 математиков, и значительно больше в последующем академическом году. С MAISI доктор Циммерман, который будет служить научным директором, донесёт до академического сообщества своё послание: «Безопасность ИИ — это значимая область исследований», — сказал он в интервью из Торонто. «Это легитимное интеллектуальное стремление, которое интересно, полезно, и можно достичь реального прогресса».На протяжении многих лет, несмотря на достижения в искусственном интеллекте, многие математики не принимали технологию всерьёз, считая её вместо этого прерогативой инженеров-программистов. Но, как отметил доктор Циммерман, «Инженеры могут реализовывать только идеи, которые были разработаны, и нам нужно новые идеи». Поскольку ИИ-системы в основе своей состоят из математики — линейной алгебры, математического анализа, теории вероятностей, статистики — он и единомышленники видят некоторые проблемы в области безопасности ИИ как фундаментальные математические задачи. «Нам нужно больше такой математической ясности и тщательности в индустрии ИИ», — сказал Эндрю Критч, исполнительный директор MAISI, исследователь ИИ и математик. Исследователи с математическим образованием видят возможность для высшей математики решать такие проблемы, как взаимодействие и сотрудничество ИИ-систем друг с другом; как агенты проверяют, что они ведут себя ответственно и что результаты точны; и как ИИ-системы могут быть спроектированы с основы, чтобы быть устойчивыми даже к сейчас не выявленным уязвимостям и рискам. Доктор Циммерман указал на криптографический инструмент под названием доказательство с нулевым разглашением — математический способ предоставления проверки о системе без раскрытия большего, чем необходимо. Доктор Голдвассер является сооснователем аналогичного математико-ориентированного института безопасности ИИ — Института ответственного суперинтеллекта (RESI), который был запущен в августе в Кембридже, Массачусетс. Основная научная команда RESI включает Винода Вайкунтанатхана, криптографа из M.I.T., и Адама Таумана Калая, исследователя по безопасности и этике ИИ, который недавно ушёл из Open AI.