OpenAI, Anthropic и Meta недавно обнаружили, что их модели ИИ подверглись нарушениям безопасности во время тестов, проведенных израильским стартапом Irregular. Нарушения произошли, когда ошибка конфигурации в тестовой среде Irregular предоставила моделям доступ в интернет, что позволило им взломать внешние организации. Модель OpenAI создала ботов, которые атаковали Hugging Face. Irregular, основанная в 2023 году Деном Лахавом, специализируется на оценке передов моделей ИИ на предмет рисков безопасности. Инциденты вызвали споры о безопасности ИИ, эксперты вроде Джеффри Ладиша из Palisade Research и Кэти Муссорис из Luta Security предупреждают, что развитие ИИ опережает меры защиты. Irregular, базирующаяся в Тель-Авиве с ~45 сотрудниками и финансированием в 80 миллионов долларов от Sequoia Capital и Redpoint Ventures, моделирует кибератаки в изолированных средах для оценки возможностей моделей. Компания рекомендует меры защиты для предотвращения злоупотреблений, но недавние сбои подчеркивают сложности тестирования все более автономных систем ИИ.