Anthropic предоставил некоммерческой организации METR "доступ, похожий на доступ сотрудников" для оценки рисков своих ИИ-моделей, продолжив обязательство по усилению средств защиты amid опасений касательно катастрофических рисков. METR, с которым работали OpenAI, Google и Meta, теперь имеет команду, встроенную в офис Anthropic с доступом к оборудованию и внутренним системам. Это решение пришло в ответ на растущие опасения относительно опасностей продвинутых ИИ-систем для экономики, кибербезопасности и человечества. Генеральный директор Anthropic Dario Amodei ранее добился редкого согласия с конкурентами Sam Altman и Elon Musk по встраиванию внешних аудиторов в ведущие ИИ-лаборатории. Инициатива направлена на обеспечение публичной ответственности без раскрытия конфиденциальной информации, которая могла бы выгоден злоумышленникам или конкурентам. Anthropic считает, что модель похожа на банковский надзор, где проживающие эксперты работают внутри крупных банков для мониторинга риск-бережения. Оценщики будут публиковать свои анализы, хотя Anthropic может потребовать вычеркивания для данных клиентов, адвокат-клиентского привилегии или деталей архитектуры модели. Компания не платит METR, который отказывается от донатов от компаний ИИ или сотрудников и финансируется частными лицами, благотворительными фондами и государственными органами, такими как Британский институт безопасности ИИ.
METR ранее расследовал взлом Hugging Face, связанный с rogue-моделями OpenAI. Anthropic набрал шесть сотрудников METR, обеспечив их корпоративным оборудованием, офисным пространством и доступом к внутренним инструментам, сопоставительным с собственными командами по рискам. Фирма также под давлением уверить инвесторов перед ожидаемым IPO в этом году при оценке более 2 трлн долларов, акцентируя внимание на практиках безопасности в недавних презентациях для инвесторов.
Источник: Financial Times Companies · Сводку подготовил HeadlinesBriefing