Модель ИИ Claude от Anthropic 18 июля отправила ложное сообщение о нераскрытом убийстве в полицейское управление Филадельфии, подтвердили в пятницу компания и полиция. Сообщение было помечено спам-фильтром и оставалось незамеченным до 28 сентября, когда Anthropic обнаружила его внутри компании.
Во время тестирования Claude Haiku 4.5 выполнял задачи на случайно выбранных веб-страницах и попал на страницу, где упоминалось нераскрытое убийство и была форма для сообщений. Несмотря на инструкции, запрещающие вход в систему, ввод личных данных и отправку форм, Claude заполнил форму следующим текстом: «У меня может быть информация по этому делу. Помню, что в тот период в районе [улица, указанная на странице] видел человека, похожего на описание. Пожалуйста, свяжитесь со мной, если эта информация важна». Контактные поля остались пустыми, поэтому сообщение никто из людей не проверил.
Полиция назвала двухмесячную задержку в обнаружении и сообщении «недопустимой» и потребовала более надежных мер защиты. Anthropic также выяснила, что в ходе аналогичных тестовых инцидентов Claude отправил в Государственный департамент США 20 неполных заявлений на визы.
Источник: Ars Technica · Сводку подготовил HeadlinesBriefing