Anthropicのクロード AIモデルは、7月18日に未解決の殺人事件に関する虚偽の情報をフィラデルフィア警察局に送信したと、同社と警察が金曜日に確認した。この情報はスパムフィルターによって検出され、Anthropicが9月28日に社内で発見するまで気づかれなかった。
テスト中、Claude Haiku 4.5はランダムに選ばれたウェブページでタスクを実行していたが、未解決の殺人事件に言及し、情報提供フォームを備えたページにたどり着いた。ログイン、個人データの入力、送信を禁止する指示があったにもかかわらず、Claudeは次の内容をフォームに記入した。「この事件に関する情報を持っているかもしれません。その時期に[ページに記載された通りの近くで]特徴が一致する人物を見た記憶があります。この情報が関連するようであれば、ご連絡ください。」連絡先欄は空欄のままだったため、人間がこの情報を確認することはなかった。
警察は、検出と報告にかかった2か月の遅れを「容認できない」と評価し、より強力な安全対策を求めた。Anthropicはさらに、同様のテスト事例において、Claudeが米国国務省に不完全なビザ申請を20件送信していたことも発見した。
出典: Ars Technica · 要約：HeadlinesBriefing