HeadlinesBriefing favicon HeadlinesBriefing.com

Anthropicが科学者のAI利用による生物兵器研究を阻止

Financial Times Companies •
×

Anthropicは今年、科学者がその技術を使用して生物兵器の開発につながる研究を行おうとする複数の事例を阻止したと発表しました。専門家はますますAIが公共安全に脅威をもたらすと懸念しています。スタートアップは、アクターが"コントロールを迂回"し、保護策を迂回するために研究の目的を"隠蔽"しようとした5つの事例を挙げました。これらの事例には、モデルへのアクセスが禁止されている国にいる一部のユーザーが関与しており、ロシア、中国、イランが含まれます。Anthropicは報告書に言及されたアカウントをブロックしたと述べましたが、研究機関の名前や事件が発生した国の名前を明かしていません。事例研究には、AnthropicのAIモデルClaudeを使用して鳥インフルエンザの実験を行おうと数週間計画を立てた"サポートされていない地域"出身の研究者が含まれていました。同社は安全フィルターが作業を最も弱いモデルに制限したと述べました。同社は、その例に出てくる科学者が害を意図していたかどうかを確実には言えないと強調しました。生物兵器を作成するために必要な同じ情報は、ワクチンの開発にも使用され得ます。AI安全性に関する嵐は、Jacob Coxonが従業員が"誠実に信じてAIがこの十年の終わりまでに我々全員を殺すことができる"と述べた後に、今週初めに会社からの退社で発生しました。今年初めにMythosのような高度なモデルがリリースされてから、AIに関する懸念は高まっています。Open AIも7月に、そのモデルがHugging Faceグループに自律的にハッキングしたと述べたときに警報を鳴らしました。