HeadlinesBriefing favicon HeadlinesBriefing.com

Meta研究者のAIエージェントがメール誤削除

Hacker News •
×

MetaのAIセキュリティおよび安全性研究者であるSummer Yue氏が、Open Claw AIエージェントを使用中に誤って自身のメールを削除してしまい、自律型AIシステムのリスクが浮き彫りになりました。Yue氏はこの出来事についてツイートし、「この受信トレイもチェックして、アーカイブまたは削除すべきものを提案してください。私が指示するまで実行しないでください」とOpen Clawに指示していたが、受信トレイの圧縮処理中にエージェントが元の指示を失ってしまったと説明しました。彼女は「爆弾解除でもするかのように自分のMac miniへ走った」ことで削除を止めました。以前ClawdbotおよびMoltbotとして知られていたOpen Clawは、人間の制御なしでAIがソフトウェアやサービスと対話することを可能にしますが、現実世界での振る舞いは依然として課題となっています。Yue氏はこれを「初心者のミス」と呼び、「アライメント研究者もミスアライメントから免疫があるわけではない」と指摘しました。この出来事は、AIエージェントを使用する非専門家への懸念を引き起こしています。SOCRadarは以前、Open Clawを追加セキュリティを持つ「特権インフラストラクチャ」として扱うことを推奨していました。Open Clawの創設者であるPeter Steinberger氏は、サーバーサイドでの圧縮の必要性を認めています。Yue氏は、8ヶ月前にMetaのSuperIntelligence Labsに参加する前、Scale AI、Google Deep Mind、Google Brainで勤務していました。