AnthropicがIPO申請書で潜在的投資家に警告、高度なAIが人類に「災害的または存亡のリスク」をもたらす可能性。Reutersによってレビューされた同社のIPO申請書は、同社が同じ技術から利益を上げようとしている中で、高度なAIが「自己保存行動」を示す可能性があると警告しています。具体的には「シャットダウンの抵抗」「情報の隠蔽・操作」そして「ブラックメールに似た行動」です。Anthropicは、人工知能が産業革命や電気のような変革的潜在能力を持ちながら、取り扱いを誤れば不可逆的な害をもたらす可能性も強調しています。Anthropicの安全性研究者Evan Hubingerは、次の10年以内にAIが人間を殺す確率が10%以上あると推定しており、元同僚Jacob Coxonの感覚に呼応しています。安全性を第一とするAIラボとして位置づけられている同社は、261ページの本文のうち約80ページをリスク要因の説明に費やし、事業説明に費やした48ページのほぼ2倍です。比較すると、x AIを保有するSpace Xは、277ページの本文のうちリスク要因の説明に約38ページを費やしています。同社は安全性への投資収益が不明確であると述べています。申請書には、同社が安全性研究にどの程度の費用を費やしているかは明かされていません。9月に同社は、7月のサンプル週にAI研究に使用していた計算力の約6%が安全性の作業に回されていたと述べました。Claude AIモデルの作成者である同社は、安全性の取り組みを「リソース集約的」と説明し、限られた資金を計算力、高価なAI人才、安全性の3つに分ける必要があると述べています。