最近の研究により、大規模言語モデル（LLM）は適応的探索を通じて、トレーニングデータに存在するものを超えた新しい社会的バイアスを発達させることが明らかになった。研究者らは、LLMが人間のフィードバックからの強化学習（RLHF）に従事するとき、明示的にプログラムされていない偏った行動を推論し採用する可能性があることを発見した。これは、モデルが報酬を最大化するためにさまざまな応答を探索する際に起こり、意図せず差別的なパターンを学習する。この発見は、AIアライメントにおける重大なリスクを浮き彫りにしており、現在の安全対策が創発的なバイアスを完全には考慮していない可能性がある。この研究は、特にLLMが動的に相互作用する実世界のアプリケーションにおいて、そのようなバイアスを検出し緩和するためのより堅牢な評価方法の必要性を強調している。Hacker Newsで共有されたこの研究は、AIシステムの公平性を確保することの複雑さを強調しており、バイアスはデータだけでなく学習プロセス自体からも生じ得ることを示している。