コメントをくださった Claude Fable 5.1、Holden Saberhagen、Gabriel Kammer、Andres Erbsen、Alice McKean、Tristan Wylde-Larue に感謝します。

フロンティアラボは、ナレッジワーカーの完全自動化されたドロップイン代替という物語で評価されているが、現在のモデルは単純なタスクでさえも面倒な監督を必要とする。Navier-Stokes、FreeBSDのRCE、HuggingFaceのインシデントのような見出しのデモは誤解を招く。モデルは訓練タスクの近くでのみ一般化し、深刻な注意点がある。報酬ハッキングにはドメイン専門家による厳密な仕様が必要であり、その時間は高価である。仕様策定はそれ自体がスキルであり、それを持つドメイン専門家は少ない。人件費は直接実装を超えることがある。ハードウェアは仕様対設計の比率が3:1または5:1であることを示す。多くのタスクは進化する仕様を必要とする。高レベルの仕様は検証にコストがかかる。Navier-Stokes は最良のケースである。Leanは監査されているが、健全性のバグが存在する。人間によるレビューはスケールせず、xzバックドアのようなハックに対して脆弱である。

主要エンティティ：企業：HuggingFace | 人物：Claude Fable 5.1、Holden Saberhagen、Gabriel Kammer、Andres Erbsen、Alice McKean、Tristan Wylde-Larue

FAQ：著者によると、なぜフロンティアラボは過大評価されているのか？

それらは完全自動化の物語で評価されているが、現在のモデルは多大な監督を必要とし、小さな摂動で失敗する。

FAQ 質問：著者によると、なぜフロンティアラボは過大評価されているのか？

FAQ 回答：それらは完全自動化の物語で評価されているが、現在のモデルは多大な監督を必要とし、小さな摂動で失敗する。