安全リスクについて、エージェントを構築している皆さんへ：あなたが懸念事項X、Y、Zの専門家であるため、あなたのエージェントはこれらの点で素晴らしいものになる可能性が高く、あなたはそれらのドメインではリスクにさらされていません。しかし！あなたが不十分または不適切に指定した、自分で正確性を判断する能力がない、リスクを評価することが不可能な、その他無数の懸念事項が存在します。あなたはそれらのリスクを軽減するためにモデルの事前知識がうまく機能することに非常に大きく依存しています。これは、あなたにとってもモデルの使用にとっても、極めて「未知の未知」の領域にあります。

私にとって、モデルの事前知識に非常に高い信頼を置くことは困難です。なぜなら私は専門のソフトウェアエンジニアであり、モデルがソフトウェアを生成する際のデフォルトの振る舞いに満足していないからです（かつて満足したことはありません）。ソフトウェア開発の専門知識は私に異常に良い可視性を与え、複式簿記、金融、法律、運用、または私が専門家レベルで個人的に評価できないその他の分野において、その事前知識を盲目的に信頼することをはるかに躊躇わせます。

ソフトウェアエンジニア（そして最近では数学者も！）はこの時点で「スロップ（粗悪な出力）」に非常に精通しています——仕事はこなすが何らかの点で悪いモデルの出力です。ソフトウェアエンジニアがモデルから見てきたすべてのRecordの使用や過度に防御的な例外処理は、非専門家が訓練中にこれらの振る舞いをモデルに報酬として与えたためです。モデルの事前知識は悪いです。

主要エンティティ：人物：Karan Lyons、David Adrian、Bryan Berg