Mengenai risiko keamanan, bagi Anda yang membangun agen: Karena Anda ahli di kekhawatiran X, Y, dan Z, agen Anda kemungkinan besar fenomenal di hal-hal tersebut dan Anda tidak berisiko di domain-domain itu. Tapi! Ada kekhawatiran lain yang tak terhitung jumlahnya yang Anda tentukan dengan buruk atau tidak lengkap, tidak memiliki kemampuan menilai kebenarannya sendiri, dan tidak mungkin menilai risikonya. Anda sangat bergantung pada prior model untuk melakukan pekerjaan bagus memitigasi risiko itu. Ini sangat di wilayah unknown-unknown bagi Anda dan penggunaan model.

Bagi saya, sulit memiliki kepercayaan sangat tinggi pada prior model karena saya insinyur software ahli dan saya tidak puas (dan tidak pernah) dengan perilaku default model saat memproduksi software. Keahlian saya menulis software memberi visibilitas yang sangat baik dan membuat saya jauh kurang mau percaya buta pada prior-nya di akuntansi double-entry, keuangan, hukum, operasi, atau apapun yang tidak bisa saya evaluasi sendiri di kedalaman ahli.

Insinyur software (dan baru-baru ini, ahli matematika!) pada titik ini sangat familiar dengan "slop"—output model yang, meski menyelesaikan pekerjaan, buruk di beberapa cara. Setiap penggunaan Record atau penanganan exception berlebihan defensif yang insinyur software pernah lihat dari model karena non-ahli memberi reward pada model untuk perilaku itu saat training. Prior model buruk.

Entitas Kunci: Orang: Karan Lyons, David Adrian, Bryan Berg