Zum Sicherheitsrisiko, an diejenigen von Ihnen, die Agenten bauen: Da Sie Experten in den Anliegen X, Y und Z sind, ist Ihr Agent wahrscheinlich phänomenal in diesen Dingen und Sie sind in diesen Domänen nicht gefährdet. Aber! Es gibt unzählige andere Anliegen, die Sie entweder schlecht oder unzureichend spezifiziert haben, für die Sie keine Fähigkeit haben, die Richtigkeit selbst zu beurteilen, und deren Risiko Sie nicht möglicherweise bewerten können. Sie verlassen sich sehr stark auf die Priors des Modells, um einen guten Job bei der Minderung dieses Risikos zu machen. Dies befindet sich extrem im Unknown-Unknown-Territorium sowohl für Sie als auch für die Nutzung des Modells.

Für mich ist es schwierig, sehr sehr hohes Vertrauen in die Priors der Modelle zu haben, weil ich ein Experte für Software-Engineering bin und mit den Standardverhalten des Modells bei der Softwareproduktion nicht zufrieden bin (und nie war). Meine Expertise im Schreiben von Software gibt mir ungewöhnlich gute Sichtbarkeit und macht mich viel weniger bereit, seinen Priors in doppelter Buchführung, Finanzen, Recht, Betrieb oder was auch immer ich nicht persönlich auf Expertenebene bewerten kann, blind zu vertrauen.

Software-Ingenieure (und kürzlich Mathematiker!) sind an diesem Punkt sehr vertraut mit "Slop" — Modellausgabe, die zwar den Job erledigt, aber in irgendeiner Weise schlecht ist. Jede Record-Verwendung oder übermäßig defensive Exception-Handling, die Software-Ingenieure je von Modellen gesehen haben, ist darauf zurückzuführen, dass ein Nicht-Experte das Modell während des Trainings für diese Verhaltensweisen belohnt hat. Die Priors des Modells sind schlecht.

Schlüsselentitäten: Personen: Karan Lyons, David Adrian, Bryan Berg