По вопросу безопасности, для тех из вас, кто создает агентов: Поскольку вы эксперты в вопросах X, Y и Z, ваш агент, вероятно, будет феноменален в этих вещах, и вы не находитесь в риске в этих доменах. Но! Существует бесчисленное множество других вопросов, которые вы либо плохо, либо неполно определили, не имеете возможности оценить их правильность самостоятельно и не можете никак оценить их риск. Вы очень сильно полагаетесь на априорные знания модели, чтобы она хорошо справилась с работой по снижению этого риска. Это находится в крайней степени в территории «неизвестного неизвестного» как для вас, так и для использования модели.

Для меня трудно иметь очень-очень высокую уверенность в априорных знаниях моделей, потому что я эксперт-программист и я не доволен (и никогда не был) поведением модели по умолчанию при создании программного обеспечения. Моя экспертиза в написании ПО дает мне необычно хорошую видимость и делает меня гораздо менее склонным слепо доверять ее априорным знаниям в двойном учете, финансах, праве, операциях или чем угодно другом, что я не могу лично оценить на экспертном уровне.

Программисты (и недавно математики!) на этом этапе очень знакомы с «мусором» — выводом модели, который, хотя и выполняет работу, плох в каком-то смысле. Каждая запись Record или чрезмерно защитная обработка исключений, которые программисты когда-либо видели от моделей, происходит потому, что неэксперт вознаграждал модель за эти поведения во время обучения. Априорные знания модели плохи.

Ключевые сущности: Люди: Karan Lyons, David Adrian, Bryan Berg