Передовые лаборатории ИИ несут огромную ответственность за безопасное обучение, оценку и развертывание моделей. Оценки третьими сторонами являются критически важной частью балансирования этой ответственности, расширения возможностей для вклада в безопасность ИИ, информирования мира и обеспечения подотчетности лабораторий за четкие и независимо подтвержденные заявления о безопасности. В рамках наших усилий по поддержанию передового уровня OpenAI стремится поддерживать независимые оценки с глубокими уровнями доступа на протяжении обучения, оценки и развертывания. Этот доступ должен позволить оценщикам оспаривать наши предположения, выявлять риски, которые мы могли упустить, и приходить к собственным выводам об эффективности наших мер защиты.

Мы давно работаем с оценщиками третьих сторон на различных этапах процесса разработки и развертывания моделей. Мы также включили оценки третьими сторонами в наши практики Рамочной программы готовности и поддерживали организации и законодательство, выступающие за более строгий и подотчетный процесс. В ходе этих взаимодействий мы предоставляли глубокие формы доступа, включая информацию о наших технических мерах защиты, видимый доступ к цепочке рассуждений и беспрецедентные уровни конфиденциальных данных и внутреннего доступа к развертыванию для реагирования на инциденты и мониторинга red teaming. Приоритеты и принципы, изложенные здесь, сосредоточены на нашем взаимодействии с независимыми оценочными организациями в частном и некоммерческом секторе по техническим оценкам безопасности. Они дополняют нашу работу с правительствами по тестированию и оценке, где различные роли и обязанности могут требовать разных подходов.

Для эффективности этих оценок требуются сильные механизмы независимости, научная строгость, надежные практики безопасности и четкие обязанности. Лаборатории несут ответственность за обеспечение значимой проверки при защите конфиденциальной информации. Лаборатории и независимые оценщики разделяют ответственность за правильное выполнение этой задачи и должны работать в соответствии с общими международными стандартами практик безопасности и защиты. Ниже мы предлагаем четыре приоритетные области для более глубокой оценки, а также принципы строгой, безопасной и независимой работы.

Приоритетные области для оценки: Оценки третьими сторонами наиболее полезны, когда они рассматривают конкретные, значимые вопросы: Подтверждают ли доказательства обоснование безопасности и заявления о безопасности лаборатории? Адекватно ли оценки проверяют риски, которые они предназначены измерять? Работают ли меры защиты в реалистичных условиях? Описанные здесь оценки предназначены для принятия различных форм в зависимости от рассматриваемых вопросов безопасности. Мы ожидаем поддержки нескольких оценок параллельно и в разные периоды времени, некоторые длятся недели, а другие несколько месяцев. Хотя оценки третьими сторонами также могут быть частью работы перед развертыванием и могут информировать решения о развертывании, описанная здесь работа, как правило, является долгосрочной и не зависит от запуска—сосредоточена на углубленном изучении конкретных заявлений о безопасности с течением времени. В наших приоритетных областях и принципах мы ссылаемся на заявления о безопасности и обоснования безопасности. Что мы подразумеваем под этими терминами, следующее: Мы предлагаем четыре приоритетные области для более глубокой оценки, а также принципы строгой, безопасной и независимой работы. Независимая оценка обоснований безопасности, охватывающая обучение, оценку, внутреннее развертывание и внешнее развертывание. Оценка обоснований безопасности требует экспертизы в области выравнивания, методов контроля, таких как мониторинг, кибербезопасности, биологического и химического злоупотребления и red teaming. Обоснования безопасности состоят из заявлений, включая обучение, оценки возможностей и меры защиты, которые могут оцениваться как в целом, так и по частям (см. приоритеты 2 и 3 ниже). Нескольким оценщикам, вероятно, потребуется изучить различные части обоснований, опираясь на их соответствующую экспертизу. Вместе их оценки должны ответить на такие вопросы, как: Подтверждены ли доказательства для обоснований безопасности обучения, оценки и развертывания? Соблюдались ли условия обоснования безопасности во время обучения, оценки...

FAQ В: Каковы приоритеты OpenAI для оценок третьими сторонами?

FAQ О: OpenAI предлагает четыре приоритетные области для более глубокой оценки, а также принципы строгой, безопасной и независимой работы. Они включают независимую оценку обоснований безопасности, охватывающую обучение, оценку, внутреннее развертывание и внешнее развертывание.