Lab AI terdepan memikul tanggung jawab besar dalam melatih, mengevaluasi, dan menerapkan model secara aman. Penilaian pihak ketiga adalah bagian penting untuk menyeimbangkan tanggung jawab tersebut, memperluas peluang masukan tentang keamanan AI, menjaga dunia tetap terinformasi, dan menjaga akuntabilitas lab terhadap klaim keamanan yang jelas dan didukung secara independen. Sebagai bagian dari upaya kami untuk mengikuti perkembangan terdepan, OpenAI berkomitmen untuk mendukung penilaian independen dengan tingkat akses yang mendalam di seluruh pelatihan, evaluasi, dan penerapan. Akses tersebut harus memungkinkan penilai untuk menantang asumsi kami, mengidentifikasi risiko yang mungkin kami lewatkan, dan mencapai kesimpulan mereka sendiri tentang efektivitas perlindungan kami.

Kami telah lama bekerja dengan penilai pihak ketiga pada berbagai tahap proses pengembangan dan penerapan model. Kami juga telah memasukkan penilaian pihak ketiga ke dalam praktik Kerangka Kesiapan kami dan mendukung organisasi serta legislasi yang menganjurkan proses yang lebih ketat dan akuntabel. Sepanjang keterlibatan ini, kami telah menyediakan bentuk akses yang mendalam, termasuk informasi tentang perlindungan teknis kami, akses rantai pemikiran yang terlihat, dan tingkat data rahasia serta akses penerapan internal yang belum pernah terjadi sebelumnya untuk respons insiden dan red teaming pemantauan. Prioritas dan prinsip yang dibagikan di sini berfokus pada keterlibatan kami dengan organisasi penilaian independen di sektor swasta dan nirlaba pada penilaian keamanan teknis. Ini melengkapi pekerjaan kami dengan pemerintah dalam pengujian dan evaluasi, di mana peran dan tanggung jawab yang berbeda mungkin memerlukan pendekatan yang berbeda.

Membuat penilaian ini efektif memerlukan mekanisme independensi yang kuat, ketelitian ilmiah, praktik keamanan yang kokoh, dan tanggung jawab yang jelas. Lab memiliki tanggung jawab untuk memungkinkan pengawasan yang bermakna sambil melindungi informasi sensitif. Lab dan penilai independen berbagi tanggung jawab untuk melakukan ini dengan benar, dan harus beroperasi dengan standar internasional bersama untuk praktik keselamatan dan keamanan. Di bawah ini, kami mengusulkan empat area prioritas untuk penilaian yang lebih mendalam, bersama dengan prinsip untuk kerja yang teliti, aman, dan independen.

Area prioritas untuk penilaian: Penilaian pihak ketiga paling berguna ketika mereka menjawab pertanyaan spesifik dan konsekuensial: Apakah bukti mendukung kasus keamanan dan klaim keamanan lab? Apakah evaluasi cukup menguji risiko yang ingin mereka ukur? Apakah perlindungan berfungsi dalam kondisi realistis? Penilaian yang dijelaskan di sini dimaksudkan untuk mengambil bentuk yang berbeda tergantung pada pertanyaan keamanan yang diperiksa. Kami berharap dapat mendukung beberapa penilaian secara paralel dan dalam periode waktu yang berbeda, beberapa berlangsung berminggu-minggu dan lainnya beberapa bulan. Meskipun penilaian pihak ketiga juga dapat menjadi bagian dari pekerjaan pra-penerapan dan dapat menginformasikan keputusan penerapan, pekerjaan yang dijelaskan di sini umumnya bersifat jangka panjang dan tidak bergantung pada peluncuran—berfokus pada pemeriksaan klaim keamanan tertentu secara mendalam dari waktu ke waktu. Dalam area prioritas dan prinsip kami, kami merujuk pada klaim keamanan dan kasus keamanan. Apa yang kami maksud dengan istilah-istilah ini adalah sebagai berikut: Kami mengusulkan empat area prioritas untuk penilaian yang lebih mendalam, bersama dengan prinsip untuk kerja yang teliti, aman, dan independen. Penilaian independen atas kasus keamanan, mencakup pelatihan, evaluasi, penerapan internal dan penerapan eksternal. Penilaian kasus keamanan memerlukan keahlian dalam penyelarasan, metode kontrol seperti pemantauan, keamanan siber, penyalahgunaan biologis dan kimia, dan red teaming. Kasus keamanan terdiri dari klaim termasuk pelatihan, evaluasi kemampuan, dan perlindungan, yang dapat dinilai secara keseluruhan atau sebagian (lihat prioritas 2 dan 3 di bawah). Beberapa penilai kemungkinan perlu memeriksa bagian yang berbeda dari kasus tersebut, dengan memanfaatkan keahlian masing-masing. Bersama-sama, penilaian mereka harus menjawab pertanyaan seperti: Apakah bukti untuk kasus keamanan pelatihan, evaluasi, dan penerapan terbukti? Apakah kondisi kasus keamanan diikuti selama pelatihan, evaluasi...

FAQ T: Apa prioritas OpenAI untuk penilaian pihak ketiga?

FAQ J: OpenAI mengusulkan empat area prioritas untuk penilaian yang lebih mendalam, bersama dengan prinsip untuk kerja yang teliti, aman, dan independen. Ini termasuk penilaian independen atas kasus keamanan yang mencakup pelatihan, evaluasi, penerapan internal dan penerapan eksternal.