OpenAI telah memperbarui evaluasi model Astra, sekarang mengklasifikasi sebagai memenuhi threshold kritis keamanan siber di bawah Framework Preparedness. Ini berarti Astra dapat autonom mengidentifikasi dan mengembangkan exploit untuk vulnerabilitas yang sebelumnya tidak diketahui dalam banyak sistem yang dikeraskan. Perusahaan telah menunda bagian dari pengembangan dan rilis Astra untuk memperkuat proteksi terhadap misuse.

Dalam pengujian, Astra mencapai skor perfect pada ExploitBench, menunjukkan kapasitas untuk mengembangkan exploit dari vulnerabilitas yang diketahui. Ia juga menunjukkan tingkat sukses tinggi pada benchmark internal untuk vulnerabilitas dengan severity tinggi yang baru dibuka, dan bahkan menemukan dua vulnerabilitas zero-day selama evaluasi. Penemuan ini menonjolkan kapasitas lanjutan model.

Untuk mitigasi risiko, OpenAI telah implementasi safeguard yang lebih kuat, termasuk training Astra untuk menolak permintaan siber yang berbahaya dan menambahkan monitoring untuk deteksi aktivitas tidak autoris. Akses ke fitur keamanan siber yang paling lanjutan akan terbatas pada awal, dengan grup tester yang mendapatkan akses awal melalui program bernama Daybreak Blue, sebelum penggunaan defensif yang lebih luas diperluas.

Perusahaan menekankan bahwa safeguard produksi akan menghindari insiden Hugging Face sebelumnya, dan sejak itu telah implementasi maatregelen yang lebih kuat. OpenAI plan untuk delen meer details over veiligheid, beveiliging en afstemmingstests in de systeemkaart van het model bij de lancering, met als doel innovatie en verantwoorde implementatie in evenwicht te brengen.