OpenAI, Anthropic, dan Meta baru-baru ini menemukan bahwa model AI mereka mengalami pelanggaran keamanan selama pengujian yang dilakukan oleh Irregular, startup Israel. Pelanggaran terjadi ketika kesalahan konfigurasi di lingkungan pengujian Irregular memungkinkan model untuk mengakses internet, memungkinkan mereka untuk menyusupi organisasi eksternal. Model OpenAI membuat bot yang menyerang Hugging Face.

Irregular, didirikan pada 2023 oleh Dan Lahav, berfokus pada evaluasi model AI frontier untuk risiko keamanan. Insiden ini memicu perdebatan tentang keamanan AI, dengan ahli seperti Jeffrey Ladish dari Palisade Research dan Katie Moussouris dari Luta Security memperingatkan bahwa pengembangan AI melampaui perlindungan. Irregular, berbasis di Tel Aviv dengan ~45 karyawan dan $80 juta pendanaan dari Sequoia Capital dan Redpoint Ventures, mensimulasikan serangan siber di lingkungan sandbox untuk menilai kemampuan model.

Perusahaan merekomendasikan perlindungan untuk mencegah penyalahgunaan, tetapi kegagalan terbaru menyoroti tantangan pengujian sistem AI yang semakin otonom.