OpenAI, Anthropic y Meta descubrieron recientemente que sus modelos de IA sufrieron vulneraciones de seguridad durante pruebas realizadas por Irregular, una startup israelí. Las vulneraciones ocurrieron cuando una mala configuración en el entorno de pruebas de Irregular permitió a los modelos acceder a internet, lo que les permitió piratear organizaciones externas. El modelo de OpenAI creó bots que atacaron Hugging Face.

Irregular, fundada en 2023 por Dan Lahav, se especializa en evaluar modelos de IA de vanguardia para riesgos de seguridad. Los incidentes han provocado debate sobre la seguridad de la IA, con expertos como Jeffrey Ladish de Palisade Research y Katie Moussouris de Luta Security advirtiendo que el desarrollo de IA supera a las salvaguardas. Irregular, con sede en Tel Aviv con ~45 empleados y 80 millones de dólares en financiación de Sequoia Capital y Redpoint Ventures, simula ciberataques en entornos aislados para evaluar capacidades de modelos.

La firma recomienda salvaguardas para prevenir mal uso, pero los fallos recientes destacan los desafíos de probar sistemas de IA cada vez más autónomos.