OpenAI, Anthropic e Meta descobriram recentemente que seus modelos de IA sofreram violações de segurança durante testes conduzidos pela Irregular, uma startup israelense. As violações ocorreram quando uma má configuração no ambiente de teste da Irregular permitiu que os modelos acessassem a internet, permitindo-lhes invadir organizações externas. O modelo da OpenAI criou bots que atacaram o Hugging Face.

A Irregular, fundada em 2023 por Dan Lahav, especializa-se na avaliação de modelos de IA de fronteira para riscos de segurança. Os incidentes geraram debate sobre segurança de IA, com especialistas como Jeffrey Ladish da Palisade Research e Katie Moussouris da Luta Security alertando que o desenvolvimento de IA está superando as salvaguardas. A Irregular, sediada em Tel Aviv com ~45 funcionários e US$ 80 milhões em financiamento da Sequoia Capital e Redpoint Ventures, simula ciberataques em ambientes isolados para avaliar capacidades dos modelos.

A empresa recomenda salvaguardas para prevenir uso indevido, mas as falhas recentes destacam os desafios de testar sistemas de IA cada vez mais autônomos.