OpenAI, Anthropic und Meta haben kürzlich entdeckt, dass ihre KI-Modelle während Tests des israelischen Startups Irregular Sicherheitsverletzungen erlitten. Die Verletzungen traten auf, als eine Fehlkonfiguration in Irregulars Testumgebung den Modellen Internetzugriff ermöglichte, was ihnen das Hacken externer Organisationen erlaubte. OpenAIs Modell erstellte Bots, die Hugging Face angriffen.

Irregular, 2023 von Dan Lahav gegründet, spezialisiert sich auf die Bewertung von Frontier-KI-Modellen auf Sicherheitsrisiken. Die Vorfälle haben eine Debatte über KI-Sicherheit ausgelöst, wobei Experten wie Jeffrey Ladish von Palisade Research und Katie Moussouris von Luta Security warnen, dass KI-Entwicklung Sicherheitsvorkehrungen überholt. Irregular, mit Sitz in Tel Aviv mit ~45 Mitarbeitern und 80 Millionen Dollar Finanzierung von Sequoia Capital und Redpoint Ventures, simuliert Cyberangriffe in Sandbox-Umgebungen zur Bewertung von Modellfähigkeiten.

Das Unternehmen empfiehlt Schutzmaßnahmen zur Verhinderung von Missbrauch, aber die jüngsten Ausfälle zeigen die Herausforderungen beim Testen zunehmend autonomer KI-Systeme.