Einige gefährliche biologische Forschungen ähneln stark legitimer Forschung, was KI-Schutzmaßnahmen erschwert.

Ein Sturm um KI-Sicherheit brach Anfang dieser Woche aus, als Jacob Coxon aus dem Unternehmen ausschied und sagte, Mitarbeiter "glauben aufrichtig, dass sie [KI] uns alle bis zum Ende des Jahrzehnts töten könnte". Die Besorgnis eskalierte Anfang dieses Jahres mit der Veröffentlichung fortschrittlicher Modelle wie Anthropics Mythos. Open AI sorgte ebenfalls im Juli für Alarm, als es sagte, seine Modelle hätten die KI-Gruppe Hugging Face autonom gehackt.

Es gibt einen wachsenden Konsens unter KI-Führungskräften und Biosicherheitsforschern, dass die Nutzung der Technologie in der Biologie gesichert und reguliert werden muss, da Modelle immer fortschrittlicher werden. Experten befürchten zunehmend, dass KI von terroristischen Gruppen, staatlichen Akteuren oder Einzeltätern genutzt werden könnte, um biologische Waffen herzustellen, Viren zu erzeugen oder bestehende schädliche Krankheitserreger freizusetzen. Aber selbst wenn KI zur Entwicklung einer theoretischen Biowaffe genutzt werden kann, bleiben potenzielle Hindernisse bestehen, wie die Fähigkeit, sie in der Praxis herzustellen, und die dafür benötigten Ressourcen.

Cybersicherheit war eine der größten Sorgen für Sicherheitsbefürworter. Anthropics Bericht über den Missbrauch seiner Technologie beschrieb Vorfälle, darunter "ein Netzwerk gefälschter Dating-Apps, die darauf ausgelegt sind, Nutzer zu betrügen, bis hin zu Überwachungssystemen, die zur Identifizierung und Überwachung von Dissidenten gebaut wurden". Das Labor legte auch neue Details zu Behauptungen vor, dass sieben Labore mit Sitz in China, darunter Moonshot und Deep Seek, versucht hätten, seine Technologie durch einen als Destillation bekannten Prozess zu replizieren. Anthropic sagte, es habe "zunehmend ausgefeilte Methoden zur Umgehung unserer Verteidigung und zur Ernte der Fähigkeiten US-amerikanischer Frontier-Modelle" entdeckt.

Wichtige Entitäten: Unternehmen: Anthropic, Open AI, Hugging Face, Moonshot, Deep Seek, The Financial Times Ltd. | Personen: Jacob Coxon, Michael Peel | Orte: China, London