Laut einem am Donnerstag geteilten neuen Bericht hat Anthropic mehrere Wissenschaftler erkannt und gestoppt, die seine KI-Modelle nutzten, um potenzielle Biowaffen zu erstellen. Der Bericht beschreibt fünf Fallstudien, in denen Claude für Biowaffenforschung missbraucht wurde, einschließlich Gain-of-Function-Studien am Chikungunya-Virus und der Vogelgrippe sowie der Entwicklung von Gifttoxin-Peptid-Atlanten. Anthropics biologischer Sicherheitsklassifikator erkannte diese Anfragen, was zu Kontosperrungen und Verbesserungen der Modellsicherungen führte.

Das Unternehmen betonte die Schwierigkeit, legitime Impfstoffforschung von schädlichen Anwendungen zu unterscheiden, und merkte an, dass die Absicht oft unklar sei. Jacob Klein, Leiter der Bedrohungsaufklärung bei Anthropic, beschrieb die Situationen als "unglaublich nuanciert" und betonte, dass das Unternehmen aufgrund potenzieller Folgen auf der Seite der Vorsicht blieb. Anthropic nannte die beteiligten Personen oder Institutionen nicht, da es Bedenken hinsichtlich ihrer Sicherheit und das Fehlen einer behaupteten schädlichen Absicht anführte.

Der Bericht deckt auch Missbrauch in Überwachung, Software-Exploits, Propaganda und Waffensystemen ab. Die Ergebnisse werden genutzt, um die Modellsicherungen gegen zukünftigen Missbrauch zu verbessern.