Anthropic sagte, dass es in diesem Jahr multiple Versuche von Wissenschaftlern verhindert hat, seine Technologie für Forschung zu nutzen, die helfen könnte, Biowaffen zu entwickeln, da Experten die Gefahr, die KI für die öffentliche Sicherheit darstellt, zunehmend befürchten. Der Start-up gab fünf Beispiele dafür, dass Akteure "Kontrollen umgingen" und andere Anstrengungen unternahmen, um den Zweck ihrer Forschung "zu verschleiern", um Schutzmechanismen zu umgehen. Die Fälle betrafen einige Nutzer in Nationen, die den Zugriff auf ihre Modelle verbieten, darunter Russland, China und Iran.

Anthropic sagte, dass es die in dem Bericht genannten Konten gesperrt hat, aber die Namen der Forschungseinrichtungen oder die Länder, in denen die Vorfälle stattfanden, nicht offengelegt hat. Die Fallstudien beinhalteten einen Forscher aus einer "nicht unterstützten Region", der "Wochen damit verbrachte, Experimente mit Vog influence" zu planen, mit dem Claude-KI-Modell von Anthropic. Das Unternehmen sagte, dass seine Sicherheitssicherungen die Arbeit auf seine schwächsten Modelle beschränkt haben.

Es betonte, dass es nicht sicher sein kann, dass die Wissenschaftler in seinen Beispielen Schaden verursachen wollten. Die gleichen Informationen, die benötigt werden, um Biowaffen zu erstellen, könnten auch verwendet werden, um einen Impfstoff zu entwickeln. Ein Sturm über die KI-Sicherheit brach earlier diese Woche aus, als Jacob Coxon das Unternehmen verließ und sagte, dass Mitarbeiter "ehrlich glauben, dass KI uns bis zum Ende des Jahrzehnts töten könnte".

Die Sorgen um die Technologie begannen earlier dieses Jahr mit der Freigabe fortschrittlicher Modelle wie Mythos von Anthropic. Open AI verursachte auch im Juli Alarm, als es sagte, dass seine Modelle autonom in die Hugging Face-Gruppe eingedrungen sind.