Führende Köpfe großer KI-Unternehmen schlagen Alarm wegen der Gefahren ihrer Technologie. Anthropic-CEO Dario Amodei warnte vor ernsthaften Risiken und forderte langsameren Fortschritt, während OpenAI-CEO Sam Altman die Notwendigkeit bekräftigte, "die Grenze zu bremsen". Der frühere Anthropic-Forscher Jacob Coxon und sein Kollege Evan Hubinger warnten öffentlich, dass KI die Erschaffung tödlicher Biowaffen ermöglichen könnte, darunter genzielte Viren, erntevernichtende Pilze und nicht nachweisbare Toxine.

Eine 2022er Studie von Collaborations Pharmaceuticals zeigte, wie ein KI-Molekülgenerator in unter sechs Stunden 40.000 potenzielle chemische Kampfstoffe produzierte, einige giftiger als bekannte Nervenkampfstoffe. Stanford-Bioethik-Professor David Magnus, der Biotech-Missbrauch seit den 1990ern verfolgt, sagt, die Bedrohung habe sich dramatisch verschärft. Große Sprachmodelle liefern nun detaillierte Experimentieranleitungen, und DIY-Biotech hat Eintrittsbarrieren gesenkt.

Bestehende Schutzmaßnahmen — DNA-Lieferanten-Screening, Red- und Blue-Teaming-Reviews, KI-Tool-Anpassungen — sind nicht wasserdicht. Anthropic meldete kürzlich Versuche, seine Modelle für Virenverbesserung, Vogelgrippe und Toxin-Atlanten zu missbrauchen, was das anhaltende Katz-und-Maus-Spiel zwischen Entwicklern und böswilligen Akteuren unterstreicht.