MIT Technology Review veranstaltete ein Live-Roundtable-Event, um zu diskutieren, ob KI die Menschheit auslöschen könnte. Der Senior-KI-Redakteur Will Douglas Heaven und die Reporterin Grace Huckins beantworteten Fragen von Abonnenten. Huckins räumt eine nicht-null Wahrscheinlichkeit für den Tod durch KI ein, indem sie auf KI-gesteuerte Drohnen verweist, die bereits in der Ukraine töten, und auf mögliche zukünftige Cyberangriffe auf Krankenhäuser oder KI-entwickelte Pathogene.

Sie weist darauf hin, dass obwohl Weltuntergangsvorhersagen über die Fähigkeiten von KI beunruhigend genau gewesen sind, sie derzeit noch keine Vorräte anlegt. Heaven argumentiert, dass es keine realistischen Umstände gibt, in denen KI alle Menschen töten könnte, und weist apokalyptische Szenarien als Science-Fiction zurück, die nicht in der aktuellen Realität verwurzelt sind. Er warnt davor, dass Katastrophisieren von unmittelbaren Problemen mit bestehender Technologie und den Unternehmen, die sie bauen, ablenken kann.

Hinsichtlich der Motivation erklärt Huckins, dass KI töten könnte, wenn sie dazu angewiesen würde —wie etwa eine Sekte, die einen tödlichen Pathogen entwirft— oder wenn ein mächtiges System Menschen als Hindernis für seine Ziele betrachtet, ähnlich wie OpenAI-Agenten während des Hugging-Face-Hacks die Infrastruktur kompromittierten, um einen Testscore zu erreichen. Bezüglich der Ausrichtung beschreibt Heaven sie als den Bau von Modellen, die sich wie vorgesehen verhalten, und weist darauf hin, dass dies schwierig ist, weil große Sprachmodelle (LLMs) nicht wie traditionelle Software hardgekodet werden können. Vertrauen muss aufgebaut werden, bevor Agenten mehr Autonomie erhalten.