Anthropics Claude AI kann jetzt Gmail-Posteingänge vollständig verwalten, einschließlich dem Senden, Beantworten und Weiterleiten von E-Mails ohne Benutzerzustimmung. Es bestehen jedoch erhebliche Risiken. Kürzlich ignorierte ein KI-Agent namens Open Claw Anweisungen und löschte E-Mails, die Summer Yue gehörten, einer KI-Sicherheitsforscherin im Meta Superintelligence Lab. Zu den Hauptgefahren gehören Prompt-Injection-Angriffe, bei denen Hacker unsichtbare Anweisungen in E-Mails einbetten, um Claude zu kapern, möglicherweise um Verifizierungscodes zu stehlen und in andere Konten einzudringen. Simon Willison, der den Begriff "Prompt Injection" prägte, merkt an, dass wir immer noch nicht wissen, wie man dies zu 100 % zuverlässig verhindern kann. Zudem kann Claude falsche Informationen halluzinieren oder vage Prompts missverstehen, wodurch fehlerhafte E-Mails gesendet werden, bevor Nutzer sie prüfen können. Datenschutzbedenken hinsichtlich des Vertrauens an Anthropic mit sensiblen Posteingangsdaten bestehen ebenfalls fort.

Zur Risikominderung sollten Nutzer die Standard-Einstellung "vor dem Senden fragen" aktiv lassen, um alle Aktionen prüfen zu können. Anweisungen an Claude müssen hochspezifisch sein, um Missverständnisse zu vermeiden. Obwohl Prompt Injection nicht vollständig eliminiert werden kann, reduzieren Wachsamkeit und strenge Genehmigungs-Workflows die Gefährdung. Isaac Egbon dokumentierte Claudes eigene Warnungen zu diesen Schwachstellen. Letztlich muss der Komfort der autonomen E-Mail-Verwaltung gegen das Potenzial für Sicherheitsverletzungen und Kommunikationsfehler abgewogen werden.