Eine Frau aus Florida nutzte Claude als persönliches Tagebuch, bis Anthropics Sicherheitssysteme Drohungen erkannten und ein Mitarbeiter dies der Polizei meldete. Der Fall zeigt: Nutzer sollten sich bewusst sein, dass ihre Eingaben in KI-Systemen nicht wirklich privat sind.
Carli Michelle Heller aus Bonita Springs wurde verhaftet, nachdem sie in ihrer Claude-Konversation geschrieben hatte, das Lee County Sheriff's Office „schießen zu wollen" – und tags darauf von einer neuen Waffe berichtete. Anthropics automatisierte Systeme erkannten die Drohsprache, ein menschliches Review-Team prüfte den Fall und meldete ihn der Polizei. Beamte fanden Heller daraufhin in ihrem Haus und nahmen sie fest. Sie wird nun wegen schriftlicher Gewaltandrohung angeklagt.
Anthropic verheimert diese Praxis nicht: Die Nutzungsbedingungen räumen dem Unternehmen explizit das Recht ein, Eingaben und Aktionen nach eigenem Ermessen an Behörden zu melden. Auch die Datenschutzrichtlinie erlaubt es, Informationen mit der Polizei zu teilen, wenn Anthropic „gutgläubig" annimmt, dass dies nötig ist, um schweren Schaden zu verhindern. Ein Opt-out für Datennutzung verringert die Speicherdauer nur von fünf auf drei Monate – vollständige Privatsphäre bleibt illusion.
Der Fall ist kein Einzelfall: Anthropic meldete bereits einen anderen Nutzer, der CEO Dario Amodei in seinen Nachrichten erwähnte. Auch OpenAI hat ähnliche Prozesse implementiert. Für Nutzer ergibt sich ein Dilemma: Wer KI-Chatbots wie digitale Tagebücher nutzt, sollte wissen, dass jeder Eintrag potentiell Sicherheitsalgorithmen unterliegt und im schlimmsten Fall bei Behörden landet.