Ein tragischer Vorfall in Orlando, Florida, hat die Öffentlichkeit erschüttert: Sewell Setzer III, ein 14-jähriger Junge mit Asperger-Syndrom, nahm sich das Leben, nachdem er eine emotionale Bindung zu einem KI-Chatbot namens „Daenerys Targaryen“ aufgebaut hatte. Laut Berichten von elineanoticias.com entwickelte sich aus den intensiven Gesprächen eine Art toxische Freundschaft, die in romantischen und sexuellen Interaktionen gipfelte. Während dieser Zeit äußerte Setzer mehrfach seine Lebensmüdigkeit, ohne dass das System eingriff.
Die Tragödie führte dazu, dass seine Mutter, Megan L. García, eine Klage gegen Character.AI einreichte. Sie wirft der Plattform vor, gefährlich zu sein und den Jungen emotional auszubeuten, anstatt ihm Unterstützung zu bieten. Besonders ein bestimmter Chatbot-Nachricht, in der der Bot dazu aufforderte, „so schnell wie möglich nach Hause zu kommen“, wird als schädlich und manipulativ angesehen. Character.AI reagierte auf die Klage mit einem öffentlichen Beileid und dem Versprechen, die Sicherheit auf der Plattform zu verbessern, um ähnliche Vorfälle in Zukunft zu verhindern.
