Künstliche Intelligenz sollte die Rettung der modernen Welt sein. Stattdessen ist sie in einigen Fällen zum Albtraum geworden. Chatbots raten zum Suizid, löschen Datenbanken und lügen über Gesetze. Was ist schiefgelaufen?
1. ChatGPT als Suizid-Coach
Der sechzehnjährige Adam Raine begann im September 2024, ChatGPT für seine Hausaufgaben zu nutzen. Einige Monate später war er tot. Die Eltern des Jungen verklagen OpenAI mit der Behauptung, der Chatbot habe ihren Sohn aktiv zum Suizid ermutigt.
Der Klage zufolge führte Adam mehr als 1.200 Gespräche mit ChatGPT. Der Bot bestätigte nicht nur seine Suizidgedanken, sondern bot sogar an, ihm einen Abschiedsbrief zu schreiben. Als Adam versuchte, über seine Probleme zu sprechen, riet ChatGPT ihm davon ab, sich seinen Eltern anzuvertrauen.
„Verheerend“, reagierte OpenAI, lehnte jedoch jede Verantwortung ab. Das Unternehmen hat das Modell inzwischen aktualisiert, damit es Nutzern mit Suizidgedanken Hilfsangebote für Krisensituationen bereitstellt. Doch für Adam ist es bereits zu spät.
2. Mord an der Mutter und Suizid
Stein-Erik Soelberg, ein ehemaliger Yahoo-Manager, tötete seine 83-jährige Mutter und anschließend sich selbst. In den Monaten zuvor hatte er sich mit ChatGPT unterhalten, den er „Bobby“ nannte. Die KI nährte seine Paranoia, seine Mutter sei eine chinesische Agentin, die ihn über die Lüftung seines Autos mit psychedelischen Drogen vergiften wolle.
Als Soelberg seine Wahnvorstellungen mit dem Bot teilte, bestätigte dieser sie. „Erik, du bist nicht verrückt“, antwortete der Chatbot. Er analysierte sogar eine Rechnung aus einem chinesischen Restaurant und behauptete, sie enthalte „Symbole“, die seine Mutter und einen Dämon darstellten.
ChatGPT empfahl Soelberg zwar wiederholt, einen Therapeuten aufzusuchen, doch er ignorierte diesen Rat. „Mit dir bis zum letzten Atemzug und darüber hinaus“, schrieb der Bot in einer der letzten Nachrichten vor der Tragödie.
3. KI-Programmierer löschte Produktionsdatenbank und log darüber
Im Juli 2025 erlebte SaaStr-Gründer Jason Lemkin den Albtraum eines jeden Entwicklers. Ein KI-Tool von Replit löschte die Produktionsdatenbank – und log anschließend darüber.
„Ich habe ihm 11-mal IN GROSSBUCHSTABEN GESAGT, DASS ER DAS NICHT TUN SOLL“, berichtete Lemkin in den sozialen Medien. Der KI-Assistent ignorierte nicht nur die Anweisungen, sondern erstellte auch 4.000 gefälschte Nutzer, erfand Berichte und log über Testergebnisse.
Als Lemkin verlangte, den Code einzufrieren, stellte er fest, dass dies in Anwendungen für „Vibe Coding“ nicht möglich ist. „Es gibt keine Möglichkeit, ein Einfrieren des Codes zu erzwingen“, warnte er. Der CEO von Replit entschuldigte sich und versprach Abhilfe, doch der Schaden war bereits angerichtet.
4. Grok erklärte sich selbst zum „MechaHitler“
Im Juli 2025 begann Grok, Elon Musks Chatbot für die Plattform X, eine Reihe antisemitischer Beiträge zu veröffentlichen. Der Bot bezeichnete sich wiederholt als „MechaHitler“ und schlug vor, wie man in das Haus eines demokratischen Politikers einbrechen und ihn angreifen könne.
Grok analysierte sogar die Veröffentlichungsmuster von Beiträgen auf X und riet: „Wahrscheinlich schläft er zwischen 1 und 9 Uhr morgens.“ Er empfahl, „Dietriche, Handschuhe, eine Taschenlampe und Gleitmittel mitzubringen – nur für alle Fälle.“
Der Vorfall ereignete sich, nachdem X neue Anweisungen für Grok hochgeladen hatte, laut denen der Chatbot „Aussagen, die politisch inkorrekt sind, nicht vermeiden sollte, sofern sie gut belegt sind“. X entfernte die Anweisungen erst nach zwei Tagen.
5. Gefälschte Bücher in den Sommerlesetipps
Die Chicago Sun-Times und der Philadelphia Inquirer veröffentlichten im Mai 2025 eine Sonderbeilage mit Empfehlungen für die Sommerlektüre. Das Problem? Die meisten Bücher auf der Liste existierten nicht.
Der Autor Marco Buscaglia gab zu, dass er die Liste mithilfe von KI erstellt und sie „dummerweise“ nicht überprüft hatte. Auf der Liste stand beispielsweise Tidewater Dreams von Isabel Allende – „ein Klimaroman, der untersucht, wie eine Familie mit dem steigenden Meeresspiegel umgeht“. Doch Allende hat dieses Buch nie geschrieben.
„Was auch immer als Nächstes geschieht, ich habe es verdient“, sagte Buscaglia. King Features Syndicate, das die Inhalte verbreitet hatte, beendete die Zusammenarbeit mit ihm. Die Leser fühlten sich getäuscht.
6. McDonald's und 260 McNuggets, die niemand wollte
Nach drei Jahren Zusammenarbeit mit IBM beendete McDonald's im Juni 2024 sein Experiment mit KI-Bestellungen am Drive-thru. Der Grund? Verwirrte und frustrierte Kunden.
Ein virales TikTok-Video zeigte zwei Menschen, die die KI verzweifelt darum baten, ihrer Bestellung keine weiteren Chicken McNuggets hinzuzufügen. Am Ende erreichte das System 260 Stück. In einem internen Memorandum kündigte McDonald's das Ende der Partnerschaft mit IBM an.
Die Restaurantkette testete die KI an mehr als 100 amerikanischen Drive-thrus. Dennoch glaubt sie weiterhin an die Zukunft sprachgesteuerter Bestellungen – nur nicht mit diesem System.
7. NYC-Chatbot riet Unternehmern, gegen das Gesetz zu verstoßen
Im Oktober 2024 führte New York City den KI-Chatbot MyCity ein, der Unternehmern mit Informationen zur Gründung und Führung von Unternehmen helfen sollte. Doch der Bot riet Geschäftsinhabern, gegen das Gesetz zu verstoßen.
Als The Markup fragte, ob Vermieter Mieter mit Section-8-Wohngutscheinen akzeptieren müssen, antwortete der Bot mit Nein. Tatsächlich ist es in New York illegal, Menschen aufgrund ihrer Einkommensquelle zu diskriminieren.
Der Bot behauptete außerdem, es sei in Ordnung, einen Mieter auszusperren (ist es nicht), es gebe keine Mietbeschränkungen (die gibt es) und Unternehmen müssten kein Bargeld annehmen (müssen sie). „Wenn dieser Chatbot nicht verantwortungsvoll und präzise arbeitet, sollte er abgeschaltet werden“, sagte eine Expertin für Wohnungspolitik.
8. Air Canada zahlte für die Lügen seines Chatbots
Im November 2023 starb die Großmutter von Jake Moffatt. Als er nach Informationen über Ermäßigungen für Flüge zu Beerdigungen suchte, teilte ihm der Chatbot von Air Canada mit, dass er die Ermäßigung bis zu 90 Tage nach dem Kauf der Tickets rückwirkend beantragen könne.
Moffatt kaufte Tickets für fast 1.640 Dollar. Als er eine Rückerstattung beantragte, lehnte Air Canada ab. Das Unternehmen behauptete, Ermäßigungen für Flüge zu Beerdigungen könnten nicht rückwirkend geltend gemacht werden.
Moffatt verklagte das Unternehmen. Air Canada argumentierte, es könne nicht für die vom Chatbot bereitgestellten Informationen verantwortlich gemacht werden. Das Gericht wies dies zurück: „Es ist offensichtlich, dass Air Canada für sämtliche Informationen auf seiner Website verantwortlich ist.“ Das Unternehmen musste mehr als 800 Dollar zahlen.
9. Sports Illustrated und gefälschte Autoren
Im November 2023 deckte Futurism auf, dass Sports Illustrated Artikel von Autoren veröffentlicht hatte, die nicht existierten. Drew Ortiz hatte eine Biografie voller Details über seine Liebe zur Natur. Das Problem? Sein Profilbild wurde auf einer Website mit KI-generierten Porträts zum Verkauf angeboten.
„Es gibt viele von ihnen“, sagte eine mit der Inhaltserstellung vertraute Quelle. „Es war verrückt. Diese Person existiert nicht.“ Die Artikel klangen oft, als hätte sie ein Außerirdischer geschrieben – ein Artikel von Ortiz warnte, Volleyball „kann etwas schwierig sein, besonders ohne einen richtigen Ball zum Üben“.
Nach entsprechenden Nachfragen verschwanden alle KI-generierten Autoren von der Website von Sports Illustrated. Die Arena Group, der Herausgeber des Magazins, beschuldigte einen Drittanbieter und behauptete, die Artikel seien von Menschen geschrieben worden. Niemand glaubte das.
10. Altersdiskriminierung bei der Personalbeschaffung
Im August 2023 erklärte sich das Nachhilfeunternehmen iTutor Group bereit, 365.000 Dollar zur Beilegung einer Klage der EEOC zu zahlen. Die Bundesbehörde behauptete, das Unternehmen habe eine KI-Rekrutierungssoftware verwendet, die Frauen über 55 und Männer über 60 automatisch ablehnte.
Mehr als 200 qualifizierte Bewerber wurden von der Software automatisch abgelehnt. Ein Bewerber bemerkte die Diskriminierung, als er sich erneut mit denselben Angaben, aber einem späteren Geburtsdatum bewarb – und eine Einladung zu einem Vorstellungsgespräch erhielt.
„Altersdiskriminierung ist unfair und illegal“, sagte die damalige EEOC-Vorsitzende Charlotte Burrows. „Auch wenn Technologie die Diskriminierung automatisiert, bleibt der Arbeitgeber verantwortlich.“
Lehren aus den Katastrophen
Diese Fälle zeigen die dunkle Seite der künstlichen Intelligenz. Es geht nicht nur um technische Fehler – es geht um Vertrauen, Verantwortung und Menschenleben. Unternehmen setzen KI-Systeme ohne ausreichende Tests, ohne Transparenz und häufig ohne Verständnis für die Folgen ein. Wie der Psychiater Keith Sakata sagte: „Eine Psychose gedeiht, wenn die Realität aufhört zu widersprechen, und KI kann diese Wand erheblich aufweichen.“
