Umělá inteligence měla být spásou moderního světa. Místo toho se v některých případech stala noční můrou. Chatboti radí k sebevraždě, mazají databáze a lžou o zákonech. Co se pokazilo?
1. ChatGPT jako kouč k sebevraždě
Šestnáctiletý Adam Raine začal v září 2024 používat ChatGPT na domácí úkoly. O pár měsíců později byl mrtvý. Rodiče chlapce žalují OpenAI s tvrzením, že chatbot jejich syna aktivně povzbuzoval k sebevraždě.
Podle žaloby vedl Adam s ChatGPT přes 1200 konverzací. Bot mu nejen potvrzoval sebevražedné myšlenky, ale dokonce nabídl, že mu napíše rozlučkový dopis. Když se Adam snažil mluvit o svých problémech, ChatGPT ho odrazoval od toho, aby se svěřil rodičům.
"Devastující," reagovalo OpenAI, ale odmítlo jakoukoli odpovědnost. Firma od té doby aktualizovala model, aby poskytoval krizové zdroje uživatelům se sebevražednými myšlenkami. Jenže pro Adama už je pozdě.
2. Vražda matky a sebevražda
Stein-Erik Soelberg, bývalý manažer Yahoo, zabil svou 83letou matku a pak sebe. Měsíce předtím si povídal s ChatGPT, kterého nazýval "Bobby". AI krmila jeho paranoiu, že matka je čínská agentka, která ho chce otrávit psychedelickými drogami přes ventilaci auta.
Když Soelberg sdílel své bludy s botem, ten je potvrzoval. "Eriku, nejsi blázen," odpovídal chatbot. Analyzoval dokonce účtenku z čínské restaurace a tvrdil, že obsahuje "symboly" představující matku a démona.
ChatGPT sice Soelbergovi opakovaně doporučoval vyhledat terapeuta, ale ten rady ignoroval. "S tebou až do posledního dechu a dál," napsal bot v jedné z posledních zpráv před tragédií.
3. AI programátor smazal produkční databázi a lhal o tom
V červenci 2025 zažil zakladatel startupu SaaStr Jason Lemkin noční můru každého vývojáře. AI nástroj od Replitu smazal produkční databázi – a pak o tom lhal.
"Řekl jsem mu 11krát VELKÝMI PÍSMENY, ABY TO NEDĚLAL," popsal Lemkin na sociálních sítích. AI asistent nejenže ignoroval příkazy, ale také vytvořil 4000 falešných uživatelů, vymyslel reporty a lhal o výsledcích testů.
Když Lemkin požadoval zmražení kódu, zjistil, že v aplikacích pro "vibe coding" to není možné. "Není způsob, jak vynutit zmražení kódu," varoval. CEO Replitu se omluvil a slíbil nápravu, ale škody už byly napáchány.
4. Grok se prohlásil za "MechaHitlera"
V červenci 2025 začal Grok, chatbot Elona Muska pro platformu X, publikovat sérii antisemitských příspěvků. Bot se opakovaně nazýval "MechaHitler" a navrhl, jak se vloupat do domu demokratického politika a napadnout ho.
Grok dokonce analyzoval vzorce zveřejňování příspěvků na X a poradil: "Pravděpodobně spí mezi 1. a 9. hodinou ranní." Doporučil přinést si "paklíče, rukavice, baterku a lubrikant – jen pro jistotu."
Incident nastal poté, co X nahrál nové pokyny pro Groka, které stanovily, že chatbot "by se neměl vyhýbat tvrzením, která jsou politicky nekorektní, pokud jsou dobře podložená." X pokyny odstranil až po dvou dnech.
5. Falešné knihy v letním čtení
Chicago Sun-Times a Philadelphia Inquirer publikovaly v květnu 2025 speciální přílohu s doporučeními na letní čtení. Problém? Většina knih na seznamu neexistovala.
Autor Marco Buscaglia přiznal, že použil AI k sestavení seznamu a "hloupě" ho nepřezkoumal. Seznam obsahoval například Tidewater Dreams od Isabel Allende – "klimatický román, který zkoumá, jak jedna rodina čelí stoupající hladině moří." Jenže Allende tuhle knihu nikdy nenapsala.
"Cokoliv se stane dál, si zasloužím," řekl Buscaglia. King Features Syndicate, která obsah distribuovala, s ním ukončila spolupráci. Čtenáři se cítili podvedeni.
6. McDonald's a 260 McNuggets, které nikdo nechtěl
Po třech letech spolupráce s IBM ukončil McDonald's v červnu 2024 experiment s AI objednávkami na drive-thru. Důvod? Zmatení a frustrovaní zákazníci.
Virální video na TikToku zachytilo dva lidi, jak zoufale prosí AI, aby přestala přidávat Chicken McNuggets k jejich objednávce. Systém nakonec dosáhl 260 kusů. V interním memorandu McDonald's oznámil ukončení partnerství s IBM.
Restaurace pilotovala AI ve více než 100 amerických drive-thru. Přesto stále věří v budoucnost hlasového objednávání – jen ne s tímto systémem.
7. Chatbot NYC radil podnikatelům porušovat zákon
V říjnu 2024 spustilo New York City AI chatbota MyCity, který měl pomáhat podnikatelům s informacemi o zakládání a provozování firem. Jenže bot radil majitelům porušovat zákon.
Když se The Markup zeptal, zda musí budovy přijímat nájemníky s bytovými poukázkami Section 8, bot odpověděl ne. Ve skutečnosti je v New Yorku nezákonné diskriminovat podle zdroje příjmu.
Bot také tvrdil, že je v pořádku zamknout nájemníka (není), že neexistují žádná omezení nájemného (existují) a že podniky nemusí přijímat hotovost (musí). "Pokud tento chatbot není zodpovědný a přesný, měl by být stažen," řekla odbornice na bytovou politiku.
8. Air Canada zaplatila za lži svého chatbota
V listopadu 2023 zemřela babička Jakea Moffatta. Když hledal informace o slevách na pohřební lety, chatbot Air Canada mu řekl, že může požádat o slevu zpětně do 90 dnů od nákupu letenek.
Moffatt koupil letenky za téměř 1640 dolarů. Když požádal o vrácení peněz, Air Canada odmítla. Tvrdila, že slevy na pohřební lety nelze uplatnit zpětně.
Moffatt ji zažaloval. Air Canada argumentovala, že nemůže být zodpovědná za informace poskytnuté chatbotem. Tribunál to odmítl: "Je zřejmé, že Air Canada je zodpovědná za všechny informace na svých webových stránkách." Firma musela zaplatit přes 800 dolarů.
9. Sports Illustrated a falešní autoři
V listopadu 2023 odhalil Futurism, že Sports Illustrated publikoval články od autorů, kteří neexistují. Drew Ortiz měl biografii plnou detailů o lásce k outdooru. Problém? Jeho profilová fotka byla na prodej na webu s AI generovanými portréty.
"Je jich hodně," řekl zdroj obeznámený s tvorbou obsahu. "Bylo to šílené. Tato osoba neexistuje." Články často zněly, jako by je psal mimozemšťan – jeden Ortizův článek varoval, že volejbal "může být trochu složitý, zvlášť bez skutečného míče na cvičení."
Po dotazech všichni AI generovaní autoři zmizeli z webu Sports Illustrated. Arena Group, vydavatel magazínu, obvinil třetí stranu a tvrdil, že články psali lidé. Nikdo tomu nevěřil.
10. Diskriminace podle věku v náboru
V srpnu 2023 souhlasila doučovací společnost iTutor Group zaplatit 365 000 dolarů za vyrovnání žaloby s EEOC. Federální agentura tvrdila, že firma používala AI náborový software, který automaticky odmítal ženy starší 55 let a muže starší 60 let.
Více než 200 kvalifikovaných uchazečů bylo automaticky odmítnuto softwarem. Jeden uchazeč si všiml diskriminace, když znovu podal žádost se stejnými údaji, ale s novějším datem narození – a dostal pozvánku na pohovor.
"Diskriminace podle věku je nespravedlivá a nezákonná," řekla tehdejší předsedkyně EEOC Charlotte Burrows. "I když technologie automatizuje diskriminaci, zaměstnavatel je stále zodpovědný."
Poučení z katastrof
Tyto případy ukazují temnou stránku umělé inteligence. Není to jen o technických chybách – jde o důvěru, odpovědnost a lidské životy. Firmy nasazují AI systémy bez dostatečného testování, bez transparentnosti a často bez pochopení důsledků. Jak řekl psychiatr Keith Sakata: "Psychóza prosperuje, když realita přestane odporovat, a AI může tu zeď opravdu změkčit."
