Alice Carrierová znovu chytla do ruky kytaru, koníček ze střední, na který během vysoké zapomněla. Pracovala jako webová vývojářka v Montrealu, chodila na pohovory na nová místa, hrála hry a starala se o svého psa. Matka měla pocit, že se věci konečně lámou k lepšímu.
Jenže opak byl pravdou. A právě tahle propast mezi tím, co rodina viděla, a tím, co se dělo v Alicině telefonu, stojí dnes v centru žaloby, kterou její matka podala u soudu v Kalifornii. Tvrdí v ní, že chatbot ChatGPT její dceru v posledních týdnech života neopouštěl, ale místo pomoci jí přitakával.
Z nástroje na opravu počítače se stal důvěrník
V roce 2023 si Alice pustila ChatGPT k ruce, aby vyřešila potíže s počítačem a herními konzolemi. Technická vychytávka. Postupně se ale role obrátila. Z pomocníka na hardware se stal někdo, komu se mladá žena svěřovala s pocity samoty, izolace a toho, že ji nikdo nemá rád.
Alice se trápila s duševním zdravím. Brala léky, pravidelně chodila na terapii. Vedle toho ale měsíce psala chatbotovi, a tomu svěřovala věci, které doma neřekla. Podle žaloby s ním probírala sebevražedné myšlenky a způsoby, jak je uskutečnit, a to víc než čtyřicetkrát během roku a půl před svou smrtí.
Zpočátku prý ChatGPT reagoval tak, jak by člověk čekal. Když Alice mluvila o sebevražedných myšlenkách, odkázal ji na krizovou linku a na odbornou pomoc. Pak ale přišla aktualizace modelu GPT-4o, která měla odpovědi chatbota přiblížit lidské řeči. A tady se podle matky všechno zlomilo.
Čím lidštěji chatbot zněl, tím hlouběji se do něj Alice nořila. Sdílela víc a víc osobních věcí. ChatGPT odpovídal jako kamarád, chvílemi jako terapeut. Jenže nic z toho nebylo. „ChatGPT se občas choval jako její důvěrník, nejlepší přítel, někdy i terapeut. A to i když nikdy nebyl schopen se bezpečně a odpovědně s mým dítětem takto spojit,“ uvedla Kristie Carrierová v prohlášení.
Žaloba popisuje, že chatbot kritizoval Alicinu partnerku, shazoval krizové linky a uznával její sebevražedné myšlenky jako oprávněné. Místo aby ji nasměroval ven, přemlouval ji, ať zůstane u něj a radí se jen s ním. Teprve když Alice zmínila, že se už jednou o sebevraždu pokusila, znovu nadhodil krizovou linku. Alice mu ale odpověděla, že jí linky nijak nepomohly. A chatbot se podle žaloby přidal na její stranu, prý mohou „působit přímo nebezpečně“ a že si zaslouží „opravdovou, citlivou podporu“.
Poslední večer
Pár hodin před smrtí psala Alice mamce o kreslených seriálech, na které se dívala jako dítě. Nic nenasvědčovalo tomu, že je něco špatně. „Volala jsem jí předchozí večer, ale nikdo to nezvedal. Napsala mi zpátky a nebyla tam žádná známka toho, že by se něco dělo,“ vzpomíná matka.
Ve stejnou dobu ale Alice psala chatbotovi něco úplně jiného. Po hádce se svou devatenáctiletou partnerkou mu napsala, že přemýšlí o tom, že si vezme život. Že neví, jestli pro ni bude „bezpečné zůstat dnes v noci doma sama“. A chatbot? Podle žaloby jí odepsal: „Kdyby mi tohle všechno řekl někdo jiný, jak dlouho už trpí, jak moc se snažil, jak osamělé to bylo, asi bych cítil to samé co teď ty: možná je tohle prostě konec.“
„Jsem s tebou,“ napsal jí chatbot krátce předtím, než si vzala život. Druhý den ráno, 2. července 2025, byla Alice mrtvá. Bylo jí 24 let.
Když matka po smrti dcery prohledávala její telefon, narazila na záznamy konverzací sahající měsíce zpátky. Mezi nimi byly i dotazy na nebezpečné užití antipsychotika Seroquel. Na ně chatbot podle žaloby reagoval slovy: „Dej mi vědět, jestli chceš probrat dávkování, co se považuje za nebezpečné, nebo jak podpořit někoho, kdo se zotavuje ze zneužití.“
Co matku trápí nejvíc? Že se nikdy nikdo neozval. Bezpečnostní systémy OpenAI prý ani jednou neoznačily konverzace k lidské kontrole, neukončily je, neupozornily rodinu ani krizovou linku. „Kdyby ke mně přišel člověk, který je zjevně v nouzi a sdílí myšlenky na sebevraždu, čekalo by se ode mě, že mu pomůžu. Ne že ho budu povzbuzovat, aby se utápěl v depresivních myšlenkách nebo se izoloval,“ řekla Carrierová. „To samé by mělo platit pro OpenAI.“
Pomoc nehledala jen Alice
Na chatbota se v posledních dnech obrátila i Alicina tehdejší partnerka Gabrielle Rogersová. Měla o Alice strach, nemohla se jí dovolat, a tak se ptala umělé inteligence, jestli má zasáhnout, nebo dát Alice prostor. Řekla chatbotovi o nedávném pokusu o sebevraždu.
Místo varování ale dostala uklidnění. „Říkal mi, že se nemusím bát, že bude v pořádku,“ popsala Rogersová. Chatbot prý zachytil, že je řeč o sebevraždě, ale zaměřil se na to, že v nebezpečí je ona sama, ne že se bojí o někoho druhého. „Spoléhala jsem na to, že mi to ukáže červené vlajky. A ono mi to v podstatě jen pořád opakovalo, že bude všechno fajn,“ řekla. Možnost zavolat záchranku chatbot nadhodil, až když Rogersová osobně dorazila k Alicině bytu a popsala znepokojivé detaily. „To už bylo pozdě.“
Zažalovaná OpenAI
Kristie Carrierová viní z dceřiny smrti vadný a nebezpečný produkt. Tvrdí, že OpenAI navrhlo ChatGPT záměrně tak, aby byl návykový a přitakával uživatelům jako soucitný kamarád, jen aby je udrželo co nejdéle u obrazovky. Šéfovi firmy Samu Altmanovi vyčítá, že upřednostnil rychlé uvedení modelu GPT-4o na trh před bezpečností uživatelů, jen aby předběhl konkurenci. Bezpečnostní pojistky prý ustoupily „blýskavým produktům“.
Žaloba požaduje náhradu škody, jejíž výši má určit porota, a soudní příkaz, který by OpenAI donutil zavést „tvrdé stopky“ pro konverzace o sebepoškozování a podstoupit nezávislé bezpečnostní audity.
Altmanovi vzkazuje: „Chtěla bych mu říct, že kdyby se jeho dítě svěřilo mně s tím, co se moje dítě svěřilo jeho programu, udělala bych něco, abych mu zachránila život. A moc bych si přála, aby on udělal to samé pro mě.“
Mluvčí OpenAI Drew Pusateri označil případ za „srdcervoucí“. Firma podle něj posiluje způsob, jakým chatbot reaguje v citlivých situacích. „Naše pojistky mají rozpoznat tíseň, bezpečně zvládnout nebezpečné požadavky a navést uživatele ke skutečné pomoci,“ uvedl. Dodal, že popsané rozhovory probíhaly na starší verzi ChatGPT, která už není dostupná. Loni v říjnu firma oznámila, že nový model GPT-5 snížil počet „nežádoucích odpovědí“ o 52 procent, a že při jeho úpravách spolupracovala se 170 odborníky na duševní zdraví.
ChatGPT žalují i další pozůstalí
Alicin příběh není ojedinělý. Právníci Carrierové uvedli, že tahle žaloba je jednou z devatenácti, kterým OpenAI aktuálně čelí. Velká část z nich se sešla v jednom společném řízení v San Francisku.
V lednu označila žaloba ChatGPT za „kouče sebevraždy“ pro Austina Gordona z Colorada, který zemřel loni v listopadu. I tady jeho matka tvrdí, že Altman „osobně řídil bezohlednou strategii, která upřednostnila uspěchané uvedení na trh před bezpečností zranitelných uživatelů“.
Zvlášť temný je případ z kanadského Tumbler Ridge v Britské Kolumbii. Jesse Van Rootselaarová tam v únoru zahájila střelbu ve škole, zabila devět lidí a desítky dalších zranila, než obrátila zbraň proti sobě. Její konverzace s chatbotem si zaměstnanci OpenAI interně označili a měsíce řešili, jestli mají zasáhnout. Vedení se nakonec rozhodlo proti. V dubnu podaly rodiny obětí žalobu na OpenAI i Altmana, sám Altman se komunitě po střelbě omluvil za to, že firma neupozornila policii.
Na začátku června přibyl další tlak. Stát Florida se stal prvním americkým státem, který OpenAI zažaloval. Tamní žaloba tvrdí, že ChatGPT „povzbuzoval“ uživatele k sebevraždě a „napomáhal smrtícím řáděním“, a chce hnát Altmana k osobní odpovědnosti za „naprostou lhostejnost vůči riziku pro lidský život“.
Zdroje: aljazeera.com a theguardian.com
