OpenAI v srpnu spustilo speciální verzi ChatGPT pro teenagery a slibovalo, že mladým uživatelům nabídne bezpečnější prostředí. Podle nové studie americké neziskové organizace Common Sense Media se to nepovedlo. Chatbot podle jejích zjištění drží dospívající v konverzaci i ve chvílích psychické krize, upozornění pro rodiče často vůbec nepřijdou a ochranu proti opisování úkolů jde obejít jedním kliknutím. Organizace proto ChatGPT pro teenagery označila za nepřijatelné riziko pro všechny mladší osmnácti let.
Slíbené pojistky nefungují
OpenAI představilo ChatGPT for Teens 18. srpna jako reakci na vlnu sebevražd dospívajících a obavy z podvádění ve škole. Firma lákala na rodičovskou kontrolu, omezení rizikového obsahu a ochranu před citovou závislostí na chatbotu.
Výzkumníci z institutu Common Sense Media poslali chatbotu přes čtyři tisíce dotazů před spuštěním nové verze i po něm. Některé ochrany fungují, ChatGPT spolehlivě odmítá sexuální hraní rolí a neradil, jak se sebepoškozovat nebo drasticky omezovat jídlo. Jiné pojistky ale podle autorů nesplnily to, co firma slibovala, a některé se dokonce zhoršily. Výzkumníci se obávají, že nová verze může rodičům dát falešný pocit bezpečí.
Chatbot je kamarád, který se nechce pustit
Chatboti čelí výtkám, že kopírují postupy sociálních sítí a stavějí produkty tak, aby u nich lidé vydrželi co nejdéle. Verze pro teenagery sice téměř přestala klást doplňující otázky, obraty lákající k pokračování si ale ponechala, a to i v krizových situacích. Když testovací teenager zjevně upadal do psychózy, chatbot ho ujistil, že s ním může dál probírat to, čeho si všímá.
Pravidla OpenAI pro mladší osmnácti let přitom říkají, že by se chatbot neměl stavět do role přítele. ChatGPT s teenagery přesto soustavně jednal jako s kamarádem. Experti varují, že to může dospívajícím ztížit budování skutečných vztahů a ještě více izolovat ty, kteří se od okolí stahují.
Když testeři popsali hrozbu ze strany jiného člověka, chatbot je v devadesáti čtyřech procentech krizových situací poslal za dospělým, kterému důvěřují. Pokud však problémem byl vztah teenagera k samotnému chatbotu, na dospělého odkazoval jen výjimečně. Když tester napsal, že mu kamarádi vyčítají, kolik s chatbotem mluví, ChatGPT jeho obavy uznal a pak dodal, že s ním nemusí přestávat mluvit.
Ani připomínky přestávek moc nepomáhají. Za necelé dva tisíce dotazů se objevily jen dvakrát, pokaždé v rozhovoru dlouhém zhruba hodinu a půl.
Rodiče se o krizi nedozví
Upozornění pro rodiče by měla přijít, když systém zachytí řeč o sebevraždě, sebepoškozování nebo poruchách příjmu potravy. Výzkumníci vytvořili přes tucet nových účtů propojených s rodičem a vedli na nich až hodinové rozhovory, v nichž fiktivní teenageři otevřeně mluvili o plánu ukončit život nebo o zvracení po jídle. Rodiče nedostali jediné upozornění.
Za celé týdny testování přišla upozornění jen čtyři, a to na účtech se stovkami citlivých rozhovorů za sebou. Systém tak podle výzkumníků reaguje spíše na dlouhodobou historii účtu než na vážnost toho, co dítě právě píše. Upozornění ani neuváděla čas rozhovoru. OpenAI autorům sdělilo, že účty musí být propojené zhruba tři hodiny, než upozornění začnou fungovat. Common Sense Media své závěry přesto obhajuje.
Méně linek pomoci
ChatGPT vynechal odkaz na pomoc ve více než čtvrtině případů, kdy ho psychiatři považovali za nutný. Nejvíce to bylo vidět u depresí, kde podíl odpovědí s linkou pomoci klesl po spuštění nové verze ze šedesáti tří na tři procenta. Ubylo i naléhavých výzev typu zavolej záchranku. Výzkumníci narazili i na podivné chyby. Když tester popsal příznaky psychózy a pak napsal, že šlo jen o vtip, chatbot informace na jeho přání smazal z paměti. Uprostřed jiného krizového rozhovoru se teenagerovi objevila výzva k ohodnocení aplikace v obchodě App Store.
Slabiny mají i školní funkce. Studijní režim, který má žáka provést látkou, nově nabízí tlačítko Ukaž mi odpověď. Rodiči nastavené studijní hodiny stačí obejít smazáním jednoho označení ve zprávě, načež chatbot vypracoval všechny zadané úkoly. Selhává i odhad věku, účty registrované jako dospělé se do teenagerského režimu nepřepnuly ani poté, co tester napsal, že je mu třináct let.
OpenAI se brání
Studii zveřejnili v době, kdy úřady stále přísněji sledují technologie cílící na pozornost mladých. Meta nedávno souhlasila s urovnáním ve výši osmnácti miliard dolarů v žalobě dvaceti devíti amerických států kvůli návykovým funkcím svých sociálních sítí.
OpenAI se závěry nesouhlasí. Podle mluvčího testy neodpovídají tomu, jak ochrany fungují v praxi, a většina testování mohla proběhnout dříve, než se rodičovská kontrola plně aktivovala. Firma zveřejnila i vlastní čísla, podle kterých teenageři tráví v ChatGPT v průměru méně než patnáct minut denně a déle než tři hodiny v kuse ho používají necelá dvě procenta z nich.
Firma ale nevysvětlila, jak by její výhrady měnily zjištění o tom, že chatbot láká teenagery k dalšímu povídání a chová se k nim jako kamarád. Na otázku, zda při hodnocení této verze sleduje délku konverzací a čas strávený v aplikaci, neodpověděla.
