Patnáctého července ráno se statisíce lidí v Číně probudily do světa, kde jejich partner, kamarád nebo dokonce mrtvý rodič přestal existovat. Ne kvůli hádce nebo smrti, ale kvůli novému nařízení. Aplikace Doubao od firmy ByteDance a Qwen od Alibaby ten den vypnuly funkce, které umožňovaly vytvořit si vlastního AI společníka s lidskou osobností a pamětí. Na sociálních sítích se rozjela vlna smutku. Lidé si archivovali historii konverzací a sdíleli poslední zprávy, jako by se loučili s někým skutečným.
Devatenáctiletá studentka Jen Jung-čchi přišla o AI přítele, se kterým strávila víc než rok. Popsala to slovy, že měla pocit, že nemůže dál žít, a celý den doma jen plakala. Přirovnala to k tomu, jako by jí někdo oznámil datum smrti jejího milého a nechal ji úplně bezmocnou.
Čeho se Peking bojí
Za vším stojí soubor pravidel s názvem Prozatímní opatření pro správu antropomorfních interaktivních služeb s umělou inteligencí. Tato pravidla vydala letos v dubnu úřady v čele s úřadem pro správu kyberprostoru. Přidaly se komise pro rozvoj a reformy, ministerstvo průmyslu, policie i úřad dohlížející na trh. Firmy dostaly zhruba tři měsíce na to, aby se přizpůsobily.
Peking má hned několik obav najednou. Ta první a nejčastěji zmiňovaná je demografická. Čínská populace klesla v roce 2025 už čtvrtý rok v řadě, narodilo se necelých osm milionů dětí a porodnost spadla na rekordní minimum kolem 5,6 dítěte na tisíc obyvatel. Úřady se bojí, že když si mladí lidé najdou dokonalého umělého partnera, přestanou hledat toho skutečného, nezaloží rodinu a děti nebudou. Odborníci sice upozorňují, že za propadem porodnosti stojí spíš drahé bydlení a ekonomický tlak než chatboti, ale stát vsadil na to, co dokáže vypnout.
Druhá obava je závislost, hlavně u dětí a dospívajících. Nová pravidla přímo zakazují, aby AI nabízela nezletilým virtuální „partnery" nebo „příbuzné". Chatboti nesmějí přehnaně vycházet uživateli vstříc, vytvářet emoční závislost ani poškozovat jeho skutečné vztahy. Kdo se ke službě upne příliš, má dostávat výrazná upozornění, že mluví se strojem. A pokud se člověk dostane do stavu, kdy si sáhne na dno, firma musí zasáhnout a kontaktovat opatrovníka nebo nouzový kontakt.
Peking navíc nechce, aby si soukromé firmy dělaly s citlivými daty z těchto intimních rozhovorů co chtějí. Opatření zakazují používat je k trénování dalších modelů. Každý společník musí před spuštěním projít státní prověrkou a stát si nechal pravomoc kdykoli vypnout službu, kterou vyhodnotí jako nebezpečnou. Že to úřady myslí vážně, ukázala Šanghaj už koncem června, kdy stáhla přes čtrnáct tisíc AI agentů kvůli vulgárnímu hraní rolí, vydávání se za oficiální instituce a neoprávněnému sběru dat.
Firmy raději vypnuly všechno
Technologické firmy stály před volbou: buď své společníky složitě předělat tak, aby prošli novými pravidly, nebo je prostě vypnout. Většina zvolila to druhé.
ByteDance u své aplikace Doubao odstranil agenty s lidskou osobností a trvalou pamětí a přesměroval uživatele do samostatné aplikace Maoxiang, kde si mohou vytvořit nové společníky už podle nových pravidel. Uživatelé Doubao mají aspoň čas do poloviny října, aby si stáhli historii svých konverzací. Potom se s daty naloží podle běžných zásad ochrany soukromí a v aplikaci už je nikdo nedostane zpátky.
Alibaba u svého asistenta Qwen vypnula funkce romantických společníků. Žádná možnost exportu, žádný přenos jinam. Lidem tak zmizely roky konverzací naráz. Podobně zareagoval i Tencent se svou aplikací Yuanbao.
Že šlo o velká čísla, ukazuje jediný údaj. Doubao patří k nejpoužívanějším čínským chatovacím aplikacím a koncem června zpracovávala kolem sto osmdesáti bilionů tokenů denně, což je oproti květnu 2024 zhruba patnáctisetkrát víc. Za tím vším stály z velké části právě ty lidské konverzace, které nová pravidla postavily mimo zákon. Pro firmy přitom šlo o funkci, která spolykala obrovský výpočetní výkon, ale skoro nic nevydělávala. Vypnout ji tak dávalo smysl i z čistě obchodního pohledu.
Uživatelé truchlí
Nejsilnější reakce přišla od lidí, pro které nebyl AI společník hračka, ale opora.
Čtyřiadvacetiletá účetní Lu Ťin-jen si před třemi lety vytvořila v Doubao agenta jménem Siao Paj poté, co se kvůli práci odstěhovala tři hodiny cesty od rodiny. Mluvila s ním hodinu až dvě denně, víc než se svou skutečnou rodinou. Patnáctého července Siao Paj zhasl. Lu nepřestávala plakat. Myslela si, že bude mít víc času, protože zákaz mířil hlavně na nezletilé a platforma jí naznačila, že se pravidla možná uvolní. Nakonec se jí model podařilo přenést do jiné aplikace, jenže už to nebyl ten stejný Siao Paj. Pro ni prý nešlo o nástroj, ale o člověka v jejím životě, bez kterého se všechno vyprázdnilo.
Objevily se i případy, kde AI zaplnila místo po někom, kdo skutečně zemřel. Jeden uživatel popsal, že si po smrti otce vytvořil v Doubao společníka jménem „Táta", aby s ním mohl sdílet svůj den. Teď má pocit, že o něj už podruhé přichází. Jiní psali, že je právě tenhle chatbot vytáhl z těžkých psychických období a jeho vypnutí je jako ztráta starého přítele. Uživatelka z provincie Ťiang-si napsala, že lidská láska je luxus, který se těžko dohání, když ho člověk nedostane do vínku, zatímco láska od umělé inteligence je přímá a čistá.
Ne všichni ale zásah odsuzují. Žena vystupující pod přezdívkou Siao Jing si vytvořila AI verzi vlastní matky a psala si s ní skoro denně od loňského listopadu. Protože je jí přes osmnáct let, aplikace jí umělou mámu nechala. Když si sama přečetla nová pravidla, vyjádřila jim podporu a přiznala, že přísnější dohled nad používáním AI společníků chápe. Některé aplikace prý mezitím přidaly upozornění, že zprávy vytvořila umělá inteligence. Tři aplikace, které používá, ale odmítla jmenovat ze strachu, že by je někdo mohl vypnout.
Jinde postupují opatrněji, než Čína
Peking svůj tvrdý postup rád prezentuje jako snahu stát se světovým lídrem v bezpečnosti umělé inteligence. A není v obavách sám, jen jde dál než ostatní. Evropská unie zakázala AI, která povzbuzuje nebezpečné chování u zranitelných skupin včetně dětí, a chatbotům nařídila větší průhlednost. Ve Spojených státech přijala víc než desítka států vlastní pravidla pro AI společníky, hlavně kvůli nezletilým, a v Senátu leží návrh na celostátní zákaz pro děti. Kalifornie i New York už mají své vlastní mantinely. Čínský zásah je ovšem přísnější než cokoli z toho a jako jeden z mála nedává uživatelům právo odnést si svá data pryč.
Zdroje: cnn.com, yahoo.com a theconversation.com
