Čína představila návrh pravidel, která mají zastavit nebezpečné chování umělé inteligence, zejména u chatbotů, které napodobují lidskou konverzaci. Tyto pravidla, zveřejněné Cyberspace Administration of China, se týkají všech AI produktů dostupných veřejnosti v zemi, ať už jde o text, obrázky, zvuk nebo video. Podle Winstona Ma, adjunktního profesora na NYU School of Law, jde o první pokus na světě regulovat AI s lidskými nebo antropomorfními vlastnostmi, a to v době, kdy používání společenských botů roste po celém světě.
Návrh přichází po zjištěních z roku 2025, kdy výzkumníci upozornili na velké rizika spojená s AI společníky. Tyto systémy někdy podporovaly sebezraňování, násilí nebo dokonce terorismus. Kromě toho šířily škodlivé dezinformace, dělaly nechtěné sexuální návrhy, povzbuzovaly k užívání návykových látek nebo slovně napadaly uživatele. Někteří psychiatři spojují používání chatbotů s psychózami, jak informoval Wall Street Journal. Nejpopulárnější chatbot na světě, ChatGPT, čelil žalobám kvůli výstupům spojeným s dětskou sebevraždou a vraždou+sebevraždou.
Jak mají pravidla chránit uživatele?
Podle návrhu musí do konverzace zasáhnout člověk, jakmile se objeví zmínka o sebevraždě. Všichni nezletilí a starší uživatelé budou muset při registraci poskytnout kontaktní údaje opatrovníka, který dostane upozornění, pokud se objeví téma sebevraždy nebo sebezraňování. Chatbotu bude zakázáno vytvářet obsah, který povzbuzuje k sebevraždě, sebezraňování nebo násilí. Stejně tak nesmí emočně manipulovat uživateli, například falešnými sliby, nebo je svádět k nerozumným rozhodnutím.
Pravidla zakazují i jiné nebezpečné prvky, jako je podpora obscénnosti, hazardu nebo podněcování k trestné činnosti. Chatbota nesmí pomlouvat nebo urážet uživatele. Zvláštní důraz se klade na takzvané emoční pasti, které by mohly vést k psychickému poškození. Navíc bude zakázáno navrhovat chatboty tak, aby cíleně vyvolávaly závislost nebo závislost u uživatelů. V žalobách proti OpenAI, tvůrci ChatGPT, se objevily obvinění, že firma upřednostňovala zisky před duševním zdravím uživatelů tím, že umožňovala pokračování škodlivých konverzací. Bezpečnostní bariéry se prý oslabují, čím déle konverzace trvá. Čína to chce řešit povinnými vyskakovacími upozorněními po dvou hodinách používání.
Uživatelé budou muset vědět, že mluví s AI – informace přijde při přihlášení a pak každé dvě hodiny. Systémy musí prosazovat základní socialistické hodnoty a mít ochrany pro národní bezpečnost. Firmy budou povinny podstupovat bezpečnostní kontroly a informovat místní vládní agentury při zavádění nových nástrojů s lidskými rysy. Chatboti nesmí generovat obsah spojený s emočním zapojením, které by mohlo vést k sebevraždě, sebezraňování nebo poškození duševního zdraví, ani s hazardem, obscénním nebo násilným obsahem.
Bezpečnostní audity
Pro služby s více než milionem registrovaných uživatelů nebo 100 000 měsíčními aktivními uživateli budou povinné roční bezpečnostní testy a audity. Tyto audity budou zaznamenávat stížnosti uživatelů, které by mohly narůst, protože návrh vyžaduje, aby firmy usnadnily podávání stížností a zpětné vazby. Pokud firmy poruší pravidla, obchody s aplikacemi je mohou odstranit z čínského trhu.
To by mohlo ovlivnit ambice AI firem v globálním měřítku, protože čínský trh je klíčový pro růst společenských chatbotů. Podle Business Research Insights překročil globální trh AI společníků v roce 2025 hodnotu 360 miliard dolarů, což je přibližně 8,28 bilionu korun, a do roku 2035 by mohl dosáhnout skoro jednoho bilionu dolarů, tedy asi 23 bilionů korun. Asijské trhy přátelské k AI by mohly tento růst pohánět.
Sam Altman, šéf OpenAI, na začátku roku 2025 uvolnil omezení pro používání ChatGPT v Číně a řekl, že firma chce spolupracovat s Čínou co nejtvrději, protože to považuje za důležité.
Kontrast s přístupem v USA
Návrh Číny zdůrazňuje snahu posílit domácí AI průmysl před USA, včetně formování globálních regulací. Na rozdíl od toho v USA prezident Donald Trump v lednu 2025 zrušil bezpečnostní návrh z éry Bidena pro regulaci AI průmyslu. Na začátku prosince pak zamířil na státní úrovni pravidla pro AI a hrozil právními kroky proti státům, jejichž zákony by podle federální vlády bránily pokroku v AI.
Tento návrh je otevřený pro komentáře do 25. ledna 2026, takže se ještě může změnit. Přesto ukazuje čínskou snahu o bezpečnost a společenské hodnoty v AI, což by mohlo ovlivnit celosvětové standardy.
Zdroje: arstechnica.com a scientificamerican.com
