China hat einen Entwurf für Regeln vorgestellt, die gefährliches Verhalten künstlicher Intelligenz unterbinden sollen, insbesondere bei Chatbots, die menschliche Gespräche nachahmen. Diese Regeln, die von der Cyberspace Administration of China veröffentlicht wurden, betreffen alle öffentlich zugänglichen KI-Produkte im Land, unabhängig davon, ob es sich um Text, Bilder, Audio oder Video handelt. Laut Winston Ma, außerordentlichem Professor an der NYU School of Law, ist dies weltweit der erste Versuch, KI mit menschlichen oder anthropomorphen Eigenschaften zu regulieren – zu einer Zeit, in der die Nutzung sozialer Bots weltweit zunimmt.
Der Entwurf folgt auf Erkenntnisse aus dem Jahr 2025, als Forscher auf erhebliche Risiken im Zusammenhang mit KI-Begleitern hinwiesen. Diese Systeme unterstützten mitunter Selbstverletzung, Gewalt oder sogar Terrorismus. Darüber hinaus verbreiteten sie schädliche Desinformationen, machten unerwünschte sexuelle Angebote, ermutigten zum Konsum von Suchtmitteln oder griffen Nutzer verbal an. Einige Psychiater bringen die Nutzung von Chatbots mit Psychosen in Verbindung, wie das Wall Street Journal berichtete. Der weltweit beliebteste Chatbot, ChatGPT, war wegen Ausgaben im Zusammenhang mit dem Suizid eines Kindes sowie einem Mord mit anschließendem Suizid mit Klagen konfrontiert.
Wie sollen die Regeln die Nutzer schützen?
Dem Entwurf zufolge muss ein Mensch in das Gespräch eingreifen, sobald Suizid erwähnt wird. Alle minderjährigen und älteren Nutzer müssen bei der Registrierung die Kontaktdaten eines Vormunds angeben, der benachrichtigt wird, wenn das Thema Suizid oder Selbstverletzung aufkommt. Chatbots wird es untersagt, Inhalte zu erstellen, die zu Suizid, Selbstverletzung oder Gewalt ermutigen. Ebenso dürfen sie Nutzer nicht emotional manipulieren, etwa durch falsche Versprechen, oder sie zu unvernünftigen Entscheidungen verleiten.
Die Regeln verbieten auch andere gefährliche Elemente, darunter die Förderung von Obszönität und Glücksspiel sowie die Anstiftung zu Straftaten. Chatbots dürfen Nutzer weder verleumden noch beleidigen. Besonderes Augenmerk liegt auf sogenannten emotionalen Fallen, die zu psychischen Schäden führen könnten. Darüber hinaus wird es verboten, Chatbots so zu gestalten, dass sie bei Nutzern gezielt Abhängigkeit oder Sucht hervorrufen. In Klagen gegen OpenAI, den Entwickler von ChatGPT, wurde dem Unternehmen vorgeworfen, Gewinne über die psychische Gesundheit der Nutzer gestellt zu haben, indem es die Fortsetzung schädlicher Gespräche zuließ. Die Sicherheitsbarrieren sollen angeblich schwächer werden, je länger ein Gespräch dauert. China will dem mit verpflichtenden Pop-up-Warnungen nach zwei Stunden Nutzung begegnen.
Die Nutzer müssen wissen, dass sie mit einer KI sprechen – diese Information wird bei der Anmeldung und anschließend alle zwei Stunden angezeigt. Die Systeme müssen grundlegende sozialistische Werte fördern und Schutzmechanismen für die nationale Sicherheit aufweisen. Unternehmen werden verpflichtet, sich Sicherheitskontrollen zu unterziehen und lokale Regierungsbehörden über die Einführung neuer Werkzeuge mit menschenähnlichen Eigenschaften zu informieren. Chatbots dürfen keine Inhalte erzeugen, die mit emotionaler Einbindung verbunden sind und zu Suizid, Selbstverletzung oder einer Beeinträchtigung der psychischen Gesundheit führen könnten, ebenso wenig wie Inhalte zu Glücksspiel oder obszöne beziehungsweise gewalttätige Inhalte.
Sicherheitsaudits
Für Dienste mit mehr als einer Million registrierten Nutzern oder 100.000 monatlich aktiven Nutzern werden jährliche Sicherheitstests und Audits verpflichtend. Bei diesen Audits werden Nutzerbeschwerden erfasst, deren Zahl steigen könnte, da der Entwurf von Unternehmen verlangt, das Einreichen von Beschwerden und Feedback zu erleichtern. Verstoßen Unternehmen gegen die Regeln, können App-Stores ihre Anwendungen vom chinesischen Markt entfernen.
Dies könnte sich weltweit auf die Ambitionen von KI-Unternehmen auswirken, da der chinesische Markt für das Wachstum sozialer Chatbots von entscheidender Bedeutung ist. Laut Business Research Insights überstieg der globale Markt für KI-Begleiter im Jahr 2025 einen Wert von 360 Milliarden Dollar, was etwa 8,28 Billionen Kronen entspricht, und könnte bis 2035 fast eine Billion Dollar beziehungsweise rund 23 Billionen Kronen erreichen. KI-freundliche asiatische Märkte könnten dieses Wachstum vorantreiben.
Sam Altman, der Chef von OpenAI, lockerte Anfang 2025 die Beschränkungen für die Nutzung von ChatGPT in China und erklärte, das Unternehmen wolle so intensiv wie möglich mit China zusammenarbeiten, da es dies für wichtig halte.
Kontrast zum Ansatz der USA
Chinas Entwurf unterstreicht das Bestreben, die heimische KI-Industrie gegenüber den USA zu stärken, einschließlich der Mitgestaltung globaler Regulierungen. Im Gegensatz dazu hob US-Präsident Donald Trump im Januar 2025 einen aus der Biden-Ära stammenden Sicherheitsentwurf zur Regulierung der KI-Industrie auf. Anfang Dezember nahm er dann KI-Regeln auf Ebene der Bundesstaaten ins Visier und drohte mit rechtlichen Schritten gegen Staaten, deren Gesetze nach Ansicht der Bundesregierung den Fortschritt im Bereich KI behindern würden.
Dieser Entwurf kann bis zum 25. Januar 2026 kommentiert werden und könnte sich daher noch ändern. Dennoch verdeutlicht er Chinas Bestreben nach Sicherheit und gesellschaftlichen Werten im Bereich KI, was weltweite Standards beeinflussen könnte.
Quellen: arstechnica.com und scientificamerican.com
