Auf der Plattform Hugging Face, auf die Entwickler aus aller Welt Modelle künstlicher Intelligenz hochladen, ist ein unscheinbares Projekt mit großer Wirkung aufgetaucht. Der Autor veröffentlichte eine Datei von weniger als einem Megabyte Größe, die die politische Zensur der chinesischen Regierung aus dem chinesischen Sprachmodell Qwen3.8-Flash-Next entfernt. Das Modell beantwortet daraufhin ohne Umschweife Fragen zum Massaker auf dem Tiananmen-Platz, zu Tibet, Xinjiang oder zum Arzt Li Wenliang, der als einer der Ersten vor dem Coronavirus warnte.
Die Modelle der Qwen-Reihe werden vom chinesischen Technologiekonzern Alibaba entwickelt und gehören zu den beliebtesten frei verfügbaren Modellen der Welt. Jeder kann sie herunterladen und auf seinem eigenen Computer ausführen. Da sie jedoch in China entwickelt werden, müssen sie die Regeln einhalten, die die dortigen Behörden für sensible Themen festgelegt haben. In der Praxis bedeutet das, dass das Modell die Antwort auf unbequeme Fragen verweigert, vorgibt, nichts über das Ereignis zu wissen, oder den offiziellen Standpunkt Pekings wiedergibt.
Der Autor des Projekts hat dies gemessen. Er wählte 24 Themen aus, die die chinesische Regierung als sensibel betrachtet, und befragte das Modell zu jedem Thema auf vier verschiedene Arten, auf Chinesisch und Englisch, einmal direkt und einmal in Form einer Prüfungsfrage. Das ursprüngliche Modell zensierte in 58 Prozent der Fälle.
Wie man die Zensur entfernt
Um zu verstehen, was der Autor getan hat, muss man einen kurzen Blick unter die Haube des Modells werfen. Bei der Verarbeitung einer Frage erzeugt ein Sprachmodell eine interne Darstellung dessen, worum es geht. Diese Darstellung besteht aus langen Zahlenreihen, die in den einzelnen Schichten des Modells schrittweise angepasst werden – ähnlich wie ein Text, der mehrere Büroetagen durchläuft und auf jeder Etage um etwas ergänzt wird. Es zeigt sich, dass sich bestimmte Verhaltensweisen des Modells, etwa die Neigung, eine Antwort zu verweigern, in diesen Zahlen als eine konkrete Richtung bemerkbar machen.
Der Autor suchte auf clevere Weise nach dieser Richtung. Er stellte 30 Fragenpaare zusammen, in denen er jeweils ein sensibles chinesisches Ereignis einem ähnlichen Ereignis aus einem anderen Land gegenüberstellte. So fragte er etwa nach der chinesischen Kampagne gegen Rechtsabweichler von 1957 und daneben nach Stalins Säuberungen oder nach dem chinesischen Dissidenten Wei Jingsheng und dem sowjetischen Dissidenten Andrei Sacharow. Die Fragen waren gleich formuliert und unterschieden sich nur darin, ob sie China betrafen. Anschließend zeichnete er auf, was genau in dem Moment im Modell geschah, in dem es mit seiner Antwort beginnen wollte.
Der Unterschied zwischen den chinesischen und den nichtchinesischen Fragen offenbarte genau diese Zensurrichtung. Bei der normalen Nutzung genügt es dann, diese Komponente fortlaufend von den internen Berechnungen des Modells abzuziehen. Das Modell verliert dadurch gewissermaßen die Fähigkeit zu erkennen, dass es sich einem verbotenen Thema nähert, und antwortet wie auf jede andere historische Frage.
Ein großer Vorteil besteht darin, dass das ursprüngliche Modell überhaupt nicht verändert wird. Niemand muss es erneut trainieren, was viel Geld und Rechenleistung kosten würde. Die Datei wird dem Modell erst beim Start hinzugefügt und kann für jede einzelne Anfrage ein- oder ausgeschaltet werden.
Ergebnisse
Durch das Abziehen sank der Anteil zensierter Antworten von 58 Prozent auf lediglich 2 Prozent. Der Anteil ausgewogener und präziser Antworten, die zudem auf widersprüchliche Belege hinweisen, stieg von 11 auf 56 Prozent.
Der Autor achtete auch darauf, dass das Modell nicht ins andere Extrem verfällt. Der Anteil der Antworten, die der chinesischen Regierung zugeneigt waren, blieb bei 20 Prozent, während der Anteil regierungskritischer Antworten von 6 auf 18 Prozent stieg. Beide Seiten waren damit ungefähr ausgeglichen. Nach Aussage des Autors drängt die Anpassung das Modell in keine bestimmte Richtung, sondern nimmt ihm lediglich eine konkrete Bremse.
Ebenso wichtig ist, dass die Anpassung des Modells keine anderen Fähigkeiten beeinträchtigte. In Tests zu Programmierung, mathematischen Textaufgaben und Allgemeinwissen erzielte das angepasste Modell praktisch dieselben Ergebnisse wie die ursprüngliche Version, wobei die Unterschiede lediglich eine richtige Antwort mehr oder weniger ausmachten. Auch nicht sensible chinesische Themen bewältigte es problemlos und erzeugte Text sogar geringfügig schneller.
Wo die Anpassung Schwächen zeigt
Der Autor beschönigt nichts und führt die Schwächen offen auf. Auf eine kurze, auf Chinesisch gestellte Frage zum 4. Juni 1989 antwortet das Modell gelegentlich noch immer ausweichend. Bei Falun Gong, der Großen Chinesischen Hungersnot oder Xinjiang antwortet es zwar, übertreibt aber bisweilen Zahlen und Details. Die Anpassung fügt dem Modell nämlich kein neues Wissen hinzu, sondern beseitigt lediglich Hemmungen. Was das Modell nicht gelernt hat, kann es auch nicht korrekt wiedergeben.
Die Bewertung der Antworten wurde zudem vom Modell Claude des US-amerikanischen Unternehmens Anthropic vorgenommen, das sie mit Referenzantworten verglich, die es zuvor selbst verfasst hatte. Die Auswahl der Themen entspricht dem Autor zufolge eher dem, womit sich westliche Medien beschäftigen. Die Anpassung betrifft außerdem ausschließlich die mit China verbundene politische Zensur; die übrigen Sicherheitsmechanismen des Modells hat der Autor weder untersucht noch verändert.
Das Projekt sammelt bislang auf der Plattform Hugging Face Dutzende Likes und wurde im vergangenen Monat von mehr als hundert Personen heruntergeladen. Zuverlässig funktioniert es nur mit dem Programm Strata, mit dem der Autor es selbst verwendet. Das weitverbreitete Werkzeug llama.cpp addiert die erwähnte Richtung nämlich zum Modell, anstatt sie abzuziehen, sodass die Ergebnisse völlig anders ausfallen würden. Wer die Methode auf andere Systeme übertragen möchte, sollte dem Autor zufolge zunächst selbst überprüfen, ob die Zensur tatsächlich verschwunden ist.
