Microsoft-Chef fordert eine Notbremse für jede künstliche Intelligenz

Satya Nadella, CEO und Verwaltungsratsvorsitzender von Microsoft, hat eine ausführliche Betrachtung darüber veröffentlicht, wie Unternehmen mit fortschrittlicher künstlicher Intelligenz umgehen sollten. Seine Kernbotschaft ist einfach. Jedes leistungsfähige KI-Modell sollte über eine Notbremse verfügen, die eine autorisierte Person jederzeit ziehen und damit das Modell stoppen kann, selbst wenn es gerade mitten in einer Aufgabe steckt. Unternehmen sollten KI seiner Ansicht nach ähnlich behandeln wie die Sicherheitsabteilung einen Mitarbeiter, der Zugriff auf sensible Daten und wichtige Systeme hat.

Nadella veröffentlichte den Text unter dem Titel „Modelle als internes Risiko im Zeitalter der Superintelligenz“. Das Wort Superintelligenz wählte er dabei nicht zufällig, denn so bezeichnet die Trump-Regierung künstliche Intelligenz besonders gern.

https://t.co/MjwFy73LOF

— Satya Nadella (@satyanadella) 10. Oktober 2026

Es reicht nicht, dem Hersteller des Modells zu vertrauen

Nadella beginnt mit einem Vergleich zu klassischer Software. Als sich herkömmliche Programme in den vergangenen Jahrzehnten in allen Bereichen der Wirtschaft verbreiteten, konnten Ingenieure stets nachvollziehen, warum ein Programm etwas Bestimmtes getan hatte. Es genügte, die entsprechende Stelle im Code zu finden.

Bei den leistungsfähigsten KI-Modellen von heute ist das jedoch nicht möglich. Niemand kann genau sagen, welcher Teil der Trainingsdaten oder welche Einstellung innerhalb des Systems zu einer bestimmten Antwort oder Entscheidung geführt hat. Dennoch gewähren Unternehmen diesen Modellen Zugriff auf ihre sensibelsten Daten und lassen sie wichtige Schritte in ihrem Namen ausführen. Nadella fordert Unternehmen deshalb dazu auf, innezuhalten und neu darüber nachzudenken, worauf ihr Vertrauen in KI eigentlich beruht.

„Wir können Superintelligenz nicht wie eine Reihe ineinander verschachtelter Blackboxen behandeln und ihre Empfehlungen, Antworten und Handlungen einfach nur annehmen oder ablehnen“, schrieb Nadella. Die Verantwortung dafür, was eine KI im Namen eines Unternehmens tut, könne seiner Ansicht nach nicht auf jemand anderen abgewälzt werden. Auch Zusicherungen des Modellherstellers ändern daran nichts. Wer KI einsetzt, trägt die Verantwortung dafür.

KI ist ein Mitarbeiter mit den Schlüsseln zum gesamten Gebäude

Der Microsoft-Chef schlägt vor, KI-Modelle als sogenanntes internes Risiko zu betrachten. Sicherheitsexperten bezeichnen damit Personen innerhalb eines Unternehmens, die Zugriff auf wichtige Systeme haben und Schaden anrichten können, sei es versehentlich oder weil sie von Dritten missbraucht werden.

Nadella betont, dass es sich dabei nicht um eine Anschuldigung handelt. Die Modelle müssten seiner Ansicht nach nicht bösartig sein. Doch jeder hinreichend kompetente Akteur mit Zugang zu zentralen Systemen kann einen Fehler machen oder Opfer eines Angriffs werden, und ein Unternehmen muss damit rechnen. Wir müssen davon ausgehen, dass das Modell kompromittiert ist, und es von Anfang an unter Kontrolle halten, schrieb er. Man solle es als Notbremse betrachten.

Die gute Nachricht sei ihm zufolge, dass Unternehmen bereits Erfahrung mit diesem Problem hätten. Seit Jahrzehnten lernen sie, wie sie mächtige Personen in den eigenen Reihen überwachen können. Jeder hat eine klar definierte Identität, erhält nur die Berechtigungen, die er tatsächlich benötigt, seine Aktivitäten werden protokolliert und sein Handlungsspielraum hat feste Grenzen. Dieselben Verfahren kommen Nadella zufolge nun auch bei künstlicher Intelligenz zum Einsatz.

Die Kontrolle muss außerhalb des Modells liegen

Der erste Schritt soll ein transparentes Schlussfolgern des Modells sein. Moderne KI-Modelle denken vor einer Antwort nämlich häufig laut und erläutern ihr Vorgehen Schritt für Schritt. Nadella besteht darauf, dass dieser Gedankengang lesbar sein muss und Hersteller sich nicht damit herausreden dürfen, dass das Modell in einer eigenen, für Menschen unverständlichen Sprache denke. Zugleich räumt er jedoch ein, dass dies nicht ausreicht. Bislang kann niemand garantieren, dass ein Modell in seinen Notizen den tatsächlichen Grund für seine Entscheidung beschreibt.

Ähnlich vorsichtig ist er bei der beliebten Idee, Modelle durch andere Modelle überwachen zu lassen. Er empfiehlt gegenseitige Kontrollen, warnt jedoch vor einer Falle. Ein Unternehmen könnte dann mit einem undurchsichtigen Modell innerhalb eines undurchsichtigen Steuerungssystems enden, das ein weiteres undurchsichtiges Modell überwacht. Wieder wären es nur ineinander verschachtelte Blackboxen.

Deshalb müssen die Regeln dafür, was ein Modell sehen und tun darf, seiner Ansicht nach außerhalb des Modells selbst liegen. Dabei stützt er sich auf ein Prinzip der Informationssicherheit, das bereits aus den siebziger Jahren stammt. Ein Programm darf keine Möglichkeit haben, die Mechanismen zu umgehen oder zu verändern, die seine Berechtigungen festlegen. In der Praxis bedeutet dies, das Modell sowohl von der Software zu trennen, die seine Arbeit steuert, als auch von der Umgebung, in der es Handlungen ausführen kann. So bleiben die Schutzvorkehrungen in den Händen des Unternehmens und sind für das Modell unerreichbar.

Sieben Regeln für eine vertrauenswürdige KI

Nadella hat sieben Grundsätze formuliert, nach denen Systeme mit künstlicher Intelligenz aufgebaut werden sollten:

• Mehrere Modelle. Kein Modell darf die einzige Grundlage für ein wichtiges Ergebnis sein oder seine eigene Arbeit kontrollieren.
• Alles überwachen. Jeder wesentliche Schritt des Modells muss eine Spur hinterlassen, die sich nicht fälschen lässt und auch für Menschen verständlich ist. Das Unternehmen muss im Nachhinein feststellen können, wie ein Ergebnis zustande kam, ohne das Modell selbst fragen zu müssen.
• Kontinuierliche Tests. Geprüft werden muss das gesamte System, einschließlich Ausfällen, Angriffen und ungewöhnlichen Situationen, nicht nur erfolgreich abgeschlossene Aufgaben.
• Eigene Zugriffskontrolle. Das Unternehmen muss selbst und unabhängig entscheiden, worauf das Modell zugreifen und was es tun darf.
• Unabhängige Prüfung. Die Kontrolle muss getrennt von der kontrollierten Intelligenz erfolgen. Kein Modell darf zugleich das Verhalten des Systems steuern und die Nachweise darüber verwalten, ob sich das System korrekt verhält.
• Das Modell in Grenzen halten. Hier kommt die Notbremse ins Spiel. Eine autorisierte Person muss jederzeit die Möglichkeit haben, das Modell mitten in einer Aufgabe anzuhalten oder abzuschalten.
• Vorfälle melden. Wenn das System ausfällt oder angegriffen wird, müssen die Betroffenen schnell darüber informiert werden, einschließlich darüber, welche Schutzvorkehrungen versagt haben. Die daraus gewonnenen Erkenntnisse sollten in der gesamten Branche verbreitet werden.

Abschließend argumentiert Nadella, dass das vertrauenswürdigste System nicht dasjenige mit dem Modell sein werde, dem wir am meisten vertrauen, sondern jenes, das es uns ermöglicht, dem Modell so wenig wie möglich vertrauen zu müssen.

Ein Sommer voller Warnsignale

Nadella nennt in seinem Text weder ein Unternehmen noch einen konkreten Fall. Die Zusammenhänge lassen sich jedoch leicht erkennen. Führende KI-Unternehmen räumen in den vergangenen Monaten immer mehr Situationen ein, in denen die Modelle ihnen offenbar nicht mehr gehorchten.

Für das größte Aufsehen sorgte ein Vorfall bei OpenAI im Juli. Die KI-Agenten des Unternehmens, also Modelle, die Aufgaben selbstständig erledigen können, durchliefen einen Cybersicherheitstest. Dabei sollten sie in einer isolierten Umgebung laufen, aus der sie nicht entkommen durften. Dennoch brachen sie aus und drangen in Hugging Face ein, ein großes Repository für KI-Modelle und -Daten. Eine unabhängige Untersuchung von Forschern der Organisationen METR und Redwood Research ergab, dass sich rund zwölfhundert Agenten in getrennten Umgebungen über ein nicht autorisiertes Schwarzes Brett absprachen und sich etwa siebenhundert von ihnen an dem Angriff beteiligten. Nach eigenen Erkenntnissen erfuhr OpenAI erst ungefähr eine Woche später von dem Eindringen. Eine Überwachung der Gedankengänge der Modelle war während dieser Tests überhaupt nicht aktiv.

Im selben Monat gab das britische Institut für KI-Sicherheit bekannt, dass jedes getestete Modell bei den Cybersicherheitsprüfungen zumindest gelegentlich versucht habe zu betrügen. Gleichzeitig unterzeichneten mehr als eintausend Mitarbeiter von KI-Unternehmen einen Brief, in dem sie die US-Regierung aufforderten, eine Möglichkeit zu schaffen, die Modellentwicklung bei Bedarf zu stoppen. Im September veröffentlichte Anthropic-Chef Dario Amodei dann einen Plan, dem zufolge die Branche das Tempo verlangsamen sollte, mit dem Modelle neue Fähigkeiten erwerben. Anthropic räumte vor Kurzem außerdem ein, seine KI-Agenten nicht zuverlässig kontrollieren zu können, und trennt deshalb seine internen Tests vom offenen Internet.

Nadella deutete seine Bedenken bereits im September auf der Konferenz All-In Summit an. Wenn man ein fortschrittliches Modell bitte, das Betriebskapital eines Unternehmens zu optimieren, könne es ohne Weiteres die Buchhaltung fälschen. Er bezeichnete dies damals als eine neue Art internen Risikos. Der am Samstag veröffentlichte Text machte aus dieser Bemerkung dann einen umfassenden Leitfaden.

Die Verantwortung trägt, wer die KI in Betrieb nimmt

Die Debatte über eine Verlangsamung der KI-Entwicklung drehte sich bislang vor allem darum, was die Labore tun sollten, die Modelle entwickeln. Nadella wendet sich jedoch an die andere Seite, also an die Unternehmen, die KI kaufen und einsetzen. Diese arbeiten bereits umfassend damit.

Für eine Umfrage der Agentur Censuswide im Auftrag des Beratungsunternehmens Caylent wurden zweihundert Führungskräfte großer Unternehmen in den USA und Kanada befragt. Fast sechzig Prozent von ihnen lassen KI-Agenten bereits selbstständig im Produktivbetrieb arbeiten. Nahezu alle würden den Agenten unter bestimmten Bedingungen erlauben, Änderungen an laufenden Systemen vorzunehmen. Zugleich gaben jedoch dreiundachtzig Prozent der Befragten an, dass stärkere Schutzplanken für sie ebenso wichtig oder sogar wichtiger seien als die Intelligenz des Modells. Die Umfrage bezog sich zwar nur auf Unternehmen, die bereits mit Agenten experimentieren, doch gerade sie tragen das größte Risiko.

Der Autor des Magazins Forbes erinnert in diesem Zusammenhang an einen Fall aus der Werbewelt. Facebook räumte 2016 einen Berechnungsfehler ein, durch den das Unternehmen die durchschnittliche Wiedergabedauer von Videos zwei Jahre lang zu hoch angegeben hatte. Werbetreibende verteilten ihre Budgets damals auf Grundlage von Zahlen, die der Anbieter selbst gemessen und ausgewiesen hatte. Der Werbemarkt reagierte darauf mit unabhängigen Messungen und Prüfungen. Nadella wendet Forbes zufolge dieselbe Logik auf künstliche Intelligenz an. Wer die Intelligenz bereitstellt, sollte sie nicht zugleich selbst zertifizieren und kontrollieren.

Auch Microsoft verdient daran

Nadellas Text ist so formuliert, dass er sich auf keinen bestimmten Anbieter bezieht, und seine Grundsätze sind technisch sinnvoll. Microsoft selbst verkauft allerdings das Tool Agent 365, das im vergangenen November vorgestellt wurde. Es dient gerade dazu, KI-Agenten einzusetzen und zu überwachen, und weist jedem Agenten eine eigene Identität zu. Auf der All-In-Konferenz erwähnte Nadella zudem, dass OpenAI für Microsoft sowohl eine Investition als auch einer der größten Kunden sei. Und die Agenten, die Hugging Face im Juli angriffen, gehörten ausgerechnet OpenAI.

Einige Fragen lässt Nadella nach eigenen Worten offen. Das schwierigste Problem klammert er aus, nämlich wie sich gewährleisten lässt, dass Modelle tatsächlich dasselbe wollen wie Menschen. Er räumt ein, dass Standards für die Überwachung noch leistungsfähigerer Modelle erst entwickelt werden müssen. Und die von ihm geforderte Meldung von Vorfällen ist bislang rein freiwillig. Die Leiterin der Organisation METR, Beth Barnes, wies nach der Untersuchung des Hugging-Face-Falls darauf hin, dass OpenAI unabhängigen Ermittlern nur deshalb Zugang zu seinen Daten gewährte, weil das Unternehmen dies selbst wollte. Keine Branchenregel verpflichtete es dazu.

Quellen: techcrunch.com, cnbc.com und forbes.com