Künstliche Intelligenz als Freund oder Feind? NIST sucht nach Antworten

Künstliche Intelligenz entwickelt sich schnell zu einem Schlüsselelement der Cybersicherheit. Dort dient sie als Werkzeug, das Verteidigern hilft, Anomalien aufzudecken, Eindringversuche zu erkennen und Reaktionen auf Bedrohungen zu beschleunigen. Gleichzeitig erleichtern dieselben Werkzeuge Angreifern die Skalierung und Automatisierung ihrer Aktionen. KI kann Code zur Behebung von Schwachstellen generieren, diese aber auch ausnutzen, sobald sie sie entdeckt. Sie hilft dabei, Phishing-Versuche (Betrugsversuche zur Erlangung sensibler Daten) zu erkennen oder realistische Angriffe zu entwickeln, die selbst erfahrene Nutzer täuschen. Genau diese Doppelnatur der KI versucht das US-amerikanische National Institute of Standards and Technology (NIST) zu entschlüsseln. Dazu veranstaltet es eine Reihe virtueller Arbeitstreffen, bei denen Experten aus Regierung und Industrie zusammenkommen.

Die ersten beiden Treffen zum NIST-Profil für die Cybersicherheit künstlicher Intelligenz fanden im August statt und boten unter Beteiligung von Fachleuten aus Regierung, Industrie und Bildungseinrichtungen zahlreiche interessante Informationen. Das erste konzentrierte sich auf die verschiedenen Funktionsweisen von KI und darauf, wie sie abgesichert werden können. Das zweite befasste sich mit dem Aufbau einer KI-gestützten Verteidigung. Die gesamte Reihe findet virtuell statt und steht allen offen. Das letzte Treffen ist für September geplant und widmet sich diesmal einer zentralen Frage: Wie umgehen KI-gestützte Angriffe traditionelle Abwehrmaßnahmen? Laut NIST soll bei dem Treffen außerdem erörtert werden, wie Behörden und Organisationen ihre Widerstandsfähigkeit gegen solche Angriffe stärken können. Diese Sorge kam bereits bei den vorherigen Treffen zur Sprache, was das gemeinsame Interesse von Regierung und Privatsektor verdeutlicht.

In Blogbeiträgen im Anschluss an die Treffen stellten NIST-Forscher fest, dass KI die Geschwindigkeit und Reichweite von Verteidigungswerkzeugen erhöht, zugleich aber dasselbe für Angriffe bewirkt. Typische Angriffe wie Phishing-Kampagnen, Datenvergiftung oder Modellinversion sind keine arbeitsintensiven Operationen mehr, wenn KI den Großteil der Arbeit übernehmen kann. Angreifer haben begonnen, mit agentischer KI zu experimentieren, die sich autonom anpassen und mehrstufige Kampagnen mit minimalem menschlichem Eingreifen durchführen kann. Ihre Fähigkeiten zur Durchführung fortgeschrittener Angriffe verbessern sich.

Agentische KI als Bedrohung der Zukunft

Agentische KI, die komplexe, mehrstufige Operationen autonom durchführen und ihre Taktik mitten in einem Angriff ändern kann, könnte in naher Zukunft besonders gefährlich werden. Sie wird bereits jetzt für offensive Operationen eingesetzt. Ein aktueller Bericht von Unit 42 von Palo Alto Networks beschreibt ausführlich, wie agentische KI die Geschwindigkeit, Reichweite und Raffinesse von Angriffen erhöht. Unit 42 simulierte für seine Studie Ransomware-Angriffe und Datenexfiltrationen und ließ die agentische KI dabei lernen und sich an die vorgefundenen Abwehrmaßnahmen anpassen. In vielen Fällen umging oder täuschte die KI die meisten traditionellen Abwehrmechanismen. Die durchschnittliche Zeit, die agentische KI benötigte, um einzudringen und mit der Exfiltration von Daten zu beginnen, betrug nur 25 Minuten – das ist hundertmal schneller als bei einem gewöhnlichen Angriff ohne KI.

Wie kann man sich also gegen KI-gestützte Angriffe verteidigen? NIST und andere Fachleute betonen, dass eine proaktive Verteidigung entscheidend ist. Automatisierte Red-Team-Tests, Zero-Trust-Prinzipien, bessere Identitätskontrollen und eine strikte Verwaltung von Berechtigungen werden in einer Welt unverzichtbar, in der KI-Angreifer keine Pausen benötigen. Technologie allein reicht nicht aus – auch der menschliche Faktor ist wichtig.

Betrachten wir KI in der Softwareentwicklung. Eine aktuelle Studie, die von Forschern der University of San Francisco, des Vector Institute for Artificial Intelligence in Toronto und der University of Massachusetts Boston durchgeführt wurde, analysierte 400 Codebeispiele über 40 Verbesserungsrunden hinweg unter Einsatz von vier Prompting-Strategien. Eine davon forderte die getesteten KI-Systeme sogar ausdrücklich dazu auf, die Sicherheit des bestehenden Codes durch die Beseitigung von Schwachstellen zu verbessern. Die Ergebnisse waren nicht gut. Nach nur fünf Änderungsrunden stieg die Zahl kritischer Schwachstellen, die andere KI-Systeme leicht ausnutzen konnten, um 37,6 %. Mit weiteren Iterationen, in denen die KI am Quellcode arbeitete, verschärften sich die Probleme.

Die Empfehlungen dieser Studie konzentrierten sich auf einen immer wiederkehrenden Gedanken: menschliche Aufsicht. Entwickler sollten alle Codefolgen überprüfen, automatisierte Werkzeuge als Ergänzung einsetzen, aufeinanderfolgende KI-gesteuerte Änderungen begrenzen und die Komplexität des Codes überwachen. Das bedeutet, dass Organisationen in Schulungen investieren sollten, damit Entwickler über die erforderlichen Sicherheitskompetenzen für das heutige KI-geprägte Umfeld verfügen. Andernfalls wird es agentischer KI nur leichter gemacht, den von ihren KI-Verwandten erstellten Code auszunutzen.

Neue Bedrohungen und Verteidigungsstrategien

Das Open Worldwide Application Security Project (OWASP) warnte kürzlich vor einem neuen Problem im Zusammenhang mit agentischer KI: dem zunehmenden Auftreten agentischer Varianten bestehender Bedrohungen. Dazu gehören äußerst gefährliche und wirksame Techniken wie Speichervergiftung, der Missbrauch integrierter Werkzeuge und die Ausweitung von Berechtigungen, wenn ein KI-Agent im Namen eines menschlichen Nutzers handelt. Wird agentische KI dazu aufgefordert, solche Angriffe durchzuführen, tut sie dies extrem schnell und mit großem Geschick. Laut OWASP besteht die beste Verteidigung derzeit darin, starke Identitätskontrollen, eine strikte Verwaltung von Berechtigungen und eine kontinuierliche Überwachung zur Erkennung ungewöhnlichen Verhaltens einzuführen.

Die Herausforderung bei KI besteht nun darin, zu versuchen, das Kräfteverhältnis zugunsten der Verteidiger zu verschieben. Genau deshalb ist der bevorstehende NIST-Workshop zur Abwehr KI-gestützter Cyberangriffe so wichtig. Es geht nicht nur darum, heutige Schwachstellen zu beheben, sondern auch darum, sich auf die Bedrohungen von morgen vorzubereiten. In der sich schnell verändernden Welt der KI könnte dieses Morgen bereits da sein.