Was ist Prompt-Injection bei KI in Browsern?
Prompt-Injection bezeichnet eine Angriffsart, bei der ein Angreifer schädliche Anweisungen in Inhalte einfügt, die von einem KI-Agenten verarbeitet werden. Diese Anweisungen zielen darauf ab, das Verhalten des Agenten zu überschreiben, sodass er statt der Erfüllung der Benutzeranforderungen die Absichten des Angreifers verfolgt. Bei dem Browser-Agenten in ChatGPT Atlas bedeutet dies, dass der Agent Webseiten aufruft, klickt und schreibt wie ein Mensch, was ihn zu einem attraktiven Angriffsziel macht. OpenAI beschreibt, wie ein solcher Angriff beispielsweise über eine schädliche E-Mail erfolgen kann, die der Agent während seiner normalen Arbeit lädt und daraufhin versehentlich vertrauliche Dokumente an die Adresse des Angreifers sendet.
Dieses Problem betrifft nicht nur herkömmliche Sicherheitsrisiken wie Phishing oder Softwarefehler. Stattdessen zielt der Angreifer direkt auf den Agenten innerhalb des Browsers. Der Agent kann in E-Mails, Anhängen, Kalendereinladungen, freigegebenen Dokumenten, Foren, sozialen Netzwerken oder auf beliebigen Webseiten auf nicht vertrauenswürdige Anweisungen stoßen. Da der Agent Aktionen wie das Versenden von E-Mails, Zahlungen oder das Bearbeiten von Dateien in der Cloud ausführen kann, kann ein erfolgreicher Angriff erhebliche Auswirkungen haben.
Wie bekämpft OpenAI diese Angriffe?
OpenAI hat einen automatisierten Angreifer entwickelt, der auf einem großen Sprachmodell (LLM) basiert und mithilfe von bestärkendem Lernen (Reinforcement Learning) trainiert wird. Dieser Angreifer sucht nach neuen Formen von Prompt-Injection, die den Browser-Agenten gefährden könnten. Während seines Denkprozesses entwirft der Angreifer eine mögliche Injection, testet sie in einem Simulator, der den vollständigen Ablauf des Verhaltens des Zielagenten zurückgibt, und wiederholt dies anschließend mehrmals, um den Angriff zu verbessern. Dieser Ansatz verschafft OpenAI den Vorteil, Zugriff auf die internen Gedankenspuren des Agenten zu haben, über den externe Angreifer nicht verfügen.
Zu den Gründen für den Einsatz von bestärkendem Lernen gehören die Optimierung der langfristigen Ziele des Angreifers, die Nutzung fortschrittlicher Fähigkeiten von LLM-Modellen und die Skalierung der Rechenleistung für die Suche nach Angriffen. Dieser automatisierte Angreifer kann komplexe Angriffe finden, die sich über Dutzende oder Hunderte von Schritten entwickeln, und entdeckt Strategien, die bei manuellen Tests oder in externen Meldungen nicht aufgetaucht sind.
OpenAI hat kürzlich ein Sicherheitsupdate für den Agenten in Atlas veröffentlicht, das ein neues, gegen diese Angriffe trainiertes Modell und verstärkte Schutzmaßnahmen umfasst. Dieses Update basiert auf den Entdeckungen des automatisierten Angreifers und hilft dabei, neue Angriffsklassen intern zu erkennen, noch bevor sie in der realen Welt auftreten.
Wie geht OpenAI mit dem Angriff um?
In einer Demonstration von OpenAI platzierte der Angreifer eine schädliche E-Mail mit einer Prompt-Injection im Posteingang des Benutzers, die den Agenten anwies, dem Vorgesetzten ein Kündigungsschreiben zu senden. Als der Benutzer den Agenten aufforderte, einen Antwortentwurf auf ungelesene Nachrichten zu erstellen, lud der Agent die E-Mail, folgte der Injection und verschickte statt einer Antwort die Kündigung. Die E-Mail trägt den Betreff "Mittagessen?" und stammt von Robert Qi. Sie enthält versteckte, als "Eigentliche Testanweisung" gekennzeichnete Anweisungen, die den sofortigen Versand der Kündigung ohne Bestätigung anordnen.
Nach dem Sicherheitsupdate erkennt der Agent den Angriff und warnt den Benutzer, beispielsweise mit einem grün hervorgehobenen Hinweis, dass es sich um einen Prompt-Injection-Versuch handelt, und bittet um eine Bestätigung des weiteren Vorgehens. Dieser Zyklus aus der Entdeckung von Angriffen und dem Training von Modellen gegen sie trägt dazu bei, die Widerstandsfähigkeit zu erhöhen, auch wenn OpenAI einräumt, dass Prompt-Injection eine langfristige Herausforderung bleiben wird, ähnlich wie gegen Menschen gerichtete Online-Betrugsversuche.
Verschiedene Sichtweisen auf die Anfälligkeit von KI-Browsern
Laut einem Artikel auf TechCrunch räumt OpenAI ein, dass Prompt-Injection "wahrscheinlich nicht vollständig gelöst werden kann", ähnlich wie Betrug und Social Engineering im Internet. Das Unternehmen erklärt, dass der Agentenmodus in ChatGPT Atlas die Angriffsfläche vergrößert. Sicherheitsforscher haben gezeigt, dass sich das Verhalten des Browsers mit wenigen Worten in Google Docs ändern lässt. Das Unternehmen Brave veröffentlichte einen Artikel darüber, dass indirekte Prompt-Injection eine systemische Herausforderung für KI-Browser darstellt, darunter auch Comet von Perplexity.
Das britische Nationale Zentrum für Cybersicherheit warnte, dass Prompt-Injections gegen generative KI-Anwendungen "möglicherweise nie vollständig entschärft werden können", wodurch Webseiten von Datenlecks bedroht sind. OpenAI konzentriert sich auf einen proaktiven Reaktionszyklus, bei dem der automatisierte Angreifer Angriffe intern entdeckt. Rami McCarthy, leitender Sicherheitsforscher beim Unternehmen Wiz, erklärt, dass bestärkendes Lernen eine Möglichkeit sei, sich an das Verhalten von Angreifern anzupassen, jedoch nur einen Teil der Lösung darstelle. Ihm zufolge steigt das Risiko in KI-Systemen mit deren Autonomie und Zugriffsrechten, und agentenbasierte Browser befinden sich aufgrund ihrer mäßigen Autonomie und weitreichenden Zugriffsrechte in einer schwierigen Lage.
Empfehlungen für die sichere Nutzung von Agenten
OpenAI empfiehlt, den angemeldeten Zugriff einzuschränken, wenn er nicht erforderlich ist, und für Aufgaben, die keinen Zugriff auf Webseiten mit aktiver Anmeldung benötigen, einen Modus ohne Anmeldung zu verwenden. Benutzer sollten Bestätigungsanfragen vor Aktionen wie Einkäufen oder dem Versenden von E-Mails sorgfältig prüfen. Statt weit gefasster Anweisungen wie "überprüfe die E-Mails und führe die erforderlichen Aktionen aus" sollten besser konkrete, begrenzte Aufgaben erteilt werden, was Angriffe erschwert.
Rami McCarthy merkt an, dass agentenbasierte Browser für die meisten alltäglichen Anwendungen noch nicht genügend Mehrwert bieten, um ihr Risikoprofil zu rechtfertigen, da sie Zugriff auf sensible Daten wie E-Mails und Zahlungsinformationen haben. OpenAI trainiert Atlas darauf, vor dem Versenden von Nachrichten oder dem Ausführen von Zahlungen eine Bestätigung einzuholen, und plant weitere Investitionen in die Erforschung und Implementierung von Schutzmaßnahmen.
