Mehr als die Hälfte des gesamten Internetverkehrs stammt heute nicht von Menschen. Daten von Ahrefs zeigen, dass 63 % der Websites Besuche von KI-Agenten erhalten. Dennoch wissen die meisten Websitebetreiber überhaupt nicht, was auf ihren Seiten geschieht. Google Analytics kann einen Bot nämlich ohne Weiteres als echten Kunden erfassen.
KI-Agenten sind nicht nur Webcrawler, an die sich viele noch aus Zeiten erinnern, als sie sich durch einen Eintrag in der Datei robots.txt leicht stoppen ließen. Es handelt sich um hochentwickelte Tools, die auf Schaltflächen klicken, Formulare ausfüllen und den gesamten Kaufprozess durchlaufen. Genau wie ein Mensch. Und gerade deshalb sind sie so schwer zu erkennen.
Aktivitäten eines KI-Agenten auf einer Website
Zunächst muss man verstehen, wie vielfältig diese Gruppe ist. Hinter dem Begriff "KI-Agent" verbergen sich nämlich gleich mehrere grundlegend unterschiedliche Arten von Traffic.
Crawler von KI-Suchmaschinen wie Perplexity oder Google AI Overviews durchsuchen Ihre Seiten, damit deren Inhalte in die Ergebnisse der KI-Suche aufgenommen werden können. Dann gibt es Crawler zum Trainieren von Sprachmodellen, zum Beispiel GPTBot von OpenAI, ClaudeBot von Anthropic oder CCBot. Sie sammeln Texte zum Trainieren oder Aktualisieren von Modellen, und die meisten von ihnen geben sich direkt im Anfrage-Header zu erkennen.
Eine andere Kategorie sind Scraper. Dabei handelt es sich um Tools von Drittanbietern, die Inhalte für Konkurrenzprodukte stehlen, Ihre Preise überwachen oder Texte in großem Umfang kopieren.
Dann kommen Agenten, die im Namen von Nutzern handeln. Ein Kunde sagt zu ChatGPT: "Vergleiche für mich die Preise von drei Onlineshops", und ChatGPT schickt einen Agenten los, der Ihre Seiten durchsucht, Informationen abruft und das Ergebnis liefert. Perplexity Comet, Amazon Buy for Me oder Base44 schließen sogar Käufe und Reservierungen im Namen der Nutzer ab.
Und dann gibt es betrügerische Agenten, die gezielt Schaden anrichten sollen. Sie testen gestohlene Kreditkartennummern, erstellen Dutzende gefälschte Konten, um Rabattaktionen zu missbrauchen, oder kartieren Schwachstellen im System. Eine Studie von Accenture ergab, dass 78 % der IT-Leiter von Finanzinstituten mit einer Zunahme von Betrugsfällen durch KI-Einkaufsagenten rechnen.
Klassische Tools reichen gegen Agenten nicht aus
Viele Teams glauben, dass sie ausreichend geschützt sind. Sie haben den Bot Fight Mode in Cloudflare aktiviert, ein CAPTCHA eingerichtet, und damit sei alles erledigt. Doch die Realität sieht anders aus. Das Sicherheitsteam von cside ließ KI-Agenten gegen zwei große Plattformen zur Bot-Erkennung antreten. In 81 von 100 Fällen blieben sie unentdeckt, was als grobes Versagen der grundlegenden Abwehr gilt.
Warum ist das so? Herkömmliche Tools suchen nach Mustern, die vor einigen Jahren noch galten. Sie überwachen die Reputation von IP-Adressen, TLS-Fingerabdrücke oder einfache CAPTCHA-Aufgaben. KI-Agenten bewältigen KI-Aufgaben jedoch schneller und zuverlässiger als Menschen. Und Tools wie Playwright bieten heute einen Stealth-Modus, der das Merkmal navigator.webdriver unterdrückt, Canvas- und WebGL-Fingerabdrücke fälscht und Spuren des Chrome DevTools Protocol entfernt.
Dabei wird Playwright von mehr als 35 Millionen Entwicklern pro Monat heruntergeladen. Die Suchanfragen nach dem Begriff "Stealth-Browser" bei Google erreichen historische Höchststände. Lokal ausgeführte Agenten sind noch schwerer zu erkennen. Jemand startet die Automatisierung über eine Browsererweiterung auf seinem MacBook. Keine IP-Adresse eines Rechenzentrums, sondern eine normale private IP-Adresse, ein normaler Browser-Fingerabdruck und ein normal aussehendes Gerät.
Wie sich KI-Agenten tatsächlich erkennen lassen
Grundsätzlich gibt es drei Ansätze, von denen jeder einen anderen Teil des Traffics erfasst.
Serverprotokolle sind der einfachste Ausgangspunkt. Ein großer Teil der KI-Crawler gibt sich nämlich selbst im User-Agent-String zu erkennen. GPTBot nennt sich "GPTBot", ClaudeBot nennt sich "ClaudeBot". Wenn Sie ein CDN wie Cloudflare, Vercel oder Netlify verwenden, finden Sie die Daten direkt im Dashboard. Bei einem eigenen Server können Sie die Protokolle von Nginx oder Apache herunterladen. Das Problem? Es funktioniert nur bei den Agenten, die sich dafür entscheiden, ehrlich zu sein. Die gefährlichen stellen sich nicht vor.
Analysetools wie Google Analytics oder PostHog reichen für sich allein nicht zur Bot-Erkennung aus. Crawler führen überhaupt kein JavaScript aus und werden daher in den Analysedaten gar nicht erfasst. Browserbasierte Agenten wiederum erzeugen Daten, die wie ein menschlicher Besuch aussehen. Dennoch lassen sich auch in den Analysedaten Spuren finden, zum Beispiel ein ungewöhnlicher Anstieg des Traffics aus einer bestimmten Chrome-Browserversion, Besuche aus Ländern, die Sie in Cloudflare per Geoblocking gesperrt haben (bei cside wurde Traffic aus China registriert, obwohl das Land in Cloudflare blockiert war), oder plötzlich Tausende Sitzungen mit derselben Bildschirmauflösung und aus derselben geografischen Region. Das sind Anzeichen einer Botfarm.
Spezialisierte Tools zur Erkennung von KI-Agenten sind die dritte und gründlichste Möglichkeit. Sie funktionieren ähnlich wie Analysetools. Sie fügen der Website ein JavaScript-Snippet hinzu, und das Tool beginnt, den Traffic gleichzeitig auf vier Ebenen zu überwachen.
Vier Signale, auf die Sie achten sollten
Spezialisierte Erkennungstools wie cside überwachen gleichzeitig vier Kategorien von Signalen. Erst ihre Kombination liefert ein zuverlässiges Ergebnis.
Identität ist die erste Ebene. Wer behauptet der Agent zu sein? User-Agent-String, Crawler-Signatur, Abgleich mit Datenbanken bekannter Bots. Wie bereits erwähnt, funktioniert das nur bei den ehrlichen Agenten. Bis zu 98 % des KI-Traffics stammen von großen Plattformen wie OpenAI, Anthropic, Google oder Meta, und diese identifizieren sich meist selbst.
Die Netzwerkebene ist ein weiterer Aspekt. Jede Anfrage stammt von einer IP-Adresse, die einem autonomen System (ASN) zugeordnet ist. Rechenzentrums-ASNs von AWS, GCP oder Azure sind ein starkes Indiz für Automatisierung. TLS-Fingerabdrücke offenbaren Unstimmigkeiten: Wenn sich ein Agent als Chrome ausgibt, der TLS-Handshake aber wie ein Python-Skript aussieht, wird er von der Erkennung entlarvt. Dasselbe gilt für geografische Inkonsistenzen. Eine IP-Adresse aus Frankfurt, aber die Zeitzone des Browsers ist auf Shanghai und die Sprache auf zh-CN eingestellt.
Die Browser- und Geräteebene sucht nach Artefakten von Automatisierungstools. Playwright und Puppeteer steuern den Browser über das Chrome DevTools Protocol und hinterlassen Spuren – beispielsweise das Präfix cdc_ in Fensterobjekten. WebGL, Canvas und Audio API sollten ein konsistentes Bild des Geräts ergeben. Wenn der Browser über WebGL eine leistungsstarke GPU meldet, die Canvas-Ausgabe aber nicht dazu passt oder der Fingerabdruck des Audiokontexts vollständig fehlt, ist das ein klares Zeichen dafür, dass jemand die Browserumgebung manipuliert hat.
Das Verhalten ist das letzte Signal. Tippgeschwindigkeit, Zeit zwischen Navigationen, Muster beim Ausfüllen von Formularen, Mausbewegungen, Scrolltiefe. Selbst hochentwickelte Automatisierung erzeugt Muster, die sich erkennen lassen. Einer der Ingenieure von cside analysierte beispielsweise drei beliebte Tools und stellte fest, dass eines auf jede Schaltfläche exakt in der Mitte klickte, das zweite immer leicht rechts von der Mitte und das dritte zwar in die Mitte klickte, gelegentlich aber absichtlich einen zufälligen Klick außerhalb der Mitte hinzufügte. Dies war ein Versuch, Rauschen einzuführen. Jedes dieser Muster ist erkennbar.
Blockieren oder nicht?
Hier machen viele einen Fehler. Alles automatisch zu blockieren, was automatisiert aussieht, klingt logisch. Doch Kunden schicken heute Agenten los, um für sie einzukaufen. Wenn Sie einen Perplexity-Comet-Agenten blockieren, der eine Bestellung für einen Nutzer abschließen wollte, entgeht Ihnen Umsatz. Der Ansatz "Bot oder nicht" ist veraltet. Die bessere Frage lautet: Was will dieser Agent hier tun?
Wenn ein Agent innerhalb von drei Minuten 17 Zahlungskarten getestet hat, handelt es sich um Betrug. Wenn ein Agent Dutzende Konten gleichzeitig erstellt, handelt es sich um den Missbrauch eines Treueprogramms. Wenn ein Agent Produktseiten durchsucht und Preise für einen Kunden vergleicht, handelt es sich wahrscheinlich um legitimen Traffic, den Sie unterstützen möchten.
Warum das Web nicht verschwinden wird
Gelegentlich wird behauptet, Websites würden ohnehin auf APIs und MCP umsteigen und der Browser werde an Bedeutung verlieren. Google hat jedoch einen Leitfaden zur Vorbereitung von Websites auf Agenten veröffentlicht, der ausdrücklich auf die visuelle Optimierung der Benutzeroberfläche eingeht. Wenn Google davon ausginge, dass Websites ausschließlich über APIs genutzt werden, würde das Unternehmen keine Ratschläge dazu geben, wie Schaltflächen übersichtlicher gestaltet und Seitenlayouts stabilisiert werden können.
Forscher der Carnegie Mellon University stellten zudem fest, dass hybride Agenten, die das Browsen im Web mit API-Aufrufen kombinieren, reine API-Ansätze deutlich übertrafen. Bei 77,7 % der Aufgaben nutzten die Agenten beide Methoden, und selbst wenn eine API verfügbar war, kehrten sie weiterhin zum Browser zurück.
Agenten bewegen sich wie Menschen durch das Web, weil das schlicht am besten funktioniert. Und genau deshalb sind sie auf Browserebene sichtbar. Dort lassen sie sich auch am einfachsten erkennen.
