Skandal um KI-Crawler: Perplexity versus Cloudflare
Sie sind Website-Betreiber und versuchen, Ihre Inhalte vor unerwünschten Besuchern zu schützen. Sie legen Regeln fest, blockieren Bots, und trotzdem schleicht sich jemand hinein. Genau das geschieht laut einem Bericht von Cloudflare, der dem KI-Startup Perplexity vorwirft, mit cleveren Tricks Beschränkungen zu umgehen. Diese Geschichte steckt voller Details darüber, wie moderne Technologien im Internet um Daten kämpfen, und zeigt, wie schwierig es sein kann, die Kontrolle über die eigenen Inhalte zu behalten. Sehen wir uns das Schritt für Schritt an.
Kundenbeschwerden und erste Tests
Alles begann, als Cloudflare Beschwerden von seinen Kunden erhielt. Sie behaupteten, dass Bots von Perplexity weiterhin auf ihre Websites zugreifen, obwohl sie Beschränkungen in der robots.txt-Datei und in den Regeln der Web Application Firewall (WAF) festgelegt hatten. Cloudflare beschloss, dies zu überprüfen, und erstellte neue Domains mit ähnlichen Sperren gegen Perplexity-Crawler wie „PerplexityBot“ oder „Perplexity-User“.
Was fanden sie heraus? Perplexity versucht zunächst, mit seinen offiziellen Bezeichnungen auf die Website zuzugreifen. Trifft es auf eine Sperre, ändert es seinen User-Agent – also jene Information, die der Website mitteilt, welcher Browser oder welches Gerät versucht, eine Verbindung herzustellen. Stattdessen gibt sich der Crawler als Google Chrome unter macOS aus. Dadurch kann er Beschränkungen umgehen, die andernfalls funktionieren würden.
IP-Rotation und Netzwerkwechsel
Aber das ist noch nicht alles. Cloudflare stellte fest, dass Perplexity rotierende IP-Adressen verwendet, die nicht auf der offiziellen Liste der vom Unternehmen bereitgestellten IP-Adressen stehen. Diese Liste ist in der Dokumentation von Perplexity verfügbar, doch diese „geheimen“ IP-Adressen stammen aus anderen Quellen. Darüber hinaus wechselt das Unternehmen autonome Systemnummern (ASN), also Nummern, die Gruppen von IP-Netzwerken unter der Kontrolle eines einzelnen Betreibers identifizieren. Auf diese Weise entgeht der Crawler der Erkennung und den Sperren.
Laut Cloudflare betraf diese Aktivität Zehntausende Domains und Millionen von Anfragen täglich. Das bedeutet, dass Perplexity in großem Umfang Daten sammelt, obwohl die Website-Betreiber eindeutig „Nein“ gesagt haben. Es ist, als hätten Sie die Tür abgeschlossen, aber der Dieb hätte einen Schlüssel aus einem anderen Material angefertigt.
Reaktionen von Perplexity und Cloudflare
Perplexity reagierte darauf über seinen Sprecher Jesse Dwyer, der den Bericht von Cloudflare als „Publicity-Stunt“ bezeichnete – also als Trick, um Aufmerksamkeit zu erregen. Laut Dwyer enthält der Blogbeitrag von Cloudflare zahlreiche Missverständnisse. Das Unternehmen veröffentlichte auf seiner Website eine eigene Stellungnahme, in der es behauptet, Cloudflare habe 20 bis 25 Millionen Anfragen von User-Agents mit KI-Scrapern verwechselt. „Nutzergesteuerte Agenten handeln ausschließlich auf Grundlage konkreter Nutzeranfragen und laden nur die benötigten Inhalte herunter“, erklärt das Unternehmen. Außerdem habe Cloudflare Perplexity absichtlich mit 3 bis 6 Millionen täglichen Anfragen von BrowserBase in Verbindung gebracht. Dabei handelt es sich um einen Cloud-Browser für KI-Agenten, den Perplexity nur gelegentlich verwendet.
Cloudflare hingegen, dessen CEO Matthew Prince für seine Aussagen über die „existenzielle Bedrohung“ durch KI für Verlage bekannt ist, reagierte entschieden. Das Unternehmen entfernte Perplexity von der Liste verifizierter Bots und führte neue Methoden ein, um diese „geheimen Crawler“ zu blockieren. Im vergangenen Monat ermöglichte Cloudflare Websites sogar, von KI-Unternehmen eine Zahlung für das Crawlen ihrer Inhalte zu verlangen, und begann damit, KI-Crawler standardmäßig zu blockieren.
Folgen
Dieser Vorfall ist kein Einzelfall. Im vergangenen Jahr wurde Perplexity dafür kritisiert, Paywalls und robots.txt-Dateien zu ignorieren, was CEO Aravind Srinivas Drittanbietern zuschrieb. Nun betont Cloudflare, dass Crawler transparent sein und die Wünsche der Website-Betreiber respektieren müssen. Weitere Quellen bestätigen, dass Perplexity die Identität seiner Bots verschleiert, IP-Adressen rotiert und Browser nachahmt, was Zehntausende Domains betrifft. Cloudflare hat seine Regeln aktualisiert, um solche Verhaltensweisen zu blockieren, und betont, dass derartige Praktiken die Autonomie von Verlagen untergraben.
Diese Geschichte zeigt, wie KI-Unternehmen wie Perplexity Grenzen ausreizen, um Daten für ihre Modelle zu gewinnen. Für Website-Betreiber bedeutet dies, dass sie einen besseren Schutz benötigen, während es für Nutzer eine Erinnerung daran ist, dass sich hinter intelligenten Suchmaschinen komplexe Kämpfe um Daten verbergen. Wenn Sie das Thema interessiert, verfolgen Sie die weitere Entwicklung – es scheint, als wäre dies erst der Anfang einer größeren Debatte über die Ethik von KI im Web.
