AI-Bot-Traffic ist der Anteil der Web-Anfragen, die von Crawlern und Agenten stammen, die Seiten für AI-Modelle, AI-Suche und AI-Assistenten abrufen. Im Oktober 2026 zeigt Cloudflare Radar Googlebot mit 23,7 % vorn und ClaudeBot mit 12,6 % auf Platz 2, während Websites jede sechste AI-Bot-Anfrage mit 403 Forbidden beantworteten, im Juli war es noch jede zehnte.
📋Wichtigste Ergebnisse:- Die Abweisungen haben sich in drei Monaten fast verdoppelt: 17,1 % der AI-Bot-Anfragen erhielten im Oktober 2026 ein
403, gegenüber 9,6 % im Juli (13,3 % gegenüber 9,2 % ohne die sechs unten markierten Märkte). Nur noch 57,7 % bekamen ein 200 OK, nach 71,6 %. - Websites nehmen gezielt reine AI-Bots ins Visier. Die
403-Quote von GPTBot hat sich verdreifacht (4,9 % auf 15,4 %), die von ClaudeBot fast verdoppelt (14,1 % auf 27,1 %), während Googlebot bei 3,7 % blieb. - Am häufigsten abgewiesen werden die Bots, die eine Seite für die Frage eines Nutzers abrufen: User-Action-Bots wie ChatGPT-User bekamen im Oktober nur bei 24,4 % ihrer Anfragen ein
200. - Such-Crawling stieg von 3,4 % der AI-Bot-Anfragen im Februar auf 11,6 % im Oktober. Die Hälfte der AI-Bot-Anfragen von OpenAI kommt inzwischen von seinen Such- und User-Bots, nach 23 %.
- Googlebot führt in 11 der 15 Märkte mit stabilem Signal. ChatGPT-User führt in Australien (54,7 %) und der Schweiz (43,5 %), und die Crawler von ByteDance stellen 57,4 % der AI-Bot-Anfragen an Websites in Singapur.
- Seit der Woche vom 21. September bewegen sich Radars Zahlen für sechs Märkte (Deutschland, Niederlande, Kanada, Japan, Brasilien und Belgien) im Gleichschritt, deshalb behandle ich sie unten gesondert.
Als wir diese Analyse im Februar 2026 zum ersten Mal durchgeführt haben, stellte Googlebot 35,9 % der AI-Bot-Anfragen, und die Frage war einfach, welcher Crawler wo führt. Im Oktober ist die größere Geschichte die Antwort, die diese Crawler bekommen. Websites weisen AI-Bots inzwischen in großem Stil ab, und sie wählen aus, welche: Googlebot kommt fast immer durch, während die Trainings- und Antwort-Bots von OpenAI, Anthropic und Meta weit öfter auf eine Wand treffen. Das Web hat begonnen, sich zu wehren, und tut das je nach Standort Ihres Publikums mit sehr unterschiedlicher Intensität.
Ich habe die vollständige Analyse über 20 Märkte hinweg erneut durchgeführt, nach User-Agent, Crawl-Zweck, Content-Typ, HTTP-Antwort und robots.txt-Direktiven, um zu sehen, wie der AI-Crawler-Traffic Ende 2026 genau aussieht und wie er sich seit Februar verschoben hat. Jede Zahl stammt direkt aus der Cloudflare-Radar-API, verglichen über drei Kalendermonate (Februar, Juli und Oktober 2026), und jeder Anteil unten ist ein Anteil an AI-Bot-Anfragen, sofern ich nichts anderes sage.
Was ist AI-Bot-Traffic?
AI-Bot-Traffic ist jede Anfrage, die eine Website von einem Crawler oder Agenten im Auftrag eines AI-Produkts erhält, ob er Trainingsdaten sammelt, einen Suchindex aufbaut oder eine Seite abruft, weil jemand einem Assistenten eine Frage gestellt hat. Cloudflare Radar ordnet diese Bots nach dem Zweck, den ihre Betreiber angeben, und im Oktober 2026 sah die Aufteilung so aus:
| Crawl-Zweck | Was der Bot tut | Beispiel-Bots | Anteil an AI-Bot-Anfragen, Okt. 2026 |
|---|
| Training | Dedizierte Trainings-Crawler, die gezielt Daten sammeln, um AI-Modelle zu bauen und zu verbessern | GPTBot, ClaudeBot, Meta-ExternalAgent, Bytespider | 43,6 % |
| Gemischter Zweck | Crawler, die für die Suche indexieren und gleichzeitig Trainingsdaten sammeln, ohne beides sauber zu trennen | Googlebot, Bingbot | 39,3 % |
| Suche | AI-gestützte Such-Bots, die Seiten crawlen, um Suchantworten zu erzeugen | OAI-SearchBot, Claude-SearchBot, PerplexityBot, ShapBot | 11,6 % |
| User Action | Bots, die Seiten in Echtzeit abrufen, wenn Nutzer Fragen stellen | ChatGPT-User, Claude-User, Perplexity-User | 3,9 % |
| Nicht angegeben | Kein vom Betreiber veröffentlichter Zweck | Kleinere und unbekannte Agenten | 1,5 % |
Das ist ein Ausschnitt eines viel größeren Bot-Kuchens. Über alle HTTP-Anfragen, die Cloudflare im Oktober 2026 ausgeliefert hat, stufte Radar 39,3 % als Bots und 60,7 % als Menschen ein (http/summary/bot_class). Die oft zitierten „51 % des Internet-Traffics sind Bots" stammen aus Impervas Bad Bot Report 2025, der den gesamten automatisierten Traffic des Jahres 2024 zählt, einschließlich Scrapern und Angriffs-Bots. Die beiden Zahlen messen Unterschiedliches, widersprechen sich also nicht, und keine von beiden ist der reine AI-Anteil.
Wie sieht der globale AI-Bot-Traffic im Oktober 2026 aus?
Googlebot führt weltweit weiterhin den gesamten AI-bezogenen Crawler-Traffic an, doch sein Anteil ist auf 23,7 % gefallen, 12,2 Prozentpunkte weniger als die 35,9 %, die Radar für Februar ausweist. ClaudeBot liegt mit 12,6 % auf Platz 2, dicht gefolgt von Meta-ExternalAgent mit 11,0 %. Das geht aus Cloudflare Radar hervor (ai/bots/summary/user_agent) und deckt Websites ab, die durch Cloudflares Netzwerk von 330+ Städten in 125+ Ländern geschützt sind.
| AI-Bot | Betreiber | Hauptzweck | Feb. 2026 | Juli 2026 | Okt. 2026 |
|---|
| Googlebot | Google | Suchindexierung + AI (gemischt) | 35,9 % | 24,5 % | 23,7 % |
| ClaudeBot | Anthropic | Modelltraining | 10,5 % | 16,5 % | 12,6 % |
| Meta-ExternalAgent | Meta | AI-Training | 14,3 % | 12,5 % | 11,0 % |
| Applebot | Apple | Suche + AI-Funktionen | 2,6 % | 6,5 % | 8,3 % |
| Bingbot | Microsoft | Suchindexierung + AI (gemischt) | 9,3 % | 8,9 % | 7,4 % |
| GPTBot | OpenAI | Modelltraining | 12,7 % | 9,7 % | 5,5 % |
| Amazonbot | Amazon | AI-Training | 5,2 % | 6,0 % | 5,0 % |
| ShapBot | Parallel | Suchindex für Web-APIs | 0,0 % | 0,3 % | 4,3 % |
| OAI-SearchBot | OpenAI | ChatGPT-Suche | 2,5 % | 1,6 % | 4,3 % |
| Bytespider | ByteDance | AI-Training | 3,3 % | 5,3 % | 3,7 % |
| PerplexityBot | Perplexity | AI-Suche | 0,2 % | 0,3 % | 2,6 % |
| Claude-SearchBot | Anthropic | Claude-Websuche | 0,6 % | 3,5 % | 1,8 % |
| ChatGPT-User | OpenAI | Vom Nutzer ausgelöste Abrufe | 1,3 % | 1,3 % | 1,5 % |
Die vier größten Crawler stehen jetzt für 55,5 % der identifizierten AI-Bot-Anfragen, ein weniger konzentrierter Markt als im Februar mit 73,4 %, weil die Verfolger gewachsen sind, während Google geschrumpft ist. Drei Verschiebungen stechen heraus:
- ClaudeBot erreichte im Juni seinen Höchststand von 19,8 % und hat sich bei 12,6 % eingependelt, immer noch über den 10,5 % vom Februar.
- GPTBot hat sich mehr als halbiert, von 12,7 % auf 5,5 %, während der Such-Bot von OpenAI von 2,5 % auf 4,3 % wuchs.
- Neue Such-Crawler kamen schnell. ShapBot, mit dem Parallel Seiten für seine Web-APIs indexiert, stieg von null im Februar auf 4,3 % im Oktober, gleichauf mit OAI-SearchBot.
📊In Zahlen: Im Februar 2026 kamen 23 % der AI-Bot-Anfragen von OpenAI von seinen Such- und User-Bots (OAI-SearchBot und ChatGPT-User). Im Oktober waren es 51 %: 5,8 der 11,3 Punkte von OpenAI. Das Crawling von OpenAI hat sich vom Sammeln von Trainingsdaten zum Beantworten von Fragen verschoben. (Cloudflare Radar, ai/bots user_agent, Kalendermonate, abgerufen am 10. November 2026.)
Wie oft weisen Websites AI-Bots ab?
Viel öfter als im Sommer, und hier ist der Befund, der die gesamte Debatte „Soll ich AI-Bots blockieren?" neu einordnet. Cloudflare Radars Aufschlüsselung nach Antwortstatus (ai/bots/summary/response_status) zeigt die HTTP-Statuscodes, die Crawler tatsächlich erhalten, und Websites sagen bereits in großem Stil Nein. Im Oktober 2026 bekamen nur 57,7 % der AI-Bot-Anfragen ein 200 OK, und 17,1 % ein 403 Forbidden, nach 9,6 % im Juli:
| HTTP-Antwort | Bedeutung | Feb. 2026 | Juli 2026 | Okt. 2026 |
|---|
| 200 OK | Ausgeliefert | 68,6 % | 71,6 % | 57,7 % |
| 403 Forbidden | Abgewiesen (blockiert) | 7,5 % | 9,6 % | 17,1 % |
| 404 Not Found | Seite existiert nicht | 3,7 % | 4,2 % | 8,1 % |
| 301 Moved Permanently | Weitergeleitet | 6,2 % | 5,3 % | 6,4 % |
| 429 Too Many Requests | Ratenbegrenzt (gedrosselt) | 0,6 % | 1,5 % | 2,8 % |
| 302 Found | Temporäre Weiterleitung | 7,7 % | 2,5 % | 2,6 % |
Alle 4xx-Antworten zusammen stiegen von 16,0 % der AI-Bot-Anfragen im Juli auf 29,1 % im Oktober. Etwa die Hälfte dieses Sprungs stammt aus den sechs Märkten, die ich weiter unten gesondert betrachte. Ohne sie stieg der 403-Anteil immer noch von 9,2 % auf 13,3 % und der 4xx-Anteil von 15,4 % auf 22,2 %.
Mit anderen Worten: Rund jede fünfte AI-Bot-Anfrage (17,1 % 403 plus 2,8 % 429) wird von den Websites, die sie ansteuert, bereits abgewiesen, über WAF-Regeln, Bot-Management-Produkte oder Ratenlimits am Ursprungsserver. Das Narrativ „AI scrapt alles unkontrolliert" ist überholt; ein großer und wachsender Teil des Webs weist diese Bots standardmäßig ab. Das bedeutet auch, dass AI-Antwortmaschinen zunehmend mit lückenhaften Crawls arbeiten: Wenn Ihre Wettbewerber blockieren und Sie nicht, sind Ihre Seiten diejenigen, die zum Zitieren verfügbar sind.
⚠️Korrektur: Die Juli-Fassung dieses Artikels sagte, nur 46 % der AI-Crawler-Anfragen erhielten ein 200. Diese Zahl stammte aus Radars bots/crawlers-Datensatz, der auch menschliche Besucher (im Oktober 35 % davon) und Nicht-AI-Bots zählt. Auf AI-Bots gefiltert lag die Erfolgsquote im Juli bei 71,6 %. Der Trend zu mehr Abweisungen ist echt; das Juli-Niveau war überzeichnet.
Welche Bots werden am häufigsten abgewiesen?
Websites weisen AI-Bots nicht gleichmäßig ab. Sie lassen Googlebot und Bingbot durch und wehren sich gegen die reinen AI-Crawler. Die Tabelle lässt die sechs Gleichschritt-Märkte weg, damit eine einzelne Traffic-Quelle keinen Bot aufblähen kann:
| AI-Bot | 403-Quote, Juli 2026 | 403-Quote, Okt. 2026 | 200 OK, Okt. 2026 |
|---|
| Googlebot | 3,7 % | 3,7 % | 72,2 % |
| Bingbot | 3,5 % | 5,4 % | 73,7 % |
| Applebot | 6,8 % | 11,2 % | 66,4 % |
| Amazonbot | 6,9 % | 12,4 % | 71,5 % |
| GPTBot | 4,9 % | 15,4 % | 69,9 % |
| OAI-SearchBot | 10,1 % | 15,9 % | 60,7 % |
| Bytespider | 15,4 % | 16,2 % | 41,3 % |
| PerplexityBot | 41,3 % | 17,2 % | 57,1 % |
| Meta-ExternalAgent | 15,0 % | 19,0 % | 59,8 % |
| Claude-SearchBot | 13,7 % | 26,5 % | 58,3 % |
| ClaudeBot | 14,1 % | 27,1 % | 58,1 % |
| ChatGPT-User | 22,3 % | 28,2 % | 33,6 % |
| CCBot | 39,7 % | 51,1 % | 9,7 % |
Die Abweisungsquote von GPTBot hat sich in drei Monaten verdreifacht, die von Googlebot hat sich nicht bewegt. Der Such-Bot von Anthropic wird fast so oft abgewiesen wie sein Trainings-Bot, was darauf hindeutet, dass viele Websites Anthropic an der Firewall sperren statt Token für Token in der robots.txt. PerplexityBot ging den umgekehrten Weg, von 41,3 % abgewiesen im Juli auf 17,2 % im Oktober, während sein Anteil an den AI-Bot-Anfragen um mehr als das Siebenfache wuchs. Und ShapBot, der neueste große Crawler, wird fast nie abgewiesen: 85 % seiner Anfragen bekamen im Oktober ein 200, vermutlich weil ihn noch kaum eine Firewall-Regel nennt.
Werden die Bots, die Sie zitieren könnten, am häufigsten abgewiesen?
Ja. Gruppiert man dieselben Anfragen nach Crawl-Zweck, werden die Bots, die Fragen von Nutzern beantworten und Ihnen einen Besucher schicken könnten, häufiger abgewiesen als die Trainings-Crawler:
| Crawl-Zweck | 403-Quote, Juli 2026 | 403-Quote, Okt. 2026 | 200 OK, Juli 2026 | 200 OK, Okt. 2026 |
|---|
| Gemischter Zweck (Googlebot, Bingbot) | 4,1 % | 5,5 % | 75,3 % | 71,3 % |
| Training | 11,9 % | 18,1 % | 71,7 % | 62,7 % |
| Suche | 14,0 % | 19,8 % | 66,5 % | 56,0 % |
| User Action | 25,4 % | 34,9 % | 47,2 % | 24,4 % |
🚩Warnsignal: User-Action-Bots, also die, die Ihre Seite abrufen, während jemand auf eine Antwort wartet, bekamen im Oktober 2026 nur bei 24,4 % ihrer Anfragen ein 200. Weitere 18,9 % landeten auf einer Seite, die nicht existiert. Wenn Sie diese Bots blockieren oder ein Assistent eine URL zitiert, die Sie ohne Weiterleitung verschoben haben, wird die Antwort ohne Ihre Seite geschrieben.
Radars AI-Bot-Datensatz erkennt Bots an ihrem User-Agent, daher können manche abgewiesenen Anfragen von Nachahmern stammen, die sich den Namen eines echten Bots leihen, und die zu stoppen ist richtig. Die Aufteilung erklären Nachahmer aber nicht: In denselben drei Monaten ließen Websites Googlebot unverändert durch, während sie GPTBot dreimal so oft abwiesen.
💡Kurze Einsicht: In manchen Märkten leistet ein Scherz-Statuscode echte Arbeit. 418 I'm a teapot machte im Oktober 2026 12,9 % der AI-Bot-Antworten an Websites in Mexiko aus, 9,9 % in Spanien und 8,1 % in Italien. Er wird unerwünschten Bots manchmal statt eines 403 zurückgegeben, zählen Sie ihn also beim Lesen Ihrer eigenen Logs als Abweisung.
Wie unterscheidet sich AI-Bot-Traffic nach Land?
Im Februar beschrieb dieser Abschnitt eine saubere Zweiteilung, einen „Googlebot-Gürtel" gegenüber einem „ChatGPT-Korridor". Diese Einteilung hält dem Kontakt mit den Daten nicht mehr stand. Die Tabelle umfasst die 15 Märkte meiner Auswahl, deren Daten sich im Oktober 2026 normal verhielten. Radar ordnet jede Anfrage dem Land des Cloudflare-Kunden zu, dessen Website sie erhielt, nicht dem Land, aus dem der Bot crawlt. Lesen Sie jede Zeile also als „AI-Bots, die Websites in diesem Markt besuchen".
| Markt | Bot #1 | Anteil #1 | Bot #2 | Anteil #2 | Größter Zweck | 200 OK | 403 |
|---|
| Türkei | Googlebot | 91,7 % | Bingbot | 1,3 % | Gemischt (94,3 %) | 15,2 % | 58,3 % |
| Mexiko | Googlebot | 85,5 % | Bingbot | 4,1 % | Gemischt (89,7 %) | 26,1 % | 26,0 % |
| Polen | Googlebot | 70,4 % | ChatGPT-User | 12,7 % | Gemischt (73,2 %) | 33,6 % | 32,3 % |
| Österreich | Googlebot | 68,6 % | imgproxy | 8,6 % | Gemischt (73,6 %) | 62,6 % | 17,2 % |
| Indonesien | Googlebot | 59,7 % | ChatGPT-User | 14,3 % | Gemischt (67,3 %) | 52,3 % | 15,9 % |
| Italien | Googlebot | 54,5 % | ChatGPT-User | 18,0 % | Gemischt (57,8 %) | 60,9 % | 14,5 % |
| Spanien | Googlebot | 49,9 % | ChatGPT-User | 25,4 % | Gemischt (59,2 %) | 52,6 % | 16,3 % |
| Frankreich | Googlebot | 44,9 % | Meta-ExternalAgent | 11,4 % | Gemischt (60,2 %) | 60,2 % | 15,7 % |
| Indien | Googlebot | 44,1 % | ChatGPT-User | 16,3 % | Gemischt (57,9 %) | 64,0 % | 13,6 % |
| Vereinigtes Königreich | Googlebot | 40,4 % | Meta-ExternalAgent | 14,2 % | Gemischt (55,9 %) | 64,6 % | 12,3 % |
| USA | Googlebot | 27,1 % | Meta-ExternalAgent | 12,8 % | Gemischt (45,0 %) | 67,8 % | 12,0 % |
| Südkorea | Bingbot | 29,0 % | Googlebot | 28,0 % | Gemischt (58,8 %) | 72,5 % | 13,7 % |
| Australien | ChatGPT-User | 54,7 % | Googlebot | 16,1 % | User Action (55,2 %) | 73,9 % | 15,2 % |
| Schweiz | ChatGPT-User | 43,5 % | Googlebot | 24,3 % | User Action (64,0 %) | 69,4 % | 10,8 % |
| Singapur | Bytespider | 48,9 % | TikTokSpider | 8,5 % | Training (65,3 %) | 30,2 % | 26,8 % |
Muster 1: Googlebot-Mehrheitsmärkte
Googlebot hält in 11 der 15 analysierten Märkte Platz 1, und in der Türkei (91,7 %), in Mexiko (85,5 %), Polen (70,4 %) und Österreich (68,6 %) stellt er den Großteil des gesamten AI-bezogenen Crawlings. Die USA sind der gemischteste Markt der Auswahl: Googlebot führt mit 27,1 %, dahinter liegen Meta-ExternalAgent (12,8 %) und ClaudeBot (12,7 %) gleichauf. Training und gemischter Zweck machen 88,1 % der AI-Bot-Anfragen an US-Websites aus, amerikanische Websites sind also weiterhin vor allem Rohmaterial für den Modellbau.
Muster 2: ChatGPT-User-Märkte
Australien und die Schweiz sind die beiden Märkte, in denen ChatGPT-User, der Bot, der Seiten besucht, wenn echte Nutzer ChatGPT Fragen stellen, der dominierende Crawler ist. Er stellt 54,7 % der AI-Bot-Anfragen an australische Websites, und User-Action-Crawling macht dort 55,2 % des Gesamtvolumens aus. Die Schweiz geht noch weiter: ChatGPT-User (43,5 %) und Claude-User (20,4 %) treiben das User-Action-Crawling auf 64,0 %, den höchsten Wert aller Märkte, die ich geprüft habe. ChatGPT-User ist außerdem Bot #2 in Spanien (25,4 %), Italien (18,0 %), Indien (16,3 %), Indonesien (14,3 %) und Polen (12,7 %). Südkorea, wo ChatGPT-User im Februar führte, ist jetzt ein Dreikampf: Bingbot 29,0 %, Googlebot 28,0 %, ChatGPT-User 24,6 %.
Muster 3: Die Bytespider-Märkte
ByteDances Bytespider (48,9 %) und TikTokSpider (8,5 %) stellen zusammen 57,4 % der AI-Bot-Anfragen an Websites in Singapur, und Training macht dort 65,3 % des Crawlings aus. Das ist ein Training-first-Muster und der trainingslastigste Markt, den ich mir angesehen habe. Wo ChatGPT-User-Traffic die Nachfrage von Endnutzern nach AI-Antworten signalisiert, signalisiert ein Bytespider-Anstieg massenhafte Datensammlung für das Modelltraining: eine andere Belastung für Ihre Infrastruktur, und eine, die überhaupt keinen Referral-Traffic zurückbringt. Indiens Juli-Schlagzeile, Bytespider auf Platz 1 mit 29,4 %, hielt nicht: Bis Oktober fiel Bytespider dort auf 8,3 %, hinter Googlebot (44,1 %), ChatGPT-User (16,3 %) und Bingbot (11,8 %).
Wo weisen Websites AI-Bots am häufigsten ab?
Websites in der Türkei beantworteten im Oktober 2026 58,3 % der AI-Bot-Anfragen mit einem 403, mit Abstand der höchste Wert der Auswahl, gefolgt von Polen (32,3 %), Singapur (26,8 %) und Mexiko (26,0 %). Am wenigsten wiesen die Schweiz (10,8 %), die USA (12,0 %) und das Vereinigte Königreich (12,3 %) ab. Indonesien fällt durch Drosselung auf: 11,2 % seiner AI-Bot-Antworten waren 429 Too Many Requests, das Vierfache des globalen Werts.
Die Zahl für die Türkei verdient einen zweiten Blick. Googlebot stellt dort 91,7 % der AI-Bot-Anfragen, also landen die meisten dieser 403 auf Anfragen, die sich als Googlebot ausgeben. Der echte Googlebot wird weltweit in 3,7 % der Fälle abgewiesen. Entweder sind viele Anfragen Nachahmer, die Firewalls zu Recht blockieren, oder einige große türkische Websites weisen Googlebot ab. Wenn Sie dort eine Website betreiben, prüfen Sie, dass Ihre Firewall nicht Letzteres tut.
Warum zeichnet sich die Landkarte immer wieder neu?
Im Februar beschrieb dieser Artikel zwei Lager, einen Googlebot-Gürtel und einen ChatGPT-Korridor; im Juli drei. Jedes Modell zerbrach, weil sich der AI-Crawler-Markt noch formiert. In den Länderdaten wirken sichtbar vier Kräfte:
- Neue Marktteilnehmer skalieren schneller als etablierte. ShapBot, PerplexityBot, OAI-SearchBot und Applebot haben ihren Anteil ausgebaut, während Googlebots proportionale Präsenz geschrumpft ist, nicht weil Google weniger crawlt, sondern weil alle anderen mehr crawlen. Eine Rangliste auf Basis relativer Anteile mischt sich während einer Landnahme jeden Monat neu.
- User-getriebenes Crawling folgt Konsumgewohnheiten, nicht Firmensitzen. Märkte wie Australien und die Schweiz zeigen hohe „User Action"-Anteile, weil Menschen dort Assistenten Fragen stellen, die eine Live-Seite brauchen. Wenn jemand in Sydney oder Zürich ChatGPT eine Frage stellt, ruft der Bot in Echtzeit eine Seite ab, also treibt das Konsumverhalten diesen Traffic, nicht der Standort der AI-Labore.
- Trainings-Crawler folgen Sprache und Volumen. Englischsprachige Märkte (die USA) und große Content-Bestände ziehen die Training-first-Crawler an, GPTBot, ClaudeBot, Meta-ExternalAgent und Bytespider, weshalb diese Länder zu „Training" und „Gemischtem Zweck" tendieren statt zu „User Action".
- Wenige große Websites können einen ganzen Markt bewegen. Weil Radar nach dem Land des Kunden berichtet, kann eine große Plattform die Zusammensetzung eines kleineren Markts bestimmen. So ging Brasilien von ChatGPT-User mit 55,2 % im Februar zu Googlebot auf Platz 1 im Juli, und so tauchte Indiens Bytespider-Führung innerhalb eines Quartals auf und verschwand wieder.
Sechs Märkte im Gleichschritt
Ab der Woche vom 21. September 2026 wurden Radars Zahlen für Deutschland, die Niederlande, Kanada, Japan, Brasilien und Belgien Woche für Woche nahezu identisch: ClaudeBot bei 14 % bis 15 % der AI-Bot-Anfragen, PerplexityBot bei 5 % bis 10 %, und 71 % bis 76 % der Oktober-Antworten im 4xx-Bereich. Sechs Märkte auf vier Kontinenten bewegen sich nicht so im Gleichschritt. Die wahrscheinlichste Lesart ist eine einzelne große Traffic-Quelle, die in diesen Märkten inzwischen alles andere überwiegt. Bis sie abklingt, beschreiben ihre Zeilen diese Quelle, nicht das Land, und das gilt auch für Deutschland.
| Markt | Bot #1, Juli 2026 | 4xx, Juli 2026 | Bot #1, Okt. 2026 | 4xx, Okt. 2026 |
|---|
| Deutschland | Googlebot (39,2 %) | 30,8 % | ClaudeBot (14,2 %) | 70,8 % |
| Niederlande | Googlebot (28,3 %) | 57,9 % | ClaudeBot (14,1 %) | 73,5 % |
| Kanada | Googlebot (38,9 %) | 35,9 % | ClaudeBot (15,0 %) | 74,9 % |
| Japan | Googlebot (23,1 %) | 46,7 % | ClaudeBot (14,8 %) | 75,9 % |
| Brasilien | Googlebot (42,6 %) | 42,5 % | ClaudeBot (14,5 %) | 75,9 % |
| Belgien | Googlebot (11,9 %) | 70,3 % | ClaudeBot (14,9 %) | 74,2 % |
Für den deutschsprachigen Raum heißt das: Österreich (Googlebot 68,6 %, 17,2 % 403) und die Schweiz (64,0 % User Action) liefern im Oktober ein sauberes Signal, Deutschland vorerst nicht. Der letzte unauffällige Monat für Deutschland ist der Juli, mit Googlebot bei 39,2 % und 30,8 % der Antworten im 4xx-Bereich.
⚠️Häufiger Fehler: Eine einzelne Radar-Zahl für einen Markt als „so behandelt dieses Land AI-Bots" zu zitieren. Prüfen Sie vor dem Zitieren die Wochenreihe des Landes: Ein Anteil, der in einer Woche springt und danach bis auf die Nachkommastelle flach bleibt, ist eine einzelne Quelle, kein nationaler Trend.
Welche Inhalte rufen AI-Bots tatsächlich ab?
Eine Aufschlüsselung, die Cloudflare Radar bereitstellt, die aber nur wenige Analysen nutzen, ist der Content-Typ (ai/bots/summary/content_type), also die MIME-Kategorie dessen, was AI-Crawler anfragen. Weltweit rufen AI-Bots überwiegend gerenderte Seiten ab, doch im Nicht-HTML-Anteil steckt das interessante Verhalten.
| Content-Typ | Feb. 2026 | Juli 2026 | Okt. 2026 |
|---|
| HTML | 74,8 % | 72,5 % | 73,0 % |
| Plain Text | 4,4 % | 5,9 % | 8,4 % |
| JSON | 7,1 % | 6,9 % | 5,4 % |
| JavaScript | 4,5 % | 5,4 % | 4,9 % |
| Bilder | 4,9 % | 5,3 % | 4,5 % |
| XML | 1,8 % | 1,6 % | 1,4 % |
| CSS | 1,5 % | 1,3 % | 1,3 % |
Fast drei Viertel der AI-Crawler-Anfragen betreffen HTML, also die lesbare Seite. Aber 8,4 % sind Plain Text und 5,4 % JSON, und zusammen zeigen diese 13,8 %, dass AI-Crawler zunehmend strukturierte und rohe Daten abrufen, nicht nur Fließtext: API-Antworten, Sitemaps und die Plain-Text-Dateien (llms.txt, robots.txt, Feeds), die Agenten direkt auswerten.
Plain Text hat sich in diesem Jahr fast verdoppelt, von 4,4 % im Februar, und bleibt auch ohne die sechs Gleichschritt-Märkte bei 8,2 %. Die Zusammensetzung schwankt auch je nach Markt: JSON macht 16,2 % der AI-Bot-Anfragen an britische Websites aus und 15,0 % in Indien, während Bilder in Österreich und Singapur 14,5 % erreichen. Wenn AI-Systeme Ihre Fakten sauber aufnehmen sollen, statt sie aus gerendertem HTML zu erraten, zählt eine maschinenlesbare Oberfläche.
Welche Crawler versuchen Websites zu regulieren?
Wenn Antwortcodes zeigen, wie Websites in Echtzeit reagieren, zeigt die robots.txt ihre erklärte Absicht. Cloudflare Radar wertet robots.txt-Dateien über seinen Domainbestand aus und rankt die User-Agents, die diese Dateien am häufigsten nennen (robots_txt/top/user_agents/directive). Die Liste ist eine nahezu perfekte Rangliste der AI-Crawler, ein direktes Signal dafür, für welche Bots Website-Betreiber bewusst Regeln schreiben. Der Scan vom 9. November 2026 wertete 4.409 Dateien aus:
| User-Agent | Betreiber | Dateien mit Disallow | davon vollständig | Dateien mit Allow |
|---|
| GPTBot | OpenAI | 754 | 549 | 360 |
| ClaudeBot | Anthropic | 687 | 506 | 323 |
| CCBot | Common Crawl | 651 | 526 | 194 |
| Google-Extended | Google (Opt-out für AI-Training) | 622 | 453 | 317 |
| Bytespider | ByteDance | 603 | 526 | 118 |
| meta-externalagent | Meta | 523 | 430 | 150 |
| Amazonbot | Amazon | 519 | 420 | 140 |
| Applebot-Extended | Apple (Opt-out für AI-Training) | 493 | 393 | 187 |
| PerplexityBot | Perplexity | 385 | 194 | 357 |
| ChatGPT-User | OpenAI | 362 | 177 | 323 |
| Googlebot | Google | 327 | 15 | 295 |
Das sind Zählungen von Domains, die den jeweiligen Agenten in einer Direktive nennen (Momentaufnahme eines Tages), keine Traffic-Anteile. Eine Datei kann einen Bot in einen Ordner lassen und ihn vom Rest ausschließen, also in beiden Spalten zählen.
Das Auffällige ist die letzte Zeile. 549 dieser Dateien sperren GPTBot vollständig, 15 sperren Googlebot vollständig, den klassischen Such-Crawler, den es seit zwei Jahrzehnten gibt. Googlebots 327 Disallow-Regeln sind fast alle partiell und halten ihn aus bestimmten Ordnern heraus. GPTBot ist zugleich der Bot, der am häufigsten ausdrücklich erlaubt wird (360 Dateien), Website-Betreiber treffen bei ihm also so oder so eine bewusste Entscheidung.
Website-Betreiber schreiben Regeln gezielt für die AI-Trainings-Crawler, und die Präsenz von Google-Extended (622 Disallow-Regeln) und Applebot-Extended (493), den Opt-out-Tokens, die Google und Apple eigens geschaffen haben, damit Publisher AI-Training verweigern und trotzdem in der Suchindexierung bleiben können, bestätigt: Das ist ein bewusster Regulierungsversuch, keine zufällige Konfiguration.
Ein Vorbehalt, der das umsetzbar macht: Eine robots.txt-Direktive wirkt nur, wenn sie syntaktisch gültig ist und das richtige Token trifft, und sie ist eine Bitte, keine Durchsetzung. ShapBot gehört nicht zu den 40 Agenten, die robots.txt-Dateien am häufigsten nennen, und bekam bei 85 % seiner Anfragen ein 200. ClaudeBot wird in 687 Disallow-Regeln genannt und bekam bei 27,1 % seiner Anfragen ein 403, das ist die Firewall-Ebene bei der Arbeit.
Wie auch immer Sie entscheiden, was Sie erlauben oder blockieren: Prüfen Sie Ihre robots.txt-Datei anschließend, denn eine fehlerhafte Regel scheitert offen, und Sie glauben, einen Crawler zu blockieren, der einfach durchspaziert. Unser robots.txt-Leitfaden erklärt die Syntax, und die Bots eines Betreibers im Detail zeigt der Artikel Was ist ClaudeBot und welchen Anthropic-Crawler Sie gefahrlos sperren können.
Auf welche Branchen zielen AI-Bots am stärksten?
Laut Cloudflare Radar (ai/bots/summary/vertical) bleiben Shopping und E-Commerce die mit Abstand am stärksten gecrawlte Branche, und ihr Anteil steigt weiter.
| Branche | Feb. 2026 | Juli 2026 | Okt. 2026 |
|---|
| Shopping und allgemeine Handelswaren | 30,5 % | 31,7 % | 32,8 % |
| Internet und Telekommunikation | 16,9 % | 16,4 % | 16,2 % |
| Computer und Elektronik | 15,0 % | 14,4 % | 13,6 % |
| Nachrichten, Medien und Publikationen | 9,0 % | 9,8 % | 8,2 % |
| Wirtschaft und Industrie | 5,1 % | 4,9 % | 4,9 % |
| Professionelle Dienstleistungen | 3,6 % | 3,2 % | 4,6 % |
| Reisen und Tourismus | 4,0 % | 4,3 % | 3,7 % |
| Glücksspiel | 3,3 % | 2,2 % | 3,4 % |
| Finanzen | 3,1 % | 3,1 % | 2,9 % |
Der Handel mit 32,8 % (nach 30,5 % im Februar) liegt weiter vorn, was dazu passt, wie stark AI-Modelle für Produktrecherche und Preisvergleiche genutzt werden: Wenn ein Nutzer einen Assistenten fragt „Was ist der beste Laufschuh unter 150 $?", braucht der Bot aktuelle Produktseiten und Bewertungen, um zu antworten. Internet/Telekommunikation (16,2 %) und Computer/Elektronik (13,6 %) folgen, weil technische Dokumentationen und Produktspezifikationen erstklassiges Trainings- und Abrufmaterial sind. Zusammen nehmen die drei größten Branchen 62,6 % der AI-Bot-Anfragen ein.
Was machen AI-Bots eigentlich mit den Inhalten, die sie crawlen?
Cloudflare Radar ordnet die Aktivität von AI-Bots Zweckkategorien zu (ai/bots/summary/crawl_purpose). Die globale Aufteilung hat sich seit dem Sommer vom Training zur Suche verschoben:
| Monat (2026) | Training | Gemischter Zweck | Suche | User Action |
|---|
| Februar | 46,2 % | 47,9 % | 3,4 % | 2,1 % |
| April | 46,8 % | 47,5 % | 3,1 % | 2,2 % |
| Juni | 52,6 % | 39,0 % | 5,0 % | 2,6 % |
| Juli | 50,7 % | 39,9 % | 5,6 % | 2,6 % |
| August | 48,2 % | 37,1 % | 8,4 % | 4,7 % |
| September | 44,0 % | 40,5 % | 10,6 % | 3,1 % |
| Oktober | 43,6 % | 39,3 % | 11,6 % | 3,9 % |
Training erreichte im Juni mit 52,6 % seinen Höchststand und ist wieder unter das Februar-Niveau gefallen, während sich die Suche mehr als verdreifacht hat, von 3,4 % auf 11,6 %. Radar überarbeitet vergangene Monate, und das sind die Werte, die es am 10. November 2026 auswies; unser monatlicher AI-Crawler-Report verfolgt dieselbe Reihe Monat für Monat.
Die Aufteilung nach Ländern bleibt deutlich. In den USA sind 88,1 % der AI-Bot-Aktivität Training oder gemischter Zweck: US-Websites sind in erster Linie Rohmaterial für den Modellbau. In der Schweiz sind 64,0 % der Aktivität User Action, in Australien 55,2 %: Der Großteil des Crawls wird von echten Menschen ausgelöst, die AI um Antworten bitten.
🔑Kernaussage: AI-Such-Crawling ist in diesem Jahr auf mehr als das Dreifache gewachsen, und doch werden Such-Bots inzwischen häufiger abgewiesen als Trainings-Bots (19,8 % gegenüber 18,1 % im Oktober, ohne die sechs Gleichschritt-Märkte). Eine pauschale „AI blockieren"-Regel, die gegen Trainings-Crawler sinnvoll war, sperrt jetzt auch die Bots aus, die entscheiden, ob AI-Suche Sie finden kann.
Wie hat sich der AI-Bot-Traffic entwickelt?
Das Anfragevolumen der AI-Crawler ist 2026 gestiegen. Das Diagramm unten zeigt Cloudflare Radars AI-Bot-Traffic-Index über die letzten 24 Wochen:
Quelle: Cloudflare Radar ai/bots/timeseries (normalisierter Index, Höchstwert = 1,0). Der Wochenindex lag im Februar bei etwa 0,65, im Juli bei 0,78 und erreichte seinen Jahreshöchstwert von 1,00 in der Woche vom 28. September, eine Woche nachdem sich die sechs Gleichschritt-Märkte verändert hatten. Ein Teil dieses Sprungs Ende September stammt also vermutlich von derselben Traffic-Quelle.
Beim Blick auf den letzten Monat hat sich die Zusammensetzung weiter verschoben, auch als das Gesamtvolumen wuchs. September und Oktober 2026 im Vergleich, Kalendermonate:
| AI-Bot | Sep. 2026 | Okt. 2026 | Veränderung |
|---|
| Googlebot | 24,5 % | 23,7 % | −0,8 Pp. |
| ClaudeBot | 12,0 % | 12,6 % | +0,6 Pp. |
| Meta-ExternalAgent | 13,1 % | 11,0 % | −2,1 Pp. |
| Applebot | 8,5 % | 8,3 % | −0,2 Pp. |
| GPTBot | 6,2 % | 5,5 % | −0,7 Pp. |
| Amazonbot | 6,2 % | 5,0 % | −1,3 Pp. |
| ShapBot | 1,5 % | 4,3 % | +2,8 Pp. |
| OAI-SearchBot | 3,6 % | 4,3 % | +0,7 Pp. |
| PerplexityBot | 2,2 % | 2,6 % | +0,4 Pp. |
| Claude-SearchBot | 2,7 % | 1,8 % | −0,8 Pp. |
ShapBot (+2,8 Pp.) und OAI-SearchBot (+0,7 Pp.) waren die größten Gewinner des Monats, Meta-ExternalAgent (−2,1 Pp.) der größte Verlierer. Bytespider legte global um 0,4 Pp. zu, obwohl er in Indien eingebrochen ist, eine Erinnerung daran, dass ein Crawler in einem einzelnen Markt schwinden kann, während er insgesamt stabil bleibt.
Wie messen Sie AI-Bot-Traffic auf Ihrer eigenen Website?
Radar zeigt das Bild über das ganze Netzwerk; Ihre eigenen Logs zeigen, was bei Ihnen ankommt. Drei Prüfungen decken das meiste ab:
Anfragen nach User-Agent in Server- oder CDN-Logs zählen
Filtern Sie nach den Tokens aus den Tabellen oben (GPTBot, ClaudeBot, Claude-SearchBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, Meta-ExternalAgent, Bytespider, ShapBot, Googlebot, Bingbot). JavaScript-Analytics leistet das nicht, weil die meisten Crawler Ihre Skripte nie ausführen.
Die großen Bots verifizieren
OpenAI, Anthropic, Google und Microsoft veröffentlichen, wie sich ihre Crawler per IP-Bereich oder Reverse-DNS verifizieren lassen. Bytespider und PerplexityBot stehen nicht im Bot-Verzeichnis von Cloudflare Radar (geprüft am 10. November 2026), ihre Anfragen lassen sich also nicht auf dieselbe Weise bestätigen.
Die Statuscodes lesen, die Sie zurückgeben
Gruppieren Sie die Anfragen jedes Bots nach Antwort: 200, 403, 404, 418, 429. Bekommt ein Such- oder User-Bot, den Sie zulassen wollten, überwiegend 403, überstimmt eine Firewall-Regel Ihre robots.txt.
Für die Besuche, die AI-Assistenten zurückschicken, also nicht die Crawls, zeigt unsere Seite zu AI-Traffic-Analytics, welche Assistenten Menschen auf eine Website schicken und was diese Besucher nach der Landung tun.
Was sollten Website-Betreiber gegen AI-Bot-Traffic tun?
Die Blockierentscheidung hängt letztlich an einer einzigen Zahl: wie viele Seiten ein Bot nimmt für jeden Besucher, den er zurückschickt. Unsere Analyse des Crawl-zu-Referral-Verhältnisses rankt jeden großen Betreiber genau danach, eine Spanne über vier Größenordnungen, von DuckDuckGos Beinahe-Parität bis zu Anthropics einseitigem Extrem. Mit diesem Verhältnis in der Hand richten Sie Ihre Reaktion nach Ihrem Markt aus:
Wenn Ihr Publikum in den USA, im Vereinigten Königreich oder in Frankreich sitzt:
- Rechnen Sie damit, dass Googlebot und zunehmend Meta-ExternalAgent und ClaudeBot Ihre primären AI-Crawler sind. Weil Google die Suchindexierung mit dem AI-Training unter einem Bot bündelt, ist eine saubere robots.txt-Blockierung des AI-Teils nicht möglich:
Google-Extended nimmt Sie aus dem Gemini-Training heraus, Ihre Kontrolle über AI-Funktionen innerhalb der Google-Suche bleibt aber begrenzt.
- Behalten Sie Meta-ExternalAgent und Bytespider im Auge. Metas Crawler ist in allen drei Märkten AI-Bot #2; wenn Ihre Logs zeigen, dass Bytespider zulegt, denken Sie daran, dass er nicht im Bot-Verzeichnis von Radar steht. Sie brauchen dann eher eine WAF-Regel als eine höfliche Direktive.
- GPTBot und ClaudeBot beachten robots.txt. Beide zu blockieren entfernt rund 18 % aller AI-Bot-Anfragen (12,6 % plus 5,5 %), ohne OAI-SearchBot oder Claude-SearchBot zu berühren, die eigene Tokens haben. Wie auch immer Sie entscheiden: Prüfen Sie die Datei, denn eine fehlerhafte Direktive scheitert offen.
Wenn Ihr Publikum in der Schweiz, in Australien, Südkorea oder Spanien sitzt:
- ChatGPT-User ist Ihr Hauptthema und Ihre Hauptchance. In der Schweiz und in Australien stellen User-Action-Bots den Großteil der AI-Crawler-Aktivität, ausgelöst durch echte Nutzerfragen. Ihn zu blockieren bedeutet, dass Ihre Inhalte nicht erscheinen, wenn jemand in Ihrem Markt ChatGPT fragt, eine wachsende Referral-Quelle, keine Trainingskosten.
- Trainings-Crawler machen hier einen kleineren Anteil aus, daher geht es beim Problem „AI stiehlt meine Inhalte" weniger um Modelltraining als um die Frage, ob Sie Sichtbarkeit in der AI-Suche in Echtzeit wollen.
- Optimieren Sie für AI-Zitate. Da so viel AI-Bot-Traffic in Ihrem Markt vom Nutzer ausgelöst wird, erhöht Content mit klaren Antworten, Statistiken und maßgeblichen Quellen die Chance, zitiert zu werden. Ein GEO-Audit für AI-Suchmaschinen zeigt, wie gut Ihre Seiten bei diesen Signalen derzeit abschneiden, und der AI Brand Visibility Checker zeigt, ob Assistenten Sie heute nennen.
Wenn Ihr Publikum in Singapur oder anderen trainingslastigen Märkten sitzt:
- Bytespider könnte Ihr größter einzelner AI-Crawler sein. Er ist Training-first und bringt keinen Referral-Traffic, daher spricht die Kosten-Nutzen-Rechnung für seine Kontrolle. Planen Sie aber eine Durchsetzung (Ratenlimits, Bot-Management) statt nur robots.txt ein, denn seine Anfragen lassen sich nicht so verifizieren wie die von GPTBot. Unser Leitfaden, wie Sie Bots vom Crawlen Ihrer Website abhalten, beschreibt die Möglichkeiten auf dem Server und an der Edge.
Wenn Ihr Publikum in der Türkei, in Mexiko oder Polen sitzt:
- Websites dort weisen AI-Bots zwei- bis fünfmal so oft ab wie in den USA. Prüfen Sie, ob die Bot-Regeln Ihrer Firewall dem entsprechen, was Sie beabsichtigt haben, vor allem für Googlebot und die User-Action-Bots.
Für alle: Rechnen Sie damit, abgewiesen zu werden, und planen Sie dafür:
- Wenn weltweit nur 57,7 % der AI-Bot-Anfragen ein 200 erhalten und 19,9 % ein 403 oder 429, ist der Crawl, den Ihre Wettbewerber überstehen, vielleicht einer, den Sie stillschweigend blockieren, oder umgekehrt. Prüfen Sie Ihre eigenen Logs auf AI-User-Agents und die Statuscodes, die Sie ihnen zurückgeben; eine unbeabsichtigte Blockierung kann Sie unbemerkt aus AI-Antworten löschen.
- Stellen Sie eine saubere maschinenlesbare Oberfläche bereit (strukturierte Daten, Sitemaps, llms.txt), damit die Crawls, die Sie zulassen, Ihre Fakten präzise erfassen, statt sie aus gerendertem HTML zu erraten.
- Halten Sie Ihre URLs stabil und leiten Sie weiter, was Sie verschieben. User-Action-Bots landeten im Oktober bei 18,9 % ihrer Anfragen auf einem
404, und jede davon ist eine Antwort, die ohne Sie geschrieben wird.
📌Profi-Tipp: Behandeln Sie neue Crawler als festen Prüfpunkt. ShapBot stieg zwischen Juli und Oktober 2026 von 0,3 % auf 4,3 % der AI-Bot-Anfragen, ohne dass ihn nennenswert viele Regeln nennen. Prüfen Sie Ihre Logs monatlich auf User-Agents, über die Sie noch nicht entschieden haben, und testen Sie jedes neue Token im
robots.txt-Tester, bevor Sie die Regel schreiben.
Häufig gestellte Fragen
Wie viel Web-Traffic stammt von AI-Bots?
Cloudflare Radar stufte im Oktober 2026 39,3 % aller HTTP-Anfragen als Bots ein, veröffentlicht in derselben Reihe aber keinen Anteil der AI-Bots an allen Anfragen. Seine AI-Bot-Zahlen sind, wie jeder Anteil in diesem Artikel, Anteile innerhalb des AI-Bot-Traffics. Impervas viel zitierte 51 % zählen den gesamten automatisierten Traffic 2024, einschließlich bösartiger Bots.
Welcher AI-Bot crawlt am meisten?
Googlebot, mit 23,7 % der AI-Bot-Anfragen im Oktober 2026, gefolgt von ClaudeBot (12,6 %) und Meta-ExternalAgent (11,0 %). Zählt man nur AI-spezifische Crawler, ist ClaudeBot der größte.
Welche AI-Bots werden am häufigsten blockiert?
Unter den großen Crawlern CCBot (51,1 % der Anfragen mit 403 abgewiesen im Oktober 2026), ChatGPT-User (28,2 %), ClaudeBot (27,1 %) und Claude-SearchBot (26,5 %). Googlebot wurde in 3,7 % der Fälle abgewiesen.
Schadet das Blockieren von GPTBot oder ClaudeBot den Google-Rankings?
Nein. Die Google-Suche nutzt Googlebot, ein eigenes Token. Google gibt außerdem an, dass Google-Extended, sein Opt-out für AI-Training, die Aufnahme und das Ranking in der Google-Suche nicht beeinflusst (Googles Crawler-Dokumentation).
Welches Land hat den meisten AI-Bot-Traffic?
Radar veröffentlicht für AI-Bots keine vergleichbare Volumenzahl über Länder hinweg, nur die interne Zusammensetzung jedes Markts. Nach Zusammensetzung sind die Türkei und Mexiko die am stärksten von Googlebot dominierten Märkte, die Schweiz und Australien die am stärksten nutzergetriebenen und Singapur der trainingslastigste.
Warum bekommen AI-Bots so viele 404-Fehler?
8,1 % aller AI-Bot-Anfragen und 18,9 % der User-Action-Anfragen landeten im Oktober 2026 auf einer Seite, die nicht existiert. Bots fragen alte URLs, erratene URLs und in Chats kopierte Links an, deshalb sind Weiterleitungen für verschobene Seiten wichtiger als früher.
So habe ich die Daten analysiert
Diese Analyse nutzt AI-Bot-Daten von Cloudflare Radar, am 10. November 2026 direkt über die Radar-REST-API abgerufen. Jede Reihe ist ein Kalendermonat: Februar 2026, Juli 2026 und Oktober 2026, dazu jeder Monat von Februar bis Oktober für die globalen Trends nach User-Agent und Crawl-Zweck. Die robots.txt-Zahlen stammen aus Radars Tages-Scan vom 9. November 2026; der Monatsvergleich nutzt September und Oktober 2026, und das Trenddiagramm zeigt die letzten 24 Wochen, mit dem Wochenindex von Januar bis Anfang November 2026 hinter den Zahlen in seiner Bildunterschrift. Februar- und Juli-Zahlen aus früheren Fassungen stammten aus 28-Tage-Fenstern und einem früheren Stand der Radar-Daten und können daher von den Kalendermonaten hier abweichen.
Abgefragte Endpunkte: ai/bots/summary/{user_agent, crawl_purpose, content_type, response_status, response_status_category, vertical} für globale und länderspezifische Aufschlüsselungen, mit den Filtern userAgent und crawlPurpose für die Abweisungstabellen; ai/bots/timeseries_groups wöchentlich pro Markt zur Stabilitätsprüfung; bots/crawlers/summary/response_status nach clientType zum Abgleich der Juli-Fassung; robots_txt/top/user_agents/directive mit directive=DISALLOW und ALLOW für die robots.txt-Momentaufnahme; http/summary/bot_class für den Bot-Anteil am gesamten Traffic; und ai/bots/timeseries für den Trendindex. Die Länderaufschlüsselungen decken 20 Märkte ab: USA, Vereinigtes Königreich, Deutschland, Frankreich, Niederlande, Kanada, Japan, Australien, Südkorea, Indien, Brasilien, Spanien, Italien, Mexiko, Österreich, Schweiz, Singapur, Indonesien, Türkei und Polen, dazu Belgien zur Prüfung des Gleichschritt-Musters.
Alle Prozentangaben sind Anteile an identifizierten AI-Bot-Anfragen, nicht am gesamten Web-Traffic, außer wo angegeben: Die robots.txt-Zahlen sind Domain-Zählungen (Momentaufnahme), und die Trendlinie ist ein normalisierter Index (Höchstwert = 1,0), keine absolute Anfragezahl. Der Standortfilter entspricht dem Rechnungsland des Cloudflare-Kunden, dessen Website den Traffic erhielt, aggregiert über Cloudflares globales Netzwerk von 330+ Städten in 125+ Ländern. Deutschland, die Niederlande, Kanada, Japan, Brasilien und Belgien sind aus den Abweisungstabellen pro Bot und pro Zweck und aus jeder „ohne"-Zahl ausgeschlossen (location=-DE,-NL,-CA,-JP,-BR,-BE), im Juli und im Oktober gleichermaßen, damit der Vergleich stimmt. Radar erkennt AI-Bots in diesem Datensatz am User-Agent, daher kann ein Teil der Anfragen von Nachahmern stammen. Die Werte ändern sich täglich und Radar überarbeitet die Historie; fragen Sie die Daten erneut ab, bevor Sie sie zitieren.
Datenquelle: Cloudflare Radar: Endpunkte radar/ai/bots/*, radar/bots/crawlers/*, radar/http/* und radar/robots_txt/* (radar.cloudflare.com), Kalendermonate Februar, Juli und Oktober 2026, abgerufen am 10. November 2026. Zuletzt aktualisiert: 10. November 2026.