AI-Bot-Traffic nach Land: Wo AI-Crawler am aggressivsten sind (Daten Juli 2026)

Als ich diese Daten vor sechs Monaten zum ersten Mal analysiert habe, beanspruchte Googlebot 38,7 % des gesamten AI-bezogenen Crawler-Traffics, und die Welt teilte sich säuberlich in zwei Lager. Diese Landkarte ist bereits neu gezeichnet. In den 28 Tagen bis zum 23. Juli 2026 zeigt Cloudflare Radar, dass Googlebot auf 24,4 % gefallen ist, ClaudeBot auf Platz 2 mit 17,9 % aufgestiegen ist und die ordentliche geografische Geschichte in drei Muster zerbrochen ist statt in zwei -- wobei ByteDances Bytespider inzwischen einen ganzen wichtigen Markt anführt. Ebenso auffällig: Nur 46 % der AI-Crawler-Anfragen werden mit einem 200 OK beantwortet. Mehr als ein Viertel trifft auf ein 403 Forbidden oder ein 429 Too Many Requests. Das Web hat begonnen sich zu wehren -- und tut das je nach Standort des Publikums mit sehr unterschiedlicher Intensität.

Ich habe die vollständige Analyse über 11 Länder hinweg erneut durchgeführt -- nach User-Agent, Crawl-Zweck, Content-Typ, HTTP-Antwort und robots.txt-Direktiven -- um zu sehen, wie die AI-Crawler-Landschaft Mitte 2026 genau aussieht und wie sie sich seit Februar verschoben hat.

Wie sieht die globale AI-Bot-Landschaft Mitte 2026 aus?

Googlebot führt weltweit weiterhin den gesamten AI-bezogenen Crawler-Traffic an, doch sein Vorsprung ist auf 24,4 % geschrumpft -- fast 14 Prozentpunkte weniger als die 38,7 %, die ich im Februar gemessen habe. ClaudeBot ist auf Platz 2 mit 17,9 % vorgestoßen, und wenn man Anthropics zwei Crawler zusammenfasst (ClaudeBot plus Claude-SearchBot mit 3,5 %), rivalisiert Anthropics kombinierter Anteil von 21,4 % inzwischen mit Googles gesamter Präsenz. Das geht aus Cloudflare Radar hervor (ai/bots/summary/user_agent) und deckt Websites ab, die durch Cloudflares Netzwerk von 330+ Städten in 125+ Ländern geschützt sind.

Die vier führenden Crawler machen jetzt 63,8 % der identifizierten AI-Bot-Anfragen aus -- ein weniger konzentrierter Markt als die 74,3 % vom Februar, weil die Verfolger gewachsen sind, während Google schrumpfte. Die mit Abstand größte Geschichte ist Anthropic: ClaudeBot rückte in sechs Monaten von Platz 4 (11,4 %) auf einen klaren zweiten Platz (17,9 %) vor, und Anthropic hat einen eigenen Such-Crawler (Claude-SearchBot) gestartet, der allein bereits einen globalen Anteil von 3,5 % erreicht.

Wie unterscheidet sich der AI-Bot-Traffic nach Land?

Im Februar beschrieb dieser Abschnitt eine klare Zweiteilung -- einen "Googlebot-Gürtel" gegenüber einem "ChatGPT-Korridor". Diese Einordnung übersteht den Kontakt mit den Daten nicht mehr. Brasilien und Japan sind ins Googlebot-Lager gewechselt, Australiens ChatGPT-Dominanz hat sich mehr als halbiert, und ein wirklich neues Muster ist aufgetaucht: Bytespider führt jetzt Indien an. Es gibt inzwischen drei Muster, nicht zwei.

Muster 1: Märkte mit Googlebot-Mehrheit

Googlebot hält in acht der elf analysierten Länder die Position Nr. 1. Brasilien ist jetzt der Googlebot-lastigste Markt mit 50,8 % -- eine komplette Umkehr gegenüber Februar, als ChatGPT-User Brasilien mit 57,6 % anführte. Deutschland (42,8 %) und Kanada (42,5 %) runden die Spitze des Gürtels ab. Die Vereinigten Staaten, einst mit 40,3 % solides Googlebot-Territorium, sind auf 25,6 % gefallen, während ClaudeBot auf einen sehr knappen zweiten Platz mit 19,8 % geklettert ist -- das heißt, in den USA ist Anthropics Crawler inzwischen fast so aktiv wie der von Google.

Muster 2: ChatGPT-User-Märkte

Australien und Südkorea bleiben die beiden Länder, in denen ChatGPT-User -- der Bot, der Seiten besucht, wenn echte Nutzer ChatGPT Fragen stellen -- der dominierende Crawler ist. Doch die Intensität ist deutlich abgekühlt. Australiens ChatGPT-User-Anteil fiel von erstaunlichen 75,8 % im Februar auf 36,5 % heute, und sein Crawl-Zweck "Nutzeraktion" sank von 76,0 % auf 40,7 %. Es ist immer noch der nutzergetriebenste AI-Crawler-Markt der Welt, aber kein Beinahe-Monopol mehr. Japan ist jetzt ein Fotofinish: Googlebot 23,6 % gegenüber ChatGPT-User 23,5 %, mit dem höchsten Nutzeraktions-Anteil aller Googlebot-geführten Märkte (29,1 %).

Muster 3: Die Bytespider-Märkte (neu)

Das klarste neue Signal in den Daten ist, dass ByteDances Bytespider Indien mit 29,6 % anführt -- vor Googlebots 21,1 %. Bytespider ist außerdem der Crawler Nr. 2 in Kanada (23,5 %) und Deutschland (10,7 %). Das ist ein trainingsorientiertes Muster: Indiens Crawl-Aktivität besteht zu 41,6 % aus "Training" -- der höchste Wert aller betrachteten Länder außerhalb der USA. Wo ChatGPT-User-Traffic die Endnutzernachfrage nach AI-Antworten signalisiert, signalisiert ein Bytespider-Anstieg die massenhafte Datensammlung fürs Modelltraining -- eine andere Belastung für Ihre Infrastruktur, und eine, die überhaupt keinen Referral-Traffic zurückbringt.

Warum zeichnet sich die Landkarte immer wieder neu?

Das Zwei-Lager-Modell vom Februar zerbrach, weil sich der AI-Crawler-Markt noch immer formt. Drei Kräfte sind in den Länderdaten sichtbar am Werk:

1. Neueinsteiger skalieren schneller als etablierte Anbieter. Anthropics ClaudeBot und Claude-SearchBot, Meta-ExternalAgent und Bytespider haben alle ihren Anteil vergrößert, während Googlebots proportionale Präsenz schrumpfte -- nicht, weil Google weniger crawlt, sondern weil alle anderen mehr crawlen. Ein auf relativen Anteilen aufgebautes Ranking mischt sich in einem Landraub jeden Monat neu.
2. Nutzergetriebenes Crawling folgt der Konsumgewohnheit, nicht dem Firmensitz. Märkte wie Australien, Südkorea und Japan zeigen hohe "Nutzeraktions"-Anteile, weil die ChatGPT-Nutzung hoch ist und konkurrierende lokale AI-Dienste rar sind. Wenn jemand in Sydney oder Seoul ChatGPT eine Frage stellt, ruft der Bot in Echtzeit eine Seite ab -- also treibt das Konsumverhalten diesen Traffic, nicht der Standort der AI-Labore.
3. Trainings-Crawler jagen Sprache und Volumen. Englischlastige Märkte (USA, Kanada) und große Content-Märkte (Indien, Deutschland) ziehen die trainingsorientierten Crawler an -- GPTBot, ClaudeBot, Meta-ExternalAgent und Bytespider -- weshalb diese Länder eher zu "Training" und "Gemischtem Zweck" neigen als zu "Nutzeraktion".

Welche Inhalte rufen AI-Bots tatsächlich ab?

Eine Aufschlüsselung, die Cloudflare Radar offenlegt, die aber kaum eine Analyse nutzt, ist der Content-Typ (ai/bots/summary/content_type) -- die MIME-Kategorie dessen, was AI-Crawler anfordern. Weltweit rufen AI-Bots überwiegend gerenderte Seiten ab, doch das Nicht-HTML-Segment ist der Ort, an dem sich das interessante Verhalten verbirgt.

Fast drei Viertel der AI-Crawler-Anfragen gelten HTML -- der lesbaren Seite. Aber 7,0 % sind JSON und 5,2 % sind Klartext, und zusammen sagen Ihnen diese über 12 %, dass AI-Crawler zunehmend strukturierte und rohe Daten abrufen, nicht nur Fließtext: API-Antworten, JSON-LD-Payloads, Sitemaps und die Klartext-Dateien (llms.txt, robots.txt, Feeds), die Agenten direkt parsen. Wenn AI-Systeme Ihre Fakten sauber konsumieren sollen, statt aus gerendertem HTML zu raten, zählt eine maschinenlesbare Oberfläche -- unser kostenloser llms.txt-Generator erstellt eine, die diese Crawler lesen können, ohne Ihr JavaScript auszuführen.

Wie oft bedienen Websites AI-Bots überhaupt?

Hier ist der Befund, der die gesamte Debatte "Soll ich AI-Bots blockieren?" neu rahmt. Cloudflare Radars Aufschlüsselung nach Antwortstatus (bots/crawlers/summary/response_status) zeigt die HTTP-Statuscodes, die Crawler tatsächlich erhalten -- und Websites sagen bereits Nein, und zwar im großen Stil.

Nur 46 % der AI-Crawler-Anfragen erhalten ein sauberes 200. Kombinierte 26,7 % werden aktiv abgelehnt oder gedrosselt (20,7 % 403 + 6,0 % 429), und weitere 1,3 % treffen auf ein 503. Mit anderen Worten: Etwa jede vierte AI-Crawler-Anfrage wird bereits von den anvisierten Seiten abgewiesen -- durch WAF-Regeln, Bot-Management-Produkte oder Origin-Rate-Limits. Das Narrativ "AI scrapt alles ungehindert" ist überholt; ein großer und wachsender Teil des Webs verweigert diese Bots standardmäßig. Das bedeutet auch, dass AI-Antwortmaschinen zunehmend aus unvollständigen Crawls arbeiten -- wenn Ihre Wettbewerber blockieren und Sie nicht, sind es Ihre Seiten, die zitiert werden.

Welche Crawler versuchen Websites zu regulieren?

Wenn Antwortcodes zeigen, wie Seiten in Echtzeit reagieren, zeigt robots.txt ihre erklärte Absicht. Cloudflare Radar parst robots.txt-Dateien über seine Domain-Population hinweg und rankt die User-Agents, die diese Dateien am häufigsten nennen (robots_txt/top/user_agents/directive). Die Liste ist ein nahezu perfektes Ranking von AI-Crawlern -- ein direktes Signal dafür, für welche Bots Website-Betreiber bewusst Regeln schreiben.

Dies sind Zahlen von Domains, die jeden Agenten in einer Direktive nennen (eine Momentaufnahme eines Tages), keine Traffic-Anteile -- eine Regel kann erlauben oder einschränken, und das Ranking zählt beides.

Der auffällige Teil ist, wer die Liste anführt. GPTBot (743) und ClaudeBot (656) werden in mehr robots.txt-Dateien genannt als Googlebot selbst (416) -- der klassische Such-Crawler, den es seit zwei Jahrzehnten gibt. Website-Betreiber schreiben gezielt Regeln für die AI-Trainings-Crawler, und die Präsenz von Google-Extended (626) und Applebot-Extended (442) -- den Opt-out-Tokens, die Google und Apple speziell dafür geschaffen haben, dass Publisher AI-Training ablehnen und gleichzeitig die Suchindexierung behalten können -- bestätigt, dass dies ein bewusster Governance-Aufwand ist, keine beiläufige Konfiguration.

Ein Vorbehalt, der dies umsetzbar macht: Eine robots.txt-Direktive funktioniert nur, wenn sie syntaktisch gültig ist und das richtige Token adressiert. GPTBot und ClaudeBot beachten robots.txt; die Konformität von Bytespider ist uneinheitlich. Was auch immer Sie erlauben oder blockieren wollen -- überprüfen Sie anschließend Ihre robots.txt-Datei, denn eine fehlerhafte Regel scheitert offen, und Sie werden glauben, einen Crawler zu blockieren, der geradewegs hindurchspaziert.

Welche Branchen werden von AI-Bots am stärksten anvisiert?

Laut Cloudflare Radar (bots/crawlers/summary/vertical) bleibt Shopping und E-Commerce die am stärksten gecrawlte Vertikale, doch ihre Dominanz hat nachgelassen, während sich AI-Crawler über andere Vertikalen verteilt haben.

Der Einzelhandel liegt mit 26,2 % (gegenüber 31,2 % im Februar) weiterhin vorn, was dazu passt, wie stark AI-Modelle für Produktrecherche und Preisvergleiche genutzt werden -- wenn ein Nutzer einen Assistenten fragt "Was ist der beste Laufschuh unter 150 €", braucht der Bot aktuelle Produktseiten und Bewertungen, um zu antworten. Doch beachten Sie den Aufstieg von Internet/Telekommunikation (20,6 %) und Computer/Elektronik (18,9 %): Technische Dokumentation und Produktspezifikationen sind erstklassiges Trainings- und Abrufmaterial, und diese Vertikalen werden inzwischen fast so stark gecrawlt wie der Einzelhandel.

Was machen AI-Bots eigentlich mit den gecrawlten Inhalten?

Cloudflare Radar klassifiziert die AI-Bot-Aktivität nach Zweckkategorien (ai/bots/summary/crawl_purpose). Die globale Aufteilung hat sich seit Februar entschieden in Richtung Training verschoben:

• Training (46,2 %): Dedizierte Trainings-Crawler -- GPTBot, ClaudeBot, Meta-ExternalAgent, Bytespider -- die ausdrücklich Daten sammeln, um AI-Modelle zu bauen und zu verbessern. Dies ist jetzt die größte Kategorie und hat den Gemischten Zweck überholt.
• Gemischter Zweck (39,4 %): Crawler wie Googlebot und Bingbot, die gleichzeitig für die Suche indexieren und Trainingsdaten sammeln, ohne beides sauber zu trennen.
• Suche (11,2 %): AI-gestützte Such-Bots (OAI-SearchBot, Claude-SearchBot), die Seiten crawlen, um Suchantworten zu generieren -- gegenüber 6,9 % im Februar, da AI-Suchprodukte gereift sind.
• Nutzeraktion (2,5 %): Bots wie ChatGPT-User, die Seiten in Echtzeit abrufen, wenn Nutzer Fragen stellen. Global klein, aber in bestimmten Märkten konzentriert (40,7 % von Australiens Crawl-Aktivität).

Die Aufteilung auf Länderebene bleibt scharf. In den Vereinigten Staaten sind 86,4 % der AI-Bot-Aktivität Training oder Gemischter Zweck -- US-Websites sind in erster Linie Rohmaterial für den Modellbau. In Australien sind 40,7 % der Aktivität Nutzeraktion -- der Großteil des Crawls wird von echten Menschen ausgelöst, die AI um Antworten bitten.

Wie hat sich der AI-Bot-Traffic entwickelt?

Das Volumen der AI-Crawler-Anfragen ist im ersten Halbjahr 2026 stetig gestiegen. Das folgende Diagramm verfolgt Cloudflare Radars AI-Bot-Traffic-Index über die zurückliegenden 24 Wochen:

Quelle: Cloudflare Radar ai/bots/timeseries (normalisierter Index, Höchstwert = 1,0). Der Index stieg von 0,78 Anfang Februar auf 0,95 Ende Juli 2026 -- ein Zuwachs des AI-Crawler-Volumens von rund 21 % in sechs Monaten.

Zoomt man in den letzten Monat, verschob sich die Zusammensetzung weiter, während das Gesamtvolumen wuchs. Vergleich des aktuellen 28-Tage-Fensters (25. Juni – 23. Juli 2026) mit den vorherigen 28 Tagen (28. Mai – 25. Juni):

Meta-ExternalAgent (+1,3 pp) und Bingbot (+1,0 pp) waren die größten Gewinner des Monats. Bytespider fiel im letzten Monat global um 1,7 pp, obwohl es Indien dominiert -- eine Erinnerung daran, dass ein Crawler in der Summe verblassen und zugleich in einem einzelnen Markt zulegen kann. Für die schärfere Sechs-Monats-Sicht lautet die Schlagzeile Anthropic: ClaudeBot verdoppelte zwischen Februar und Juli in etwa seinen Anteil am AI-Crawler-Markt.

Was sollten Website-Betreiber gegen AI-Bot-Traffic tun?

Die Blockierentscheidung hängt letztlich an einer einzigen Zahl: wie viele Seiten ein Bot nimmt für jeden Besucher, den er zurückschickt. Unsere Analyse des Crawl-zu-Referral-Verhältnisses rankt jeden großen Betreiber genau danach -- eine Spanne über vier Größenordnungen, von DuckDuckGos Beinahe-Parität bis zu Anthropics einseitigem Extrem. Mit diesem Verhältnis in der Hand richten Sie Ihre Reaktion nach Ihrem Markt aus:

Wenn Ihr Publikum in den USA, Kanada oder Westeuropa sitzt:

• Rechnen Sie damit, dass Googlebot und zunehmend ClaudeBot Ihre primären AI-Crawler sind. In den USA liegen die beiden inzwischen fast gleichauf. Weil Google die Suchindexierung mit dem AI-Training unter einem Bot bündelt, ist eine saubere robots.txt-Blockierung des AI-Teils nicht möglich -- Ihr Hebel ist dort begrenzt.
• Behalten Sie Meta-ExternalAgent und Bytespider im Auge. Beide sind als Zweitplatzierte in europäischen Märkten gewachsen; wenn Ihre Logs zeigen, dass Bytespider zulegt, wissen Sie, dass seine robots.txt-Konformität unzuverlässig ist und Sie eher eine WAF-Regel als eine höfliche Direktive brauchen.
• GPTBot und ClaudeBot beachten robots.txt. Beide zu blockieren entfernt etwa ein Viertel des dedizierten AI-Trainings-Traffics. Wie auch immer Sie entscheiden -- überprüfen Sie die Datei, denn eine fehlerhafte Direktive scheitert offen.

Wenn Ihr Publikum in Australien, Südkorea oder Japan sitzt:

• ChatGPT-User ist Ihr Hauptanliegen und Ihre Hauptchance. In Australien treibt er 40,7 % der AI-Crawler-Aktivität über echte Nutzerfragen an. Ihn zu blockieren bedeutet, dass Ihre Inhalte nicht erscheinen, wenn jemand in Ihrem Markt ChatGPT fragt -- eine wachsende Referral-Quelle, keine Trainingskosten.
• Trainings-Crawler sind hier ein kleinerer Anteil, sodass das Problem "AI stiehlt meine Inhalte" weniger mit Modelltraining zu tun hat als vielmehr damit, ob Sie Echtzeit-Sichtbarkeit in der AI-Suche wünschen.
• Optimieren Sie für AI-Zitierungen. Da der größte Teil des AI-Bot-Traffics in Ihrem Markt nutzergesteuert ist, erhöht eine Strukturierung der Inhalte mit klaren Antworten, Statistiken und maßgeblichen Quellen die Chancen, zitiert zu werden. Ein GEO-Audit für AI-Suchmaschinen zeigt, wie gut Ihre Seiten derzeit bei diesen Signalen abschneiden.

Wenn Ihr Publikum in Indien oder anderen trainingslastigen Märkten sitzt:

• Bytespider ist möglicherweise Ihr größter einzelner AI-Crawler. Er ist trainingsorientiert und bringt keinen Referral-Traffic zurück, sodass die Kosten-Nutzen-Rechnung dafür spricht, ihn zu kontrollieren -- aber planen Sie mit Durchsetzung (Rate-Limits, Bot-Management) statt allein mit robots.txt, angesichts seiner uneinheitlichen Konformität.

Für alle -- rechnen Sie damit, abgewiesen zu werden, und planen Sie dafür:

• Da global nur 46 % der AI-Bot-Anfragen ein 200 erhalten und 26,7 % ein 403 oder 429, ist der Crawl, den Ihre Wettbewerber überleben, vielleicht einer, den Sie stillschweigend blockieren -- oder umgekehrt. Prüfen Sie Ihre eigenen Logs auf AI-User-Agents und die Statuscodes, die Sie ihnen zurückgeben; eine unbeabsichtigte Blockierung kann Sie leise aus AI-Antworten löschen.
• Stellen Sie eine saubere maschinenlesbare Oberfläche bereit (strukturierte Daten, Sitemaps, llms.txt), damit die Crawls, die Sie zulassen, Ihre Fakten korrekt extrahieren, statt aus gerendertem HTML zu raten.

Wie ich diese Daten analysiert habe

Diese Analyse nutzt AI-Bot-Daten von Cloudflare Radar, die direkt über die Radar-REST-API abgerufen wurden. Das primäre Fenster umfasst die 28 Tage vom 25. Juni bis 23. Juli 2026; der Vergleich von Monat zu Monat verwendet das vorangehende 28-tägige Kontrollfenster (28. Mai – 25. Juni 2026), und das Trenddiagramm verwendet die zurückliegenden 24 Wochen. Die zum Vergleich genannten Februar-2026-Zahlen stammen aus meiner ursprünglichen Analyse desselben Datensatzes.

Abgefragte Endpoints: ai/bots/summary/user_agent, ai/bots/summary/crawl_purpose und ai/bots/summary/content_type für globale und länderspezifische Aufschlüsselungen; bots/crawlers/summary/vertical und bots/crawlers/summary/response_status für Branchen- und HTTP-Status-Daten; robots_txt/top/user_agents/directive für die robots.txt-Governance-Momentaufnahme; und ai/bots/timeseries für den Trendindex. Die Länderaufschlüsselungen decken 11 Märkte ab: Vereinigte Staaten, Vereinigtes Königreich, Deutschland, Frankreich, Niederlande, Kanada, Japan, Australien, Südkorea, Indien und Brasilien.

Alle Prozentangaben stehen für den Anteil an den identifizierten AI-Bot-Anfragen, nicht für den Anteil am gesamten Web-Traffic, sofern nicht anders vermerkt: Die robots.txt-Zahlen sind Domain-Zählungen (eine Momentaufnahme), und die Trendlinie ist ein normalisierter Index (Höchstwert = 1,0), keine absolute Anfragezahl. Der Standortfilter entspricht dem Abrechnungsland des Cloudflare-Kunden, dessen Site den Traffic erhalten hat, aggregiert über Cloudflares globales Netzwerk von 330+ Städten in 125+ Ländern. Werte verschieben sich täglich; führen Sie die Abfragen erneut aus, bevor Sie sie zitieren.

Datenquelle: Cloudflare Radar -- radar/ai/bots/*-, radar/bots/crawlers/*- und radar/robots_txt/*-Endpoints (radar.cloudflare.com), 28 Tage bis zum 23. Juli 2026. Zuletzt aktualisiert: 24. Juli 2026.