KI-Bot-Traffic nach Land: Wo KI-Crawler am aggressivsten sind (Erkenntnisse 2026)
KI-Crawler machen 4,2 % aller HTML-Anfragen weltweit aus, doch die Traffic-Muster unterscheiden sich dramatisch von Land zu Land.
Nick SawinyhGEO-Datenreport 2026: Welche AI Crawler & LLM Bots nehmen am meisten und geben am wenigsten zurück?
ClaudeBot crawlt 23.951 Seiten pro Referral. GPTBot: 1.276:1. Ich habe die Daten von Cloudflare Radar analysiert, um zu messen, welche AI Crawler und LLM Bots am meisten von Publishern extrahieren – und was das für deine GEO-Strategie bedeutet.
Veröffentlicht
Anthropics ClaudeBot crawlt 23.951 Seiten für jeden einzelnen Referral, den er an Website-Betreiber zurückschickt – laut Daten von Cloudflare Radar aus dem Zeitraum Januar bis März 2026. OpenAIs GPTBot liegt bei 1.276:1, während DuckDuckGo mit 1,5:1 nahezu Parität erreicht. Ich habe wochenlang diese Daten analysiert, um das aufzubauen, was ich für die handlungsrelevanteste Kennzahl der Generative Engine Optimization (GEO) halte: das Crawl-to-Refer-Verhältnis – die Anzahl der Seiten, die ein AI Crawler oder LLM Bot crawlt, geteilt durch die Referrals, die seine Mutterplattform (ChatGPT, Claude, Perplexity, Grok, Copilot) zurückschickt.
Datenquelle: Cloudflare Radar – Bot & Crawler Analytics (1. Januar – 16. März 2026), die riesige Datenmenge analysiert von SEOmator
Was ist das Crawl-to-Refer-Verhältnis und warum ist es für GEO und SEO wichtig?
Das Crawl-to-Refer-Verhältnis misst, wie viele Seiten ein AI Crawler oder LLM Bot von deiner Website crawlt für jeden Referral-Besuch, den er zurückschickt. Ein Verhältnis von 100:1 bedeutet, dass der Bot 100 deiner Seiten gecrawlt hat, bevor seine Mutterplattform einen einzigen Nutzer auf deine Seite gelenkt hat.
Diese Kennzahl ist wichtig, weil AI Crawler – GPTBot, ClaudeBot, PerplexityBot und andere – deine Serverressourcen verbrauchen (Bandbreite, Rechenleistung und Crawl-Budget), während sie deine Inhalte für ihre LLM-Modelle indexieren. Die Referral-Seite misst, ob sich diese Investition durch tatsächlichen Traffic auszahlt, der an deine Seite zurückfließt.
Für SEO- und GEO-Profis fungiert dieses Verhältnis als Return-on-Investment-Kennzahl für den Crawler-Zugriff. Jede Seite, die von einem LLM Bot gecrawlt wird, ist eine Seite, die stattdessen vom Googlebot hätte gecrawlt werden können – was sich direkt auf die Verteilung des Crawl-Budgets deiner Seite auswirkt. Bei meinen Audits von Enterprise-Seiten habe ich gesehen, dass AI Crawler bis zu 40 % der gesamten Crawl-Aktivität verbrauchen – Ressourcen, die null Wert für die organische Suche liefern.
Wie schneiden die führenden AI Crawler und LLM Bots beim Crawl-to-Refer-Verhältnis ab?
Die Spanne zwischen dem besten und dem schlechtesten Crawl-to-Refer-Verhältnis umfasst vier Größenordnungen. DuckDuckGo schickt für fast jede gecrawlte Seite einen Besuch zurück, während Anthropics ClaudeBot für jeden zurückgegebenen Referral fast 24.000 Seiten an Inhalten nimmt.
| Betreiber | Crawl-to-Refer-Verhältnis | Was das bedeutet |
|---|---|---|
| Anthropic (ClaudeBot) | 23.951:1 | Crawlt 23.951 Seiten pro 1 zurückgeschicktem Referral |
| OpenAI (GPTBot) | 1.276:1 | Crawlt 1.276 Seiten pro 1 zurückgeschicktem Referral |
| Perplexity (PerplexityBot) | 111:1 | Crawlt 111 Seiten pro 1 zurückgeschicktem Referral |
| Microsoft (Copilot) | 33:1 | Umfasst Copilot- und Bing-AI-Funktionen |
| Mistral | 22:1 | Relativ geringes Crawl-Volumen |
| Yandex | 21:1 | Russische Suche mit wachsenden AI-Funktionen |
| Google (Gemini / AI Overviews) | 5:1 | Klassische Suche treibt hohes Referral-Volumen |
| Baidu | 4,8:1 | Chinesische Suche mit etablierten Referral-Mustern |
| ByteDance | 3,1:1 | TikToks Mutterkonzern erzeugt starke Referrals |
| DuckDuckGo | 1,5:1 | Nahezu Parität – das effizienteste Verhältnis aller Betreiber |
Anthropics ClaudeBot crawlt Inhalte, um Claude zu trainieren, betreibt aber kein Verbraucher-Suchprodukt, das Traffic zurückgibt. OpenAIs GPTBot trainiert ähnlich Modelle für ChatGPT, wobei ChatGPT Search begonnen hat, etwas Referral-Traffic zu erzeugen – was zu seinem Referrer-Anteil von 0,20 % laut Cloudflare Radar beiträgt. Ich verfolge beide Bots seit sechs Monaten in unseren Server-Logs, und die Diskrepanz ist frappierend, wenn man sie auf Ebene der einzelnen Seite sieht.
Warum ist das Verhältnis von ClaudeBot 4.790-mal schlechter als das von Google?
Anthropics Verhältnis von 23.951:1 im Vergleich zu Googles Verhältnis von 5:1 spiegelt einen grundlegenden Unterschied im Geschäftsmodell wider und nicht etwa Ineffizienz. ClaudeBot operiert als Trainingsdaten-Crawler – er nimmt Web-Inhalte auf, um Claudes Fähigkeiten zu verbessern, aber Anthropic betreibt keine Suchmaschine und kein verbraucherorientiertes Produkt, das auf die Quell-Websites zurückverlinkt.
Googles Verhältnis von 5:1 profitiert von der Kernfunktion der Suche: Nutzer an Websites zu schicken. Jeder Klick auf ein Google-Suchergebnis ist ein Referral. Anthropic hat keinen vergleichbaren Referral-Mechanismus – Claude-Antworten zitieren gelegentlich Quellen, erzeugen aber keine klickbaren Referrals, die von Analytics erfasst werden.
Diese strukturelle Lücke bedeutet, dass Website-Betreiber, die ClaudeBot Zugriff gewähren, Anthropics Modelltraining mit null messbarem Gegenwert an Referral-Traffic subventionieren. Ob dieser Tausch akzeptabel ist, hängt davon ab, ob Publisher die Aufnahme in ein LLM-Modell als eine Form von Markenpräsenz betrachten oder strikt als Traffic-Tausch. Nach allem, was ich auf Dutzenden von Kundenseiten gesehen habe, ist den meisten Publishern gar nicht bewusst, dass dieses Ungleichgewicht existiert, bis sie ihre Server-Logs prüfen. Das Verständnis dieses Verhältnisses wird zu einem Kernbestandteil jeder ernsthaften AI-Search-Optimierungsstrategie.
Verbessert sich das Crawl-to-Refer-Verhältnis von ClaudeBot im Laufe der Zeit?
Anthropics Verhältnis hat 2026 eine dramatische Verbesserung von Monat zu Monat gezeigt und ist von Januar bis März um 74 % gefallen. Doch selbst das verbesserte März-Verhältnis von 11.736:1 stellt jeden anderen Betreiber weiterhin in den Schatten.
| Betreiber | Januar 2026 | Februar 2026 | 1.-16. März 2026 | Trend |
|---|---|---|---|---|
| Anthropic (ClaudeBot) | 45.458:1 | 25.023:1 | 11.736:1 | Verbessert sich rapide (-74 %) |
| OpenAI (GPTBot) | 1.280:1 | 1.340:1 | 1.161:1 | Stabil mit leichter Verbesserung |
| Perplexity (PerplexityBot) | 111:1 | 114:1 | 109:1 | Bemerkenswert stabil (~110:1) |
| Microsoft (Copilot) | 35:1 | 34:1 | 28:1 | Verbessert sich (-20 %) |
| Yandex | 18:1 | 21:1 | 26:1 | Verschlechtert sich (+44 %) |
| 4,7:1 | 5,3:1 | 5,0:1 | Stabil (~5:1) | |
| ByteDance | 2,6:1 | 3,4:1 | 5,5:1 | Verschlechtert sich (+112 %) |
| DuckDuckGo | 1,43:1 | 1,48:1 | 1,50:1 | Stabil (~1,5:1) |
Die Verbesserung von ClaudeBot spiegelt wahrscheinlich eine reduzierte Crawl-Intensität wider und nicht mehr Referrals, da Anthropic kein Suchprodukt gestartet hat. Die tägliche Zeitreihe bestätigt das: Das Verhältnis von ClaudeBot erreichte am 1. Januar seinen Höchststand von 136.416:1 und sank bis Mitte März stetig auf 6.393:1.
ByteDances sich verschlechterndes Verhältnis – von 2,6:1 auf 5,5:1 – fällt damit zusammen, dass TikToks Referral-Anteil von etwa 13 % Anfang Januar auf rund 3 % bis Mitte Februar sank und sich dort stabilisierte, während die Crawl-Aktivität zunahm. Ich habe ähnliche AI-Bot-Traffic-Muster nach Ländern in unserer früheren Analyse dokumentiert, in der das geografische Crawl-Verhalten vergleichbare Volatilität zeigte.
Wie unterscheiden sich Crawl-to-Refer-Verhältnisse nach Branche?
Die Branche, in der deine Website tätig ist, beeinflusst dramatisch, was du von AI Crawlern und LLM Bots zurückbekommst. Finance-Seiten erhalten von Perplexity 6-mal mehr Referrals pro Crawl als Shopping-Seiten. Wenn du eine GEO-Strategie aufbaust, bestimmt deine Branche, welche Bots es wert sind, zugelassen zu werden.
| Betreiber | Shopping & Retail | Tech & Elektronik | Finance | Business & Industry |
|---|---|---|---|---|
| Anthropic (ClaudeBot) | 10.971:1 | 1.710:1 | 11.503:1 | 13.805:1 |
| OpenAI (GPTBot) | 584:1 | 583:1 | 352:1 | 879:1 |
| Perplexity (PerplexityBot) | 182:1 | 98:1 | 42:1 | 100:1 |
| Microsoft (Copilot) | 51:1 | 23:1 | 25:1 | 30:1 |
| 8,2:1 | 4,6:1 | 3,1:1 | 4,3:1 | |
| DuckDuckGo | 1,9:1 | 1,5:1 | 3,4:1 | 1,7:1 |
Wichtigste Erkenntnisse nach Branche:
- Finance erhält die besten AI-Referral-Raten. Perplexitys Verhältnis von 42:1 für Finance ist 4,3-mal besser als sein Verhältnis von 182:1 für Shopping. Finanzbezogene Anfragen erfordern autoritative, aktuelle Quellen, die LLM-Modelle zitieren müssen.
- Tech- und Elektronik-Seiten schneiden bei ClaudeBot am besten ab. Mit 1.710:1 erhalten Tech-Seiten 8-mal mehr Referrals von Anthropic als Business-Seiten (13.805:1). Claude-Nutzer suchen überproportional häufig nach technischen Inhalten.
- Shopping-Seiten bekommen den schlechtesten Deal. Bei nahezu jedem Betreiber haben E-Commerce-Seiten die höchsten Crawl-to-Refer-Verhältnisse. LLM-gestützte Suchtools crawlen Produktkataloge intensiv, verweisen aber selten Käufer an die Quelle.
- Googles Verhältnis variiert um das 2,6-Fache je nach Branche – von 3,1:1 für Finance bis 8,2:1 für Shopping – was bestätigt, dass selbst die klassische Suche über die Branchen hinweg ungleichen Wert liefert.
Wenn ich technische SEO-Audits für SaaS-Kunden durchführe, prüfe ich immer die branchenspezifischen Crawl-Muster. Ein SaaS-Unternehmen in der Finance-Branche erhält von AI Crawlern eine grundlegend andere Gegenleistung als ein E-Commerce-Händler, der Unterhaltungselektronik verkauft.
Welcher Anteil des Web-Traffics stammt von AI Crawlern und LLM Bots?
AI Crawler und LLM Bots erzeugen mittlerweile 5,06 % des gesamten von Cloudflare Radar beobachteten Crawler-Traffics, weitere 3,57 % werden als Bots mit „gemischtem Zweck" klassifiziert, die sowohl dem AI-Training als auch klassischen Funktionen dienen.
| Client-Typ | Anteil am Crawler-Traffic |
|---|---|
| Mensch | 46,24 % |
| Nicht-AI-Bot | 45,13 % |
| AI Bot | 5,06 % |
| Gemischter Zweck | 3,57 % |
Bei der Betrachtung des AI-Crawler-Volumens nach Betreiber dominieren zwei Player: Meta und OpenAI machen zusammen über 70 % des gesamten AI-Crawler-Traffics aus.
| AI-Crawler-Betreiber | Anteil am AI-Crawl-Volumen | Primärer Bot |
|---|---|---|
| Meta | 36,10 % | Meta-ExternalAgent |
| OpenAI | 34,44 % | GPTBot |
| Amazon | 13,58 % | Amazonbot |
| 8,14 % | Google-Extended | |
| Huawei | 7,43 % | PetalBot |
Metas Dominanz ist bemerkenswert, weil Meta-ExternalAgent in den Crawl-to-Refer-Verhältnisdaten überhaupt nicht auftaucht – er crawlt Inhalte für Meta AI (das LLM hinter den AI-Funktionen von Instagram, WhatsApp und Facebook) ohne jeglichen Referral-Mechanismus. Meta ist mit 36,10 % des AI-Traffics der mit Abstand größte AI Crawler und liefert null Gegenwert für Publisher. Ich habe jedem Kunden, mit dem ich dieses Jahr gearbeitet habe, empfohlen, Meta-ExternalAgent zu blockieren, weil es schlicht keinen Vorteil bringt, ihn zuzulassen.
Welche AI Crawler und LLM Bots crawlen tatsächlich die meisten Seiten?
Betrachtet man den Gesamtanteil der Crawler-User-Agents am gesamten Bot-Traffic (nicht nur AI), führt Googlebot weiterhin, doch GPTBot und ClaudeBot belegen inzwischen den zweiten und dritten Platz.
| User-Agent | Anteil am gesamten Crawler-Traffic | Kategorie |
|---|---|---|
| Googlebot | 23,91 % | Suchmaschine |
| GPTBot (ChatGPT) | 17,07 % | AI Crawler / LLM Bot |
| ClaudeBot (Claude) | 14,40 % | AI Crawler / LLM Bot |
| Meta-ExternalAgent (Meta AI) | 12,26 % | AI Crawler / LLM Bot |
| Bingbot | 8,01 % | Suchmaschine |
| Amazonbot (Alexa AI) | 5,37 % | AI Crawler / LLM Bot |
| facebookexternalhit | 3,08 % | Social Preview |
| PetalBot (Huawei) | 2,59 % | AI Crawler / LLM Bot |
| YandexBot | 2,54 % | Suchmaschine |
AI Crawler und LLM Bots (GPTBot + ClaudeBot + Meta-ExternalAgent + Amazonbot + PetalBot) machen zusammen 51,69 % des gesamten Crawler-Traffics aus – mehr als die klassischen Suchmaschinen-Crawler zusammen. Suchmaschinen-Crawler (Googlebot + Bingbot + YandexBot) machen 34,46 % aus.
LLM Bots verbrauchen inzwischen mehr Crawl-Ressourcen als die Suchmaschinen, die tatsächlich den Großteil des Referral-Traffics liefern. Das ist eine grundlegende Verschiebung, die mir erstmals Ende 2025 auffiel, und der Trend hat sich seitdem nur beschleunigt. Unsere frühere Recherche zu AI-SEO-Statistiken hat diesen Wendepunkt vorhergesagt, doch er kam schneller, als wir erwartet hatten.
Woher stammt der Referral-Traffic tatsächlich?
Trotz der intensiven Crawl-Aktivität von AI Crawlern und LLM Bots wird der Referral-Traffic nach wie vor überwältigend von Google dominiert. ChatGPTs Referral-Anteil hat sich seit Januar fast verdoppelt, trägt aber immer noch nur 0,20 % aller Referrals bei.
| Referrer | Anteil am gesamten Referral-Traffic |
|---|---|
| 83,95 % | |
| TikTok | 7,94 % |
| Bing | 3,07 % |
| Yandex | 1,69 % |
| DuckDuckGo | 1,25 % |
| Baidu (mobil) | 1,14 % |
| Baidu (Desktop) | 0,47 % |
| ChatGPT | 0,20 % |
| Bing China (cn.bing.com) | 0,14 % |
ChatGPTs Referral-Anteil wuchs von 0,13 % am 1. Januar auf 0,24 % bis Mitte März – ein Anstieg um 85 %. Bei diesem Wachstumstempo könnte ChatGPT bis Ende 2026 einen Referral-Anteil von 1 % erreichen, was es neben Baidu und DuckDuckGo zu einer bedeutsamen Traffic-Quelle machen würde. Für GEO-Strategen bestätigt dieser Verlauf, dass die Optimierung für LLM-gestützte Suchoberflächen nicht länger optional ist.
TikToks Referral-Anteil fiel von 13,3 % Anfang Januar auf etwa 3,5 % bis Mitte Februar und ist seitdem dort geblieben – ein Rückgang um 74 %, der mit veränderten Mustern des Content-Konsums auf der Plattform zusammenfällt. Ich beobachte diesen Rückgang genau, weil er erhebliche Auswirkungen auf die Content-Distributionsstrategien über unser gesamtes Kundenportfolio hinweg hat.
Welche Branchen werden von AI Crawlern und LLM Bots am meisten gecrawlt?
Retail- und Software-Websites erhalten von AI Crawlern und LLM Bots überproportional viel Aufmerksamkeit im Verhältnis zu ihrer Präsenz im Web.
| Branche | Anteil am AI-Crawler-Traffic |
|---|---|
| Retail | 20,56 % |
| Computer-Software | 17,32 % |
| Glücksspiel & Casinos | 6,55 % |
| Marketing & Werbung | 6,40 % |
| Informationstechnologie | 5,54 % |
| Medien | 5,04 % |
| Internet | 4,93 % |
| Erwachsenenunterhaltung | 4,02 % |
| Telekommunikation | 3,08 % |
Retail-Seiten absorbieren 20,56 % des gesamten AI-Crawler-Traffics, erhalten dabei aber einige der schlechtesten Crawl-to-Refer-Verhältnisse – eine doppelte Strafe, die E-Commerce-Seiten zu den größten Subventionierern des LLM-Modelltrainings macht.
Wie viele Websites blockieren AI Crawler und LLM Bots?
Website-Betreiber reagieren auf ungünstige Crawl-to-Refer-Verhältnisse, indem sie AI Crawler und LLM Bots in ihren robots.txt-Dateien blockieren. Laut Cloudflare Radar, das 3.973 robots.txt-Dateien beliebter Domains analysiert hat, ist das Blockieren bereits weit verbreitet.
| AI Crawler / LLM Bot | Vollständig blockiert | Teilweise blockiert | Blockierung gesamt | % der analysierten Domains |
|---|---|---|---|---|
| GPTBot (OpenAI / ChatGPT) | 330 | 108 | 438 | 11,0 % |
| CCBot (Common Crawl) | 326 | 64 | 390 | 9,8 % |
| ClaudeBot (Anthropic / Claude) | 286 | 80 | 366 | 9,2 % |
| Google-Extended (Gemini) | 264 | 76 | 340 | 8,6 % |
| Bytespider (ByteDance) | 278 | 42 | 320 | 8,1 % |
GPTBot erhält die meisten Blockierungen (438 Domains, 11,0 % der analysierten Seiten), gefolgt von CCBot und ClaudeBot. Die Blockierungsrate korreliert direkt mit der Crawl-Aggressivität – die Bots, die am meisten nehmen und am wenigsten zurückgeben, stoßen auf den größten Widerstand.
Technologie- und Business-Websites führen beim Blockieren von AI Bots an, mit 904 bzw. 798 Domains, die Disallow-Regeln implementieren. Diese Branchen – die auch zu den am stärksten gecrawlten gehören – wehren sich aktiv. Falls du unsicher bist, wie deine eigene robots.txt für LLM Bots konfiguriert ist, empfehle ich, unseren Leitfaden zu LLMs.txt – was es ist und wie man es generiert als Teil einer umfassenderen GEO- und AI-Crawler-Zugriffsstrategie durchzulesen.
| Domain-Kategorie | Domains, die AI Crawler & LLM Bots blockieren |
|---|---|
| Technologie | 904 |
| Business | 798 |
| E-Commerce | 281 |
| Suchmaschinen | 248 |
| Content-Server | 206 |
Solltest du AI Crawler und LLM Bots auf Basis dieser Daten blockieren?
Die Entscheidung, AI Crawler und LLM Bots zu blockieren, hängt von deiner Branche, deinen Traffic-Zielen und deiner langfristigen GEO-Strategie ab. Basierend auf meiner Analyse legen die Daten drei klar unterscheidbare Ansätze nahe, je nach Verhalten des Betreibers.
Mit gutem Gewissen blockieren: Meta-ExternalAgent und jeden AI Crawler ohne Referral-Mechanismus. Diese Bots liefern null Rück-Traffic und verbrauchen Serverressourcen ausschließlich zum Vorteil des Betreibers. Meta ist der mit Abstand größte AI Crawler (36,10 % des AI-Traffics) ohne Referral-Produkt.
Sorgfältig abwägen: ClaudeBot (Verhältnis 23.951:1) und GPTBot (Verhältnis 1.276:1). Beide trainieren LLM-Modelle mit deinen Inhalten bei minimalem Traffic-Rückfluss. Diese Bots zu blockieren bedeutet jedoch, dass deine Inhalte nicht in Claude- oder ChatGPT-Antworten vertreten sein werden – ein potenzielles langfristiges GEO-Sichtbarkeitsrisiko, da die AI-Search-Optimierung an Bedeutung gewinnt.
Strategisch zulassen: PerplexityBot (111:1) und Microsoft Copilot (33:1). Diese Betreiber haben moderate Crawl-to-Refer-Verhältnisse und bieten über ihre LLM-gestützten Suchprodukte wachsenden Referral-Traffic. Perplexity zitiert Quellen in Antworten besonders prominent und liefert so Markensichtbarkeit, selbst wenn Nutzer nicht durchklicken.
Unblockiert lassen: Google (5:1), DuckDuckGo (1,5:1) und klassische Such-Crawler. Diese Betreiber liefern messbaren Referral-Traffic, der ihr Crawl-Volumen rechtfertigt.
Für SEO- und GEO-Profis, die Enterprise-Seiten betreuen, sprechen die Daten für selektives Blockieren. Eine Retail-Seite, die ein Verhältnis von 10.971:1 von ClaudeBot erhält, hat einen quantifizierbaren geschäftlichen Grund, ihn zu blockieren, während eine Finance-Seite, die 42:1 von PerplexityBot erhält, Grund hat, den Zugriff offen zu halten.
Was bedeutet das für die Zukunft von GEO, AI-Suche und Publisher-Beziehungen?
Die Lücke beim Crawl-to-Refer-Verhältnis zwischen AI Crawlern und klassischen Suchmaschinen offenbart eine strukturelle Spannung darin, wie die Web-Ökonomie funktioniert. Suchmaschinen operierten historisch auf einem impliziten Handel: Sie crawlten Inhalte und schickten Traffic zurück. LLM-gestützte Plattformen wie ChatGPT, Claude und Grok brechen diesen Handel, indem sie Inhalte crawlen, ohne einen reziproken Traffic-Mechanismus.
Drei Trends aus den Daten zeigen, wohin die Reise geht:
1. ChatGPTs Referral-Anteil wächst. Von 0,13 % auf 0,24 % in 75 Tagen (85 % Wachstum) ist chatgpt.com der am schnellsten wachsende Referrer in Cloudflares Daten. Mit der Reifung von ChatGPT Search dürfte sich GPTBots Crawl-to-Refer-Verhältnis weiter verbessern. Das macht GEO-Optimierung für ChatGPT zunehmend lohnenswert.
2. Die Blockierungsraten steigen. Da bereits 11 % der Top-Domains GPTBot blockieren, stehen LLM-Plattformen vor einem Problem beim Datenzugriff. Wenn das Blockieren sich beschleunigt, werden AI-Modelle mit zunehmend weniger repräsentativen Daten trainiert – was die Antwortqualität für Nutzer potenziell verschlechtert.
3. Branchenspezifische GEO-Strategien werden entstehen. Der 4,3-fache Unterschied in Perplexitys Verhältnis zwischen Finance (42:1) und Shopping (182:1) bedeutet, dass Publisher in unterschiedlichen Branchen unterschiedliche Crawler-Zugriffsrichtlinien einführen werden. Pauschale robots.txt-Regeln spiegeln nicht die nuancierte Ökonomie des AI-Crawler-Managements wider.
Website-Betreiber, die diese Verhältnisse vierteljährlich überwachen und ihre AI-Crawler-Zugriffsrichtlinien anhand messbarer Erträge anpassen, werden diejenigen übertreffen, die entweder alles blockieren oder alles zulassen. Das ist das Fundament einer datengetriebenen GEO-Strategie.
So überwachst du das Crawl-to-Refer-Verhältnis deiner Seite
Während Cloudflare Radar aggregierte Daten liefert, können einzelne Seitenbetreiber ihre eigenen Crawl-to-Refer-Verhältnisse anhand von Server-Logs und Analytics annähern. Hier ist der Prozess, dem ich bei unseren Kunden folge:
- Server-Log-Analyse: Zähle die Anfragen von bekannten AI-Crawler- und LLM-Bot-User-Agents (GPTBot, ClaudeBot, Anthropic-AI, Meta-ExternalAgent, PerplexityBot) über einen Zeitraum von 30 Tagen
- Referral-Tracking: Filtere in Google Analytics 4 oder deiner Analytics-Plattform den Referral-Traffic von chatgpt.com, perplexity.ai, bing.com (Copilot) und anderen LLM-gestützten Suchoberflächen
- Verhältnis berechnen: Teile die gesamten AI-Crawler-Anfragen durch die gesamten von AI verwiesenen Besuche
- Mit Benchmarks vergleichen: Nutze die branchenspezifischen Verhältnisse aus diesem Report als Ausgangswerte für deine GEO-Strategie
SEO-Tools wie SEOmator können die technische Audit-Seite automatisieren – sie analysieren deine robots.txt-Konfiguration, überwachen AI-Crawler-Zugriffsmuster und identifizieren, welche LLM Bots dein Crawl-Budget verbrauchen, ohne proportionalen Wert zu liefern.
Methodik
Alle Daten in diesem Report stammen von Cloudflare Radar, das Traffic-Muster über Cloudflares globales Netzwerk hinweg überwacht. Cloudflares Netzwerk verarbeitet einen erheblichen Teil des gesamten Internet-Traffics, was seine Bot- und Crawler-Daten weitgehend repräsentativ für web-weite Muster macht.
Verwendete Datendimensionen:
- CRAWL_REFER_RATIO: Gecrawlte Seiten pro gesendetem Referral, nach Betreiber
- REFERER: Anteil des Referral-Traffics nach Quell-Domain
- CLIENT_TYPE: Traffic-Klassifizierung (Mensch, Nicht-AI-Bot, AI Bot, Gemischt)
- USER_AGENT: Crawler-Identifikation anhand der User-Agent-Zeichenfolge
- VERTICAL / INDUSTRY: Traffic-Segmentierung nach Website-Kategorie
- robots.txt-Analyse: Direktiven-Parsing aus 3.973 beliebten Domains
Zeitraum: 1. Januar – 16. März 2026
Einschränkungen: Crawl-to-Refer-Verhältnisse messen das aggregierte Verhalten über Cloudflares Netzwerk hinweg. Die Verhältnisse einzelner Seiten variieren je nach Content-Typ, Domain-Autorität und Traffic-Mustern. Die Referral-Attribution unterschätzt möglicherweise AI-getriebene Besuche, die über Zwischenseiten ankommen oder keine Referrer-Header tragen.
Daten stammen aus Cloudflare Radar Bot & Crawler Analytics, 1. Januar – 16. März 2026. Zuletzt aktualisiert: 17. März 2026.
Weitere Beiträge entdecken
Nick Sawinyh
SEO-Prompts: Bewährte SEO-Prompts für das Google-Ranking 2024
Entdecken Sie die Macht der KI-gesteuerten SEO mit unserem 2024-Leitfaden zu ChatGPT-Eingaben. Erfahren Sie, wie Sie bewährte Strategien nutzen können, um Google-Rankings zu dominieren, Ihre Sichtbarkeit zu verbessern und den organischen Traffic zu steigern.
Charles Duncan
Branded Web Search: Erweiterte SEO-Taktiken für GEO
SEO-Profis: Meistere Branded Web Search im KI-Zeitalter! Dieser ultimative Leitfaden behandelt Branded Links, Anchors und das Steigern des Suchvolumens. Treibe jetzt Conversions an.
Nick Sawinyh