GEO-Datenreport, September 2026: Welche AI Crawler & LLM Bots nehmen am meisten und geben am wenigsten zurück?

Perplexitys Crawler holt sich inzwischen 2.373 Seiten für jeden Referral, den seine Plattform an einen Website-Betreiber zurückschickt. Im Januar waren es 112. Dieser mehr als zwanzigfache Anstieg macht Perplexity im September 2026 zum extraktivsten AI-Betreiber, der überhaupt noch Traffic zurückschickt. Mistral ist auf andere Weise schlimmer: Seit August hat Cloudflare von Mistral keine Referrals mehr gezählt, sein Verhältnis hat also keinen endlichen Wert. Anthropic ging den umgekehrten Weg, von 47.779:1 im Januar auf 549:1. OpenAI liegt bei 341:1, DuckDuckGo bei 3,6:1. Alle Werte stammen aus Cloudflare Radars Crawl-to-Refer-Verhältnis, Monat für Monat von Januar bis September 2026 abgerufen. Dieses Verhältnis steht im Zentrum dieses Reports: Das Crawl-to-Refer-Verhältnis ist die Anzahl der Seiten, die ein AI Crawler oder LLM Bot abruft, geteilt durch die Referrals, die seine Mutterplattform (ChatGPT, Claude, Perplexity, Mistral, Copilot) zurückschickt.

Datenquellen: Cloudflare Radar – AI Insights (Crawl-to-Refer-Verhältnis) und Bot & Crawler Analytics, Kalendermonate Januar–September 2026 über die Radar-API; robots.txt- und Agent-Readiness-Scans vom 5. Oktober 2026; dazu SEOmators eigene Analytics für die AI-Assistenten-Besuche, die seomator.com im September 2026 erhalten hat.

Was ist das Crawl-to-Refer-Verhältnis und warum ist es für GEO und SEO wichtig?

Das Crawl-to-Refer-Verhältnis misst, wie viele Seiten ein AI Crawler oder LLM Bot von deiner Website crawlt für jeden Referral-Besuch, den er zurückschickt. Ein Verhältnis von 100:1 bedeutet, dass der Bot 100 deiner Seiten gecrawlt hat, bevor seine Mutterplattform einen einzigen Nutzer auf deine Seite gelenkt hat.

Diese Kennzahl ist wichtig, weil AI Crawler – GPTBot, ClaudeBot, PerplexityBot und andere – deine Serverressourcen verbrauchen (Bandbreite, Rechenleistung und Crawl-Budget), während sie deine Inhalte für ihre LLM-Modelle indexieren. Die Referral-Seite misst, ob sich diese Investition durch tatsächlichen Traffic auszahlt, der an deine Seite zurückfließt.

Für SEO- und GEO-Profis fungiert dieses Verhältnis als Return-on-Investment-Kennzahl für den Crawler-Zugriff. Jede Seite, die von einem LLM Bot gecrawlt wird, ist eine Seite, die stattdessen vom Googlebot hätte gecrawlt werden können – was sich direkt auf die Verteilung des Crawl-Budgets deiner Seite auswirkt. Und die Last ist längst kein Rundungsfehler mehr. Im September 2026 machten AI Bots allein 5,3 % der von Cloudflare klassifizierten Anfragen aus, und Crawler mit gemischtem Zweck wie Googlebot, die sowohl Suche als auch AI-Produkte speisen, weitere 3,6 %.

Wie schneiden die führenden AI Crawler und LLM Bots beim Crawl-to-Refer-Verhältnis ab?

Die Spanne zwischen dem besten und dem schlechtesten Crawl-to-Refer-Verhältnis umfasst weiterhin drei Größenordnungen, und die Spitze der Rangfolge hat sich seit der Juli-Ausgabe dieses Reports erneut verändert. Perplexity ist aus dem Mittelfeld an die Spitze geklettert. Mistral ist ganz aus dem messbaren Bereich gefallen. Anthropic fällt weiter.

Alle Werte hier sind Kalendermonate. Die Juli-Ausgabe nutzte ein gleitendes 28-Tage-Fenster bis zum 21. Juli, deshalb weichen ihre Zahlen leicht von der Juli-Spalte ab (sie hatte Anthropic bei 2.237:1 und Mistral bei 3.389:1).

Mistral und Perplexity sitzen aus unterschiedlichen Gründen am extraktiven Ende. Mistrals Verbraucherprodukt schickt fast keinen klickbaren Traffic zurück. Perplexity zitiert und verlinkt seine Quellen zwar, aber sein Crawling wuchs weit schneller als seine Referrals (mehr zu beiden unten). Google und DuckDuckGo sitzen am effizienten Ende, weil ihre Kernfunktion darin besteht, Nutzer an Websites zu schicken – jeder Klick auf ein Suchergebnis ist ein Referral. Ich verfolge diese Betreiber seit fast einem Jahr in Server-Logs, und die Diskrepanz ist auf Ebene der einzelnen Seite immer noch frappierend.

Was sich seit der Juli-Ausgabe verändert hat

• Perplexity: 296:1 → 2.373:1. Die größte Bewegung aller Betreiber, und sie hat sich beschleunigt: 822:1 im August, dann fast das Dreifache im September.
• Mistral: 29.944:1 → keine messbaren Referrals. Sein Crawling wuchs nach Juli weiter; Cloudflare zählte weder im August noch im September Referrals zurück.
• Anthropic: 1.914:1 → 549:1. Seit Mai jeden Monat gefallen und inzwischen nur noch etwa 1,6-mal so hoch wie OpenAIs 341:1.
• OpenAI: 256:1 → 341:1. Juli war der Tiefpunkt. Im August stieg das Verhältnis (424:1) und lag auch im September über dem Juli-Wert.
• Baidu: 12:1 → 40:1. Der Großteil des Sprungs kam in einem einzigen Monat.

Dieses Verhältnis zu verstehen, ist inzwischen ein zentraler Teil jeder ernsthaften AI-Search-Optimierungs-Strategie.

Warum ist die Extraktionslücke 2026 eingebrochen?

Im Januar 2026 war Anthropics Verhältnis eine fünfstellige Zahl und OpenAIs lag deutlich über tausend. Der Grund, warum beide so weit gefallen sind, ist nicht, dass sie weniger crawlen – sondern dass ihre Plattformen endlich begonnen haben, Traffic zurückzuschicken. Als ChatGPT Search und Claudes Oberflächen mit zitierten Quellen reiften, tauchten Referrals im Nenner des Verhältnisses auf, und die Zahl fiel schnell.

Cloudflare Radars Monatsreihe zeigt den Abstieg und die Umkehrungen, die danach kamen:

Kalendermonate, Cloudflare Radar bots/crawlers/summary/crawl_refer_ratio. „Keine Referrals" bedeutet, dass Radar das Verhältnis als unendlich ausweist: Es hat Crawling gezählt, aber keine Referrals.

Die Anthropic-Linie ist das klarste Signal im Datensatz: Ein Betreiber, der im Januar rund 48.000 Seiten pro Referral nahm, lag im September bei 549, eine 87-fache Verbesserung, als Claudes nutzerseitige Oberflächen begannen, Klicks zurückzugeben. OpenAI folgte demselben Pfad bis Juli und driftete danach wieder nach oben, weil ChatGPTs Anteil an den Referrals sank (siehe den Referral-Abschnitt unten). Das ist die Referral-Seite des Handels, die sich wieder durchsetzt – und es bestätigt eine Aussage, die ich das ganze Jahr über gegenüber Kunden gemacht habe: Extraktionsverhältnisse sind nicht fix und bewegen sich in dem Moment, in dem eine Plattform ein Produkt ausliefert, das nach außen verlinkt.

Warum sind Mistral und Perplexity jetzt die extraktivsten Betreiber?

Sie sind auf unterschiedlichen Wegen dorthin gekommen, und Radars User-Agent-Daten zeigen beide.

Mistral ist das Spiegelbild der Anthropic-Geschichte. In den ersten fünf Monaten des Jahres 2026 lag sein Verhältnis im niedrigen zweistelligen Bereich. Ab Juni hob sein Crawling ab: MistralAI-User, Mistrals Fetcher, stieg von 0,004 % der AI-Bot-Anfragen im Juni auf 0,78 % im September, ein rund 190-facher Anstieg des Anteils. Seine Plattform schickte fast nichts zurück. Im Juli lag das Verhältnis bei 29.944:1, und im August und September zählte Radar überhaupt keine Mistral-Referrals mehr.

Auch Perplexitys Sprung kommt vom Crawling. Der Anteil von PerplexityBot an den AI-Bot-Anfragen stieg von 0,18 % im Juni auf 2,18 % im September, etwa zwölfmal so viel, und seine Referrals hielten nicht Schritt. Anders als Mistral schickt Perplexity durchaus Besucher, weil seine Antworten Quellen zitieren und verlinken. Das Verhältnis besagt, dass sein Crawling inzwischen rund 2.400 Seiten vor jedem Besuch liegt, den es zurückgibt.

Diese Kombination – ein starker Anstieg des Crawlings mit wenig oder gar keinem Referral im Gegenzug – ist genau das Profil, das ClaudeBot vor einem Jahr zum Aushängeschild der Extraktion machte. Wenn du dieses Quartal den AI-Crawler-Zugriff prüfst, sind MistralAI-User und PerplexityBot die Namen, die du in deinen Logs im Auge behalten solltest. Nur wenige Seiten haben nachgezogen: MistralAI-User gehört nicht zu den 40 User-Agents, die robots.txt-Dateien am häufigsten sperren (mehr dazu unten). Die Lehre aus Anthropic ist, dass sich das Verhältnis verbessern kann, sobald ein Verbraucherprodukt nach außen verlinkt; die Frage für Publisher ist, ob sie das Crawling in der Zwischenzeit subventionieren wollen.

Wie viel deiner Crawl-Last ist tatsächlich AI – und was holen sich die Bots?

Bevor du entscheidest, was du blockierst, hilft es, die Zusammensetzung des Traffics zu sehen. In Cloudflares Netzwerk teilen sich Menschen und AI Bots den Anfragestrom inzwischen so auf:

Die 5,3-%-Zahl für „AI Bot" untertreibt den Druck auf Content-Seiten im Speziellen, weil sie ein Durchschnitt über alles ist, was Cloudflare ausliefert. Die Branchenaufschlüsselung weiter unten zeigt, wo sich das Crawling konzentriert.

Was holen sich all diese Bots eigentlich? Nach deklariertem Crawl-Zweck über AI Bots hinweg:

Search ist die Linie, die sich bewegt hat. Sie hat sich vervierfacht, von 2,6 % der AI-Bot-Anfragen im Januar auf 10,6 % im September. Training ist mit 44,0 % der größte deklarierte Zweck, etwa dort, wo es ins Jahr gestartet ist, nach einem Höchststand von 50,7 % im Juli. Die praktische Lesart: AI Bots crawlen deine Seite zunehmend, um live Nutzerfragen zu beantworten, nicht nur zum Trainieren – und das ist genau der Traffic, für den du zitierbar sein willst.

Und nach Content-Typ sind AI Crawler überwältigend auf deine Prosa aus, nicht auf deine Assets:

Mehr als zwei Drittel der AI-Crawler-Anfragen zielen auf HTML. Deine geschriebenen Inhalte – Artikel, Dokumentation, Produktbeschreibungen – sind der Korpus. Das ist zugleich das Risiko (er wird genommen) und die Chance (er ist das, was zitiert wird). Klartext ist die Linie, die du beobachten solltest: Sein Anteil stieg von 5,9 % im Juli auf 9,2 % im September, während HTML von 72,5 % abrutschte.

Welche AI Crawler und LLM Bots crawlen tatsächlich die meisten Seiten?

Betrachtet man den Gesamtanteil der User-Agents am gesamten Crawler-Traffic (nicht nur AI), führt Googlebot weiterhin mit großem Abstand. Der Bot auf dem zweiten Platz ist aber nach wie vor ein AI Crawler: Anthropics ClaudeBot.

Radars nicht klassifizierter Bereich „other" wuchs zwischen Juli und September von 13,5 % auf 18,5 % des Crawler-Traffics, kleine Verschiebungen in diesen Anteilen solltest du also mit Vorsicht lesen.

ClaudeBots Vorsprung ist geschrumpft. Sein Anteil am gesamten Crawler-Traffic fiel von 19,5 % im Juli auf 11,6 % im September, der von GPTBot von 12,7 % auf 7,8 %. Innerhalb der AI-Bot-Population im Speziellen überholte Meta-ExternalAgent im August ClaudeBot und behielt die Führung im September, mit 13,1 % der AI-Bot-Anfragen gegenüber 12,0 % für ClaudeBot und 6,2 % für GPTBot. OpenAIs Such-Crawler OAI-SearchBot hat seinen Anteil mehr als verdoppelt, von 1,6 % im Juli auf 3,6 %. Behalte die Meta-Zahl für den Abschnitt übers Blockieren im Kopf: Meta-ExternalAgent ist inzwischen der größte reine AI Crawler, und Meta hat überhaupt kein Referral-Produkt. Unsere frühere Recherche zu AI-SEO-Statistiken hat den Wechsel von OpenAI zu Anthropic an der Spitze verfolgt, und der monatliche AI Crawler Report zeigt diese Anteile Monat für Monat.

Woher stammt der Referral-Traffic tatsächlich?

Trotz all dieses Crawlings stammt der Referral-Traffic weiterhin überwältigend von Google. Die ChatGPT-Linie hat sich seit der Juli-Ausgabe umgekehrt, und Claude ist zu den wichtigsten Referrern hinzugekommen.

Die Juli-Ausgabe meldete, dass ChatGPT die 1-%-Marke der Referrals überschritten hatte (1,05 % in den 28 Tagen bis zum 21. Juli), und nannte das früher als erwartet. Es hielt nicht. Auf Kalendermonaten stieg chatgpt.com von 0,18 % im Januar auf einen Höchststand von 0,90 % im Juli und fiel dann auf 0,53 % im August und 0,41 % im September. In denselben zwei Monaten kam claude.ai mit 0,30 % und dann 0,37 % auf die Liste, sodass Claude in Cloudflares Netzwerk inzwischen fast einen ebenso großen Anteil der Referrals schickt wie ChatGPT. Der Rückgang der ChatGPT-Referrals ist die andere Hälfte der Erklärung, warum OpenAIs Verhältnis nach Juli stieg.

SEOmators eigene Website zeigt, wie anders eine einzelne Seite aussehen kann. Im September 2026 hatte seomator.com 63.012 Sessions, und 1.664 davon (2,6 %) kamen von AI-Assistenten. So verteilen sich diese AI-Sessions:

In Cloudflares Netzwerk liegt Claudes Referral-Anteil nahe an dem von ChatGPT. Auf seomator.com schickte ChatGPT mehr als 120-mal so viele Sessions wie Claude. Eine einzelne Seite ist keine Stichprobe, und das Publikum eines SEO-Tools ist nicht typisch. Trotzdem ist es eine nützliche Warnung: Netzwerkweite Daten sagen dir, welche Plattformen insgesamt Traffic schicken, und nur deine eigenen Analytics sagen dir, welche ihn zu dir schicken. Prüfe deine, bevor du entscheidest, von welchen Assistenten sich das Crawlen lohnt.

Welche Branchen werden von AI Crawlern und LLM Bots am meisten gecrawlt?

Retail- und Infrastruktur-Inhalte absorbieren einen überproportionalen Anteil der Crawler-Aufmerksamkeit relativ zu ihrem Fußabdruck im Web.

Shopping-Seiten absorbieren über ein Viertel des gesamten Crawler-Traffics, mehr als jede andere Branche, und diese Anteile haben sich seit Juli kaum bewegt. Was gecrawlt wird, ist weit stabiler als die Frage, wer crawlt. Wenn ich technische SEO-Audits für SaaS-Kunden durchführe, sind branchenspezifische Crawl-Muster immer das Erste, was ich prüfe – ein Finance-SaaS und ein Unterhaltungselektronik-Händler bekommen von derselben Bot-Gruppe grundlegend andere Gegenleistungen. Ich habe verwandte AI-Bot-Traffic-Muster nach Ländern in einer früheren Analyse dokumentiert, in der die Geografie vergleichbare Variation antrieb.

Ist das Web tatsächlich bereit für die AI-Agenten, die es crawlen?

Hier ist eine Lücke, die die ganze „Soll ich blockieren?"-Frage neu einordnet. Cloudflares Agent-Readiness-Scan hat am 5. Oktober 2026 111.711 Top-Domains geprüft:

Vier von fünf Top-Seiten schreiben inzwischen explizite AI-Crawler-Regeln, doch nur 3,3 % liefern sauberes Markdown an Agenten, und agenten-native Protokolle (MCP, Web Bot Auth) sind faktisch weiterhin bei null. Das Web schreibt Regeln für AI-Agenten, die es gar nicht gut zu bedienen imstande ist. Wenn du entscheidest, wie du mit AI Crawlern umgehst, ist das der wahre Stand der Technik: Die meisten Seiten kämpfen noch den letzten Krieg (Allow/Deny in der robots.txt) statt des nächsten (Agenten strukturierte, effiziente Inhalte zu liefern).

Wie viele Websites blockieren AI Crawler und LLM Bots?

Website-Betreiber reagieren auf ungünstige Verhältnisse, indem sie AI Crawler in ihren robots.txt-Dateien benennen, und die beiden Namen an der Spitze der Liste gehören den Trainings-Crawlern von OpenAI und Anthropic. Cloudflares robots.txt-Scan hat am 5. Oktober 2026 4.257 robots.txt-Dateien von Top-Domains geparst. Gezählt werden nur Disallow-Regeln:

Die Juli-Ausgabe zählte jede Datei, die einen Bot in irgendeiner Regel nannte, ob Allow oder Disallow, deshalb lagen ihre Zahlen höher (GPTBot 773, ClaudeBot 629). Die Tabelle oben zählt nur Dateien, die den Bot sperren.

Die extraktivsten Betreiber gehören zu den am seltensten blockierten. MistralAI-User taucht nicht unter den 40 User-Agents auf, die robots.txt-Dateien am häufigsten sperren, obwohl seit August keine messbaren Referrals mehr kommen. PerplexityBot wird von 348 Dateien gesperrt und von fast ebenso vielen (344) ausdrücklich erlaubt.

Seiten beginnen außerdem, den Trainings-Crawler eines Betreibers anders zu behandeln als seinen Such-Crawler:

Bei OpenAI ist die Aufteilung bereits klar. GPTBot wird weit häufiger gesperrt als erlaubt, während OAI-SearchBot häufiger erlaubt als gesperrt wird: Training blockieren, Sichtbarkeit in der Suche behalten. Bei Anthropic haben die meisten Dateien noch nicht nachgezogen. Claude-SearchBot wird in weniger als halb so vielen Dateien genannt wie ClaudeBot.

Bemerkenswert: Das Blockieren steigt, obwohl sich manche Verhältnisse verbessern. In Cloudflares Netzwerk kletterte der Anteil der Crawler-Anfragen, die mit einem 4xx-Status beantwortet werden, von 33,1 % im Januar auf 38,1 % im September, und der tatsächlich ausgelieferte Anteil (2xx) rutschte von 51,5 % auf 46,6 %. Mehr als jede dritte Crawler-Anfrage endet inzwischen mit einem 4xx. Falls du unsicher bist, wie deine eigene robots.txt für LLM Bots konfiguriert ist, geht unser robots.txt-Leitfaden die AI-Crawler-Regeln durch.

Solltest du AI Crawler und LLM Bots auf Basis dieser Daten blockieren?

Die Entscheidung hängt von deiner Branche, deinen Traffic-Zielen und deiner langfristigen GEO-Strategie ab. Auf Basis der Daten vom September 2026 sortieren sich die Betreiber in vier Gruppen – und die Zusammensetzung hat sich seit Juli erneut verschoben.

Mit gutem Gewissen blockieren: Mistral (seit August keine messbaren Referrals) und Meta-ExternalAgent. Mistrals Fetcher wuchs seit Juni als Anteil der AI-Bot-Anfragen rund 190-fach, ohne dass Cloudflare etwas zurückkommen sah, und Meta-ExternalAgent, inzwischen der größte reine AI Crawler, hatte nie ein Referral-Produkt. Diese liefern nahezu null Gegenwert und verbrauchen Ressourcen ausschließlich zum Vorteil des Betreibers.

Sorgfältig abwägen: PerplexityBot (2.373:1), ClaudeBot (549:1) und GPTBot (341:1). Alle drei Betreiber betreiben Answer-Engines, die Quellen zitieren und verlinken, ein Blockieren bedeutet also, die Repräsentation in diesen Antworten aufzugeben – ein realer AI-Search-Optimierungs-Preis. Aber sie bewegen sich in entgegengesetzte Richtungen: Anthropics Verhältnis hat sich seit Januar 87-fach verbessert, Perplexitys mehr als zwanzigfach verschlechtert. Bei OpenAI und Anthropic musst du nicht alles oder nichts wählen: Blockiere den Trainings-Crawler und behalte den Such-Crawler (GPTBot vs. OAI-SearchBot, ClaudeBot vs. Claude-SearchBot), wie es viele Seiten in Cloudflares Scan bereits tun.

Strategisch zulassen: Microsoft Copilot (40:1). Moderates Verhältnis, Referral-Traffic über Bing- und Copilot-Oberflächen und prominente Quellenangabe.

Unblockiert lassen: Google (4,7:1), DuckDuckGo (3,6:1) und klassische Such-Crawler. Diese liefern messbaren Referral-Traffic, der ihr Crawl-Volumen rechtfertigt.

Ein Vorbehalt, bevor du irgendeine robots.txt-Regel schreibst: Referrals sind nicht der einzige Gegenwert dafür, gecrawlt zu werden. Ein Bot kann prägen, wie ein Assistent deine Marke beschreibt, ohne je einen Klick zu schicken – Blockieren ist also keine kostenlose Handlung. Und für die Betreiber, die du zulässt, ist der Zugriff nicht der einzige Hebel – du kannst eine llms.txt-Datei generieren, um diesen Bots zu sagen, welche deiner Seiten tatsächlich wichtig sind, statt sie das aus einem vollständigen Crawl ableiten zu lassen.

Was bedeutet das für die Zukunft von GEO, AI-Suche und Publisher-Beziehungen?

Die Crawl-to-Refer-Daten aus den ersten neun Monaten des Jahres 2026 revidieren die Geschichte, die sich das Web 2025 selbst erzählte. Die Befürchtung war, dass LLM-Plattformen endlos crawlen und nie Traffic zurückschicken würden. Was tatsächlich passiert ist, ist gemischter: Die größten Extrahierer verbesserten sich dramatisch in dem Moment, in dem sie Verbraucherprodukte auslieferten, die nach außen verlinken, während andere Betreiber (Mistral, dann Perplexity) an ihrer Stelle die Extraktionsführung übernahmen. Drei Trends zeigen, wohin die Reise geht:

1. Extraktionsverhältnisse sind elastisch, in beide Richtungen. Anthropic ging in neun Monaten von ~48.000:1 auf 549:1, weil Referrals auftauchten. Perplexity ging von 112:1 auf 2.373:1, weil sein Crawling ihnen davonlief. Der schlimmste Übeltäter von heute ist nicht zwangsläufig der von morgen, und der beste von heute auch nicht.

2. AI-Referrals sind real, aber kein Plattformanteil ist stabil. ChatGPTs Anteil am Referral-Traffic bei Cloudflare erreichte im Juli mit 0,90 % seinen Höchststand und fiel bis September auf 0,41 %, während Claudes auf 0,37 % stieg. Auf seomator.com kamen im September trotzdem 2,6 % der Sessions von AI-Assistenten. GEO-Arbeit für diese Engines zeigt sich inzwischen in den Analytics; plane nur nicht damit, dass der Anteil einer einzelnen Plattform stabil bleibt.

3. Die Readiness-Lücke ist das nächste Schlachtfeld. Mit 80 % der Seiten, die AI-Regeln schreiben, aber nur 3,3 %, die Markdown an Agenten liefern, werden die Gewinner der nächsten Phase nicht die Seiten sein, die am härtesten blockieren – sondern die, die AI-Agenten effiziente, strukturierte, zitierbare Inhalte liefern. Blockieren ist Verteidigung; zitierbar zu sein ist Angriff.

Website-Betreiber, die diese Verhältnisse vierteljährlich überwachen und ihren AI-Crawler-Zugriff anhand messbarer Erträge anpassen, werden diejenigen übertreffen, die entweder alles blockieren oder alles zulassen. Das ist das Fundament einer datengetriebenen GEO-Strategie.

So überwachst du das Crawl-to-Refer-Verhältnis deiner Seite

Während Cloudflare Radar netzwerkweite Aggregate liefert, können einzelne Seitenbetreiber ihre eigenen Crawl-to-Refer-Verhältnisse anhand von Server-Logs und Analytics annähern. Hier ist der Prozess, dem ich bei Kunden folge:

1. Server-Log-Analyse: Zähle die Anfragen von bekannten AI-Crawler- und LLM-Bot-User-Agents (GPTBot, OAI-SearchBot, ClaudeBot, Claude-User, MistralAI-User, Meta-ExternalAgent, PerplexityBot) über einen Zeitraum von 30 Tagen
2. Referral-Tracking: Filtere in Google Analytics 4 oder deiner Analytics-Plattform den Referral-Traffic von chatgpt.com, claude.ai, perplexity.ai, gemini.google.com und anderen LLM-gestützten Oberflächen
3. Verhältnis berechnen: Teile die gesamten AI-Crawler-Anfragen durch die gesamten von AI verwiesenen Besuche, pro Betreiber
4. Mit Benchmarks vergleichen: Nutze die September-2026-Verhältnisse aus diesem Report als Ausgangswerte und prüfe vierteljährlich nach – wie die Perplexity- und Mistral-Ausschläge zeigen, bewegen sich die Zahlen schnell

Falls du keinen Server-Log-Zugriff hast, deckt ein AI-Crawler-Zugriffsreport die Crawl-Hälfte der Gleichung ab – er zeigt, welche LLM Bots deine robots.txt aktuell zulässt oder blockiert, also den Input, den du tatsächlich ändern kannst.

SEO-Tools wie SEOmator können die technische Seite automatisieren – sie analysieren deine robots.txt-Konfiguration, überwachen AI-Crawler-Zugriffsmuster und identifizieren, welche LLM Bots dein Crawl-Budget verbrauchen, ohne proportionalen Wert zu liefern.

Methodik

Dieser Report stützt sich auf Cloudflare Radar, das den Traffic über Cloudflares globales Netzwerk hinweg überwacht, einen erheblichen Teil des gesamten Internet-Traffics, was seine Bot- und Crawler-Daten weitgehend repräsentativ für web-weite Muster macht. Alle Traffic-Werte wurden am 7. Oktober 2026 über die Radar-API als Kalendermonate vom 1. Januar bis 30. September 2026 abgerufen, sodass jeder Monatsvergleich einen vollen Monat abdeckt. Die Crawl-to-Refer-Verhältnisse stammen aus bots/crawlers/summary/crawl_refer_ratio (die Kennzahl, wie Cloudflare sie definiert); Client-Typen, Crawler-User-Agents, Referrer, Branchen und Statuscodes aus den Web-Crawler-Endpoints; Crawl-Zweck, AI-User-Agents und Content-Typen aus den AI-Bot-Endpoints; die robots.txt-Zählungen aus robots_txt/top/user_agents/directive, getrennt abgefragt für Disallow und Allow; und die Agent-Readiness-Signale aus agent_readiness. Die robots.txt- und Agent-Readiness-Werte sind Scans eines einzelnen Tages vom 5. Oktober 2026.

SEOmators eigene Werte decken eine einzige Seite ab, die wir vollständig überprüfen können: die AI-Assistenten-Sessions, die seomator.com vom 1. bis 30. September 2026 erhalten hat, gemessen mit unseren First-Party-Analytics. Sie beschreiben das Publikum einer SEO-Tool-Website, nicht das Web. Die Juli-Ausgabe dieses Reports zitierte außerdem ein SEOmator-Panel über mehrere Seiten; diese Werte werden nicht fortgeführt, und diese Ausgabe berichtet nur über Cloudflares Netzwerk und unsere eigene Seite.

Verwendete Datendimensionen:

• Crawl-to-Refer-Verhältnis: Gecrawlte Seiten pro gesendetem Referral, nach Betreiber, monatlich
• Referral-Quellenanteil: Referral-Traffic nach Quell-Domain (Cloudflare) und AI-Assistenten-Sessions (seomator.com)
• Client-Typ: Traffic-Klassifizierung (Mensch, Nicht-AI-Bot, AI Bot, Gemischter Zweck)
• User-Agent + Crawl-Zweck + Content-Typ: Crawler-Identifikation und was AI Bots abrufen
• Vertical / Branche: Traffic-Segmentierung nach Website-Kategorie
• Antwortstatus: Anteil der Crawler-Anfragen, die mit 2xx- und 4xx-Codes beantwortet werden
• Agent-Readiness + robots.txt-Analyse: 111.711 gescannte Domains; 4.257 geparste robots.txt-Dateien

Zeitraum: Cloudflare-Traffic-Daten: Kalendermonate Januar–September 2026. robots.txt und Agent-Readiness: 5. Oktober 2026. seomator.com: 1.–30. September 2026.

Einschränkungen: Netzwerkweite Verhältnisse messen aggregiertes Verhalten; die Verhältnisse einzelner Seiten variieren je nach Content-Typ, Domain-Autorität und Traffic-Mustern. Die Referral-Attribution unterschätzt möglicherweise AI-getriebene Besuche, die über Zwischenseiten ankommen oder keinen Referrer-Header tragen. Radar berichtet Anteile und Verhältnisse, keine absoluten Anfragezahlen, und ein Verhältnis, das es als unendlich ausweist, bedeutet, dass es im Zeitraum Crawling, aber keine Referrals gezählt hat, und ist kein gemessener Wert. Der nicht klassifizierte Anteil der Crawler-User-Agents wuchs zwischen Juli und September, kleine Verschiebungen in den User-Agent-Anteilen sind daher weniger verlässlich als große.

Cloudflare-Daten stammen aus Cloudflare Radar AI Insights und Bot & Crawler Analytics (Kalendermonate Januar–September 2026; robots.txt- und Agent-Readiness-Scans vom 5. Oktober 2026). seomator.com-Werte: SEOmator First-Party-Analytics, September 2026. Zuletzt aktualisiert: 7. Oktober 2026.