LLMs.txt-Generator: die Datei, die KI-Agenten wirklich abrufen

Eine llms.txt-Datei ist ein Markdown-Dokument im Stammverzeichnis einer Website — ihresite.de/llms.txt —, das zusammenfasst, worum es auf der Website geht, und auf ihre nützlichsten Seiten verlinkt, jeweils mit einer kurzen Beschreibung. Jeremy Howard von Answer.AI hat das Format im September 2024 vorgeschlagen, um ein konkretes Problem zu lösen: Ein Sprachmodell, dem eine normale Webseite vorgelegt wird, bekommt Navigation, Cookie-Banner, Werbung und Script-Tags mitgeliefert — und hat nur ein begrenztes Kontextfenster, das es an diesem Durcheinander verbraucht.

Die Struktur ist bewusst klein gehalten:

• eine H1 mit dem Website- oder Produktnamen
• ein Blockzitat aus ein bis zwei Sätzen dazu, was die Website leistet
• H2-Abschnitte, die Links gruppieren, wobei jeder Link eine Beschreibung des Seiteninhalts trägt

Mehr sagt die Spezifikation nicht. Eine optionale llms-full.txt enthält die ausführlichen Inhalte derselben Seiten für Fälle, in denen ein Modell den Text lesen statt dorthin navigieren soll.

Ebenso wichtig ist, was die Datei nicht ist. Sie steuert keinen Zugriff — das tut die robots.txt, und diese wird durchgesetzt. Sie steuert keine Indexierung — das tut die sitemap.xml. Sie ist eine Zusammenfassung, geschrieben für einen Leser, der Text bevorzugt, veröffentlicht unter einer vorhersehbaren Adresse.

Nicht aus dem Grund, aus dem die meisten sie veröffentlichen. Zwei Jahre nach dem Vorschlag zeigt die Faktenlage in eine Richtung, und das gehört klar gesagt, weil fast jede Seite, die einen Generator verkauft, genau das vermeidet.

Google verwendet sie nicht. Google hat seine Hinweise zur KI-Optimierung im Juni 2026 dahingehend aktualisiert, dass llms.txt weder positiv noch negativ auf Search-Rankings oder den AI Mode wirkt. John Mueller hat den Standard mehrfach als spekulativ bezeichnet und auf WebMCP als die aus Google-Sicht vielversprechendere Richtung verwiesen.

Fast nichts ruft sie ab. Ahrefs hat 137.000 Websites ausgewertet und festgestellt, dass rund 97 % der veröffentlichten llms.txt-Dateien von KI-Crawlern überhaupt nie angefordert werden. Eine Datei, die niemand abruft, kann nichts beeinflussen, was nach dem Abruf käme.

Kein Anbieter hat bestätigt, sie zu lesen. Viele bekannte Unternehmen veröffentlichen eine — Anthropic, Cursor und Mux gehören dazu. Veröffentlichen ist sichtbar und billig. Was kein großer KI-Anbieter dokumentiert hat: dass seine Modelle oder Crawler die Datei beim Beantworten einer Frage abrufen und verwenden. Das sind zwei verschiedene Aussagen, und die Berichterstattung zu llms.txt vermischt sie regelmäßig.

Die ehrliche Zusammenfassung lautet also: llms.txt ist ein reales, veröffentlichtes Format mit realen Anwendern auf der Publisher-Seite und unbestätigter Unterstützung auf der Verbraucherseite. Wenn Ihr Ziel Ranking oder Zitation ist, ist diese Datei nicht der Hebel.

Warum sie sich trotzdem lohnt

Es gibt einen Anwendungsfall, der all dem standhält — und er ist der Grund, warum es unseren Generator gibt.

Wenn ein Mensch oder ein Agent auf Ihre URL verwiesen wird — eine Entwicklerin, die Ihren Doku-Link in einen Coding-Assistenten einfügt, jemand, der ein Modell auf Ihre Website richtet, ein Agent, der einem vom Nutzer übergebenen Link folgt —, dann ist /llms.txt eine verlässliche Adresse, die mit Ihrer Website als Text antwortet. Kein Rendering, keine Navigation, kein Cookie-Layer. Das ist ein kleiner, konkreter Nutzen, heute verfügbar, der von keiner künftigen Standardisierung abhängt.

Am stärksten zeigt er sich bei Dokumentationen, API-Referenzen und Entwicklerwerkzeugen — genau das Profil der Unternehmen, die eine solche Datei veröffentlichen. Wenn Sie eine Doku-Website betreiben, sind das zwanzig gut investierte Minuten. Betreiben Sie eine lokale Dienstleistungsseite, bringen dieselben zwanzig Minuten in Ihren Seitentiteln mehr.

Hier sagen unsere eigenen Daten etwas, das in der Berichterstattung fehlt. Wir haben die KI-Readiness-Prüfungen der SEOmator-Audit-Engine am 20. Juli 2026 über 109.440 Top-Domains laufen lassen:

Quelle: SEOmator-Crawling-Daten, Scan vom 20.07.2026 (109.440 Top-Domains).

Vier von fünf Websites haben Regeln geschrieben, die KI-Agenten sagen, was sie dürfen und was nicht. Weniger als eine von fünfzehn liefert diesen Agenten etwas Lesbares, wenn sie sich daran halten. Das Web schreibt Regeln für KI-Agenten, auf die es nicht vorbereitet ist.

Diese Lücke ist das ehrliche Argument für llms.txt — und es ist ein engeres Argument, als das Marketing um die Datei nahelegt. Eine Datei zu veröffentlichen bringt Sie für den Aufwand eines Nachmittags in diese 6,6 %. Zitierfähig macht sie Sie damit noch nicht.

Die robots.txt-Auswertung desselben Scans gehört daneben gelesen. Über 4.257 am selben Tag ausgewertete robots.txt-Dateien tauchte GPTBot in 773 auf, ClaudeBot in 629 — die beiden meistgenannten Agenten im Web. KI-Opt-out ist inzwischen der häufigste Grund, überhaupt Crawler-Regeln zu schreiben. Diese Regeln werden von jedem großen Crawler beachtet. llms.txt wird von niemandem durchgesetzt. Verteilen Sie Ihre Aufmerksamkeit entsprechend und prüfen Sie mit dem robots.txt-Tester, was bei Ihnen aktuell steht.

Der Generator oben auf dieser Seite arbeitet sitemap-basiert statt als blindes Crawling — wichtig für die Deutung dessen, was zurückkommt.

1. Domain eingeben. Eine reine Domain genügt — example.com. Sie müssen die Website weder besitzen noch verifizieren.
2. Die Sitemap wird gefunden. Zuerst wird die robots.txt nach einer Sitemap-Angabe gelesen, dann werden die üblichen Pfade probiert, anschließend wird eine Index-Sitemap in ihre Unterdateien aufgelöst.
3. Seiten werden abgerufen und zusammengefasst. Bis zu 5.000 URLs pro Domain werden eingereiht. Der Text jeder Seite geht an ein Sprachmodell, das dafür einen Titel und eine Beschreibung schreibt.
4. Der Fortschritt läuft URL für URL. Fehler werden einzeln benannt statt verworfen, und ein Lauf lässt sich jederzeit abbrechen.
5. Bearbeiten, dann übernehmen. Die Ausgabe ist direkt bearbeitbar. Laden Sie sie herunter oder kopieren Sie sie in die Zwischenablage.
6. Im Stammverzeichnis veröffentlichen. Legen Sie die Datei so ab, dass sie unter ihresite.de/llms.txt als reiner Text erreichbar ist.

Ein dünnes oder leeres Ergebnis ist eine Diagnose, kein Fehler: Meist bedeutet es, dass die Domain keine auffindbare Sitemap hat. Das gehört unabhängig von Ihrer Meinung zu llms.txt behoben, denn es betrifft die Crawler, auf die es nachweislich ankommt. Der Sitemap-Finder zeigt Ihnen, was auffindbar ist.

Wie eine gute Datei aussieht

# Acme Docs

> API- und SDK-Dokumentation für Acme, eine Zahlungsplattform für Marktplätze.

## Einstieg
- [Schnellstart](https://acme.dev/docs/quickstart): Konto anlegen, Key holen, erste Zahlung in rund zehn Minuten.
- [Authentifizierung](https://acme.dev/docs/auth): Key-Typen, Rotation und der Unterschied zwischen Test- und Live-Modus.

## API-Referenz
- [Payments API](https://acme.dev/docs/api/payments): Endpunkte für Erstellen, Einziehen, Erstatten und Chargebacks samt Request- und Response-Strukturen.
- [Webhooks](https://acme.dev/docs/api/webhooks): Event-Typen, Retry-Verhalten und Signaturprüfung.

## Optional
- [Changelog](https://acme.dev/changelog): datierte Liste der API-Änderungen und Deprecations.

Achten Sie darauf, was fehlt: keine Tag-Archive, keine paginierten Listen, keine Marketingseiten, kein „Lösungen“-Hub. Rund ein Dutzend Einträge, jeder mit einem Satz, der sagt, was die Leserin dort findet.

Vier Muster erklären die meisten schlechten Dateien, die uns begegnen.

Die ganze Sitemap ausliefern. Der Generator reiht jede gefundene URL ein. Das ist das Rohmaterial, nicht die Datei. Ein Index, der auf 2.000 Seiten inklusive Ihrer Tag-Archive zeigt, ist eine Sitemap mit anderer Zeichensetzung — er gibt einem Modell kein Signal darüber, was zählt. Kürzen Sie auf die Seiten, die Sie wirklich zitiert sehen möchten.

Die erzeugten Zusammenfassungen unverändert lassen. Die Beschreibungen entstehen aus dem Text der jeweiligen Seite, was sie korrekt und etwas farblos macht. Für Ihre zwanzig wichtigsten Seiten schreiben Sie die Zeile selbst. Genau dort hört die Datei auf, mechanisch zu sein.

Nicht prüfen, ob sie erreichbar ist. Mehr als jede dritte Crawler-Anfrage auf den von uns beobachteten Websites wurde bis Juni 2026 direkt abgewiesen — eine 4xx-Quote von 36,4 % über unser Panel. Eine WAF- oder Bot-Management-Regel, die unbekannte User-Agents blockt, blockt genau die Agenten, für die Sie die Datei geschrieben haben. Rufen Sie Ihre eigene /llms.txt mit einem Nicht-Browser-User-Agent ab, bevor Sie sie für live halten.

Sie verrotten lassen. Ein veralteter Index, der auf 404-Seiten zeigt, ist schlechter als gar keiner: Jeder tote Link verschwendet genau die eine Anfrage, auf die Sie gehofft haben. Erzeugen Sie die Datei neu, wenn sich die Struktur ändert — ein neuer Doku-Bereich, ein umbenanntes Produkt, ein Schwung entfernter Seiten. Quartalsweise ist bei einer stabilen Website ein vernünftiger Standard.

Wenn das eigentliche Ziel ist, in KI-Antworten aufzutauchen, ist llms.txt eine Fußnote. Drei Dinge zählen mehr, in dieser Reihenfolge.

Zugriff. Entscheiden Sie nach Bot-Zweck statt mit einer pauschalen Regel. Trainings-Crawler, Retrieval-Bots und nutzerausgelöste Agenten sind drei verschiedene Dinge: Die Retrieval- und nutzerausgelösten Agenten zu sperren nimmt Sie aus Antworten, in denen Sie sonst zitiert würden — und das ist meist nicht das, was eine Website beabsichtigt. Diese Entscheidungen stehen in der robots.txt, und sie werden durchgesetzt.

Lesbarkeit. Eine Seite, die ein Agent nicht rendern kann, kann er auch nicht zitieren. Inhalte, die erst nach der JavaScript-Ausführung existieren, sind für einen großen Teil der abrufenden Bots unsichtbar. Genau hier greift der Wert von 6,6 % oben: Websites schreiben die Regeln und liefern Agenten dann Markup, mit dem diese nichts anfangen können. Ein GEO-Audit prüft, was Agenten auf Ihren Seiten tatsächlich verarbeiten können.

Messung. Alles Obige bleibt eine Hypothese, solange Sie nicht nachsehen. Server-Logs — oder Agent Analytics — zeigen Ihnen, welche Bots Sie erreichen und was sie abrufen, einschließlich der Frage, ob überhaupt jemand die eben veröffentlichte Datei anfordert. Eine KI-Sichtbarkeitsprüfung zeigt, ob Ihre Marke in KI-Antworten überhaupt vorkommt. Genau diese letzte Zahl soll llms.txt üblicherweise bewegen, und nur sie lohnt die Beobachtung.

Erzeugen Sie die Datei. Sie kostet zwanzig Minuten und bringt Sie in die kleine Minderheit der Websites, die Agenten etwas Lesbares liefern. Und wenden Sie sich dann der Arbeit zu, die die Faktenlage tatsächlich stützt.

• Der llms.txt-Vorschlag — Jeremy Howard, Answer.AI, September 2024
• Answer.AI zum Standard
• Ahrefs, „We analyzed 137K sites: 97% of llms.txt files never get fetched" (oben einmal verlinkt)
• Anthropics llms.txt und Cursors llms-full.txt — Beispiele aus der Praxis
• SEOmator-Crawling- und Audit-Daten, Jan.–Juli 2026 (100.000+ auditierte Websites, 50 Mio.+ gecrawlte Seiten; Agent-Readiness-Scan über 109.440 Top-Domains, 20.07.2026)