
Robots.txt-Leitfaden: Alles, was Sie wissen müssen
Haben Sie sich jemals gefragt, wie Websites mit den Crawlern von Suchmaschinen kommunizieren? Ihre Neugierde endet genau hier. Willkommen zu einer umfassenden Einführung in die Robots.txt.
Erfahren Sie, wie Sie Ihre WordPress Sitemap-URL mit 4 Methoden finden. Umfasst WordPress Core, Yoast SEO, All in One SEO und Rank Math Sitemap-Speicherorte.

Eine WordPress Sitemap ist eine XML-Datei, die alle Seiten, Beitraege, Kategorien und Tags auf Ihrer WordPress-Website auflistet, um Suchmaschinen bei der Erkennung und Indexierung Ihrer Inhalte zu helfen. Laut W3Techs betreibt WordPress 42,8 % aller Websites weltweit und haelt einen CMS-Marktanteil von 60,2 %. Seit WordPress 5.5 generiert die Plattform automatisch eine grundlegende XML Sitemap unter ihredomain.com/wp-sitemap.xml, obwohl die meisten Website-Betreiber SEO-Plugins fuer mehr Kontrolle ueber die Sitemap-Erstellung verwenden.
Eine WordPress Sitemap ist eine strukturierte XML-Datei, die Suchmaschinen eine vollstaendige Liste aller URLs auf Ihrer Website bereitstellt, zusammen mit Metadaten wie letzten Aenderungsdaten und Inhaltsprioritaeten. WordPress generiert Sitemaps auf zwei Arten: die integrierte Core-Sitemap (seit WordPress 5.5) und plugin-generierte Sitemaps von Tools wie Yoast SEO, All in One SEO oder Rank Math.
Der Sitemap-Speicherort haengt davon ab, welche Methode sie generiert:
| Sitemap-Quelle | Standard-URL | Funktionen |
|---|---|---|
| WordPress Core (5.5+) | ihredomain.com/wp-sitemap.xml | Grundlegende Seiten- und Beitragsauflistung, automatische Aktualisierungen |
| Yoast SEO | ihredomain.com/sitemap_index.xml | Prioritaetseinstellungen, Bild-Sitemaps, Inhaltstyp-Kontrolle |
| All in One SEO | ihredomain.com/sitemap.xml | Video-Sitemaps, News-Sitemaps, Prioritaetseinstellungen |
| Rank Math | ihredomain.com/sitemap_index.xml | Automatische Erkennung, Bild-Sitemaps, benutzerdefinierte Beitragstypen |

Laut WPZOOM betreibt WordPress weltweit etwa 595 Millionen Web-Eigenschaften. Bei diesem massiven Umfang ist es entscheidend fuer die Sichtbarkeit, sicherzustellen, dass Suchmaschinen Ihre spezifische WordPress-Website effizient crawlen und indexieren koennen.

Sitemaps bieten WordPress-Websites fuenf wesentliche Vorteile:
Es gibt vier Methoden, um Ihre WordPress Sitemap zu finden, von der Ueberpruefung gaengiger URL-Muster bis zur Verwendung automatisierter Tools.
| Methode | Funktionsweise | Am besten geeignet fuer | Technisches Niveau |
|---|---|---|---|
| Gaengige URL-Muster | Standard-Sitemap-URLs im Browser ausprobieren | Schnelle Ueberpruefung der eigenen Website | Anfaenger |
| robots.txt-Datei | Die robots.txt-Datei auf Sitemap-Verweise pruefen | Sitemaps auf jeder WordPress-Website finden | Anfaenger |
| Seitenquellcode | Den HTML-Quellcode nach Sitemap-Links durchsuchen | Wenn Standardmethoden fehlschlagen | Fortgeschritten |
| SEOmator Sitemap Finder | Automatischer Scan jeder Website | Sitemaps auf jeder Website finden | Anfaenger |
Der schnellste Weg, Ihre WordPress Sitemap zu finden, ist das Ausprobieren der Standard-URL-Muster in Ihrem Browser. WordPress-Websites haben ihre Sitemap typischerweise an einem dieser Speicherorte, abhaengig vom verwendeten SEO-Plugin:
ihredomain.com/wp-sitemap.xml (WordPress Core)
ihredomain.com/sitemap_index.xml (Yoast SEO / Rank Math)
ihredomain.com/sitemap.xml (All in One SEO / allgemein)
Ersetzen Sie "ihredomain.com" durch Ihre tatsaechliche Domain und probieren Sie jede URL aus. Diejenige, die eine XML-Datei mit einer Liste von URLs laedt, ist Ihre aktive Sitemap.


Die robots.txt-Datei enthaelt oft einen direkten Verweis auf den Sitemap-Speicherort. Greifen Sie darauf zu, indem Sie diese URL in Ihren Browser eingeben:
ihredomain.com/robots.txt
Suchen Sie nach einer Zeile, die mit "Sitemap:" beginnt, gefolgt von der vollstaendigen URL Ihrer Sitemap. Diese Methode funktioniert fuer jede WordPress-Website, nicht nur fuer Ihre eigene, und ist daher nuetzlich fuer die Wettbewerbsanalyse.
Verwenden Sie den SEOmator Robots.txt Tester, um schnell die robots.txt-Datei jeder Website zu ueberpruefen und Sitemap-Verweise zu finden.
Wenn die Standard-URL-Muster und die robots.txt die Sitemap nicht offenlegen, ueberpruefen Sie den HTML-Quellcode der Startseite:
Einige WordPress-Themes und Plugins fuegen einen Link zur Sitemap im HTML-Head-Bereich hinzu, sodass sie durch Quellcode-Inspektion auffindbar ist.

Fuer einen vollautomatischen Ansatz verwenden Sie das kostenlose SEOmator Sitemap Finder und Checker Tool. Geben Sie eine beliebige Website-URL ein und das Tool durchsucht alle gaengigen Speicherorte nach Sitemaps, einschliesslich der Ueberpruefung von robots.txt-Verweisen und Standard-Plugin-Pfaden. Dies ist die zuverlaessigste Methode, wenn andere Ansaetze fehlschlagen.
Wenn keine der vier oben genannten Methoden eine Sitemap aufzeigt, ist moeglicherweise keine auf Ihrer WordPress-Website konfiguriert. Hier sind die haeufigsten Ursachen und Loesungen:

WordPress generiert seit Version 5.5, die im August 2020 veroeffentlicht wurde, automatisch eine grundlegende XML Sitemap. Die Core-Sitemap ist unter ihredomain.com/wp-sitemap.xml verfuegbar und umfasst Beitraege, Seiten und benutzerdefinierte Beitragstypen. Die meisten SEO-Experten empfehlen jedoch die Verwendung eines dedizierten SEO-Plugins wie Yoast SEO oder Rank Math fuer mehr Kontrolle ueber Sitemap-Inhalte, Bild-Sitemaps und Prioritaetseinstellungen.
Yoast SEO und Rank Math sind die beiden beliebtesten Optionen fuer die WordPress Sitemap-Erstellung. Yoast SEO erstellt Sitemaps unter /sitemap_index.xml mit automatischer Bild-Sitemap-Einbindung. Rank Math bietet aehnliche Funktionen plus automatische Sitemap-Erkennung in Google Search Console. Beide sind kostenlos und uebernehmen die Sitemap-Erstellung ohne zusaetzliche Konfiguration.
Melden Sie sich bei Google Search Console an, waehlen Sie Ihre WordPress-Website-Property aus, navigieren Sie zu Indexierung und dann Sitemaps in der linken Seitenleiste, geben Sie Ihre Sitemap-URL im Feld "Neue Sitemap hinzufuegen" ein und klicken Sie auf Senden. Google verarbeitet die Sitemap und meldet, wie viele URLs entdeckt und wie viele indexiert wurden.
WordPress-Websites haben ueblicherweise mehrere Sitemaps, die ueber eine Sitemap-Indexdatei organisiert sind. Die Indexdatei verweist auf separate Unter-Sitemaps fuer Beitraege, Seiten, Kategorien, Tags und Autoren. Diese Struktur hilft Suchmaschinen, grosse Websites effizienter zu verarbeiten, und bleibt innerhalb des Limits von 50.000 URLs pro einzelner Sitemap-Datei.
WordPress SEO-Plugins aktualisieren die Sitemap automatisch, wenn Sie Inhalte veroeffentlichen, bearbeiten oder loeschen. In den meisten Faellen sind keine manuellen Aktualisierungen erforderlich. Wenn Sie wesentliche strukturelle Aenderungen an Ihrer Website vornehmen (wie das Aendern der Permalink-Einstellungen oder das Neuorganisieren von Kategorien), reichen Sie die Sitemap erneut bei Google Search Console ein, um sicherzustellen, dass Suchmaschinen die Aenderungen schnell verarbeiten.

Haben Sie sich jemals gefragt, wie Websites mit den Crawlern von Suchmaschinen kommunizieren? Ihre Neugierde endet genau hier. Willkommen zu einer umfassenden Einführung in die Robots.txt.

Eine brennende Frage, die sich die meisten SEO-Agenturen stellen, lautet: "Sollen wir für unser SEO-Audit Geld verlangen? Oder sollten wir es kostenlos machen?"

Jeden Tag wird auf Tausende von Ressourcen im Web zugegriffen, die entweder von Website-Besuchern in Browsern geöffnet oder von Spidern gecrawlt werden.