
Robots.txt-Leitfaden: Alles, was Sie wissen müssen
Haben Sie sich jemals gefragt, wie Websites mit den Crawlern von Suchmaschinen kommunizieren? Ihre Neugierde endet genau hier. Willkommen zu einer umfassenden Einführung in die Robots.txt.
Erfahren Sie, was Pagination in SEO ist und wie Sie sie korrekt implementieren. Behandelt canonical Tags, URL-Struktur, Crawl-Budget-Auswirkungen und Pagination vs Infinite Scroll.

Pagination in SEO ist die Praxis, grosse Inhaltsmengen auf mehrere nummerierte Seiten aufzuteilen, damit Suchmaschinen jede Seite einzeln crawlen und indexieren koennen und gleichzeitig die Benutzernavigation verbessert wird. Laut Lumars Analyse der 150 groessten E-Commerce-Websites verwenden 65% nicht suchmaschinenfreundliche Paginierungspraktiken, wobei 30-50% ihrer Inhalte dadurch von der Indexierung ausgeschlossen werden. Eine korrekte Paginierungsimplementierung verwendet selbstreferenzierende canonical Tags, saubere URL-Strukturen und strategische interne Verlinkung, um die Crawl-Effizienz aufrechtzuerhalten und die Link-Equity ueber paginierte Serien hinweg zu bewahren.
Pagination ist die Methode, Inhalte in einzelne, nummerierte Seiten aufzuteilen, die durch Navigationslinks verbunden sind. Sie begegnen Pagination auf E-Commerce-Kategorieseiten, Blog-Archiven, Forenthreads und Suchergebnisseiten, wo der Inhalt zu umfangreich ist, um auf einer einzigen URL angezeigt zu werden.

Aus SEO-Sicht erzeugt Pagination mehrere URLs, die Suchmaschinen unabhaengig voneinander crawlen und bewerten muessen. Jede paginierte Seite (Seite 2, Seite 3 usw.) ist eine separate URL mit eigenem Inhalt, und wie Sie diese Seiten strukturieren, wirkt sich direkt auf das Crawl-Budget, die Indexierungsabdeckung und die Link-Equity-Verteilung Ihrer Website aus.
Google hat die Auszeichnung rel="next" und rel="prev" im Maerz 2019 eingestellt, was bedeutet, dass Suchmaschinen diese Tags nicht mehr verwenden, um paginierte Sequenzen zu verstehen. Laut Search Engine Land hatte Google diese Signale bereits Jahre zuvor stillschweigend eingestellt, ohne die SEO-Community zu informieren. Diese Einstellung verlagerte die SEO-Strategie fuer Pagination hin zu korrekten canonical Tags, sauberen URL-Strukturen und internen Verlinkungsmustern.
Pagination bietet klare Vorteile bei korrekter Implementierung, verursacht aber erhebliche SEO-Probleme bei schlechter Handhabung. Laut einer Studie von Avatria besuchen 73% der Nutzer von E-Commerce-Kategorieseiten nie Seite 2, und ueber 89% besuchen nie die zweite Seite der Suchergebnisse. Das bedeutet, dass die Paginierungsstruktur direkt beeinflusst, ob Ihre tieferliegenden Inhalte ueberhaupt entdeckt werden.
| Aspekt | Vorteile | Risiken |
|---|---|---|
| Crawl-Effizienz | Kleinere Seiten laden schneller und reduzieren die Serverbelastung beim Crawlen | Tiefe Pagination verbraucht Crawl-Budget fuer Seiten mit geringem Wert |
| Inhaltsindexierung | Jede Seite kann auf bestimmte Inhaltssegmente abzielen | Probleme mit doppeltem Inhalt, wenn Seiten aehnliche Titel oder Beschreibungen teilen |
| Link-Equity | Interne Links zwischen Seiten verteilen Autoritaet | Link-Equity verduennt sich ueber viele paginierte URLs |
| Benutzererfahrung | Teilt Inhalte in ueberschaubare Abschnitte auf | Uebermassiges Klicken frustriert Nutzer, die bestimmte Elemente suchen |
| Seitengeschwindigkeit | Kleinere Seitenlasten laden schneller | Zusaetzliche HTTP-Anfragen fuer Navigationselemente |

Pagination und Infinite Scroll sind die zwei primaeren Methoden zur Darstellung grosser Inhaltsmengen, und jede hat unterschiedliche Auswirkungen auf SEO und Nutzerverhalten.
| Merkmal | Pagination | Infinite Scroll |
|---|---|---|
| URL-Struktur | Jede Seite hat eine eindeutige, crawlbare URL | Eine einzige URL laedt Inhalte dynamisch ueber JavaScript |
| Suchmaschinen-Crawling | Bots crawlen jede Seite unabhaengig | Bots koennen Inhalte verpassen, die nach dem ersten Seitenrendering geladen werden |
| Auffindbarkeit von Inhalten | Alle Seiten sind ueber interne Links auffindbar | Inhalte unterhalb des sichtbaren Bereichs werden moeglicherweise nicht indexiert |
| Benutzernavigation | Nutzer koennen zu bestimmten Seiten springen oder Positionen als Lesezeichen speichern | Nutzer koennen nicht einfach zu einer bestimmten Position zurueckkehren |
| Seitengeschwindigkeit | Konsistente Ladezeiten pro Seite | Leistung verschlechtert sich, wenn mehr Inhalte geladen werden |
| Bester Anwendungsfall | E-Commerce-Kategorien, Blog-Archive, Suchergebnisse | Social-Media-Feeds, Bildergalerien, Nachrichten-Streams |
Google empfiehlt Pagination gegenueber Infinite Scroll fuer Inhalte, die indexiert werden muessen. Laut Googles E-Commerce-Paginierungsdokumentation ermoeglichen paginierte Seiten mit eindeutigen URLs Googlebot, jede Seite einzeln zu crawlen und zu indexieren. Infinite-Scroll-Implementierungen erfordern zusaetzliche technische Arbeit (wie replizierte paginierte Seiten), um sicherzustellen, dass Suchmaschinen auf alle Inhalte zugreifen koennen.
Die korrekte Implementierung von Pagination erfordert Aufmerksamkeit fuer canonical Tags, URL-Struktur, interne Verlinkung und Crawl-Direktiven. Diese sieben Praktiken behandeln die haeufigsten SEO-Paginierungsprobleme.
Jede paginierte Seite sollte einen selbstreferenzierenden canonical Tag enthalten, der auf die eigene URL verweist. Dies teilt Suchmaschinen mit, dass jede Seite beabsichtigt und einzigartig ist, und verhindert, dass sie paginierte Seiten zu einer einzigen URL zusammenfassen.
Richten Sie canonical Tags von Seite 2, 3 oder 4 nicht zurueck auf Seite 1. Dieser haeufige Fehler teilt Suchmaschinen mit, den Inhalt auf tieferen Seiten vollstaendig zu ignorieren, was den Zweck der Pagination zunichtemacht.
Paginierte URLs sollten die Seitennummer und den Inhaltstyp klar angeben. Vermeiden Sie Abfrageparameter mit mehrdeutigen Werten und Fragment-Identifikatoren, die Suchmaschinen moeglicherweise ignorieren.
| URL-Typ | Beispiel | SEO-Auswirkung |
|---|---|---|
| Sauber (empfohlen) | example.com/blog/page/2 | Crawlbar, benutzerfreundlich, zeigt die Seitenposition klar an |
| Parameterbasiert | example.com/blog?page=2 | Crawlbar, aber weniger lesbar, kann Duplikatprobleme verursachen |
| Fragment-Identifikator (vermeiden) | example.com/blog#page2 | Wird von Suchmaschinen nicht gecrawlt, Inhalt fuer Bots unsichtbar |
URL-Fragmente (der Teil nach #) werden nicht an Server gesendet und von Suchmaschinen nicht gecrawlt. Inhalte, die nur ueber Fragment-Identifikatoren zugaenglich sind, werden nicht indexiert. Verwenden Sie immer serverseitige Pagination mit eindeutigen URLs fuer jede Seite.
Konzentrieren Sie Ihre Keyword-Optimierungsbemuehungen auf Seite 1 jeder paginierten Serie. Tiefere Seiten sollten eindeutige, aber deoptimierte Titel und Beschreibungen haben, um Keyword-Kannibalisierung zu vermeiden. Beispielsweise koennte Seite 2 einer Produktkategorie das Format "Kategoriename - Seite 2" verwenden, anstatt den primaeren keywordreichen Titel zu wiederholen.
Das Hinzufuegen von noindex zu paginierten Seiten verhindert, dass Suchmaschinen den Inhalt dieser Seiten indexieren, aber noch wichtiger ist, dass es dazu fuehren kann, dass Google im Laufe der Zeit aufhoert, Links auf diesen Seiten zu folgen. Das bedeutet, dass Produkte oder Artikel, die nur ueber tiefere paginierte Seiten zugaenglich sind, fuer Suchmaschinen vollstaendig unsichtbar werden koennen.
Verwenden Sie anstelle von noindex selbstreferenzierende canonical Tags und stellen Sie sicher, dass jede Seite einzigartigen, wertvollen Inhalt bietet, der ihre Existenz im Index rechtfertigt.
Jede paginierte Seite sollte auf die vorherige und naechste Seite in der Serie verlinken und zusaetzlich Links zur ersten und letzten Seite enthalten. Dies schafft einen klaren Crawl-Pfad, dem Suchmaschinen folgen koennen, um alle Inhalte in der Serie zu entdecken.
Fuer tiefe paginierte Serien mit Hunderten von Seiten fuegen Sie Zwischenseiten-Links hinzu (wie Seite 1, 5, 10, 20, 50, 100), um die Anzahl der Klicks zu reduzieren, die noetig sind, um eine bestimmte Seite zu erreichen. Dieses Muster hilft sowohl Nutzern als auch Suchmaschinen-Bots, grosse Inhaltsmengen effizient zu navigieren.
Verwenden Sie die Indexierungsberichte der Google Search Console, um zu ueberpruefen, ob paginierte Seiten entdeckt und indexiert werden. Pruefen Sie den Bericht "Seiten" unter "Indexierung", um paginierte URLs zu identifizieren, die ausgeschlossen, gecrawlt aber nicht indexiert oder mit Fehlern markiert sind.

Verwenden Sie den kostenlosen Website-Crawl-Test von SEOmator, um zu pruefen, ob Ihre paginierten Seiten fuer Suchmaschinen-Crawler zugaenglich sind. Das Tool identifiziert Crawl-Fehler, blockierte URLs und Indexierungsprobleme, die Ihre paginierten Inhalte beeintraechtigen koennen. Fuer eine umfassende technische SEO-Ueberpruefung sollten Sie ein vollstaendiges SEO-Audit durchfuehren, das Ihre gesamte Website-Struktur einschliesslich der Paginierungsimplementierung bewertet.
Google hat rel="next" und rel="prev" im Maerz 2019 offiziell eingestellt und bestaetigt, dass diese Tags bereits mehrere Jahre vor der Ankuendigung nicht mehr als Indexierungssignale verwendet wurden. Modernes Pagination-SEO sollte sich auf selbstreferenzierende canonical Tags, saubere URL-Strukturen und korrekte interne Verlinkung konzentrieren, anstatt sich auf diese veralteten Attribute zu verlassen.
Nein. Das Hinzufuegen von noindex zu paginierten Seiten verhindert, dass Suchmaschinen den Inhalt dieser Seiten indexieren, und kann schliesslich dazu fuehren, dass Google aufhoert, Links auf Seiten mit noindex zu folgen. Das bedeutet, dass Produkte oder Inhalte, die nur ueber tiefere paginierte Seiten zugaenglich sind, fuer Suchmaschinen vollstaendig unsichtbar werden koennen. Verwenden Sie stattdessen selbstreferenzierende canonical Tags.
Pagination ist besser fuer SEO, da jede paginierte Seite eine eindeutige, crawlbare URL hat, die Suchmaschinen unabhaengig entdecken und indexieren koennen. Infinite Scroll laedt Inhalte dynamisch ueber JavaScript, was Suchmaschinen moeglicherweise nicht vollstaendig verarbeiten. Google empfiehlt die Verwendung von Pagination mit eindeutigen URLs fuer Inhalte, die in den Suchergebnissen erscheinen sollen.
Jede paginierte Seite verbraucht einen Teil des Crawl-Budgets Ihrer Website, da Suchmaschinen jede URL einzeln anfordern und verarbeiten muessen. Grosse paginierte Archive mit Tausenden von Seiten koennen erhebliche Crawl-Ressourcen verbrauchen. Optimieren Sie das Crawl-Budget, indem Sie sicherstellen, dass paginierte Seiten einzigartigen, wertvollen Inhalt enthalten, und indem Sie interne Verlinkungsmuster verwenden, die Suchmaschinen helfen, wichtige Seiten mit weniger Klicks zu erreichen.
Jede paginierte Seite sollte einen selbstreferenzierenden canonical Tag haben, der auf die eigene URL verweist. Beispielsweise sollte Seite 2 einen canonical Tag haben, der auf die URL von Seite 2 verweist, nicht zurueck auf Seite 1. Das Verweisen aller canonical Tags auf Seite 1 teilt Suchmaschinen mit, den Inhalt auf tieferen Seiten zu ignorieren, wodurch dieser Inhalt effektiv aus den Suchergebnissen ausgeblendet wird.

Haben Sie sich jemals gefragt, wie Websites mit den Crawlern von Suchmaschinen kommunizieren? Ihre Neugierde endet genau hier. Willkommen zu einer umfassenden Einführung in die Robots.txt.

Eine brennende Frage, die sich die meisten SEO-Agenturen stellen, lautet: "Sollen wir für unser SEO-Audit Geld verlangen? Oder sollten wir es kostenlos machen?"

Jeden Tag wird auf Tausende von Ressourcen im Web zugegriffen, die entweder von Website-Besuchern in Browsern geöffnet oder von Spidern gecrawlt werden.