„Durch robots.txt-Datei blockiert" — was die Meldung bedeutet

Im Indexierungsbericht der Search Console steht bei einer Seite: Durch robots.txt-Datei blockiert.

Zwei Fälle, und sie verlangen das genaue Gegenteil voneinander. Entweder ist es Absicht — dann ist alles in Ordnung und die Meldung nur eine Feststellung. Oder es ist keine Absicht — dann steht eine Seite still, von der niemand weiß, dass sie fehlt.

Was die Meldung genau sagt#

Die robots.txt steuert das Crawling, nicht die Indexierung. Google hat die Adresse gefunden, wollte sie abrufen, und die robots.txt hat den Abruf untersagt.

Daraus folgt der Punkt, der die meisten überrascht: Eine per robots.txt gesperrte Seite kann trotzdem in der Suche erscheinen. Google kennt die Adresse — über einen Verweis von woanders — und darf sie in den Index aufnehmen, ohne den Inhalt gesehen zu haben. Das Ergebnis sieht dann ohne Beschreibungstext aus, mit einem Hinweis, dass keine Informationen verfügbar sind.

In der Search Console gibt es dafür eine eigene, verwandte Meldung: „Indexiert, obwohl durch robots.txt-Datei blockiert". Die ist fast immer ein Fehler.

Die Sperre finden#

Die robots.txt liegt immer unter deinedomain.de/robots.txt. Ruf sie auf und such die Zeile, die greift.

Zwei Regeln, an denen man sich verrechnet:

Die längste passende Regel gewinnt, nicht die erste. Disallow: /wp-content/ und Allow: /wp-content/uploads/ nebeneinander bedeuten: uploads ist erlaubt, weil die Regel länger und damit spezifischer ist.

Gruppen gelten je User-Agent. Ein Disallow unter User-agent: * gilt nicht mehr für den Googlebot, sobald es irgendwo einen eigenen Block User-agent: Googlebot gibt. Dann zählt für Google nur dieser Block — auch wenn er leer ist.

Welche Zeile Google im Einzelfall anwendet, sagt dir die URL-Prüfung.

Wenn die Sperre falsch ist#

Bei WordPress zuerst hier nachsehen: Einstellungen → Lesen → „Suchmaschinen davon abhalten, diese Website zu indexieren". Der Haken stammt aus der Entwicklungszeit und wird beim Livegang regelmäßig vergessen. Er ändert die robots.txt und setzt ein noindex — beides zusammen, was die Fehlersuche verwirrend macht.

Bei einer Staging-Umgebung, die live gegangen ist: dieselbe Ursache, plus womöglich ein Basisschutz per Passwort, siehe .htaccess-Passwortschutz.

Nach dem Entfernen der Sperre: Es dauert. Google ruft die robots.txt nicht bei jeder Anfrage ab, sondern hält sie zwischengespeichert. Rechne mit Stunden bis wenigen Tagen. Für eine einzelne wichtige Seite gibt es die Indexierungsanfrage — mit einem sehr knappen Tageskontingent. Für einen Schwung ist die Sitemap neu einzureichen der richtige Weg.

Wenn die Sperre richtig ist#

Dann ist die Meldung eine Feststellung und kein Auftrag. Typische, berechtigte Sperren: interne Suchergebnisse, Filterkombinationen mit endlos vielen Varianten, Warenkorb und Kasse, Verwaltungsbereiche.

Zwei Dinge sind trotzdem zu prüfen:

• Stehen diese Adressen in der Sitemap? Dann widersprechen sich beide Angaben, und der Sitemap-Bericht meldet es.
• Verlinkst du intern darauf? Jeder interne Verweis auf eine gesperrte Adresse führt Crawl-Aufmerksamkeit ins Leere. Siehe Interne Verlinkungen.

Das häufigste Missverständnis überhaupt#

Wer eine Seite aus der Suche haben will, darf sie nicht per robots.txt sperren.

Das klingt verkehrt und ist der Kern der Sache: Um ein noindex zu befolgen, muss Google die Seite abrufen und das Meta-Tag lesen. Sperrt die robots.txt den Abruf, wird das noindex nie gelesen — und die Seite bleibt im Index.

Richtige Reihenfolge, wenn eine Seite raus soll:

1. noindex setzen, robots.txt offen lassen.
2. Warten, bis die Seite aus dem Index verschwunden ist.
3. Erst danach, wenn man das Crawling zusätzlich sparen will, sperren.

Wer beides gleichzeitig macht, erreicht das Gegenteil von dem, was er wollte.

Was CSS und JavaScript angeht#

Ein Verzeichnis zu sperren, in dem Stylesheets oder Skripte liegen, ist ein alter Reflex und heute schädlich: Google rendert die Seite und braucht diese Dateien dafür. Was dabei fehlt, zeigt der Live-Test in der URL-Prüfung unter „Seitenressourcen".

Warum eine Seite trotz freiem Crawling nicht in den Index kommt, ist eine andere Frage — sie steht in Warum Google Seiten nicht indexiert.