Wie oft crawlt Google meine Seite? Wo es wirklich steht
Die Antwort steht an zwei Stellen, und die zweite ist genauer. Wichtiger als die Zahl ist aber, was man aus ihr ableitet — und da wird regelmäßig das Falsche geschlossen.
Wo es steht#
Search Console → Einstellungen → Crawling-Statistik. Dort steht, wie viele Anfragen Google in den letzten 90 Tagen gestellt hat, wie viele Daten dabei geflossen sind und wie lange der Server im Schnitt gebraucht hat. Aufgeschlüsselt nach Dateityp, Zweck und Antwortcode.
Für eine einzelne Adresse nennt die URL-Prüfung das Datum des letzten Crawls.
Im Server-Protokoll steht es exakt: jede Anfrage mit Zeitstempel, Adresse und Antwortcode. Das ist die einzige Quelle, die zeigt, welche Seiten wie oft abgerufen werden — und dort finden sich die Überraschungen.
Was die Frequenz bestimmt#
Wie oft sich etwas ändert. Eine Nachrichtenseite wird stündlich besucht, eine Seite mit unverändertem Inhalt alle paar Wochen. Google lernt das und passt sich an.
Wie wichtig die Domain ist. Mehr Vertrauen und mehr eingehende Verweise bedeuten mehr Zuwendung.
Wie schnell der Server antwortet. Das ist der Punkt, den man selbst in der Hand hat: Wird der Server langsam oder liefert er Fehler, drosselt Google von sich aus. In der Crawling-Statistik sieht man das als steigende Antwortzeit bei sinkender Anfragezahl.
Wie viele Adressen es gibt. Und hier liegt das eigentliche Problem der meisten Seiten.
Der Fehler, der die Frequenz frisst#
Nicht zu wenig Zuwendung, sondern zu viele Adressen, die sie verbrauchen.
Filter- und Sortier-Adressen in Shops, interne Suchergebnisse, Kalenderseiten, die endlos in die Zukunft laufen, Anhang-Seiten, Schlagwortarchive mit je einem Beitrag: Jede davon wird abgerufen, und keine davon sucht jemand.
Im Server-Protokoll fällt das sofort auf — dort stehen dann tausende Abrufe von ?filter= und ein paar Dutzend von den Seiten, auf die es ankommt.
Die Gegenmittel sind unspektakulär: in der robots.txt sperren, was nicht gecrawlt werden soll; Adressen mit Parametern auf die parameterfreie Fassung kanonisieren; dünne Archive auf noindex setzen. Mehr dazu unter Doppelter Content prüfen.
Was die Zahl NICHT bedeutet#
Häufiges Crawling ist kein Ranking-Signal. Es bedeutet, dass Google nachsieht, nicht dass es die Seite gut findet. Eine Seite kann täglich besucht und trotzdem nicht indexiert werden.
Und mehr Crawling ist kein Ziel. Es gibt keinen Vorteil darin, dass ein Bot öfter vorbeikommt. Der Vorteil liegt darin, dass er die richtigen Seiten findet.
Wenn eine Änderung schnell ankommen soll#
Sitemap aktuell halten, mit ehrlichem lastmod — ein Datum, das bei jedem Bau auf heute springt, obwohl sich nichts geändert hat, wird ignoriert.
Intern verlinken. Eine neue Seite, die von einer oft besuchten Seite aus verlinkt ist, wird schneller gefunden als eine, die nur in der Sitemap steht.
Indexierung beantragen — für einzelne, wichtige Adressen. Das Kontingent ist knapp; siehe Indexierung beantragen.
Ob eine Seite danach tatsächlich aufgenommen wurde, klärt Ist meine Seite indexiert? — und was Google beim Abruf überhaupt sieht, Wie sieht Google meine Seite?