Gerade bei großen Webseiten oder Webseiten, die viele dynamisch Inhalte haben, gibt es häufig eine extrem hohe Anzahl an URLs. Das führt dazu, dass Google nicht mehr alle URLs crawlt und so ggf. wichtige Unterseiten nicht indexiert werden können. Um das „Crawl-Buget“ optimal auszunutzen macht es in solchen Fällen häufig Sinn, Seiten per robots.txt auszuschliessen.

Dabei sollte sichergestellt werden, dass keine relevanten Seiten ausgeschlossen werden.

Wir crawlen vor der eigentlichen Änderung der robots.txt die Webseite mit der neuen, bei uns hinterlegten Version und vergleichen den Crawl mit dem letzten Live-Crawl der Webseite. So lassen sich u.a. folgende strukturelle Faktoren prüfen:

• Sind Inhalte mit Klicks oder Impressionen weiter indexierbar – wenn nicht, welche?
• Sind wichtige Verteilerseiten weggefallen und dadurch Inhalte mit Klicks oder Impressionen nicht mehr intern verlinkt?
• Gibt es extern verlinkte Seiten die jetzt für den Googlebot nicht mehr crawlbar sind?
• Sind relevante Seiten in der internen Linkstruktur zurückgefallen?