Sprung zum Inhalt

Webdesign nach Maß von webdesign weisshart

Mein Blog

RSS Feed AbonnementRSS 2.0 Feed

zum Archiv und den Kategorien

Google Webmaster-Tools - KANN Anweisungen befolgen

Mittwoch, 3. Oktober 2012

Webworker sollten die Google Webmaster Tools kennen. Es gibt dort viele nützliche Werkzeuge, vor allem, um Google beim sinnvollen Crawlen und Indexieren von Seiten zu helfen.
Ich wollte also den Googlebot davor bewahren, sinnlos auf Seiten mit URL-Parametern nach neuen Inhalten zu suchen. Die entsprechenden URLs haben die Form

http://webdesign.weisshart.de/suchen.php?q=test&gegen=&date=1349284249

Google findet aber mit diesen URLs keine Inhalte, sondern nur 404er, weil - Schutz vor Spambots - der Parameter date nach einiger Zeit ungültig wird.

Nun gibt es bei den Webmaster Tools die Möglichkeit, URLs mit bestimmten Parametern vom Crawlen auszuschließen:

https://www.google.com/webmasters/tools/crawl-url-parameters?hl=de&siteUrl=http://domain.tdl

Dort heißt es ausdrücklich:

Helfen Sie Google dabei, Ihre Website effizienter zu crawlen, indem Sie angeben, wie Parameter in Ihren URLs gehandhabt werden sollen.

Also habe ich dort konfiguriert, dass URLs mit dem Parametern q, gegen und date nicht gecrawled werden sollen. Nur: Google hat auch nach Wochen noch regelmäßig drei Mal täglich hunderte von solchen URLs gecrawled - und immer nur einen 404er gefunden (weil … siehe oben). Ich habe lange gesucht, wie ich diese 404er und den sinnlosen Traffic verhindern kann. Und bin schließlich fündig geworden:

Screenshot
Beschreibung der URL-Parameter Einstellung. Dort steht unter anderem:
"Kann Inhalte vor dem Googlebot verbergen."

Na ja, Google hält sich an seine eigenen Aussagen. Wortgetreu. KANN, steht dort, nicht muss.

Ach so, die Lösung des Problems? In die robots.txt folgendes:

User-agent: Googlebot

Disallow:/suchen.php?q=

Und bingo. Die robots.txt wird vom Googlebot respektiert.



Kommentare

Noch keine Beiträge.

Einen Kommentar abgeben

Damit Code-Beispiele richtig angezeigt werden, müssen Sonderzeichen maskiert werden (z.B. < zu &lt;).


(notwendig)

(notwendig)

Spamschutz:
Je nach Inhalt wird Ihr Kommentar eventuell nicht sofort angezeigt, sondern muss manuell freigeschaltet werden.

Archiv:

Kategorien:

Creative Commons Lizenzvertrag
Alle Texte (nicht Bilder!) Creative Commons CC BY-NC-SA 3.0 DE