robots.txt testen

Gerade im Hinblick auf möglichen 'double content' aber auch wenn man böse Bots mittels einer spider-trap aussperrt interessiert man sich dafür, ob die robots.txt tatsächlich korrekt abgearbeitet wird.
Wie kann man aber die Datei auf Korrektheit und Auswirkung hin testen?

Wie schon im Beitrag robots.txt beschrieben ist die Syntax eigentlich recht einfach - man gibt für den jeweiligen Useragent einfach per Disallow die nicht zu durchsuchenden Bereiche vor - und kann die syntaktische Überprüfung über einen Validator vornehmen.

Um aber die tatsächlichen Auswirkungen zu sehen, empfiehlt sich oftmals aber auch ein vollständiger Linkcheck der betreffenden Seite - das W3-Konsortium stellt dafür mit dem Link Checker ein hervorragendes Tool zur Verfügung. Die Auswertung nimmt zwar einige Zeit in Anspruch, das Ergebnis ist allerdings auch wirklich umfangreich und kann unter Umständen das eine oder andere Probleme auf der Seite aufdecken.

 |