Partner

teliad Textlinks
Suchmaschinenoptimierung
SEO Tool Analyzer

Newsbeiträge

[ Newsübersicht | Kategorien | Newsarchiv ]
SEO | Google (und Suchmaschinen allgemein)

SEO: Gute Bots, böse Bots

Google (und Suchmaschinen allgemein)

Über die Bedeutung der robots.txt wurde ja schon geschrieben; neben den 'guten' Suchmaschinen sind aber auch vermehrt 'böse' Bots am Werk die beispielsweise e-Mail-Adressen sammeln oder auch schlichtweg Content für eigene Seiten kopieren.

Thomas Zeithaml hat nun ein nettes Tool gebastelt, das nicht nur hilft 'böse' Bots zu erkennen sondern diese auch direkt aussperrt.

Das Prinzip der Spider-Trap ist so einfach wie gut: über die robots.txt wird ein Verzeichnis von der Indexierung ausgeschlossen und danach wird auf der Seite ein (ggfs. unsichtbarer) Link dorthin als 'Futter' ausgelegt. Bots bzw. Benutzer die nun auf die Verzeichnisinhalte zugreifen, werden mit einer Captcha-Abfrage konfrontiert - wird diese nicht korrekt beantwortet erhält die entsprechende IP-Adresse postwendend eine .htaccess Sperre.



Beispiellink:



Fazit: prima Tool und einfach zu installieren

Anmerkungen: Als kleine Änderung habe ich hier die Enviroment-Abfrage ein wenig anders gelöst - in der index.php bei der function blacklist() auf jeweils $_SERVER['VARIABLE'] anstelle von $VARIABLE
 

Weitere Beiträge in Kategorie SEO & Google (und Suchmaschinen allgemein)