Gute Bots, böse Bots

Über die Bedeutung der robots.txt wurde ja schon geschrieben; neben den 'guten' Suchmaschinen sind aber auch vermehrt 'böse' Bots am Werk die beispielsweise e-Mail-Adressen sammeln oder auch schlichtweg Content für eigene Seiten kopieren.
Thomas Zeithaml hat nun ein nettes Tool gebastelt, das nicht nur hilft 'böse' Bots zu erkennen sondern diese auch direkt aussperrt.

Das Prinzip der Spider-Trap ist so einfach wie gut: über die robots.txt wird ein Verzeichnis von der Indexierung ausgeschlossen und danach wird auf der Seite ein (ggfs. unsichtbarer) Link dorthin als 'Futter' ausgelegt. Bots bzw. Benutzer die nun auf die Verzeichnisinhalte zugreifen, werden mit einer Captcha-Abfrage konfrontiert - wird diese nicht korrekt beantwortet erhält die entsprechende IP-Adresse postwendend eine .htaccess Sperre.

Beispiellink:

Fazit: prima Tool und einfach zu installieren

 |