Bots einzähmen

Gerade wenn man sich um das Thema Suchmaschinenoptimierung intensiv gekümmert hat, wird die Seite oftmals zu einem 'zu' guten Freund der Bots - permanentes Crawling hat dann oftmals negative Auswirkungen auf die Performance und erhöht den verursachten Traffic ungemein.

Mit ein paar Einstellungen kann man zumindestens versuchen, die Bots ein wenig einzuzähmen:
In der robots.txt:
User-Agent: msnbot
Crawl-Delay: 10
User-Agent: Slurp
Crawl-Delay: 10
Die 'Crawl-Delay' Option wird von Microsoft und Inktomi unterstützt und gibt den Spidern vor, in welchem Zeitabstand (in Sekunden) Seiten indiziert werden sollen. Nachdem Bots in aller Regel unbekannte Optionen in der robots.txt ignorieren, könnte man die Option auch für alle User-Agents setzen, manche Bots scheinen aber bei unbekannten Optionen gänzlich auf die Indizierung zu verzichten.

Ohne Auswirkung auf die Bot-Frequenz (obwohl oftmals empfohlen) hat dagegen die header-information
meta name="revisit-after" content="15 days"
Deutlicher gesagt: Die 'revisit-after' Einstellung hat gar keine Auswirkung auf Suchmaschinen (wenn man einmal von search-bc absieht).

 |