Dynamische Seiten nicht indizieren

Bei dynamischen Seiten (z.B. Forensystemen oder CMS) gilt nachwievor die Umwandlung in 'statische' Seiten mittels mod_rewrite als erster Schritt bei der Suchmaschinenoptimierung. Wie kann man allerdings Google davon abhalten, sowohl die 'alten' URL als auch die neuen URL zu spidern und ggfs. als doppelten Content abzuwerten?

Die Antwort dazu findet sich in der Google FAQ:

User-agent: *
Allow: /*?$
Disallow: /*?

Durch die Zeile Disallow:/ *? werden alle URLs mit einem ? blockiert, d. h. alle URLs, die mit dem Namen Ihrer Domain beginnen, auf den dann eine beliebige Zeichenfolge, ein Fragezeichen und dann wieder eine Zeichenfolge folgen.

Durch die Zeile Allow: /*?$ werden alle URLs zugelassen, die mit einem ? enden, d. h. alle URLs, die mit dem Namen Ihrer Domain beginnen, auf den dann eine Zeichenfolge und ein abschließendes Fragezeichen folgen.
Mit dieser Option wird (dank Wildcard-Unterstützung) der Googlebot angewiesen, alle URL in denen ein Fragezeichen vorkommt nicht zu indizieren.

 |