SSL / https in der robots.txt ausschließen

08. April 2009 von Nico Puhlmann

Über SSL indizierte Seiten können in Google und anderen Suchmaschinen Probleme mit doppelten Content, sowie unnötiges indizieren der Webseite und somit Resourcenverschwendung verursachen. Hier eine einfache Methode, den Zugriff von Suchmaschinen auf die eigene Webseite per SSL zu verhindern. Man nehme das Apache-Modul mod_rewrite und verweisst über eine RewriteRule einfach auf eine andere robots.txt Datei, wenn diese per https angefordert wird. Einfach in der .htaccess-Datei folgendes hinzufügen oder neu anlegen, falls nicht vorhanden:

RewriteEngine on
RewriteCond %{HTTPS} on
RewriteRule ^robots\.txt$ robots_https.txt

Die Datei robots_https.txt sollte so aussehen, um alle Suchmaschinen-Bots (Googlebot etc.) und Seiten zu verbieten:

User-agent: *
Disallow: /

Dir gefällt dieser Beitrag?
Erhalte Updates. Kostenlos.

Noch keine Kommentare, sei jetzt der erste! ;)

Was denkst du?