✔ Googlebot Zugriff verweigern

[whatever76]

Wie kann ich es verhindern, dass der Googlebot auf meiner Seite rumsucht und indiziert? Das Indizieren habe ich bereits per

<meta name="robots" content="noindex">

abgeschaltet, aber ich würde ihm gerne den Zugriff ganz verwehren.

PS: Frohes neues Jahr euch allen!

 

[Jan-Frederik Stieler]

Hi,
hier findest du eigentlich alles was es laut Google zum Thema googlebot gibt.

Viele Grüße

 

[Gumbo]

Probier es mal mit dem Robots-Exclusion-Standard (siehe auch Björn Höhrmann: Mit der Datei robots.txt Seiten vor Robots schützen). Der wird eigentlich von fast jedem (gutartigen) Robot unterstützt und beachtet.

 

[whatever76]

Habe gestern eine robots.txt in das Hauptverzeichnis gelegt. Seitdem habe ich immer noch über 160 Zugriffe des Googlebots. Ich habe ein Portal auf der Seite, dass das registriert:

# Prozent - (Hits) Suchmaschine / Spider Betreiber
1. 99% - (8530) Googlebot 2.1 Google
2. 1% - (86) msnbot 1.0 MSN

Um 11 Uhr gestern waren es noch 8363 Hits.

 

[Night Vision Worker]

*LOL*

der Bot wird dich auch weiterhin besuchen kommen - nur deine Seite eben zukünftig nicht in den Index aufnehmen. Aber das nur vorrausgesetzt, dass deine robots.txt einwandfrei ist!

Edit: Außerdem ist es nur ein Referrer - mit dem richtigen Tool kann sich jeder als googlebot ausgeben!

*guter Trick um bei horizont.net kostenlos zu lesen*