Googlebot Hostname, Referer?

[josDesign]

Hallo!

ich habe folgendes Szenario:

1 Website mit einer Bilderdatenbank im Ordner /photos/.
Diese schütze ich über htaccess, sodass bei jedem Aufruf der Referer geprüft wird von wo man kommt und schaltet dann eine Zustimmungserklärung-Seite ein, welche man bestätigen muss.

Jetzt möchte ich aber den Crawler von Google erlauben einfach so herumzusurfen in der Bilderdatenbank. Das habe ich auch schon in meiner htaccess definiert.

RewriteCond %{HTTP_REFERER} !^http://([^/]+)?(googlebot|bot|crawl) [NC]

wenn nun jemand sucht in Google und klickt dort hin, dann soll dieser aber normal über die Zustimmungserklärung auf die gewünschte Seite kommen.


1. Weis man die Hostnames (ca.) der versch. Crwaler von Google? habe ich mit "googlebot" alle abgedeckt?
2. Welche Crawler gibt es noch denen man zugriff gewähren sollte?
3. Wenn un auch die Crawler die Seite besuchen können, kann Google irgendwie crosschecken ob das dann auch geht wenn de User draufklickt? Also in den Suchergebnissen.


Mit bestem Dank im Voraus!

 

[Gumbo]

Ich kann mir nicht vorstellen, dass der Googlebot als Referrer sich selbst angibt. Er gibt eher gar keinen Referrer an. Da solltest du besser mit den IP-Adressen arbeiten.

 

[josDesign]

Kan man in der htaccess auch mit IP-Ranges arbeiten? Wie weis ich welche IP-Adressen diese verwenden?

 

[Gumbo]

Google meint, wegen häufig wechselnden Adressen ist es besser nur die User-Agent-Kennung zu prüfen.