Google & Co erkennen

Ach so.
Wie gesagt:
Dennis Wronka hat gesagt.:
Fuer die Suchmaschinenfrage wuerde ich dafuer sorgen, dass bestimmte User-Agents den Link zu den entsprechenden Seiten nicht sehen wenn die robots.txt und das Robots-Meta-Tag nichts fuer Dich sind.
Zum Vergrößern anklicken....
Oder eben in der bannuser.php auf diese User-Agents pruefen und die entsprechenden IPs dann eben nicht bannen.
 
Da steh ich ja wieder vor dem gleichen Problem wie mit der robots.txt. Ich müsste alle User Agents der Suchmaschinen kennen. Gibts da evt. ne liste von allen? Wenn ja, wäre es ja kein Problem!
 
Ich hatte doch schon erwaehnt dass ich mal eine Liste gesehen hab. Die sah auch recht umfangreich aus.
Aber ob die vollstaendig war kann ich nicht sagen. Es gibt ja mittlerweile soviele Spiders und alle krabbeln fleissig durch's Netz. Ein Wunder, dass das Internet ueberhaupt noch funktioniert bei so viel Ungeziefer.
 
Sorry, das hatte ich schon wieder vergessen, aber bevor ich auf diese Möglichkeit zurückgreife würde ich eher nocheinmal versuchen herauszubekommen ob es nicht eine Möglichkeit gibt einen Link vor einer Suchmaschine zu verstecken, also ähnlich wie bei rel="nofollow".
Was würde es mit bringen wenn ich die Robots.txt so aufbaue:

User Agent: *
Disallow: /versteckt/bannuser.php

Würde das gehen oder würde das auch die Offline-Browser davon abhalten auf diese Seite zu gehen?
 
Mist! Was nun? Kennst du evt. ne Lösung wo ich direkt in den <a>-Tag reinschreiben kann das der Link nicht weiterverfolgt werden darf?
 
Nee, sorry.
Aber :google: doch einfach mal nach einer Liste mit User-Agents und dann kannst Du die jenigen die Du nicht willst ausfiltern.
Oder vielleicht kannst Du auch in der robots.txt mit Ausnahmen arbeiten, sodass Du sagen kannst, dass Du alle blockst bis auf die gaengigen Browser eben.

Ich behaupte einfach mal: Die optimale Loesung gibt es nicht.
 
Schade, und ich dachte ich habe eine Innovative Idee gefunden womit man die ganzen Offline-Browser blocken kann, aber ich werde dran bleiben und nicht aufgeben und hoffen das dem Trafficverursacher Nr. 1 das handwerk gelegt wird. Aber wenn ich ehrlich bin benutze ich als ISDN Nutzer solche Programme aus ;)

Also, erstmal danke für die Mühen. Wenn noch jemand eine Idee hat kann er ja gerne noch was dazu schreiben. Ich erledige den thread mal nicht als erledigt weil mein Problem leider noch nicht gelöst ist.

Gruß BSA
 
Tut mir leid, ich komme gerade nicht mehr mit: Was genau spricht nochmal gegen den „robots.txt“-Lösungsvorschlag?
 
Um antworten zu können musst du eingeloggt sein.

Neue Beiträge

Zurück