✔ Robots/Crawler Agent-Liste

Klein0r

Klein0r

Erfahrenes Mitglied
Hallo zusammen!

Ich suche eine Liste mit den Namen der Agents (wie sich die einzelnen Crawler/Search-Bots ausgeben) damit ich denen eine optimierte Seite (ohne Bilder etc.) liefern kann wenn sich ein Bot auf meine Seite verirrt. Außerdem will ich vermeiden, dass diese im Besuchercounter auftauchen.

Hat da jemand was?

Bisher selbst "entlarvte" Robots:
Code: 
msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)
msnbot/1.1 (+http://search.msn.com/msnbot.htm)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yanga WorldSearch Bot v1.1/beta (http://www.yanga.co.uk/)
(einige davon sind mir auch komplett neu...)

Mit der Zeit werde ich sicher was gesammelt haben.
Aber ich bin doch nicht der einzige der sowas schonmal gemacht hat, oder? ;)

lg
 
Zuletzt bearbeitet:
Nur so als Hinweis: Suchmaschinen mögen es nicht, wenn man ihnen anderen Inhalt liefert als normalen Besuchern, du riskierst damit, aus dem Index entfernt zu Werden.

Zum Thema :-)
Wenn du dir Awstats herunterlädtst, findest du darin eine Datei namens "robots.pm"

Diese enthält reguläre Ausdrücke, an denen du robots erkennst :)
 
Wie genau wollen die das denn rausbekommen ob die anderen Inhalt bekommen?
Glaube nicht das sich da eine Masse von Mitarbeitern hinsetzt und den Inhalt den die Suchmaschine bekommen hat mit dem von normalen Browsern vergleicht ;)

Weiß auch noch nicht ob ich das mit dem anderen Inhalt umsetze.
Aber mir gehts erstmal darum das die Crawler nicht als Besucher im Couter auftauchen!
Die verfälschen das Ergebnis total...

lg
 
Hey danke wieder was gelernt :)

Bei deinem ersten Link sind auf meiner Homepage sogar alle Bilder schon ausgeblendet... Gut - warum sollte ein Bot die Bilder auch abfragen...

Kennt jemand ein Plugin für FF (oder anderen Browser) mit dem es möglich ist einen anderen Referer zu senden? Würde gerne mal mit den "Augen" eines Crawlers surfen ;)
EDIT >> schon erledigt...

Achso und wie ist der Wikipedia-Satz gemeint:
Weiterhin besitzen die Spider und Browser jeweils eine Art „Footprint“, durch den man beide unabhängig vom UserAgent recht gut unterscheiden kann.
Zum Vergrößern anklicken....

lg
 
Kann ja sein das die Adressen gespeichert werden und nen anderer Bot nachher alle Bilder abfragt - keine Ahnung ;)

Aber ich bin ehrlich zu doof... Habe eben Referrer mit Agent verwechselt. Natürlich suche ich eine Liste aller Agent-Namen der Bots!
Wenn man danach sucht findet man gleich viel mehr...

http://www.bots-on-para.de/
http://www.user-agents.org/index.shtml

Das hat man davon wenn man den halben Sonntag programmiert ;) Da wird man langsam ein wenig wirr... Aber ich glaube ihr habt mein Problem schon verstanden :P Zumindest ist es ansonsten wohl keinem aufgefallen?!

Evt kann ein Mod oder Admin das Thema ja auch umbenennen damit andere nicht
verwirrt werden oder das Thema über die Suche leichter gefunden wird ;) Danke und sorry

- fixed by Maik -

lg
 
Zuletzt bearbeitet:
Um antworten zu können musst du eingeloggt sein.

Neue Beiträge

Zurück