Suchmaschinen überlisten

[deinertsche]

Folgendes Problem:
Die Bots von manchen Suchmaschinen die das Netz durchgrabben ignorieren Seiten mit dynamischem Inhalt.
Eine Seite wie http://www.website.de?inhalt=test wird dann nicht einzeln erfasst, weil der Bot davon ausgeht dass es dynamisch erzeugter Inhalt ist.

Ich habe nun aber eine Seite bei der es 100 verschiedene Parameter in der URL gibt, die alle statisch sind. D.h.:http://www.website.de?inhalt=abc bleibt immer gleich und http://www.website.de?inhalt=xyz bleibt auch immer gleich. Um trotzdem von allen Suchmaschinen-Bots erfassst zu werden müsste man die URL irgendwie in eine statisch-aussehende URL umwandeln (die Parameter müssen aber erhalten bleiben). Um es nochmal zu sagen: Es müssen ALLE einzelnen Seiten von ALLEN Suchmaschinen erfasst werden können.

Hat das jemand schon mal gemacht?

mfg
Deinertsche

 

[Create]

So!

Warum indexierst du nicht alle Seiten auf einer normalen HTML-Seite.
(Listest sie als Link auf). Gibst dem -wie du sagst- "Bot" diese Seite zum "fressen" und meldest als Startseite deine normale Starseite an.

Der Bot weiß nun, dass deine Startseite www.irgendwas.de ist, indexiert deine Seiten jedoch über www.irgendwas.de/liste.htm.

Das sollte doch funktionieren?

CreAte

 

[gecko]

jaaaaa, dazu hab ich doch schonmal was geschrieben: http://www.tutorials.de/forum/showthread.php?threadid=16012&highlight=modrewrite ab dem 4ten post wirds interessant ...

musst halt die struktur deiner seite, bzw. die variablenuebergabe etwas anpassen.

@Create: Das funktioniert vielleicht mit Glueck bei einer Suchmaschine, aber lange nicht bei den ganzen Webcrawlern u.s.w...

 

[deinertsche]

Danke erstmal, jetzt hab ich schonmal einen ansatz. Ich hab aber vorher leider noch nie eine eigene .htaccess erstellt. Hab kurz rumbrobiert aber erfolglos.

Gibts irgendwo ein GUTES tutorial zum Thema mod_rewrite oder .htaccess? Auf der englischen seite über mod_rewrite bin ich nicht durchgestiegen.

also in der .htaccess muss ungefähr so hier aussehen wenn ich das richtig verstanden hab.

RewriteEngine on
RewriteRule ^test/(.*).html$ index.php

greetinx
Deinertsche

 

[dave_]

ein möglicher fehler kann auch die schreibweise der links sein
(weiss ich nicht, aber denke ich mir einfach mal)

so ziemlich alle links ala eineseite.php?link=moep&opt=2 werden von den machern so geschrieben (html) wie man sie sieht. Das ist aber falsch, in html muss man das & zeichen, mit einem & amp ersetzen, dann sehen die links in etwa so aus:

index.php?link=irgendetwas& amp;b=nochwas& amp;c=undsogarnochwas

immer ohne die leerzeichen vor amp

wenn man das nicht macht, wird der w3-html-validator oder sonstige debugger schimpfen !
Mag ja sein, dass dies schon vielen von euch bekannt ist, ich habe aber niemals drüber nachgedacht das es ja falsch sein könnte einfach nur das & zu schreiben, und war daher etwas überrascht als ich das gelesen habe