URL grabber

P

pking

Gesperrt
Hallo Tutorials.de Gemeinschaft,

Ich weis nicht ob das jetzt hier rein passt aber ein Moderator
kann es ja verschieben. Und zwar suche ich ein
Programm bzw. hat evtl. jemand schonmal so ein
Programm gemacht das von bekannten
Suchmaschinen (yahoo, msn, lycos, altavista,) url's rausholt mit einem bestimmten Stichwort
und die dann in eine txt file speichert. Es gibt für Google
"google api" oder so das macht ja sowas in der Art jedoch
habe ich schon eins für
Google das macht aber nicht so sein zweck weil es nur
maximal. 30 Seiten speichern kann naja wer das kennt
weis bestimmt was ich meine. Wäre gut wenn jemand so
ein url-grabber schonmal gemacht hat (perl, c++) oder
kennt. Ich suche schon ziemlich lange nach sowas und
jetzt bin ich zufällig über Google auf tutorials.de gestoßen.
Nochmal in der kurzform ich gebe ein stichwort ein z.B "Computerfachmann"
und es grabbt alle URL's mit "Computerfachmann"
aus msn, yahoo (egal welche suchmaschine). Vielleicht
kann man sowas auch Schreiben aber ich habe noch nicht
soviel Ahnung von C++ und wäre dafür bestimmt nicht bereit.


Mit freundlichen Grüßen,
Pking
 
pking hat gesagt.:
Vielleicht kann man sowas auch Schreiben aber ich habe noch nicht
soviel Ahnung von C++ und wäre dafür bestimmt nicht bereit.
Zum Vergrößern anklicken....

Nicht nur vielleicht, man kann. Aber wenn du sowas nicht selbst Programmieren willst biste hier falsch, denn fertige Programme gibts hier nicht, nur Hilfe beim selbermachen.

Zudem, mit Hinblick auf die Möglichkeiten des Programms denke ich eh nicht das dir da jemand Helfen wird, denn nehmen wir mal an du grabbst nach e-Mail Adressen... Dann haben wir den nächsten Spammer unterstützt (Also ich für meinen Teil lehne das ab).

Gruss

MFC OpenGL


PS : Das richtige Forum wäre evtl "Betriebssysteme, Anwendungen & Hardware"
 
So ein Schwachsinn (eMail Grabber), die laden sich da MBs von Seiten runter um eMail-Adressen zu finden, jagen so den Traffic nach oben und erzuegen dann durch das Spammen noch mehr :rolleyes:

Wenn du aber unbedingt so Seiten speichern willst brauchst eben FileStreams und Sockets + Grundwissen. Damit sollte das ohne Probleme möglich sein. Das schwerste wird es sein aus dem Google Quelltext die URLs von den Folgeseiten zu ziehen.
 
Auf http://www.zotteljedi.de kannst du dein Grundwissen erweitern. Mit dem erworbenen Wissen ist die Umsetzung doch ein Kinderspiel.

Seite mit den entsprechenden Suchbegriffen abrufen, empfangenen Quelltext nach Links suchen und das noch für die Folgeseiten. Den Folgeseitenlink sollte man ganz klar von den Suchergebnissen trennen können... also ich sehe bis auf die Sockets eigendlich kaum Probleme :)


Viel Spass beim Programmieren ;-]
 
Um antworten zu können musst du eingeloggt sein.

Neue Beiträge

Zurück