Internet nach Informationen durchsuchen

[Frankdfe]

Grundwissen 6, setzen.

Ich habe die verlinkte Seite gerade durchgelesen. Und da steht u.a.:

Web crawlers start by parsing a specified web page, noting any hypertext links on that page that point to other web pages. They then parse those pages for new links, and so on, recursively

Das habe ich doch in meinem ersten Satz so beschrieben. Was ist denn daran falsch? Ok, ich gebe zu, der zweite Satz stimmt dann wohl nicht, wobei die Idee davon sicherlich auch nicht schlecht ist. Oder war die Benotung gar nicht für mich?

 

[cameeel]

Web crawlers start by parsing a specified web page...

Egal lassen wir die Beleidigungen mal hinter uns ich kann drüber hinweg sehen.
Jetzt weis ich das "Web crawler" die ganze Arbeit machen aber in welcher Sprache programmiert man denn einen "Web crawler" oder soetwas in der art?

 

[basd]

1. Ich habe dich nicht beleidigt ! Ich habe mich nur auf den Typ an Anfrage bezogen, wie man ihn ja oft auch im C/C++ Forum gefunden hat wo leute eindeutig Malware oder Cheat Software erstellen wollten.

2. Ich habe mich nur auf dein Post bezogen:

Ne ich hätt jetzt an ein Programm gedacht welches z.b. das Internet nach Gästebüchern durchsucht und sich dort jeweils automatisch einträgt => bissel blabla und werbung für die eigene Homepage.

Das ist typischer Spam und du hast damit dein Ziel ja verraten.

3. Schwamm drüber.

4. Hast ja jetzt Ansätze für deine Ideen.

Und wenn du was findest was besser ist als Google werde ich das nutzen und wünscher dir viel Erfolg !

 

[Norbert Eder]

Was ist an Google schlecht?
Ich denke ja eher, es liegt daran, dass viele Google-Benutzer einfach nicht suchen können!

Vielleicht sollte man lieber mal 5 Minuten Zeit riskieren, um die Hilfe zu konsultieren, anstatt stundenlang nach irgendwelchen Methoden suchen, deren Umsetzung dann ohnehin mehr als fraglich ist.

 

[cameeel]

Und wenn du was findest was besser ist als Google werde ich das nutzen und wünscher dir viel Erfolg !

Werds versuchen aber ich weis immer noch nicht mit welcher Sprache?!

MfG
cAm3eel

 

[Java/CppProgrammer]

Egal lassen wir die Beleidigungen mal hinter uns ich kann drüber hinweg sehen.
Jetzt weis ich das "Web crawler" die ganze Arbeit machen aber in welcher Sprache programmiert man denn einen "Web crawler" oder soetwas in der art?

Also, die gelinkte Seite beginnt ganz dick mit:

Writing a Web Crawler in the Java Programming Language

 

[Andreas Gaisbauer]

Hi,
PHP wird da wohl nicht reichen oder?

Doch, reicht vollkommen. Jede Sprache die Socketverbindungen öffnen und Strings bearbeiten kann (oder Reguläre Ausdrücke beherrscht), ist für den Zweck zu gebrauchen. Sei es Java, C, C#, Perl, PHP, Python, Ruby - whatever... Reine Geschmackssache - wenn du aber unbedingt einen Tipp braucht würde ich spontan zu Perl tendieren...

ciao
Andreas

 

[Sven Petruschke]

Danke mal für die Links und wegen Google, das ist ja das Problem, google findet nur Müll!
Man könnte das Internet z.b. nach Informationen durchsuchen um seine eigene "suchmaschiene" zu programmeren!

Ok, ich schreibe die Software und du kaufst in der Zwischenzeit die aus 1000 Rechnern bestehende Serverfarm.

 

[cameeel]

Ok, ok ich denk ihr habt mich davon überzeugt das es vllt doch net so was tolles ist das Internet nach Informationen zu durchsuchen um ne Suchmaschiene zu programmieren

Trotzdem danke alle...

MfG
cAm3eel