curl und SessionID / Cookies

[ev0lst]

Hallo zusammen,

ich möchte für mein System eine Art Scrapper für Quellcode machen und diesen dann verarbeiten, also den Quellcode auslesen. Nun habe ich heute den Fall gehabt und eine Domain versucht auszulesen, welche aber mit einem 302 Header auf eine neue URL weißt: http://www.domain.de/;jssessionid=2hc93ch38fzggd (als Beispiel)

Nun meine Frage: Wie kann ich sowas umgehen oder damit umgehen? Ich würde die URL gerne öfters auslesen, somit würde vermutlich immer eine andere SESSID kommen. Wie kann ich hier vorgehen?

Danke für jeden Hinweis und Hilfe!

 

[saftmeister]

Moin,

schau mal, hast du das schon versucht:

http://php.net/manual/de/function.curl-setopt.php mit CURLOPT_FOLLOWLOCATION = true

 

[ev0lst]

Ja, das habe ich bereits probiert. Das Problem ist aber nicht das "folgen", sondern dass immer eine Weiterleitung auf eine URL mit sessionID erfolgt. Als Beispiel habe ich gesehen, dass das bei http://www.idealo.de der Fall ist, wenn ich diese URL mit Curl aufrufe. Allerdings passiert das nur bei Curl... vermutlich weil keine Cookies abgespeichert werden, daher die SessionID...

 

[saftmeister]

Schau mal hier: http://stackoverflow.com/questions/9187985/php-curl-preserve-session