cUrl und geblockte Seiten

[kramoo]

Hallo an das Forum,

bin über die google Suche hier gelandet und habe auch schon die Tutorials durch. Leider konnte ich über cUrl nichts finden würde aber hier Hilfe benötigen.

Mein Anliegen ist das ich ein Vollzeit-SEO bin und nicht mehr umher komme mich mit der Programmierung zu beschäftigen was ja auch meistens Spaß macht aber enorm viel Zeit kostet.

Für meine tägliche Arbeit benötige ich im ersten Schritt ein Programm das meine Backlinks prüft. Die Backlink URL liegen in meiner Datenbank. Also möchte ich diese Backlink Url aus meiner Datenbank auf Vorhandensein eines Links prüfen.
Damit dies Funktioniert muss ich mit cUrl arbeiten weil viele Anfragen sonst geblockt würden.
Leider konnte ich über cUrl nicht wirklich gute Docus finden.

Mein Code sieht wie folgend aus bis jetzt:

$curl = curl_init();

  // Setup headers - I used the same headers from Firefox version 2.0.0.6
  // below was split up because php.net said the line was too long. :/
  $header[0] = "Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5";
  $header[] = "Cache-Control: max-age=0";
  $header[] = "Connection: keep-alive";
  $header[] = "Keep-Alive: 300";
  $header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7";
  $header[] = "Accept-Language: en-us,en;q=0.5";
  $header[] = "Pragma: "; // browsers keep this blank.

  curl_setopt($curl, CURLOPT_URL, $url);
  curl_setopt($curl, CURLOPT_USERAGENT, 'Googlebot/2.1 (+http://www.google.com/bot.html)');
  curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
  curl_setopt($curl, CURLOPT_REFERER, 'http://www.google.com');
  curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate');
  curl_setopt($curl, CURLOPT_AUTOREFERER, true);
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($curl, CURLOPT_TIMEOUT, 10);
  curl_setopt($curl, CURLOPT_HTTPHEADER, array("Expect:")); //Some servers (like Lighttpd) will return error code 417 instead if isent SET

  $html = curl_exec($curl); // execute the curl command
  curl_close($curl); // close the connection

  return $html; // and finally, return $html

Diesen Code habe ich mir an mehreren stellen zusammengesucht.
Stimmt das eigentlich so mit dem header[0] ? Warum hat der eine Null und die anderen nicht ? Werden die anderen automatisch gesetzt?

Wie sieht es mit Cookies aus? Müssen die auch rein und wie?

Was fehlt noch ? Der header geht bis jetzt zu 70% . 30% werden ca. geblockt.

Gibt es hier jemand der ein Profi darin ist? Habe auch mal einen Seo programierer gesucht. Leider nichts gefunden. Die frage habe ich auch schon mal in einem anderen Forum gepostet aber leider keiner der sich mit cUrl gut auskennt. Hoffe es findet sich jemand. Vielen Dank