Crawler automatisch laufen lassen?

Also ich möchte eine Art URL-Extractor bauen und versuche die Ladezeit so gering wie möglich zu halten und dann jedes Mal die ganze Seite und alle Bilder zu laden dauert zu lange und dafür brauche ich eine andere Möglichkeit.
 
Den Zusammenhang zwischen den vorherigen Posts und deinem Letzten finde ich nicht.
 
Ja ich versuche immer alle Daten sofort bereit zuhaben damit der Benutzer keine unnötige Ladezeit hat. Und dafür muss ich eben alles speichern und ständig aktualisieren.
 
Speicher doch deine Daten einfach in einer SQL Datenbank. Beim ersten Seitenaufruf setzt du einen Timestamp. Nun wird jedesmal wenn die Seite aufgerufen wird überprüft wie alt die Daten sind. Wenn Sie zu alt sind, werden Sie aktualisiert, wenn nicht bleiben sie halt. Das ganze übernehmen so die anderen Bots für Dich.
 
Mit der SQL Update-Funktion aktualsierst Du die Daten,

SQL: 
UPDATE Table1
SET Column1 = Value1, Column2 = Value2
WHERE Some_Column = Some_Value

nachdem du Sie mit dem aktuellem Timestamp verglichen hast.
 
Zuletzt bearbeitet von einem Moderator:
Ja das weiß ich nur mit welchem Skript soll ich die aktualisieren damit beim Benutzer keine Ladezeiten enstehen?
 
Da sollte keine große Ladezeit entstehen, da du ja nur einen Datensatz aktualisierst. Die Ladezeit entsteht nicht bei der Aktualisierung sondern eher bei dem Suchen der URL in Deiner Datenbank, wenn Du nach einem Wert/Tag oder ähnlichem.
 
Das machst Du doch aber nicht bei jedem Seitenaufruf, sondern doch nur dann, wenn Sie veraltet sind. Du könntest auch ne zweite url und db erstellen, und die sql dbs in regelmäßigen Abständen syncen. So wird in der einen ständig aktualisiert, was aber kein user mitbekommt.
 
Um antworten zu können musst du eingeloggt sein.

Neue Beiträge

Zurück