Sehr viele Mysql-Daten auswerten

Sturmrider

Sturmrider

Erfahrenes Mitglied
Guten Morgen zusammen :)

Ich habe leider keine Erfahrung mit sehr großen Datenmengen zu hantieren. So stehe ich jetzt vor einer MySQL-Datenbank mit mehreren Milliarden von Daten (ca. 850-1000GB).
Ich möchte diese nun auswerten d.h. bestimmte Werte zählen, miteinander vergleichen, Teilbäume erstellen usw.
Habt ihr Tipps für mich, in welcher Programmiersprache ich das am besten machen könnte? (Scriptsprachen scheiden an dieser Stelle auf jeden Fall aus) Kennt ihr evtl. Tools, mit denen soetwas geht? Oder eignet sich womöglich eine MySQL-Datenbank für solch eine Fülle von Daten gar nicht? (wäre daher z.B. empfehlenswert die Daten auf ein anderes Datenbanksystem zu übertragen? Ressourcen wären auf jeden Fall genügend vorhanden)

Ich dachte evtl. könnte ich das in Java schreiben. Zumindest wäre das schön, da ich kein Neuling auf dem Gebiet bin. Was meint ihr dazu? Ich freue mich über jeden geistreichen Vorschlag ;)
 
Das kann doch nicht sein, dass hier niemand ein GPL Data Mining Tool kennt...
Naja, für jemanden der evtl. mal das gleiche Problem hat wie ich, im folgenden könnt ihr ein paar weitere Infos nachlesen, die ich zusammen tragen konnte. Diese sind jedoch nur zum implementieren eines eigenen Tools nützlich. Ich hoffe ja immer noch, dass mir jemand ein Tool nennen/empfehlen kann...

Zunächst einmal: MySQL gilt als eines schnellsten DBMS; es sollte daher keine Probleme mit Daten im Terabyte-Bereich haben. Je nach dem wie die Daten formatiert sind kann man mit einem selbst geschriebenen Programm (Programmiersprache egal, tendenziell maschinennah) einiges an Performance rausholen. Dabei ist zu beachten, dass man Operationen auf einer großen Datenbank normalerweise in der Datenbanksprache selbst implementiert, meist also SQL.
Zur grafischen Darstellen der Ergebnisse eignet sich z.B. JFreeChart (in Java - Tipp: wie üblich in Bytecode kompilieren, damit erhält man bei vielen Aufgaben ähnliche Geschwindigkeiten wie in C) ganz gut; zum Mal-Eben-Plotten ist auch gnuplot schön.
 
Danke :) Das Programm scheint mir sehr umfassen zu sein. Leider ist mir eine solche GUI unvertraut, so dass ich mich wohl erst etwas hineinarbeiten muss... aber danke für den Tipp :) das könnte mich meinem Vorhaben schon näher gebracht haben.
Sollte jemandem jedoch noch weitere Dinge einfallen, die beim Auswerten riesiger Datenmengen hilfreich sein könnten, würde ich mich über jeden weiteren Beitrag freuen ;)
 
Um antworten zu können musst du eingeloggt sein.

Neue Beiträge

Zurück