# Wie stellt man es an?



## PowerCheat (18. September 2007)

Hoffe ich bin in diesen Forum richtig.

In den nächsten Jahr soll ein extrem Großes und Internationales System von mir gestartet werden. Nun stelle ich mir einige Fragen dazu, die ich mit eurer Hilfe klären möchte.

Wie mache ich es wenn ich ein Daten Volumen von ca. 25 Yottabyte (YB) erreichen will/werde.

Ich habe mir schon Gedanken dazu gemacht und so ich ich das sehe muss ich einige Tausend Server haben. Soweit so gut, das ist für mich ja noch nicht das Problem. Sondern nun muss ich wissen wie ich es mache, das ich all diese Daten in eine Datenbank bekomme.

Ich habe dabei an MySql oder Oracle gedacht. Nur wie stelle ich es dann an, das ich die Datenbank auf alle Server verteile und abrufen kann? 

Angenommen ich habe nun 4000 Server in Unseren Rechenzentrum, wie stelle ich sicher, das ich die Daten abrufen kann? Ich würde ein System in PHP schreiben, das nicht wirklich Groß ist, gerade mal 5 000 000 Zeilen. Jedoch das was mich halt beschäftigt ist wie ich diesen Daten Volumen, auf alle Server verteile... bzw. wie ich später die Daten wieder abrufen kann... Cluster Server... schön und gut, nur die Umsetzung würde mich hierbei Interessieren. Da eine Menge Geld auf den Spiel steht die 4 Stelligen Mio. Bereich liegt.

Ich hoffe ihr könnte mir etwas Licht in die Sache bringen!


----------



## drucko (18. September 2007)

Hallo PowerCheat!

Ich denke ohne einen sehr guten Powercheat wird das definitiv nicht umsetzbar sein 

Für 25 Yottabyte brauchst du wohl eher 2 500 000 000 000 (zweieinhalb Billionen) Server, wenn jeder 10Terabyte speichert!


----------



## Sven Mintel (18. September 2007)

PowerCheat hat gesagt.:


> Da eine Menge Geld auf den Spiel steht die 4 Stelligen Mio. Bereich liegt.



Wenn soviel Geld verfügbar ist, wäre es das einfachste, du kaufst dir Google, die Leute dort werden wissen, wie das geht...und nen paar Server stehen bei denen auch noch herum.

Oder aber du schaust erstmal nach nem günstigen Server-Dealer, denn wenn du nur 1 Milliarde € flüssig hast, müsstest du nach drucko's Rechnung jemanden finden, der dir das Stück für 0,04 Cent überlässt

 :suspekt:


----------



## Dennis Wronka (18. September 2007)

Auch wenn das ganze Unternehmen, allein durch die Angabe der finanziellen Mittel (und auch der anderen Zahlen) etwas unglaubwuerdig erscheint (was nicht heisst dass ich Dir kategorisch nicht glaube, sondern eher dass Du vielleicht etwas viel Puffer nach oben ausgelegt hast) moechte ich mich zum Thema aeussern.
Das beste waere hier wohl ein verteiltes Dateisystem (im englischen Distributed File System), wie z.B. AFS.
Das ist quasi sowas wie RAID0, nur eben ueber mehrere Server verteilt.

Und ein PHP-Projekt mit 5 Mio. Zeilen wuerde ich als extremst gross bezeichnen.
Ich hab hier im Buero ein recht umfangreiches Projekt welches knapp 17.000 Zeilen hat, und das ist schon nicht wenig.
Aber wenn Du ein Distributed File System nutzt, wie ja oben erwaehnt, brauchst Du Dir auch nicht die Hektik machen bis naechstes Jahr 5.000.000 Zeilen PHP-Code zu stricken.


----------



## PowerCheat (18. September 2007)

Da hatte sich wohl ein Fehler eingeschlichen 500.000 Zeilen sind es nur 

Naja um die Finanzierung mach ich mir wirklich keine Sorgen.

Ich will gerne das Projekt erst einmal im kleinen Testen, das das Projekt International veröffentlicht wird sehe ich schon das es möglich sein wird durch die Verschiedenen Sprachen usw. das wir an die Yottabyte kommen. Alleine wir haben bereits mit nur "wenigen" Daten auf unseren Server in der MySql DB 40 Gigabyte erreicht.

Ich habe bereits gehört das MySql einen Cluster anbietet, nur weiß ich von dem was ich gelesen habe nicht ob es nun auch damit Funktioniert, da ich dort entnommen habe, das dort "nur" auf allen das gleiche gesichert wird.

Vielleicht sollte ich wirklich mal mit diversen Firmen mich unterhalten, wir hatten bisher nicht daran gedacht, wie Umfangreich die DB wird, zum Glück ist eine Anpassung sehr einfach 

Es muss ja nicht "Sofort" die Grenze von YB geknackt werden, ich denke auch nicht das wir in allen Ländern unseren Service sofort anbieten können. Aber man möchte ja gerne sichern gehen, wenn man schon ein innovations Projekt veröffentlicht, das noch nie dagewesen ist.

Erst einmal danke für die Kommentare.


----------



## drucko (18. September 2007)

So, jetz muss ich nochmal auf der Datenmenge rumreiten 
Wenn jeder Mensch auf der Erde (ich nehm jetzt mal 6 Mrd. als Wert)
einen Storageserver zur Verfügung stellt der rein hypothetische 100 TB Speicher hat
und die im SETI@Home Style zu einem gigantischen Cluster zusammenbaut, ist
man gerade mal bei 0,6 YB.... !
Die Zahl ist jenseits allem Menschenmöglichen im Jahr 2007 und wird in den nächsten Jahren genauso unmöglich bleiben!
6 000 000 000 Rechner * 100 000 000 000 000 Byte (100 TB)
= 600 000 000 000 000 000 000 000 (0,6 YB)

Grüße in gigantischem Ausmaß, drucko ;-)


----------



## Sven Mintel (18. September 2007)

Sei mal nich so kleinlich, drucko...schliesslich ist ja noch nen Jahr Zeit :suspekt:


----------



## PowerCheat (19. September 2007)

Ja ich verstehe es einfach nicht...

Ihr ja auch nicht.. ^^

Pro Eintrag in unsere DB werden Berechnungen gesichert, die alle zusammen >>Pro Eintrag<< auf 3-7 MB groß sind.

Ich habe mir schon überlegt ob ich es nicht auf Datei Format umsetze aber dadurch wäre noch mehr Speicherplatz notwendig...

Aber damit ihr nicht auf dem Daten Volumen rumreitet stellt euch es einfach kleiner vor  sagen wir 50 TB


----------



## Sven Mintel (19. September 2007)

Mal angenommen, dein berechneter  benötigter Speicherplatz würde nur annähernd hinhauen...dann mach dir doch erstmal um das primäre Problem Sorgen:
Du benötigst mehr Speicherplatz, als auf diesem Planeten derzeit verfügbar ist


Oder andersrum...überlege erstmal, wie du den benötigten Speicherplatz für euer Projekt auf eine reell umsetzbare Grösse reduzieren kannst.


----------



## Dennis Wronka (19. September 2007)

Das muessen wirklich gewaltige Berechnungen sein die da angestellt werden wenn die Datenbank jedes Mal durchschnittlich 5MB waechst. 5MB MySQL-Daten sind auch nicht wenig.
Ich wuerde hier auch mal schauen ob man die Datenmenge nicht reduzieren kann, z.B. ob wirklich all diese Daten noetig sind und in optimaler Form abgelegt werden.


----------

