Aaaaaaalso, erstmal ums klarzustellen, das ganze 'geoert' mir nicht, ich hab lediglich nen Account da, und arbeite auch da, arbeiten im Sinne von Software programmieren und laufen lassen.
Das ganze ist im Bereich Datenanalyse, ich habs also mit riesigen Datenmengen zu tun, momentan hab ich zwei Datensaetze mit 625 Gigabyte in 13400 Dateien bzw. 360 Gigabyte in 8300 Dateien, also insgesamt ein knappes Terabyte. Die Daten stammen von nem Hochenergiephysik-Experiment (
klick). Wuerde ich die Daten auf nem normalen Rechner speichern und da verarbeiten, wuerde ich geschaetzte 50 Stunden dafuer brauchen. Ist natuerlich irre unpraktisch, man macht ne winzige Aenderung am Analyseprogramm, und darf dann erstmal 50 Stunden warten, um sich die Auswirkungen der Aenderung anzuschauen. Deshalb nutz ich nicht nur einen Rechner, sondern mehrere parallel, meistens so um die 50-100 Stueck. Dann sind die Daten noch auf ein paralleles Filesystem verteilt, damit das Lesen noch halbwegs schnell geht. Damit bin ich in etwa einer Stunde ueber die Daten druebergelaufen, was halbwegs akzeptabel ist.
Die 50-100 CPUs, die ich nutze, gehoeren einem
Cluster mit 1566 CPUs an (
klick). Also hab ich theoretisch 1.6k CPUs unter meinen Fittichen, die sich nach aussen hin etwa wie ein einziger Rechner verhalten.
Hat allerdings den Nachteil, dass ich mir den Spass mit ner ganzen Menge anderen Leuten teilen muss
Gruesse, kerri