[Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Moin
Da mein aktueller noch laufender Server nicht das bietet, was ich mir vorstelle, habe ich mich entschieden, ein etwas längeres Projekt zu führen.
Der Beginn war eigentlich schon letztes Jahr Ende Oktober, wo ich die erste Hardware gekauft habe, doch es summiert sich halt alles und man findet immer was neues ... ^^
Bisheriges Setup:
Versteckt:
CPU: Intel Core i5 2400 RAM: 16 GB DDR3 1333 Storage: 16 500GB HDDs, 120 GB und 240 GB SSD, Verwaltung durch Storage Spaces OS: Windows Server 2012
Auf dem System läuft:
Plex Media Server mit großer Bibliothek
DPD Delis Print
1 VM mit Ubuntu Server (LAMP), Virtual Box
Bei Bedarf 1 Minecraft-Server
Netzwerkfreigaben
Nächtlich kleine Backups
Problematik: RAM: 16 GB sind etwas wenig, vorallem da noch mehr VMs geplant sind, wohl aber kostengünstig zu erweitern. Außerdem fehlt mir die Möglichkeit auf ECC Speicher. Storage: I/O Leistung sowie Schreibrate sind grausam. Ein echtes RAID inkl. Controller muss her. Platz ist noch genug vorhanden. Virtual Box: Ist zwar nett um ein paar Test-VMs zu hosten, aber da gibt es bessere Lösungen...
Unwichtige Hardware habe ich jetzt mal außer Acht gelassen, darunter fallen Mainboard, Netzteil, Gehäuse usw.
Ich habe dann den Entschluss gefasst, mir etwas neues zuzulegen. Ziel war es natürlich, die genannten Problempunkte zu beseitigen und für die Zukunft Spielraum zu lassen.Natürlich durfte das ganze auch nicht zu teuer werden.
Auch wollte ich einen OS Wechsel. Die Wahl war schnell gefällt: ESXi. Damit kann ich am besten VMs verwalten.
Alles soll besser werden
Die neue Konfiguration(bisher):
Versteckt:
CPU: Dual Xeon X5570 mit je 4 Kernen + HT und 2,93 GHz Basistakt Mainboard: ASUS Z8PE-D18 Storage: 2 HP P410i inkl. 512 MB FBWC Cache, aktuell 8 HDDs einem P410 angeschlossen, der andere ohne Funktion RAM: Weiterhin 16 GB auf 2 GB Modulen ohne ECC OS: ESXi, damit erledigt sich auch Virtual Box
ESXi wurde auf einem USB Stick installiert. Ist wohl so auch eine gängige Methode.
Aktuell teste ich auch nur ein wenig rum. Der OnBoard RAID Controller wird von ESXi leider nicht als solcher erkannt und 4 SSDs als RAID 10 werden nicht angenommen. Ich könnte lediglich jede SSD einzeln ansprechen, aber das ist ja nicht der Sinn...
Mit den beiden vorhandenen P410 kann ich aktuell bis zu 16 HDDs ansprechen. Da ich allerdings mittlerweile 24 500 GB HDDs besitze und vor habe, diese einzusetzen, würde mir an dieser Stelle mindestens ein Controller fehlen.
Um das Problem mit den SSDs umgehen zu können, möchte ich dort auch auf einen P410 setzen. Da ich aktuell einen frei habe, werde ich das noch testen.
Summa sumarum würde ich damit 4 P410 benötigen. Glücklicherweise kann ich die in dem gewählten Mainboard auch alle einsetzen und immerhin sind 3 von 4 am Ende voll angebungen. Der 4. Controller müsste sich dann mit 1000 MB/s Durchsatz über PCIe gegnügen, was aber reicht.
Auch bin ich mit der aktuellen RAM Bestückung nicht zufrieden. Ich nutze damit aktuell gerade ein mal einen von drei Speicherkanälen pro CPU. Zwei sollten es schon sein. Zudem ist das auch noch kein ECC RDIMM. Handlungsbedarf!
Desweiteren habe ich letztens von Silverstone solche Rahmen für die 5,25" Schächte gesehen. Zwei Stück davon und ich könnte die in Summe 24 HDDs ansehnlich unterbringen. Die hängen zwar aktuell auch in den gleichen Schächten, aber nicht so schön. Vorallem kann ich die nicht einfach mal so raus nehmen, da darf dann jedes mal abgesteckt und geschraubt werden. Außerdem ist da direkt Kühlung mit bei. Bin mal auf den Preis gespannt.
Das schöne: Mein Hauptrechner hat noch immer einen Phenom II mit DDR2, sogar mein Server hat jetzt viel mehr Performance
Nur das Portemonnaie...
Bisherige Kosten:
Versteckt:
CPUs: 65€
Storage: Controller 95€, Cache inkl. Kondensator 60€
Mainboard: 220€
Gehäuse: 75€
Zubehör: SAS auf SATA Kabel 40€, Stromkabel ~35€
Summe: 590€
Ich habe das gerade das erste mal zusammen gerechnet. Da hätt ich mir ja fast ne 2. Fury X holen können
Weitere Planung:
Versteckt:
Storage: 2 weitere P410i, sofern sich der Controller sich für ein RAID10 mit SSDs eignet. Wird getestet. RAM:Umbau auf 4 * 8 GB DDR3 1333 RDIMM ECC Weiteres: Zwei FS212 ergattern und einbauen.
Aber wie ich finde, bekomme ich dafür auch was geboten
Leistung:
Versteckt:
Wohl etwas, was auch viele interessieren dürfte
Allerdings kann ich hier gerade keine "Beweisbilder" vorbringen, da ich keine angefertig habe.
CPU: Die CPU Performance, mit Single Channel pro CPU, lag in Benchmarks oberhalb der eines Core i7 4790K. Zum Teil war ein ein aktueller Intel Hexacore sogar langsamer
Im BIOS konnte ich im Nachhinein sogar den Standarttakt von 2,93 auf 3,2 GHz erhöhen, kann dazu aber nicht sagen, wie viel schneller die Maschine dann ist.
Dennoch find ich es beachtlich, dass da so viel Potential drin steckt. Auch wenn die Single Thread Leistung vermutlich deutlich geringer ist, habe ich Potential für Multitasking.
Storage:
Das bisher größte Problem ist jetzt auch gelöst.
Mit 512 MB FBWC Cache erreichen acht 500 GB HDDs mit 7200 RPM im RAID5 etwa 600 MB/s lesend oder schreibend, konstant!
IOPs muss ich allerdings noch messen.
Und da ich im Endeffekt nun 3 solcher RAIDs haben werde, kann ich einiges an Daten bewegen
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Also wenn man zwei x5570 für 65€ bekommt, dann ist das System ja geschenkt Hab mich schon gewundert, warum du nicht einfach auf ein Dual-Sockel LGA 2011v3 setzt, aber da kommst wohl nicht unter 1000€ allein für die passenden CPUs raus
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Zitat:
1000€ allein für die passenden CPUs raus
Allerdings
Das erste was ich gekauft habe, waren tatsächlich die CPUs. Wollte zwischndrin ein EVGA SR-2, aber die gibts ja nicht und hab dann zufällig das Board als "B-Ware" gefunden. Hat auch nette Spielereien wie eine Remote Console usw., also genau was ich brauche ^^
Aber das verhältnis ist schon krass. Hexacores gibts es btw. auch dafür, allerdings ist man da schon bei gut 150€/Stück.^^
Wenn ich dann mit VMs wohlgemerkt die CPUs ans Limit bringe, 35 GB RAM belegt hab, ATTO auf dem RAID 5 arbeiten lassen, dann komme ich so auf 420 W Verbrauch. Und das ohne, dass sich die Kiste lange aufgewärmt hat (5-6 Minuten Last).
Aber da kommen ja noch 16 2,5" HDDs rein, dafür werden die 4 3,5" HDDs gegen 4 SSDs getauscht.
Und es kommen ja noch 2 RAID Controller dazu. Mal schauen wie es dann aussieht ^^
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Ich habe jetzt mal den noch freien P410 4 SSDs mit jeweils 120 GB gehangen.
Konfiguriert habe ich das ganze als RAID 10.
Jede SSD ist zwar nur mit 1,5 Gbit angebunden, aber der Datendurchsatz reicht. Viel wichtiger sind da hohe IOPs, da hier die Betriebssysteme liegen werden.
Allerdings sind 240 GB nicht die Welt, so dass da vielleicht irgendwann auch nachgebessert werden sollte. Am P410 ist ja noch ein Port für 4 SSDs frei
Ansonsten:
Aktuell habe ich 3 Windows Server 2k12:
Fileserver
AD
WSUS
Noch kommen sollen:
DNS
MS-SQL Server
Minecraft-Server
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Gestern bestellt:
P410
512 MB FBWC inkl. Kondensator
1 mini SAS -> 4x SATA
Da am P410 mit den 4 SSDs nur 1 SAS Kabel hängt, habe ich auch erstmal nur ein neues geordert. Damit hab ich dann für den neuen P410 wieder 2 Kabel und kann weitere 8 HDDs einbauen. Dann stehen meinem Fileserver 7 TB zur Verfügung, womit ich dann auch alle Daten vom alten Server dort speichern kann, endlich
Das SAS Kabel ist btw. sogar heute schon angekommen
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Wollt es auch schon sagen, 12 cm Lüfter vor die RAID-Controller und gut ist. Wenns doch nicht reichen sollte, einen Luftkanal zur Seitenwand und diese dahingehend modifizieren.
Alte Pentium 4 Kühler lassen grüßen.
Sieht aber schon ganz schick aus. Wobei ich immer noch nicht die 500er Platten genommen hätte, auch wenn sie "sehr günstig" waren. Ab in die Bucht damit und ein paar größere, dauerbelastbare Platten rein.
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Genau diese Aussage wollte ich damit umgehen und es hätte trotzdem jeder verstanden.
Du hast einfach das Glück beruflich an der Quelle für das Zeug zu sitzen. Und aus diesem Grund bleib ich auf meinen 2 x 8 GB RegECC Riegeln sitzen. Oder willst du noch upgraden?
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Stand aktuell:
Die Kiste läuft und läuft und....
Also vorweg: Die vorhandene Leistung ist natürlich mehr als ausreichend. Wo mal mehr gearbeitet werden muss ist, wenn ein 4K Film über Plex gestreamt wird, weil der wird dann erstmal schön transcodiert ^^
Wenn aktiv gar nichts passiert, dann liegt die Last bei circa 200-250MHz
Aktuell verbaut an Storage:
4*120 GB SSDs RAID 10, 240 GB total, 37,79 GB frei
2x 8 HDDs zu je einem RAID 5, ~7 TB, 2 TB frei
2 TB 3,5" HDD für Images
Die Platten laufen seit jeher ohne Probleme. Der Status ist laut dem HP Tool auch "Ok".
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Über die HP Smart Storage Administration Software, kurz HPSSA.
Smartwerte bekomme ich da wohl nur raus, wenn ich einen Diagnosebericht erstelle, aber wohl auch nur wenn es zertifizierte HDDs sind.
Ansonsten sagt einem die Software nur die Temperatur der HDD und den Status "Ok"/"Failed" an.
Die Raid-Controller sind in durchgereicht an die VM. Also kann die Software direkt drauf zugreifen...
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
Leider nicht. Das war auch der Grund, warum ich die Controller durchreiche.
Aber wenn du es akzeptieren kannst, mal ne kurze Downtime zu haben, gibts da von HP auch noch ne Bootbare ISO, wo du Programme hast. Allerdings hab ich keine Ahnung, was das kann^^
AW: [Projekt] Leistungsfähiger (Home) Server - viel Leistung fürs Geld
So, wieder was dazu gekommen:
4*1 TB im RAID5 an einen vorhandenen P410
Damit sind noch genau ein 5,1/4" Schacht frei, wo 4 2,5" HDDs reinpassen. Und genau für 4 HDDs hab ich noch Anschlüsse an einem P410 ...
Das passt alles wie die Faust aufs Auge ^^
Weitere Bastelleien:
Die USV habe ich mitlerweile via Kabel an den COM Port des Server angeschlossen. Dafür extra eine VM aufgesetzt und XP installiert, ein anderes Windoof mag das System nämlich nicht ^^
Aktuell bastel ich an einer Batch, welche Windows/Linux Server remote herunterfahren kann. Linux war sehr einfach, Windows ist noch ein wenig bastelei und funktioniert, je nach Benutzer, schon ^^
Aktuell sieht es so aus:
Stromausfall --> 5 Minuten warten --> VMs herunterfahren
Wenn dann weitere 3 Minuten kein Strom an der USV ankommt, dann wird die XP VM heruntergefahren und 2 Minuten danach die USV abgeschaltet.
Sobald die USV Strom bekommt, schaltet diese nach einer Minute wieder ein. Der Server ist so eingestellt, dass dieser automatisch wieder einschaltet, sobald er den Strom verliert (an war) und wieder welchen bekommt.
Sollte allerdings innerhalb der 5 Minuten wieder Strom bei der USV ankommen, so sind alle VMs offline --> subotimal.
Allerdings habe ich in die Batch zum herunterfahren der VMs einen Timer eingebaut, welcher bei Minute 9 nach Stromausfall abläuft.
Zu diesem Zeitpunkt wäre normal die USV VM bereits heruntergefahren.
Nach diesem Timer wird via SSH ESXi der Befehl zum Neustarten gegeben.
Das schön: Nach einem Neustart werden alle VMs automatisch gebootet.