[Kaufberatung] Server komplett Umbau/Neuanschaffung

[FNBalu]

Hallo zusammen,

ich plante letztes Jahr schon meinen Speicherplatz zu erweitern, nur dann kam die Thailand Misere und die Sache lag erst einmal auf eis.
Mittlerweile werde ich wohl die komplette Hardware samt Board, CPU, Ram, Raidcontroller und halt den Platten neu anschaffen.

Der Server läuft hauptsächlich als Fileserver.
Nebenbei läuft noch eine Virtual Box VM mit einem Debian. Da auf dem Server Windows Server 2008 läuft, übernimmt dieser auch die JDownloader Geschichte wenn da mal was ist.
Verbaut ist momentan ein Intel S3210SHLC mit einem Q9550, nebst 3ware 9650-8 und einem Raid5 aus 6 Platten.
Die anderen 2 Platten bilden ein Raid1 für das OS.
Die CPU war zuerst ein e7200 weil ich auch auf den Energieverbrauch achte.
Nur leider hat die CPU das nicht so recht geschafft und es gab hänger in der virtuellen maschine trotz 8GB Ram.
Durch den Quadcore lief/läuft alles bestens.


Jetzt bin ich beim neuen Server komplett überfragt.

Ich dachte an Xeon E3??
Nur gibt es da ja Sokel 1155 und den 2011er.
Ich hatte auch schon den 1265V2 im Auge wegen der Stromspargeschichte.
Jedoch bräuchte man bei einem Board wie dem Supermicro x9scm-f ja keine GPU in der CPU integriert.

Raid Controller ist Areca wegen Multi Array ja so eine Sache wobei ich das OS wohl diesmal auf eine einzige 128GB SSD packen würde.
LSI ginge noch abe rmit Expander.
Adaptec klingt auch interessant.
Vielleicht sogar die neue 7er Reihe.
Angedacht sind wohl erst einmal 10 Festplatten (3TB) und diese im Raid6



Ich würde mich über eine Beratung mit Pro/Contras von Euch freuen.

Zuerst denke ich sollte man die Board/CPU Frage klären.
16GB Ram dürfens schon sein. IPMI werde ich dieses mal wohl auch haben wollen.
Das Intel S1200 hat dafür ja auch Module, aber Supermicro oder Tyan sollte doch geeigneter sein oder?

Welche CPU sollte man wählen um Leistung einerseits zu haben, aber dies auch halbwegs sparsam?

 

[jdl]

Ich dachte an Xeon E3??
Nur gibt es da ja Sokel 1155 und den 2011er.

Xeon E3 ist immer Sockel 1155. Xeon E5 ist entweder für Sockel 2011 oder Sockel 1356.

 

[FNBalu]

Das habe ich schon bemerkt.
Nur weiss ich nicht wie ich die CPUs Leistungstechnisch einordnen soll bzw was reicht?
I3 oder I5???

 

[underclocker2k4]

Da der E3 quadcore ist (die LVs mal außen vor) und es keinen i3 quad gibt, sollte sich die Einreihung der Leitung automatisch ergeben?!

Und was reicht? Das kannst nur du beantworten.

 

[FNBalu]

Bisher läuft der Q9550 wie gesagt weil der e7200 zu schwach war.
Kann ich jetzt einfach den basistakt übereinander legen oder gibts da noch was zu beachten??

Vom 1230er Xeon liest man viel gutes.
Ist natürlich um einiges günstiger als ein 1265 beispielsweise.
Der 1265L ist im basistakt auch weit unten und geht dann per boost hoch.
Ein 1230 ist im Basistakt höher.

 

[FNBalu]

Die L Varianten haben ja meist eine 45W TDP und die anderen 69W oder 77W etc.

Die laufen dann im Basistakt höher und der Sprung zum Boost ist geringer.

Ob das einen grossen Unterschied im Stromverbrauch bringt, wenn man die L Variante wählt wie den E3-1265LV2


Was ist denn Boardtechnisch zu empfehlen?
Fährt man mit einem Supermicro X9SCM-F oder den Nachfolger X9SCM-IIF gut oder ein Intel S1200BTS?

Wie ich das sehe hat das Supermicro eine Graka direkt auf dem Board und beim Intel müsste die CPU eine haben womit ich auf die Xeons mit der 5 am Ende angewiesen bin.

Welches IPMI wäre denn besser? das von Supermicro oder das nachgesteckte von Intel???

Wenn man in Richtung Adaptec als Raidcontroller schaut, sollen die ja nicht auf reinen UEFI Boards booten.
Sind die Boards UEFI Boards oder laufen die Controller auf beiden?

Um in die Zukunft zu schauen, wo man vielleicht mal wieder aufrüstet, da wird es dann ja irgendwann mal nur noch UEFIs geben, wird das mit den Controllern von Adaptec dann Firmwaretechnisch in den Griff zu bekommen sein oder worauf beruht das Problem von denen?

 

[GuNa]

Hi FNBalu,

Bei mir ist ein X9SCM-F + E3 1230 (Sandy) als Unterbau für ein ESXI+Napp-It Server im Einstaz (siehe Sig). Ich bin wirklich sehr zufrieden. Hier ein paar Tipps von mir:
Für eine E3-1230v2 (Ivy) müsste das Bios vom Board auf den neusten Stand gebracht werden. Wenn Du glück hast ist es bei einem Neukauf schon auf dem aktuellsten Stand. Aus meiner Sicht ist der TDP Unterschied nicht so hoch als das sich ein E3-1230v2 wirklich lohnt. Auch der Preisunterschied zwischen einem E3-xxx5 (mit Graka) und einem E3-xxx0 (ohen Graka) ist sehr gering - da würde ich die Version mit Graka kaufen - auch wenn diese auf einem Server-Board nicht genutzt wird. Allerdings kann man später die CPU auch auf einem Board ohne Graka einbauen. (zb. Auf einem 1155 Board mit VGA Anbindung)
Ein Adaptec Controller 5405/08 lief erst mit einem Biosupdate auf dem Board UND einem Firmware Update des Controllers auf den aktuellsten Stand. Sonst hat der Server nicht gebootet. Aufgrund meines Anwendungsszenario habe ich z.Zt. ein IBM M1015 HBA im Einsatz.
Auf meinem Server habe ich ein SBS 2011 als VM am Laufen. Doch die meiste Zeit ist der Server im Idle daher ist die Leistung der CPU voll ausreichend. Es hängt wirklich sehr stark davon ab wie die Last auf Deinem Server ausschauen wird. Ich denke aber als reinen Fileserver hast Du genug CPU Power - zumal du ja einen Raid Controller eingeplant hast.
Ich kenne nur die IPMI Version von Supermicro aber ich finde es extrem Hilfreich und alle Funktionen die man braucht (Monitoring, Booten von Virtuellen CD's etc) sind vorhanden.

Gruß

 

[FNBalu]

Naja die CPU einzeln oder woanders nutzen werde ich eher nicht.
Zicken die neueren Adaptecs der 6er und 7er Reihe auch noch so?
Ist nur die Überlegung auf IVY Bridge zu setzen.
Andererseits ist Sandy günstiger und der Server wird auch wieder 4 Jahre mindestens laufen.

Kannst Du was zum Stromverbrauch sagen?
Den sollte man ja auch nie aus den Augen verlieren.
Klar die HDDs mal aussen vor, aber das Grundgerüst?

16GB Ram habe ich auch angedacht.

 

[GuNa]

Zum Stromverbrauch kann ich Dir nicht viel sagen da ich diesen nur mit Festplatten gemessen habe. Was ich Dir aber sagen kann ist das der TDP Wert sich auf die maximale Auslastung bezieht. D.h. im Idle sind beide CPU's fast gleich, nur wenn Du Vollast hast wirst Du einen wirklich deutlichen (so um die 10-15 Watt) unterschied sehen. Das dürfte aber bei Deinem Szenario sehr Unwahrscheinlich sein. Wenn doch, dann ist die CPU sowieso zu klein.
Nach allem was ich recherchiert habe lohnt es sich nicht die v2 nur aufgrund des Stromverbrauches zu kaufen.

Trotzdem hier meine Werte - gemessen Anfang des Jahres:
Der Server wie in der Sig + 4 2,5 x Zoll HD die ich noch zusätzlich drin hatte hat ca 107 Watt verbraucht (bei einer last von ca 10-20%). Die HDD's sind 6 x Hitachi 7200 1 TB+ 4 x Samsung 2,5" Platten. Also keine "Green". Ich habe außerdem noch eine Dual-Port Netzwerkkarte drin.
Nicht zu vergessen sind die Lüfter von denen ich 7 Stück im Gehäuse am laufen habe.
Das Netzteil ist ein 600 Watt 80 Plus von Corsair.

 

[FNBalu]

Das klingt ja soweit schonmal ganz gut zumal Du ja auch die ein oder andere HDD verbaut hast und auch einen RaidController.
Kann man also die Rohleistungsdaten ruhig 1:1 vergleichen ja?
Also der Q9550 mit seinen 4 x 2,83Ghz zu dem E3-1230 mit 4 x 3,2Ghz ja?
Oder bremst das Hyperthreading indirekt?

Mich wundert da ja, das die L Variante im Basistakt so niedrig ist, aber im Boost dann fast identisch hoch ist.
Das ist dann auch genau der Spareffekt nehme ich an.

Idle ist der Xeon sparsamer als der Core2Quad den ich ja brauchte da der e7300 zu schwach war und auch kein VTx konnte wegen der Virtualisierung.
Wenn ich per VNC drauf gehe und es mir anschaue, habe ich keine 10% Auslastung.

Kaufen werde ich im Dezember, vorher wird das wohl nichts.
Da habe ich Zeit zum Bauen und das Geld ist bis dahin auch mehr geworden ;-)
Mal schauen wie sich bis dahin die Preise und verfügbarkeiten der V2 Geschichte entwickelt. TDP soll ja etwas geringer sein durch die 22nm
Fakt ist eine interne GPU dazu kaufen, die man nicht nutzt macht keinen Sinn finde ich.
Eigentlich das kaufen, was man braucht und wann man es braucht. Würde ich ein andere Board wählen und diese benötigen wäre es was anderes.

Aber dieses IPMI reizt mich schon irgendwie.
Ein neues Netzteil wird dann auch fällig werden bei mir.
Momentan ist ein sehr kleines verbaut.
Enermax 385W PRO82+ laut Bestellbestätigung.
Die 80% etc. werden ja auch nur erreicht, wenn diese über 20% Last erreichen.

 

[GuNa]

Also Hyperthreading wird keine Bremse sein - im Gegenteil - solltest Du auf jeden Fall haben.
IPMI würde ich Dir auf jeden Fall empfehlen - macht so vieles einfacher.
Dein RaidController wird mehr Strom ziehen als meine HBA Karte, wird aber nicht die Welt sein.
Dein Netzteil ist zu klein, nach meinem Empfinden. Du musst auch daran denken dass das Netzteil auch die Spitzen abfangen muss, zb. Neustart oder einen Raid Rebuild/Verify. Da wird das System schon 180-200 Watt brauchen.

 

[FNBalu]

Das nächste grosse Problem stellt die Wahl der Festplatten dar.
Gut ich kaufe erst im Dezember aber stand heute ist Hitachi unbezahlbar/kaum verfügbar.

Dann wäre noch die WD Red interessant aber auch schlecht verfügbar und 170€ teuer.

Im Forum schwärmen einige auch schon von der Seagate 7200.14 (ST3000DM001) auch im Raid und die kostet immerhin 50€ weniger.

Man rät ja immer von Desktopplatten ab, aber bei mehreren merkt man das schon im Portemonaie.

 

[bluesunset]

Ich sags immer wieder, die 7200.14 ist von Seagate nur für 2400 Betriebsstunden im Jahr freigegeben/vorgesehen. Läuft die HDD länger und du willst das reklamieren weil sie ausgefallen ist -> kein Rechtsanspruch nach 6 Monaten, wenn es der Händler darauf anlegt.

Die HDDs dürften auch nicht bei den unterstützen vom Adaptec Raidcontroller aufgelistet sein...

 

[FNBalu]

Mich wurmt das ja auch alles, glaube mal.

Ich habe ja noch einige Wochen bis zum Kauf.
Nur ob die WD Red dann verfügbarer ist?

Die sollte ja langsam in die Richtung gehen.
Hat Tler
Das ist auch noch keine reine Serverplatte, aber noch finanzierbar.

Witzigerweise steht die ST3000DM001 aber tatsächlich bei Adaptec in der Liste für den 6805 nur bei Power off steht Not tested

 

[keibertz]

Ich sags immer wieder, die 7200.14 ist von Seagate nur für 2400 Betriebsstunden im Jahr freigegeben/vorgesehen. Läuft die HDD länger und du willst das reklamieren weil sie ausgefallen ist -> kein Rechtsanspruch nach 6 Monaten, wenn es der Händler darauf anlegt.

Die HDDs dürften auch nicht bei den unterstützen vom Adaptec Raidcontroller aufgelistet sein...

Habe bisher immer nur Desktop HDDs ohne 24/7 Freigabe für meine 24/7 laufenden RAIDs im Datenserver verwendet. Sicher geht hier und da mal eine kaput, aber das würden die 24/7 zertifizierten auch. Vielleicht ein paar Prozent weniger, aber ob das ins Gewicht fällt ? Hatte bisher noch nie eine OEM Festplatte bekommen und die defekten wurden auch immer von allen Herstellern ohne murren ausgetauscht. Mache RMA immer direkt über die Hersteller und nie über die Händler.
Die eine 24/7 Festplatte die ich hatte war eine WD 1TB FYPS Festplatte und diese ging mir auch schon über den Jordan. WD hat aber direkt gegen eine 2 TB FYPS ausgetauscht. Hatten wohl keine 1 TB mehr auf Lager Wobei diese nun die mit Abstand langsamste Festplatte in meinem Server ist. Sie verwende ich derzeit als Temporäre DownloadFestplatte.

Auch mit der kompatibilität mit den RAIDControllern hatte ich noch nie größere Probleme. Hier und da war mal ein Firmware update nötig, aber das kennt man ja auch von anderen Problemchen. Allerdings verwende ich im privaten nur SoftwareRAIDController. Die reichen mir für meine Bedürfnisse daheim voll und ganz und sind zu dem auch um einiges günstiger.

Bei 8x 3TB Festplatten sind es über 300 Euro Preisunterschied zwischen den Seagate und WD RED. Das ist zumindest für den ein oder anderen schon eine Überlegung wert.
Ich habe mir zumindest gerade noch einmal 8 von den Seagate ST3000DM001 3TB geholt und betreibe sie mit meinem HighPoint RocketRAID 2720 SGL Controller ohne jegliche Probleme. Die selbe Konstellation rennt schon seit März in meinem Datenserver 24/7 ohne auch nur einmal zu murren.

Muss aber gestehen, dass wenn Geld keine Rolle spielen würde ich bei mir zu Hause auch lieber HardwareRAIDController und 24/7 zertifizierte Festplatten verbauen würde. Aber leider ist die Realität kein wünsch dir was und Geld ist jeden Monat nur einmal da.

 

[bluesunset]

Wie viel hast du denn nun bisher für deine 16? 3TByte HDDs ausgegeben und mit welchem Raidlevel laufen diese, also Brutto und Nettokapazität?

 

[keibertz]

Wie viel hast du denn nun bisher für deine 16? 3TByte HDDs ausgegeben und mit welchem Raidlevel laufen diese, also Brutto und Nettokapazität?

Für die neuen 8x 3TB Festplatten 960 Euro. Die Festplatten laufen hier im RAID6, als Speicherkapazität bleiben 16,3 TB übrig. Wie viel es Brutto ist habe ich nie geschaut würde mal behaupten ca. 8x 2,7 TB = 21,6 TB . Was ich genau im Februar für die ersten 8 Festplatten bezahlt habe müsste ich schauen schätze so ca. 1200 Euro...
Ich habe mich absichtlich dafür entschieden keinen 16 Port RAIDController zu kaufen sondern lieber 2x 8 Port zu verbauen. Fühle mich damit einfach wohler. Denn so viele Festplatten in einem RAID muss für mich nicht sein. Also selbst mit einem 16x Port RAID Controller hätte ich 2x RAID6 mit jeweils 8 Festplatten draus gemacht ... Außerdem hatte ich bei meinen Recherchen Anfang des Jahres auch mehrfach gelesen, dass der 8-Port RAIDController von HighPoint wesentlich perforrmanter ist als der 16x Port RAIDController. Weil, wenn ich mich recht erinnere, die selben Chips verbaut sind die sich einmal um 8 und einmal um 16 Festplatten "kümmern" müssen.
Bis Anfang des Jahres hatte ich 2x RAID5 mit jeweils 4 Festplatten am laufen, allerdings ist mir die Sicherheit des RAID6 doch bedeutend lieber. Auch wenn ich dafür pro RAID6 die Kapazität einer weiteren Festplatte einbüße.

 

[FNBalu]

2 x Raid 5 mit 4 Platten ist doch identisch in der Plattenzahl wie 1 x Raid 6 mit 8 Platten.

2 x n-1 und einmal n-2

 

[bluesunset]

1200 + 1000 + 200 für die "Raidcontroller" macht mal 2400 Euro für netto 44TB.
Hewlett-Packard HP LTO-5 Ultrium 3TB Data Cartridge (C7975A) LTO: Backup-Medium Preisvergleich - Preise bei idealo.de
Nehmen wir mal immer noch 40 Euro pro 1,5TB Band an macht das 45TB/1,5TB= 30 Bänder also 1200 Euro für die Bänder.
Hrm, nagut, ein LTO5 Laufwerk mit SAS HBA kostet eher 1600 Euro und mit den Bändern wärst du dann teurer als mit deinen Desktop HDDs.
Bis LTO6 die Preise für LTO5 drückt, dauert es wohl noch etwas. Da hatte sich die letzten Jahre über anscheinend nichts getan.
http://www.dv-dialog.de/nc/home/newsdetails/article/premiere-fuer-lto6.html irgendwie wird der Geschwindigkeitszuwachs immer bescheidener.

 

[FNBalu]

Ich habe LTO4 mit einen Tandberg SAS Laufwerk.
Meine Bänder reichen für 64TB unkomprimiert

 

[keibertz]

2 x Raid 5 mit 4 Platten ist doch identisch in der Plattenzahl wie 1 x Raid 6 mit 8 Platten.

2 x n-1 und einmal n-2

Ja aber bei 2x RAID5 dürfen mit nur jeweils eine Festplatte pro RAIDVerbund ausfallen. Beim RAID6 dürfen mir egal welche 2 Festplatten ausfallen. Daher höhere Sicherheit.

Kenne mich bei LTO5 Laufwerken nicht wirklich aus, aber da passt doch immer nur ein Band gleichzeitig rein oder ? Ich will ja auch alle gleichzeitig Zugriff haben und will nicht immer erstmal das richtige Band einlegen müssen. Daher bräuchte ich ja für N Bänder auch N Laufwerke ... Quantum LTO-5 HH Tabletop HBA Bundle, LTO-Ultrium 5, 1500/3000GB, SAS 6Gb/s (TC-L52BN-EZ) Preisvergleich | Geizhals Deutschland
Daher verstehe ich nicht so ganz wie das ein Ersatz sein soll ? Bzw wieso du das mit einander vergleichst. Aber wie gesagt kenne mich bei LTO5 Laufwerken nicht wirklich aus also kläre mich auf wenn ich da falsch liege.

 

[FNBalu]

Lto ist nur als Backup, nicht zum mit arbeiten.

Ich nutze es auch nur als Backup.
Raid ist sicherer als eine Platte und man hat schön grossen zusammen hängenden Speicher.

 

[bluesunset]

Die LTO-Bänder wären für das Backup größerer Datenmengen, ja. So wie du geschrieben hast, werden es ja wohl noch einige HDDs mehr werden. Nicht oft benötigte Sachen würde ich darüber auslagern wenn du dir ein Archiv anlegen willst.

 

[D€NNIS]

Wir setzen in unserem 24bay FC Raid von Axus sowie einem weiteren 24bay JBOD Expander auch consumer harddrives in einem Raid6 Array ein. (2 Raidvolumes a 66TB)
Für unseren Bedarf stehen möglichste hochkapazitive RAIDs im Vordergrund und bei dieser Größenordnung wäre der Aufpreis zu Enterprise HDs durchaus nicht unerheblich.

Ist halt immer Abwägungssache. Nach unten hin federn bei uns nochmal LTO5 Tapes, in zwei Pools (On-/Offsite) den "worst-case" ab, allerdings macht das bei der Datenmenge relativ wenig Spaß ^^
In dem Expander kommen dabei auch Seagate 7200.14 a 3TB zum Einsatz, die nebenbei bemerkt seit Auslieferungsdatum Mitte 2012 wieder 2 Jahre Garantie haben.

 

[bluesunset]

24 HDDs in einem Raid6 mit Consumer Platten? Wurden vielleicht Benchmarks gemacht auch mit Ausfall einer und beider HDDs? Sind keine Hotspares konfiguriert?
Berechtigungen haben alle HDDs und auch SSDs. Man muss halt nur wissen wofür man sie einsetzt. Wenn der Bedarf dafür da ist und man entsprechend viele Laufwerke verbauen kann spricht nichts dagegen alle 4-6 unterschiedlich zuverlässigen Medien in einem HSM einzusetzen.

 

[keibertz]

die nebenbei bemerkt seit Auslieferungsdatum Mitte 2012 wieder 2 Jahre Garantie haben.

Kann ich bestätigen meine Seagates haben Garantie bis DEZ 2014.

24 HDDs in einem Raid6 mit Consumer Platten? Wurden vielleicht Benchmarks gemacht auch mit Ausfall einer und beider HDDs? Sind keine Hotspares konfiguriert?

Würde ich auch mal gerne wissen. Ohne Hotspare wäre mir das bei der Plattenmenge auch etwas riski.

 

[D€NNIS]

Yes, 2x24 Platten in 2xRaid6 Arrays. Einmal in der Enclosure des Primärraids und einmal im Chassi des JBOD Expander über SAS mit dem Raidcontroller des Yotta3 verbunden.
Hotspares deswegen nicht, da uns dadurch wieder Nettokapazität fehlen würde. Wir brauchen jedes MB Space und selbst 66TB haben bei uns grade mal 8 Monate "gehalten".

Die Systeme sind so konfiguriert das bei Auffälligkeiten oder Inkonsistenzen Statusberichte an mich gemailt werden, da ich in unmittelbarer Nähe zum Standort des RAIDs wohne, ist eine schnelle Reaktion nie ein Problem. Ersatzplatten stehen dann im Lager bereit, ich muss lediglich dazu vor Ort sein.

Sollten die zwei Paritätsplatten des Raid6 Array nicht ausreichen, halten wir das aktuelle Projekt wie bschrieben immer noch doppelt auf LTO5 vor.
Das war auch angesichts der damaligen Festplattenpreise durch die Flutkatastrophe vergleichen mit den Preisen für LTO5 Medien (Tandberg LTO5 1,5TB/3TB ca 44€ Brutto)
der einzige finanziell gangbare Weg.

Idealerweise hätte ich auch gerne ein Raid das physisch woanders als unser Primärraid steht und dort dann alle Daten repliziert werden, das wäre bei der Anhäufung dieser Daten allerdings innerhalb kürzester Zeit finanziell nicht mehr machbar.

HSM Systeme sind insofern keine wirkliche Hilfe, da bei unserem aktuellen Projekt bis Ende 2014 ca 130TB Daten anfallen, die in unserer Postproduktion auch über die ganze Projektdauer verfügbar gemacht werden müssen, insofern kann ich da ganz schlecht nach Wichtigkeit der Daten oder anderen Kriterien kategorisieren.

 

[bluesunset]

HSM Systeme sind insofern keine wirkliche Hilfe, da bei unserem aktuellen Projekt bis Ende 2014 ca 130TB Daten anfallen, die in unserer Postproduktion auch über die ganze Projektdauer verfügbar gemacht werden müssen, insofern kann ich da ganz schlecht nach Wichtigkeit der Daten oder anderen Kriterien kategorisieren.

Ohje, darf man erfahren um was es sich dabei genau handelt, oder ist dies erst nach Abschluss des Projektes möglich?

 

[D€NNIS]

Nur soviel, Naturdokus ^^
Wer schonmal das Vergnügen hatte mit einer Red EPIC auf 5K zu drehen oder bspw. mit den Phantoms von VisionResearch, weiß spätestens in der Post wie eklig das wird, was die Datenmenge betrifft.
Ich hab bis heute keine bessere Lösung gefunden, die zu unseren Kapazitätsanforderungen passt.

Es gibt zweifwellos andere Wege die man einschlagen kann und von "High Availability" kann bei uns auch nicht die Rede sein aber
schlussendlich wird bei solchen Dingen der Handlungsspielraum durch die finanziellen Realitäten oftmals etwas eingeschränkt.