[Kaufberatung] Suche RAID 5 Controller 8xHDD ++

[andichen]

Sry erst mal, dass ich es bisher noch nicht testen konnte. Hatte leider die letzten Tage einiges an Stress. So wie es aussieht, wirst du es vielleicht sogar noch vor mir schaffen. Habe es mir auch für das WE vorgenommen...

Warum du dir jetzt aber einen 4er 9260 und einen Expander besorgt hast, verstehe ich irgendwie nicht so ganz. Da hättest du dir ja auch gleich einen großen Controller von Areca kaufen können und würdest bestimmt 20-30W einsparen können, die der Expander höchstwahrscheinlich verheizt, so wie der aussieht.

Übrigens kannst du problemlos den Controller mitsamt Platten auf ein anderes Mainboard stecken. Das ist ja gerade ein Vorteil dieser Controllern. Irgendwo müssen sie ja auch Vorteile haben. Habe ich letztens auch gemacht. Es hat nicht mal Windows gestört. Musste halt nur die Treiber ändern. Ich würde auch mal behaupten, ohne es getestet zu haben, dass man den Controller auch problemlos mit einem Expander erweitern und die Festplatten samt Daten übernehmen kann. Es ist ja eigentlich nichts anderes als ein Verteiler. Der Controller und der Expander müssen sich dafür allerdings schon vertragen. Der 9260 ist aber ein ziemlich neues Modell, sodass ich da eigentlich keine Probleme sehe. Das Teil arbeitet ja auch problemlos mit 2x WD20EARS im Raid1. Das heißt schon was...

Natürlich würde es mich auch brennend interessieren, ob dieser Expander am 9260 funktioniert. Habe ja schließlich 2 Stück von den 9260ern, da ich sie ziemlich günstig bekommen habe. Nach dem Einbau des Controllers würde ich erst mal die letzte Firmware aufspielen und dann testen.

EDIT: Übrigens liegt es doch nicht unbedingt an der Netzwerkkarte, wie ich zunächst annahm. Habe zwischenzeitlich für die Firma ein paar PCs installiert und als Server auch dieses Board mit 2 Stück WD RE Platten im Raid1 am ICH10 in Betrieb genommen. Diese sind selbstverständlich auch über das Intel-Utility initialisiert worden und schaffen gute 85MB/s bei großen Dateien über das Netzwerk, was ja durchaus annehmbar und für den dortigen Einsatz ausreichend ist. Na ja, man wird mit jedem Testtag schlauer... Mit meinem PC will ich natürlich die Bestmarke erreichen, ganz klar...

 

[Bluesky09]

Was mich halt berennend interessiert hätte, wäre ob das Spin Down/Up gut funktioniert. Nun denn ich hoffe das ganze kommt heute, mal sehen.

Warum du dir jetzt aber einen 4er 9260 und einen Expander besorgt hast, verstehe ich irgendwie nicht so ganz. Da hättest du dir ja auch gleich einen großen Controller von Areca kaufen können und würdest bestimmt 20-30W einsparen können, die der Expander höchstwahrscheinlich verheizt, so wie der aussieht.

Nun ja, ich kenne mich in der Sache auch nicht wirklich aus. Areca, größerer, damit meinst du evtl. den 1680er, der ist schon preislich ganz schon heftig. der 1222 kostet immerhin auch min. 120-150 € mehr als ein 9260 i4 (wie übrigens der 8er auch). Ich wollte eigentlich mit nem 8er Raid anfangen, sonst könnte ich ja auch mein 6er RAID5 vom board nutzen, aber das wird wohl nicht reichen. Falls ich das mal erweitern möchte (und das wird wohl der Fall sein) muß ich mir Gedanken machen über Migration. Ein reiner 16er Controller ist sehr teuer. Das Bundel was ich jetzt habe liegt bei unter 600 € und beitet bis 32 HDD's, wenn es läuft. Ob eine Migration vom 8er später mit einem Expander läuft hat mir niemand beantwortet. Also was tun?
Das mit der Energie hatte ich auch im Auge. Lt. Beschreibung nimmt der Expander wohl im Bereich von 12 W. Das ginge auch. Mal sehen. Sobald ich das etwas genauer Weiß oder geteste habe poste ich die Ergebnisse.
Bin mal gespannt!

 

[MAFRI]

halte uns auf dem laufenden

 

[Bluesky09]

Mach ich

Hab heute alles bekommen bis auf die Kabel, die sind noch unterwegs (DHL), Sch...ade!

Hab natürlich schon mal eingebaut und den Controller auf den neusten Stand gebracht. Soweit so gut. Allerdings wird das Teil für meinen Geschmak ziemlich heiß, ohne Laufwerke.
Mann kann sich schon die Finger verbrennen. Beim Expander übrigens auch owohl der etwas kühler ist. Ist das normal??

Kann man die Temps irgendwo in der Software kontrollieren?
Weiß auch noch nicht wo ich die Firmware version des Expanders sehen kann?

Übrigens nehmen die beiden Karten ca. 22 W. Das geht doch, oder?

 

[_Creep]

Willst du den passiv kühlen?

 

[Bluesky09]

Am liebsten würde ich den garnicht kühlen, aber ich fürchte das geht nicht. Wenn möglich passiv. Ich hatte mir mit dem Tower (Xigmatec) nen 14 cm lüfter gekauft, der ist noch frei. Ich glaub den setzte ich in die Seitenwand. Dann werden beide, der Controller und der Expander angeströmt, hoffentlich.

Weiß jemand ob diese Temperaturen irgendwo in der Software angezeigt werden?

 

[_Creep]

Keine Ahnung, aber ich würde lieber nochn 40 oder 60mm Lüfter an den Kühlkörper packen und den Passivkühler anblasen.

 

[Bluesky09]

Die machen halt immer noch krach und ich weiß auch nicht wie ich die befestigen sollte. Bräuchte ja dann für beide karten so ein Teil.

Hättest du nen Vorschlag/Erfahrung?

 

[_Creep]

Ich habe einfach einen leisen 40mm von Revoltec genommen und diesen mit 2 langen Schrauben am Passivkühler festgeschraubt. Fällt bei meiner Kiste eh nicht auf ob leise oder laut, hauptsache der Controller ist kühl und die HDDs auch. Hört sich zwar mehr nach startendem Flugzeug an als nach einem ruhigen See, aber wayne, Hauptsache alles ist schön kühl.

 

[Bluesky09]

Hmmmm, da habe ich allerdings einen andern Anspruch. Mein Server steht unterm Schreibtisch. Bis jetzt ist der nicht zu hören. Das sollte eigentlich auch so bleiben.

 

[MAFRI]

LOOOOOOOOOOOL

dann nimm bitte stromsparende platten und enkoppele sie gut

allein wenn hier eine storage startet is das schon jenseits von gut uns pöse...

 

[andichen]

Hmm, ok, hatte jetzt einen anderen Preis im Kopf... Bei max. 28 Platten gibts natürlich erst mal so keine günstigere Variante. 22W ziehen beide zusammen? Komisch, werde heute nochmal mein System messen. Also ich hatte bisher immer so 60W im idle bei untenstehender Konfiguration. Habe das System allerdings noch nicht ohne Controller gemessen. Grob überschlagen komme ich aber schon auf 20W für den Controller.

Hast du dir denn schon überlegt, wo du die 28 Platten unterbringen willst, wobei es ja letztlich auch "nur" 24 interne Anschlüsse sind und du den externen ggf. nach intern umleiten müsstest? Bandbreitenmäßig sollte das ja bei 2,4GB/s kein Problem sein, auch bei 28 Platten nicht, sofern es keine SSDs sind. Wie kommst du eig. auf 32 Platten? Es sind 2x Mini-SAS für den Controlleranschluss reserviert (4,8GB/s Bandbreite). Was mich halt nur stören würde, wäre der zusätzliche Verbrauch und ich vermute mal auch nicht, dass du geich 28 Platten einbauen willst bzw. das innerhalb der nächsten 2-3 Jahre tun wirst.

Übrigens hat mich beim Durchlesen des Datenblatts folgendes etwas gewundert: Maximum Logical Drive Capacity: 14 TB using 14, 1TB SATA drives in RAID 0. Wenn das jetzt heißt, dass du da auf 14TB gesamt beschränkt wärst, wäre das ein ziemlich dicker Hund. Insofern kannst du da nur hoffen, dass das durch eine Firmware inzwischen hinfällig worden ist. Andernfalls wäre das ein Grund, warum der Expander so günstig ist. Das ist mir bisher auch noch nicht so bewusst geworden.

Also den 9260 solltest du auf jeden Fall aktiv kühlen. Beim Expander weiß ich es nicht, aber wenn der ähnlich warm wird, auch. Habe auch auf allen meinen Controllern einen Lüfter drauf, und zwar den 40x40x20er von Silenx. Bei 75%-Einstellung im Bios hört man den nicht mehr und die Temperatur ist auf ca. 45°C von geschätzten 70°C. Das Teil kostet zwar n 10er, aber sonst bekommt man bei der Größe keine Flüssigkeitslagerung. Leider kann man die Temperatur, bis auf der der BBU nirgends einsehen. Befestigt habe ich die Lüfter mit diesen ummantelten Kabelbindern mit Drahtkern, also unbedingt den Mantel kontrollieren, da es sonst zu Kurzen kommen kann.

Sodele, werde mich mal ans Umbauen machen...

 

[Bluesky09]

Eigentlich wollte ich nur zunächst mal 8 HDD's einbauen. Allerdings wollte ich die später erweitern auf evtl. 16. Na so habe ich jetzt Platz nach oben Habe im Moment nur einen Midi Tower. Da gehen so 9 HDD + SDD rein. Aber ich wollte halt nicht das Risiko eingehen später alle Daten irgendwo zwischen zulagern wenn man vergrößern möchte. Nen zweiter Controller kostet auch wieder....
Evtl. wird ja aus meinem Teil so was >>> kennst Du den: SAS Expanders, Build Your Own Cheap JBOD DAS/ SAS Enclosure | ServeTheHome.com
Und es gibt ja auch noch andere Backplanes. Der Expander hat ja einen externen Anschluß.


Die Expander Karte sieht so aus: HP SAS Expander - Storageforum
Meinst Du da bekomme ich soeinen Lüfter wie bei Dir drauf.

Bei den 14 TB bin ich auch hängen geblieben aber das gilt wohl nur für den bestimmten Proliant Server. Andere user haben da schon deutlich mehr mit gemacht. Wenn du den Link oben anschaust, da kannst du sehen wo die Reise hingeht, wenn man will.

Das mit dem Lüfter werde ich noch überlegen, aber die Idee ist gut, muss man halt nur fesbekommen. Z_.Zt. habe ich erstaml den 14cm Fan in die Seitenwand gebaut. Mal sehen ob es reicht.

Hoffentlich sind die Kabel bald da!!!!

Viel Spass beim Basteln.


Edit: Muß noch irgendwie rausbekommen welche Firmware auf dem Expander ist und ggf. flashen. Das schein aber nicht so einfach zu sein... Hat jemand einen Tipp dafür?

Edit 2:
Juhuu er hat die neuste Firmware, eine Sorge weniger!

 

[andichen]

Sooo...joa, ich habe erst mal auf insgesamt 22 Platten + 2 SSDs für das große Gehäuse geplant. Davon gehen dann wahrscheinlich 5-6 Platten für die Parität drauf, also käme ich dann auf ca. 32 TB netto bei 2TB-Platten, was eig. erst mal reichen sollte/müsste/könnte... Gehäusemäßig werde ich da aber auch ein bisschen basteln müssen. Habe mir da aber schon was ausgedacht...

Also auf den Expander könntest du evtl. sogar einen 60er Lüfter schnallen. Der Kühlkörper scheint mir groß genug. Musste mal schauen, ob du da was leises findest. Ansonsten würde auch ein 40er zu befestigen gehen. Musst du nur entsprechend lange Binder haben.

Übrigens funktioniert der manuelle Spindown/-up und das Hotswap beim 9260. Das war aber nur zum Test eine "alte" SP1614C von Samsung. Irgendwie kann ich aber die Zeit im fürs Spindown im Storage Manager nicht ändern. Die bleibt iwie auf den standardmäßigen 30 min. Die Änderung wird nicht übernommen. Muss ich nochmal schauen, ob das evtl. an iwelchen Rechten liegt... Könnte natürlich auch ne halbe Std. warten und mal was essen...

 

[Bluesky09]

Habe gestern leider kein Zeit mehr gehabt, leider.
Heute habe ich auch erstmal einige Dinge umgebaut damit das ganze halbwegs Hand und Fuß hat. Habe erstmal 3 Platten angeschlossen (an den Extender). Sehen kann ich den Expander im Windows im LSI Manager, aber sonst weiter nichts. Ich komme nicht in das WebBios (CTRL+H) um den konfigurieren. Das ist glaube ich der erste Schritt, oder?
Im mobo Bios kommt auch kein Eintrag in Bezug auf Boot sequenz. Was muß ich da einstellen, damit das läuft? Any Ideas? Oder geht das im Windows?

EDIT: habe das versucht mit USB u. PS2 Tastatur.

 

[andichen]

Also eigentlich kannst du auch alles über den Storage Manager konfigurieren, aber mit der Tastenkombi musst du auch ins Bootmenü kommen, wenn das Controllerbios beim Booten die Möglichkeit anbietet. Dazu musst du nicht mal den Controller als Bootgerät im Bios eingestellt haben, da er in jedem Fall bootet, sofern er ordnungsgemäß eingesteckt und erkannt worden ist.

Kannst du sonst eigentlich am Expander noch irgendwas konfigurieren...?

Hab übrigens noch vor dem WE meine Testplatten bekommen. Habe jetzt mal ein Raid 5 aus 3x WD20EARS eingerichtet und lasse es gerade voll initialisieren. Gestartet habe ich gestern gegen 17 Uhr und jetzt ist es schon bei 72%, also geschätzt anderthalb Tage für 6TB netto. Ist eig. ganz i.O., obwohl es ja auch nicht die schnellsten Platten sind.

Was die Spindown-Zeit betrifft, so sind 30 Minuten übrigens das Minimum, was man einstellen kann. Daher ist das klar, warum der keinen kleineren Wert als Einstellung übernommen hat...

 

[_Creep]

Meine 8xHD154UI haben am Perc 5i 7h 28min gebraucht

 

[Bluesky09]

Ich habe den Expander wieder rausgeschmissen. Nur den Controller drin. Der erkennt die Drives nicht. Habe 3 x HADD angeschlossen zum Test. Gibt es da nen Trick? Sind die Drives evtl. nicht kompatibel?

Ich habe WD 2TB AV-GP 2000GB, 32MB Cache, SATA II (WD20EVDS). Ich hoffe die gehen?
Gibt es ne Kompatibilitätsliste?

Edit: kann es sein, dass die Kabel evtl. nicht gehen? Ich habe Mini SAS (SFF8087 an 4 x SATA)

 

[andichen]

Hmm...das ist natürlich blöd. Auf der Kompatibilitätsliste von dem Teil stehen natürlich nur HP-HDDs. Hast du vielleicht noch andere Platten da, die du mal testweise anschließen könntest? Wird denn der Expander überhaupt vom LSI korrekt erkannt?

 

[Bluesky09]

Nachdem da irgendwie garnichts ging. Auch nicht "nur" am LSI Controller, habe ich erstmal alle Bios Einstellungen durch gemacht, Steckplätze getauscht, etc. Nichts.
Ich habe mir dann die Kabel mal genauer angeschaut. Und siehe da..... Host to Bakplane Kabel steht im Lieferschein. Dabei hatte ich vorher noch mit denen telefoniert. Ich wollte eines von den zusätzlich bestellen (zum Testen) aber nach Telefonat mit dem Techniker haben die solche Kabel wohl nicht (der kannte nur die andere Variante). Da ist wohl einiges Schief gelaufen. Muß jetzt neue Kabel ordern. Die PC-Shops bei mir haben so was nicht oder sündhaft teuer. Also warten bis Morgen, mindestens.

Übrigens habe ich am Samstag den von Dir empfohlenen Lüfter besorgt (2x). Der ist echt klasse, wenn auch etwas dick. Hätte nicht gedacht das der so leise sein kann. Die werde ich aber erst installieren wenn der Rest funktioniert.

 

[orpheus88]

Also ich würde lieber einen großen Lüfter in die Seitenwand installieren (hab ich bei mir, wie in den meisten anderen Konfigs die ich kenne, auch so), so bekommst du kühlere Frischluft und die Lüfter können langsamer (leiser) drehen bei gleichem oder besseren Luftdurchsatz, diese ganz kleinen Lüfter sind da sehr ineffektiv zumal die Luft da nicht weg kann.

 

[Bluesky09]

Also die Kabel sind gekommen. Habs gleich mal angesteckt. Die Platten werden erkannt. Soweit so gut.

Allerdings wenn ich die Platten an den Controller stecke kann ich gut konfigurieren (habs mal mit 3 HD ausprobiert). Wenn ich dann das ganze mit Expander versuche wirds interessant. Er erkennt auch alle 3 HD's, allerdings egal wie ich die Stecke, eine HD von den drein hat immer eine gleiche ID von einer der anderen beiden. Damit kann man dann nur die 2 HD'S in konfigurieren die unterschiedliche ID's haben.

?? Any ideas?

Edit: Ach ja, wenn ich die HD's am Controller angesteckt hab, dann tauchen die auf unter einem Punkt der Backplane heißt. ist das richtig? Sonst beim Enclosure.

---------- Beitrag hinzugefügt um 14:38 ---------- Vorheriger Beitrag war um 12:56 ----------

Ich glaube ich habe ein Treiber Problem.

Bei Booten sehe ich die richtigen ID's (alle unterschiedlich). Allerdings dann in Windows (im Storage Manager), habe ich eine ID (immer die letzte und die erste) die mit einer anderen gleich ist. Das ist bei 3 als auch bei 4 Drives gleich.

 

[andichen]

Also bei mir siehts so aus, wie unten auf dem Bild. Alle HDDs sind direkt am Controller. Welche Firmware/Treiber/Storage Manager-Kombi hast du drauf? Ich hab den Treiber "4.24.064" drauf. Alles andere kannste ja im Storage Manager sehen. Habe auch schon überlegt, ob ich mal die Firmware aktualisiere, aber da warte ich wohl doch lieber noch etwas...

 

[Bluesky09]

Wenn ich die HD's direkt dranhänge, dann ist das bei mir auch so. Passen halt nur 4 HD's dran.
Habe den neusten Treiber und Firmware drauf (4.31.1.64 StorageM / 12.11.0-0016 Firmware). direkt von der LSI Seite. Extra gestern auch noch mal den Storagemanager runter geschmissen und neu installiert. Das Gleiche.

Ich habe mir aber einen workaround überlegt, der könnte funktionieren. Das muss ich heute mal ausprobieren. Ausserdem habe ich mit LSI gesprochen. Die wollen mich am liebsten zu HP schicken. Mal sehen was da raus kommt. Werde evtl. auch nochmal versuchen mit HP zu reden.

 

[andichen]

Tse, sowas...das kann ja dann wirklich fast nur noch an Firmware/Treiber liegen. Der 4er sollte ja nun wirklich nicht anders sein als der 8er. Muss ich doch gleich mal schauen, ob ich die alte Firmware/Treiber noch irgendwo habe. Nicht, dass ich die nicht mehr bekomme und mein 2. Controller dann nicht mehr funzt. Da habe ich nämlich noch eine ganz alte Firmware drauf.

Also eigentlich kannst du das Thema bei beiden ansprechen. Natürlich wird das keiner gerne beantworten wollen bzw. sich darum kümmern wollen, weil das ja keine zertifizierten Platten sind. Da hilft wohl nur den hartnäckigen Max zu spielen...

 

[Bluesky09]

Bei HP habe ich angerufen. Die haben erst alles versucht, aber schlußendlich:
Bei HP können die nur die Kompatibilität mit HP Produkten gewährleisten und testen. >> Aus die Maus. Ich mache noch einen Versuch, weil die auch LSI 9260 vertreiben, aber die Hoffnung schwindet.

LSI hat noch einen Case offen und die bemühen sich auch. Aber erste Aussagen lauten: Andere Expander laufen, also ist das ein Kompatibilitätsproblem von HP.

Tse, sowas...das kann ja dann wirklich fast nur noch an Firmware/Treiber liegen. Der 4er sollte ja nun wirklich nicht anders sein als der 8er. Muss ich doch gleich mal schauen, ob ich die alte Firmware/Treiber noch irgendwo habe. Nicht, dass ich die nicht mehr bekomme und mein 2. Controller dann nicht mehr funzt. Da habe ich nämlich noch eine ganz alte Firmware drauf.

Versteh ich nicht?? Der Controller (4i, meiner) läuft mit der Firmware wenn ich die Drives direkt anschließe. Nur mit dem Expander gibt es ein problemchen. Welches Problemchen siehst du?

 

[andichen]

Achso, sorry, dann habe ich das falsch verstanden. Dachte, dass es mit und ohne Expander nicht geht. Dann muss es ja doch am Expander liegen. Es ist ja auch schon ziemlich erstaunlich, dass HP nur Laufwerke zertifiziert, wo auch HP draufsteht. Scheint doch ziemlich strikt zu sein...

 

[Bluesky09]

Die WD's laufen das ist nicht das Thema.

Meine Vermutung ist allerdings das im Storagemanager ein Bug ist und das nicht bei HP liegt.

Die Adressvergabe macht der Controller. Die Adressen werden richtig vergeben. Beim Booten kann man für jede einzelne HD eine einduetige ID sehen. Allerdings später dann im Windows, da ist im Storagemanager eine Platte nicht vorhanden. Dafür aber eine andere (immer die letzte ID) doppelt. Die nimmt den Platz der ersten und letzten HD (erste ID) ein. Ich habe schon spasshalber mal ne kleine SATA (als 9te HD, man hat ja genug ports ) reingeängt. Die wird dann überschrieben, die anderen 8 HD's sind ansprechbar. Toll nichtwahr???

Evtl. mach ich mir mal die Arbeit und installier mal Windows 32 bit und hau mal den Storagemanger dafür drauf. Mal sehen was passiert.

 

[andichen]

Hmm...das ist komisch. Was ist denn, wenn du zur Erstellung des Raids die 9. Platte drin lässt und danach rausnimmst? Passiert da was oder könntest du die Problematik so umgehen? Vielleicht auch mal eine andere Version vom Storage Manager probieren...?

 

[fanello]

Wegen deinen abfallenden Übertragungsraten, deaktiviere den Cache und stell Stripe und Cluster beide auf 64kb. Ich habe mit dieser Einstellung durchgehend ~105MB/s über das Netzwerk.