Adaptec RAID 6405/6445/6805

[Whistl0r]

Das Array ist bereits zerstört bzw. aufgelöst. Deshalb merkte ich an, dass eine Neuinstallation nicht schlimm ist.

...weil du es gelöscht hast, richtig?

- Firmware der SSD sind alle gleich.

Der Teil würde mir große Sorgen machen.

Ich weiß nicht wie sorgsam du verkabelt hast und so weiter, hier würde ich einmal überprüfen, ob wirklich alle Kabel in ihren Anschlüssen sitzen. Kontrolle ist immer gut
Dann wäre noch interessant, wenn er nur ein SSD erkennt, ob er es an allen Steckern erkennt... also wenn es derzeit an Channel 1 Port 0 hängt, mal an Channel 1 Port 1 anschließen bzw. ein Laufwerk was er nicht erkennt an den gleichen Anschluss hängen.

Werde die 18301 testen, sobald ich wieder Zuhause bin.

Das wäre aber nur eine Notlösung. Sollte damit alles wieder laufen, sollte die Sache recht klar sein. Dann nimmst du bitte Kontakt mit dem Adaptec-Support auf (unter Support Home Page registrieren, dann kannst du elektronisch Fragen stellen).

Was ich allerdings noch sicherstellen würde:
SSDs auf die aktuellste Firmware aktualisieren, anschließend auch den Controller noch einmal aktualisieren... wäre doch doof sich an den Support zu wenden, wenn das Problem längst behoben ist

Danke für den Downgrade-Hinweis. Gibt es einen Direktlink zu der Info?

Jaein: Grundsätzlich heißt es in diesem Falle Release Notes lesen. Wenn bspw. die Meta-Daten ein Update erfahren haben, womit die Vorgängerversion nicht umgehen kann, gäbe es bspw. einiges zu beachten... aber in deinem Falle, da alle Arrays offensichtlich nur Testarrays sind, nicht relevant.

Logisch einleuchtend kingt es im Nachhinein, dass er nur den letzten der 4 am Kabel initialisiert bekommt bzw. die SSDs an ID-00/-01/-02 sich nicht schnell genug zurückmelden.

Kann ich die "Erkennungszeit" für angeschlossenen Laufwerke irgendwo erhöhen?
Beim Bios gibt es einen Punkt, an dem ich die Zeit der IDE-Geräte auf 0 herabsetzen kann, was manchmal zu Problemen führt.

So eine Einstellung bei Adaptec ist mir nicht bekannt. Wenn diese Modelle da aber Probleme haben, sind sie nicht die optimale Wahl und fallen eher in die Kategorie "ungeeignet". Denn dann wirst du auch Spaß mit Kicks bekommen.

[PacMan88]

Hi

Ich stehe gerade vor der Anschaffung eines größeren Dateiservers der Primär als Datengrab und Backupserver eingesetzt werden soll. Als Controller soll es ein Adaptec 6x05 werden weil er Spindown unterstützt und mir ZMCP deutlich sympatischer ist als eine BBU (auf Dauer billiger, kein Datenverlust wenn länger als 3 Tage offline).

geplant ist entweder ein 6405 mit einem Supermicro SC846E16 oder ein 6805 mit einem SC846E26 - zu Beginn kommen vermutlich 4 Stk Ecogreen F4 mit 2TB im RAID5 hinein jedoch ist geplant dass der Speicher mit der Zeit wachsen wird (klar - wozu sonst 24 Slots).
a)Ich nehme an wenn man den 6405 nimmt sollten die RAID Stapel nicht größer werden als 4 Platten da ja sonst nicht auf alle Platten gleichzeitig zugegriffen werden kann? - bringt der 6805 da Vorteile?
b)Hat jemand Erfahrungen mit dem Adaptec unter Linux(Debian)? Vorwiegend CLI - der Server hat keine GUI
c)Wie sind die Erfahrungen mit Consumerplatten (insbesondere die Ecogreen F4) im RAID? TLER kann man bei denen meines Wissens nach nicht aktivieren.
d)Hat schon mal jemand ein RAID5 wachsen lassen? Also zB. von 4 auf 5 Platten. Wie lange dauert das etwa? Wie groß waren die Platten?
e)Gibt es irgendwelche Einschränkungen beim Erstellen mehrer RAID-Verbunde? zB ein RAID5 über 4 Platten und über 5 andere ein RAID6.
f)Wie erscheinen die Volumes für Linux? Als Partition oder Gerät?

Sorry sind doch mehr Fragen geworden als ich dachte - ich hoffe jemand kann mir mal weiterhelfen oder mich auf entsprechende Literatur verweisen.

lg
Alex

[worldoak]

Ich wollte auch was zum Thread beitragen:
Board: Asus P5E
Adaptec 6405
Festplatten: 4x Hitachi 7K3000 3TB

Raid 5 zu erstellen (4 Festplatten) hat ca. 6 Stunden gedauert.

Läuft seit ein paar Tagen stabil

Als Kühler wird ein Noiseblocker MX2 verwendet (Temp ca. 42C°)

[Nightshade78]

So ich gebe dann mal Rückmeldung;

Mit der alten Firmware werden wieder alle 4 SSDs gefunden.

Scheinbar melden sich die Samsung 830 nicht schnell genug / zu schnell zurück, so dass der Controller sie gar nicht erst initialisieren kann.

Ich habe die SSDs untereinander am Array getauscht und es wird immer nur die Letzte, sprich 03, erkannt.


Mal schauen, wie es weitergeht.

[Gordon_Freeman]

Hi

Ich stehe gerade vor der Anschaffung eines größeren Dateiservers der Primär als Datengrab und Backupserver eingesetzt werden soll. Als Controller soll es ein Adaptec 6x05 werden weil er Spindown unterstützt und mir ZMCP deutlich sympatischer ist als eine BBU (auf Dauer billiger, kein Datenverlust wenn länger als 3 Tage offline).

geplant ist entweder ein 6405 mit einem Supermicro SC846E16 oder ein 6805 mit einem SC846E26 - zu Beginn kommen vermutlich 4 Stk Ecogreen F4 mit 2TB im RAID5 hinein jedoch ist geplant dass der Speicher mit der Zeit wachsen wird (klar - wozu sonst 24 Slots).
a)Ich nehme an wenn man den 6405 nimmt sollten die RAID Stapel nicht größer werden als 4 Platten da ja sonst nicht auf alle Platten gleichzeitig zugegriffen werden kann? - bringt der 6805 da Vorteile?
b)Hat jemand Erfahrungen mit dem Adaptec unter Linux(Debian)? Vorwiegend CLI - der Server hat keine GUI
c)Wie sind die Erfahrungen mit Consumerplatten (insbesondere die Ecogreen F4) im RAID? TLER kann man bei denen meines Wissens nach nicht aktivieren.
d)Hat schon mal jemand ein RAID5 wachsen lassen? Also zB. von 4 auf 5 Platten. Wie lange dauert das etwa? Wie groß waren die Platten?
e)Gibt es irgendwelche Einschränkungen beim Erstellen mehrer RAID-Verbunde? zB ein RAID5 über 4 Platten und über 5 andere ein RAID6.
f)Wie erscheinen die Volumes für Linux? Als Partition oder Gerät?

Sorry sind doch mehr Fragen geworden als ich dachte - ich hoffe jemand kann mir mal weiterhelfen oder mich auf entsprechende Literatur verweisen.

lg
Alex

Hi, ich habe selber den Adaptec mit einigen SC846 und 847 Gehäusen im Einsatz.

Da Du in dem von Dir genannten Gehäuse einen SAS Expander in der Backplane integriert hat, kannst Du Arrays auch über alle (24) Platten bilden, und bist nicht auf 4 eingeschränkt beim 6405, er kann gleichzeitig auf alle 24 Platten zugreifen. Ich selber nutze z.B. mehrere Raid6 aus 24 Platten in genau der selben Config (Adaptec 6445, ein 24er Array im SC846E16, 2 weitere Arrays extern im SC847E16JBOD)

Das E26 Gehäuse kannst Du Dir sparen, das macht nur Sinn mit SAS Platten, die auch 2 Ports pro Dvice haben, und so z.B. Redundant an 2 Controlern betrieben werden können.

Das aufwachsen von Raid5 und Raid6 Arrays durch hinzufügen neuer Platten funktioniert, habe ich anfangs mal getestet. Allerdings würde ich das ganze persönlich produktiv nicht machen ohne ein Backup da Arrays zu haben, und dann kann man es gleich lieber neu builden.

Mehrere Arrays unterhiedlicher Art sind absolut kein Problem, Du kannst Dir den 6405 dann wie einen virtuellen 62405 vorstellen, für den Controler ist es egal, ob die Platten direkt an ihm hängen, oder am Expander.

Gruß

Adrian

[mugabemkomo]

Hat jemand schonmal die 6805Q und 6805TQ Versionen testen können? Die kosten bei meinem Händler nur 50€ mehr als wenn ich die 6805 + BBU kaufen würde.

[PacMan88]

Hi

Danke für deine Antwort

Da Du in dem von Dir genannten Gehäuse einen SAS Expander in der Backplane integriert hat, kannst Du Arrays auch über alle (24) Platten bilden, und bist nicht auf 4 eingeschränkt beim 6405, er kann gleichzeitig auf alle 24 Platten zugreifen. Ich selber nutze z.B. mehrere Raid6 aus 24 Platten in genau der selben Config (Adaptec 6445, ein 24er Array im SC846E16, 2 weitere Arrays extern im SC847E16JBOD)

Mir ist klar dass der Adaptec auf alle Platten zugreifen kann - doch mit 4 Kanälen kann doch auch nur auf 4 Platten ein Paraleller Zugriff erfolgen? Wenn mehr Platten gleichzeitig aktiv sein sollen müssen sich doch mehrere Platten einen Kanal teilen und folglich Operationen warten?

Das aufwachsen von Raid5 und Raid6 Arrays durch hinzufügen neuer Platten funktioniert, habe ich anfangs mal getestet. Allerdings würde ich das ganze persönlich produktiv nicht machen ohne ein Backup da Arrays zu haben, und dann kann man es gleich lieber neu builden.

Dass ein RAID ein Backup nicht ersetzt ist mir natürlich klar-dennoch hat das Wachsen einige Vorteile gegenüber neu anlegen und Backup einspielen. Vor allem dass das Array währenddessen verfügbar bleibt und nicht einen Tag offline ist.
Wie lange hat das wachsen bei dir gedauert? welche/wieviele Platten waren beteiligt?

Mehrere Arrays unterhiedlicher Art sind absolut kein Problem, Du kannst Dir den 6405 dann wie einen virtuellen 62405 vorstellen, für den Controler ist es egal, ob die Platten direkt an ihm hängen, oder am Expander.

Ich hatte noch nie einen HW-RAID Controller - bis jetzt lief alles mit mdadm. Bei mehreren Platten ( 8Stk ) am onboard Controller wird das aber eine sehr langsame Sache. Den 62405 kenne ich daher auch nur aus dem Adaptec Prospekt.
Wenn ich den Server nochmals erweitern möchte kann ich dann auch noch ein externe JBOD Gehäuse an den Expander anschließen? oder brauche ich zwingend den 6445?

Aja eine Frage noch: hat der 6805 (415€) mit ZMCP-Modul(150€) irgendwelche Nachteile dem 5805Z (650€) gegenüber? Soweit ich sehe ist der 6xx5 einfach der schnellere Nachfolger - warum ist er dann billiger?

lg
alex

[Gordon_Freeman]

Hi,

da SAS und SATA seriell arbeiten, werden die 4 Kanäle einfach zu einer Gesamtbandbreite zusammengefasst, über die dann Befehle und Daten zum Expander übertragen werden, von dort gehts mit je einem Kanal witer zu den einzelnen Laufwerken. Auch einem 8kanal Controler steht da nicht mehr Bandbreite zur Verfügung. (bei 4x 600 MB/s in Deinem Fall auch genug Bandbreite). Nix mit Parallel! :-)

Das erweitern von Arrays hatte ich nur so mal getestet, Zeiten habe ich da nicht mehr. Mir ist es wie gesagt zu kritisch Arrays zu erweitern auf denen Daten liegen, also lasse ich es.

Die Geschwindigkeiten, die Du mit einem HW Controler wie dem Adaptec erreichst, sind nicht mit dem onboard Softraid zu verleichen, sie sind um ein vielfaches höher, bei Raid5/6, da mach Dir mal keine Sorgen.

Die Expanderbackplane des SC846 hat einen 4kanal Ausgang, an den dann weitere Expander z.b. in den JBOD Gehäusen (SC847E16JBOD z.B.) angeschlossen werden können. Ein 6405 würde also auch bei einer geplanten späteren Erweiterung reichen.

Wenn Du neu kaufst, nimm heute gleich den 6er Controler, die 5er lohnen ich nur noch günstig gebraucht zu kaufen.

Gruß

Adrian

[PacMan88]

da SAS und SATA seriell arbeiten, werden die 4 Kanäle einfach zu einer Gesamtbandbreite zusammengefasst, über die dann Befehle und Daten zum Expander übertragen werden, von dort gehts mit je einem Kanal witer zu den einzelnen Laufwerken. Auch einem 8kanal Controler steht da nicht mehr Bandbreite zur Verfügung. (bei 4x 600 MB/s in Deinem Fall auch genug Bandbreite). Nix mit Parallel! :-)

Das bedeutet dass die Expander also nicht einen Kanal an eine Platte schalten sondern nur einzelne Pakete weiterleiten? Nur aus Interesse an der Sache: gibt es irgenwo einen guten Artikel zur genauen Funktion von SAS bzw. SAS Expandern?
Würden dann aber nicht trotzdem 8 Kanäle eine höhere Bandbreite(8x600MB/s=4800MB/s) bringen? bzw. sollte ein 6445 mit einem Port ans interne und einem ans externe Gehäuse bessere Performance bringen als ein 6405 und das externe an den Ausgang vom internen Expander?

Wenn Du neu kaufst, nimm heute gleich den 6er Controler, die 5er lohnen ich nur noch günstig gebraucht zu kaufen.

hatte ich auch vor-mich macht nur skeptisch dass der 6er nicht nur kaum teurer sondern sogar billiger ist als der 5er. Daher dachte ich hätte evtl etwas übersehen.

lg
Alex

[Gordon_Freeman]

Theoretisch hast Du recht, es gibt z.B. auch Expanderkarten von HP und Intel, wo man mehr als einmal SFF8087 als Eingang nutzen kann. Allerding müssen die Daten ja auchirgendwo hin weitergeleitet, oder verarbeitet werden da liegt dann eher der Flaschenhals. Mit schnellen SSDs sollte es ggfls. möglich sein, die 2400 MB/s zu überschreiten, mit Festplatten eher nicht.

Wir setzen hier diese Config ein, um Storage Server über 20 GBit/s ans Netz anzubinden, dabei sind jeweils 2 Expander kaskadiert an jedem Port der Adaptecs angeschlossen (je ein SC847E16JBOD pro Port). Mehr als 2 mag ich im Produktivbetrieb nicht kaskadieren, um die Fehlerquellen gering zu halten, lieber ein paar Controler mehr ins System stecken.

Gruß

Adrian

P.S. Das hier gerade noch gefunden:

http://www.thomas-krenn.com/de/wiki/SAS_Expander

[Mnn556]

Hallo, habe nun 12 Seiten überflogen aber keine hilfe zu meinem Problem finden können.

Es geht um folgendes... bis vor kurzem habe ich 4 Sata3 SSDs von der Firma mushkin onboard an zwei Sata3 ports und zwei Sata2 ports betrieben damit waren im raid 0 ca 1200 mb/s lesen 1000 mb/s schreiben möglich (vorallem mit HD tune gemessen) dazu hatte ich eine Verzögerung von 0,1 ms.
Nun dacht ich mir, ich nutze die Platten komplett aus und bestelle mir einen Controller der 4x Sata3 hat.
Gesagt getan, die wahl fiel demnach auf den 6405 von Adaptec.
Controller eingebaut an einem Pcie 2.0 16x slot und die 4 SSDs angeschlossen.
Raid 0 eingestellt mit Strip size von 128kb Caching für write und read an und direkt mal Windows drauf gehauen, was erstaunlich lange gedauert hat. Mit Programmen wie HDtune und CDM gemessen und siehe da ich komme nicht über 350 mb/s lesen und 300mb/s schreiben.
Habe nun verschiedene Strip size durchgetestet von 32kb - 256kb... es ändert sich nichts.
Controler wechsel auf einen PCIe 3.0 slot hat auch nichts gebracht.
Rumgefummel im Controlersetup hat auch nichts gebracht.
Firmware update und Treiberupdate haben nichts bewirken können.
Solo SSD am Controller erreicht Geschwindigkeiten von 100 mb/s lesen und schreiben.
Mehr als ca 30C wird der Controller nicht, steht nen dicker 14cmx14cm Lüfter davor
evtl jemand eine Idee woran das alles liegen kann?

Restlicher PC besteht aus:
MSI Big Bang Xpower II
Intel Core i7 X3960 @3,9 Ghz
Nvidia GTX 480
16 gb Ram 9-10-9-27 bei 1,922 Ghz
6405 Raid Controller mit 4 SSDs

[chillout_andi]

Hast du schonmal bei Adaptec selbst angerufen oder angeschrieben? Der Controller ist ja sogar zertifiziert für den Betrieb mit SSD's.

[Mnn556]

Ja ich habe mich schon schriftlich an Adaptec gewendet, auch mit den Dateien von dem Storage Manager. Leider gab es hier noch keine Antwort von Adaptec.

[Markus1984]

Hallo, habe nun 12 Seiten überflogen aber keine hilfe zu meinem Problem finden können.

Es geht um folgendes... bis vor kurzem habe ich 4 Sata3 SSDs von der Firma mushkin onboard an zwei Sata3 ports und zwei Sata2 ports betrieben damit waren im raid 0 ca 1200 mb/s lesen 1000 mb/s schreiben möglich (vorallem mit HD tune gemessen) dazu hatte ich eine Verzögerung von 0,1 ms.
Nun dacht ich mir, ich nutze die Platten komplett aus und bestelle mir einen Controller der 4x Sata3 hat.
Gesagt getan, die wahl fiel demnach auf den 6405 von Adaptec.
Controller eingebaut an einem Pcie 2.0 16x slot und die 4 SSDs angeschlossen.
Raid 0 eingestellt mit Strip size von 128kb Caching für write und read an und direkt mal Windows drauf gehauen, was erstaunlich lange gedauert hat. Mit Programmen wie HDtune und CDM gemessen und siehe da ich komme nicht über 350 mb/s lesen und 300mb/s schreiben.
Habe nun verschiedene Strip size durchgetestet von 32kb - 256kb... es ändert sich nichts.
Controler wechsel auf einen PCIe 3.0 slot hat auch nichts gebracht.
Rumgefummel im Controlersetup hat auch nichts gebracht.
Firmware update und Treiberupdate haben nichts bewirken können.
Solo SSD am Controller erreicht Geschwindigkeiten von 100 mb/s lesen und schreiben.
Mehr als ca 30C wird der Controller nicht, steht nen dicker 14cmx14cm Lüfter davor
evtl jemand eine Idee woran das alles liegen kann?

Restlicher PC besteht aus:
MSI Big Bang Xpower II
Intel Core i7 X3960 @3,9 Ghz
Nvidia GTX 480
16 gb Ram 9-10-9-27 bei 1,922 Ghz
6405 Raid Controller mit 4 SSDs

So erstmal nen netten Rechner hast du da
Bitte Poste mal deine Einstellungen am besten als Bilder. Am besten auch wie du dein Raid erstellt hast. Im Windows? oder über das interface vor dem pc start. Alles vom Anfang an.

[andichen]

Wahrscheinlich ist die Grafikkarte zu langsam... Spaß beiseite... Also so wie es aussieht, hast du ja schon so ziemlich alles unternommen. Viel mehr fällt mir da auch nicht ein, außer, dass sich die SSDs nicht mit dem Adaptec vertragen. Könnte ein "Luxusproblem" sein... Na mal sehen, was Adaptec dazu sagt...

[Mnn556]

sooo...hoffe das mit den Bildern klappt...
Controller einstellungen.jpg
Controller einstellungen / Standart
Array einrichten...
Array einrichten 3.jpg
Array einrichten 4.jpg
Array einrichten 5.jpg
benchmark nach dem formatieren...
benchmark.JPG

[andichen]

Hehe...der HDT-Bench sieht ja fast aus wie eine Sinus-Kurve. Weil da was von "Quick Init" steht... "Full Init" hast du schon probiert..?

[Mnn556]

Im Raid0 gibt es nur Quick Init und Skip Init... beides bewirkt keinen unterschied

[Markus1984]

Ich könnte mir auch gut vorstellen das das nagelneue Board Probleme macht mit dem Raid Controller.

[andichen]

Ich könnte mir auch gut vorstellen das das nagelneue Board Probleme macht mit dem Raid Controller.

Wo wir wieder beim "Luxusproblem" wären... Könnte durchaus sein, dass es irgendwo eine Kinderkrankheit ist. Hast du evtl. noch ein etwas älteres System zur Hand, womit du evtl. Probleme zwischen Controller und SSDs ausschließen könntest..?

[Mnn556]

ja,ich guck mal was ich finde

---------- Post added at 14:28 ---------- Previous post was at 12:22 ----------

auch auf einem alten board mit PCIe 2.0 8x slot ... 300 mb/s ... daran liegts anscheinend nicht

[Digi-Quick]

Init und Konsitenzprüfung sind durch? (sollte man zumindestens annehmen nach mittlerweile über 24h und schnellen SSDs - sofern der Rechner durchlief)

[Mnn556]

ja, soweit ich weiss würde dann auch nicht optimal da stehen.

[Markus1984]

Init und Konsitenzprüfung sind durch? (sollte man zumindestens annehmen nach mittlerweile über 24h und schnellen SSDs - sofern der Rechner durchlief)

Bei Raid0 dauert das nur paar Sekunden nicht wie bei einem Raid5 oder ähnliches

---------- Post added at 19:23 ---------- Previous post was at 19:20 ----------

ja,ich guck mal was ich finde

---------- Post added at 14:28 ---------- Previous post was at 12:22 ----------

auch auf einem alten board mit PCIe 2.0 8x slot ... 300 mb/s ... daran liegts anscheinend nicht

Support Home Page

Hast du da mal dein Problem geschilder oder direkt per email an Adaptec ?

[Mnn556]

ja genau da, habe entzwischen auch eine Antwort erhalten.
Laut Adaptec läuft der Controller nur über 1 Lane,anstatt auf 8... ziemlich komisch, gerade wenn es auf 2 Boards der Fall ist. Werde mir das ganze mal angucken, evtl kann man ja den Slot zum 8fach zwingen...

---------- Post added 11.02.12 at 00:57 ---------- Previous post was 10.02.12 at 21:31 ----------

mhhh, hab nun alles durch... hab selbst den Controller über die Grafikkarte eingebaut... immer nur die gleiche Datenrate... werd ihn morgen zurückschicken... ich danke dennoch für die hilfe die ich hier bekommen habe. :>