Raid 6 für Filmschnitt und Film und Datenpool

[test2345]

Hello,

ich habe schon ziemlich viel recherchiert, bin jetzt aber etwas ratlos.

Geplannt ist ein Raid 6 mit 4-6x 4tb wd reds um ein laufwerk zu haben, wo sowohl geschnitten & color correction betrieben wird als auch als Datengrab für fertige Film, Rohmaterial etc.

Ich habe eine Asrock z77 Pro4, das hat nur einen pcie3 x16 slot und sonst noch einen pcie2 slot. Alledings habe ich noch ne Sandybridge cpu, geht also nur pcie 2:

- 1 x PCI Express 3.0 x16 slot (PCIE2: x16 mode)
(see CAUTION 4)
* PCIE 3.0 is only supported with Intel® Ivy Bridge CPU. With Intel® Sandy Bridge CPU, it only supports PCIE 2.0.
- 1 x PCI Express 2.0 x16 slot (PCIE3: x4 mode)
- 1 x PCI Express 2.0 x 1 slot
- 3 x PCI slots

Ich dachte an den LSI 9361-8i Controller, bin mir aber nicht sicher, ob der überhaupt geeignet ist, da der ja eigentlich eine pcie 3.0 x8 Karte ist. Aber irgendwo stand, dass das ja abwärtskompatibel ist.

Allerdings hängt an meinem pcie3 schon eine gtx 650. bleibt also nur noch der pcie2 mit 4x (aber als 16xslot, habe ich das richtig verstanden?!?)

Macht das alles jetzt überhaupt noch Sinn, sprich kann ich ein RAid 6 mit bis zu 8 Festplatten leistungsmässig so überhaupt ausnutzen?
Und kann ich den 9361 in den s3 sleep bekommen oder zumindest die festplatten bei nichtbenutzen downspinnen
Und geht bei windows 8 per fastboot das schnelle hochbooten?
Oder sollte ich generell eine günstigere Karte nehmen, die das auch alles kann? (Bei mir gehts ja nur um hohe leserate bei großen Dateien)

Ihr seht Fragen über Fragen, je länger man recherchiert (mit meinem Halbwissen) wirds immer schlimmer ;-)

Ich bin dankbar über jede erbarmende Antwort!

Jakob

 

[Snipa]

Wieviel Platz brauchst du überhaupt? 4x4TB=8TB und 6x4TB=16TB bei RAID6. Isn Faktor von 2.

Und schon mal überlegt, die GraKa in einen anderen Slot zu tun und den Raidcontroller in den primären PCI-E-Slot, damit dieser nicht zuwenig Lanes bekommt? Läuft die GraKa überhaupt mit weniger Lanes?

Ich hab meine GraKa in den 3. Slot getan, weil sie sonst mit dem CPU-Cooler kollidieren würde. Danke Noctua für deinen Sockel 2011 Edition Cooler :P

 

[Berlinrider]

Bei RAID 6 würde ich nicht auf XOR Einheit und RAM verzichten wollen. Das ändert zwar an der Lesegeschwindigkeit kaum etwas, aber massiv an der Schreibgeschwindigkeit. Da halte ich den Controller schon prinzipiell für die richtige Wahl.

mit 4x (aber als 16xslot, habe ich das richtig verstanden?!?)

4x elektrisch, aber mechanisch kompatibel zu 16x Karten.

Rein von der Spezifikation her sollte 4x PCIE 2.0 vom Speed bei einem RAID 6 dieser Platten ausreichen.

 

[test2345]

vielen Dank Euch für die Antwort.

ja eigentlich hätte ich schon fast so einen alten Adaptec Controller (5805 oder der 31205 bei ebay für ca 100- 150€) gekauft, bis ich gesehen habe, dass die nicht uefi Mainboard kompatibel sind.
Das dürfte also nicht gehen.

Der Highpoint Rocketraid 2720SGL soll ja wirklich schnell sein bei RAid 5 und 6, aber irgendwie vertraue ich dem SoftwareRaid nicht so ganz und es wäre be aktuellen Filmprojekten schon wichtig, dass das läuft.
Zur Größenfrage: ich habe an min. 10tb gedacht und in Zukunft vielleicht auch mehr, entweder erst mal 5x4tb als raid 5 oder eben gleich ein 6x4tb raid 6. Irgendsowas wirds werden.

Die Grafikkarte an den 4x elektrischen Slot zu nehmen ist eine gute Idee, aber ich hab keine Ahnung ob das erstens geht (Ist eine Zotac GTX 650) und zweitens ob ich dann noch die Mercury Engine in Adobe Premiere CC nutzen kann (das ist der einzige Nutzen der Grafikkarte bei mir, da ich sonst auch die onboards Grafik nehme). Aber schlimmstenfalls verzichte ich auf die Grafikkarte oder zumindest auf die Mercury Engine, ich brauche das nicht so dringend.

Aber es scheint ja auch der PCIE 2 x4 auszureichen von der Speed be Raid 6. Nur geht das überhaupt, den Raid Controller, der PCIE 3 x8 ist, in einen PCIE 2 x4 zu stecken? Müsste ja eigentlich kompatibel sein. Aber stellt sich nicht doch am Schluss der LSI quer?

Wisst ihr den vielleicht auch noch, wie es mit dem fastboot von win 8 steht, geht das? Und s3?

Oder soll ich doch einfach diesen Rocketraid nehmen? Ich spiele ja auf die Festplatte nur einmal die Filmdaten auf. Im Schnitt habe ich dann ein extra Cache und Renderlaufwerk. Das Raid 5/6 würde als eigentlich fast nur lesen. Filmdateien sind zwischen min. 100mb und max 4gb groß.
Aber wäre der Rocketraid auch halbwegs sicher?

 

[butcher1de]

@test2345 ein Adaptec 52445 läuft einwandfrei unter Windows 8.1/Server 2012 R2 und einem Asrock Z77 Extreme (UEFI Board). An diese Serie kommt man auch recht günstig, ich würde mir kein Fake Raid in den Rechner bauen.

 

[test2345]

@butcher1de vielen Dank, super Controller!! Per ebay aber zumindest gerade doch schon etwas teuer und nur über Ausland mit Zoll etc.
Ich bekomme bei Neukauf auch noch die mwst wieder.
Hab jetzt einen lsi 9260 8i für 200€ gefunden. Hat halt kein Cache Vault (was ja auf Dauer günstiger als Batterie ist, oder brauche ich das gar nicht, wenn ich die mir weniger wichtigen Schreibwerte auf "konservativ" stelle?), aber ansonsten dürfte das ja auch dicke reichen.
Was ich super finde wäre online capacity extension, aber das könnten beide LSI Controller.

Was meint ihr? Oder doch den 9361 8i für 450€? Der hat 12gb, ich weiß allerdings nichtmal so richtig was das genau ist und ob ich es brauche. Aber vielleicht für später mit einem Expander?? Oder reicht da auch der 9260 mit z.b. einem HP SAS Expander?

Ok Fake Raid ist gestorben, das verstehe ich.

Aber vielleicht ein Software Snapraid? kann man damit auch sagen wir mal 500mb/s im Raid 6 hinbekommen? Ist das genauso sicher?

Danke Danke für weitere Antworten, ich hoffe ich nerve nicht zu sehr!

 

[butcher1de]

Ich meinte damit auch nur das diese Controller Serie sauber läuft. Den gibt es natürlich auch mit weniger Ports, aber wenn du eh neu kaufen willst, dann wäre

ein aktueller Controller natürlich besser. Mit dem 9361 8i machst du sicher nichts verkehrt, allerdings hat der halt nur 8 native Ports und dann musst du mit Expandern arbeiten.

Ob man jetzt den unterschied zwischen 3g/6g/12g bei 6 + Festplatten ohne Expander merkt kann ich nicht beurteilen. Neuere Controller sollten die Leistungsfähigere Hardware haben.

Falls dir 8 Ports auf dauer langen ist der natürlich Top. Allerdings habe ich gerade einmal ebay geschaut, und teuer finde ich das jetzt wenn man bedenkt das ja auch schon 6x4 Kabel dabei sind. Adaptec ASR-52445 28-port SAS RAID Controller 24x Internal +4x External Ports | eBay

ob jetzt eine BBU verbaut ist müsstest du allerdings nachfragen.

 

[test2345]

verstehe, danke für die Info.
Ja ich finde den Preis auch gut für den Controller, nur werde ich in den nächsten Jahren nicht über 8 Ports benötigen und bis dahin ist es sinloss soviele Ports zu haben. Und dann kann ich immer noch einen Expander kaufen. Ich denke der neue 9361 8i ist gut, weil er halt noch Garantie hat, sicherliche länger Support, sollte er mal abrauchen und da es ein Neukauf ist bekomme ich 19% MwSt zurück. Ausserdem ist der neue lsi sicher im Rebuild schneller und kann die Festplatten bei defekt besser analysieren (steht zumindest so da, wird aber nicht erklärt ;-))

Aber Danke Dir für den Tip, ich hätte ihn fast genommen.

 

[butcher1de]

Japp nimm den LSI das passt auf jeden Fall.

 

[Shiga]

@test2345 ein Adaptec 52445 läuft einwandfrei unter Windows 8.1/Server 2012 R2 und einem Asrock Z77 Extreme (UEFI Board). An diese Serie kommt man auch recht günstig, ich würde mir kein Fake Raid in den Rechner bauen.

Anhang anzeigen 285390

Und ich würde mir keinen Raidcontroller in den PC bauen.
Bei den heutigen Copy-On-Write DAteisystemen ist dies unnötig,
zumindest solange man auf Windows verzichten kann.

 

[test2345]

Ja es heißt ja immer häufiger, zfs und co sind besser und Snapraid sieht z.b. auch sehr gut aus.
Nur ich brauche für den Filmschnitt einen Datenpool der sagen wir mal min. 500mb/sec lesen kann.
Das geht doch noch nicht Software seitig, oder?

 

[Digi-Quick]

Unter Windows gibt es (noch) kein brauchbares COW Filesystem, ReFS ist noch in der Entwicklungs- / Erprobungsphase und wird (noch) nicht für Produktiveinsatz empfohlen.
Somit bliebe also nur Linux, FreeBSD, Oracle und deren Derivate über Netzwerk. Um da 500MB/s zu übertragen braucht man da schon 10GbE. Bei GBit ist bei ca.110-120 MB/s Schluss.

Ausserhalb von Windows gibt es durchaus SoftwareRaids (z.B. LVM, ZFS etc.) die Geschwindigkeitstechnisch mit Hardwarecontrollern mithalten können

 

[RonnyE]

Kurze Anmerkung von mir: Achte darauf, dass der Controller Platten > 2 TB unterstützt. Nicht alle LSI-Controller können das. Insbesondere bei den 3 Gbit/s SAS/SATA-Controllern. DIe 6 Gbit/s-Kontroller können aber alle Platten > 2 TB.

 

[test2345]

Danke, mitlerweile ist der 9361i8 eingetroffen. Nut leider sind meine bestellten wd red 4tb Platten OEMs. Also zurück damit.
Ich planne jetzt erstmal ein raid 5 mit 4x 4tb um dann per migration auf raid 6 mit 6x 4tb zu gehen.
Das ist doch ohne Probleme möglich oder?
Allerdings initialisiert gerade der Controller ein Raid 0 mit zwei wd red 4tb und ist seit einer Stunde auf 0%
Das ist doch komisch oder? Hoffentlich mag der 9361i8 die wd red 4tbs, man weiß ja nie ;-)

Ansonsten läuft er jetzt wunderbar auch auf dem pcie 2.0 x4. Grafikkarte konnte also bleiben.

Meint ihr ich sollte auf jedenfall das Cache Vault nehmen, damit ich das schnelle Schreiben habe, oder reicht es auch so. Wenn dann werden immer nur größere Videodateiejnn draufkopiert.

Danke

 

[butcher1de]

@RonnyE hättest du mal die Beiträge gelesen wüsstest du das der ausgewählte Controller es kann. MegaRAID SAS 9361-8i wenn es um alteController gehen würde wäre deine Anmerkung natürlich richtig.

@test2345 stöber mal im Link ob da etwas von Kompatibilitätslisten drin steht. Raid 5 auf 6 sollte Problemlos gehe allerdings habe ich es noch nicht selber getestet. Du kannst ja ersteinmal ein Versuchsballon starten, Raid 5 mit 3 Platten erstellen, bissi was draufschreiben dann erweitern auf Raid 6. Das sollte allerdings auch im Handbuch bzw. Online Doku stehen.

 

[test2345]

mein Fehler, man muss ja immer refreshen um Änderungen zu sehen. Patrol Read fast fertig.
Weiß jemand was der Unterschied zwischen Patrol Read und Consistency Check ist? Per google war das ein bisschen verwirrend.

Gibt es bzgl dem Cache Vault eigentlich nur Unterschiede im Schreiben oder auch im Lesen? Und was denkt ihr wie schnell ist ein Raid 6 mit 6x 4tb wd reds ohne das Cache Vault im Schreiben?
Mir geht es ja generell eher um Leseraten aber wenn ich mal Videodateien draufziehe, sollte das schon schneller als mit 50mb/sec gehen.

Danke Euch für die ganzen Antworten. Große Hilfe!

 

[Digi-Quick]

Patrol read : Überprüfung der Plattenoberflächen auf schwache Sektoren und remappen dieser.
Consistency Check: Überprüfung ob die Daten (unterhalb des Dateisystems) innerhalb der Raidstripes über alle Platten in sich konsistent sind und Meldung bei Fehlern. Eine Selbstheilung wie bei ZFS ist mWn nicht vorgesehen, da hierfür Prüfsummen fehlen.

Beides belastet die Platten natürlich zusätzlich, kann aber helfen Festplattenprobleme frühzeitig zu erkennen