Aktuelles

8x HDDs: RAID5, RAID10 oder RAID50 ?

aoberdieck

Der Server-Guru von Hardwareluxx
Thread Starter
Mitglied seit
31.08.2010
Beiträge
439
Ort
Lienen
Hallo,

ich habe:

  • 4x 1TB Western Digital WD1002FBYS
  • 4x 1TB Seagate ST31000528AS

in einem Server mit folgender Rahmenausstattung:
  • 2x Dual-Opteron 240
  • 8 GB RAM
  • RAID-Controller 3ware 9550SXU mit BBU PCI-X

Die Maschine dient im RZ als iSCSI-Storage, separate Server mit ESXi greifen auf den iSCSI zu.
Welchen RAID-Level würdet Ihr empfehlen?

Mir ist praktisch NUR die Geschwindigkeit wichtig, Platz spielt eine sehr untergeordnete Rolle. Da ich nicht auf Redundanz verzichten kann, kommen nur die RAID-Level 5, 10 und 50 in Frage.
Grüße
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

aoberdieck

Der Server-Guru von Hardwareluxx
Thread Starter
Mitglied seit
31.08.2010
Beiträge
439
Ort
Lienen
Macht der Controller nicht mit. Es kommen nur die genannten RAID-Level in Frage. Ich verweise dazu auf User-Guide 3ware.

Mal davon abgesehen, dass der es eh nicht kann, wäre RAID-6 nicht im Vergleich zu den anderen RAID-Leveln sogar eher eine recht langsame Variante aufgrund doppelter/komplexer Parity (ein RAID5 ist einfacher und hat eine Platte mehr *)? Vielleicht hat jemand Erfahrungen mit allen RAID-Leveln, und kann eine Tabelle dieser Sorte machen:
Single-Drive: 100% read | 100% write
RAID-5: XXX% | XXX%
RAID-10: XXX% | XXX%
RAID-50: XXX% | XXX%

Ich habe zwar auch brauchbare Hinweise und "Hochrechnungen" bei wikipedia gefunden, allerdings würden mich differenzierte Meinungen aus der Praxis sehr interessieren!

* Es geht primär um Leistung (Durchsatz und IO), weniger um Sicherheit.
 

Firebl

Redakteur
Mitglied seit
11.01.2006
Beiträge
2.827
Ort
Hochheim am Main
Ich denke das schnellste wird ein Raid10, auch wenn es dich die hälfte an Kapazität kostet.
 

ulukay

Banned
Mitglied seit
19.07.2006
Beiträge
8.424
ich wuerd 2x raid5 verwenden
das skaliert besser als ein grosses raid6 - vor allem bei random IO
 

aoberdieck

Der Server-Guru von Hardwareluxx
Thread Starter
Mitglied seit
31.08.2010
Beiträge
439
Ort
Lienen
das skaliert besser als ein grosses raid6 - vor allem bei random IO
Sehr guter Hinweis. Durch die virtuellen Maschinen ist das ja random IO pur drauf unterwegs... Durchsatz ist zwar auch schön, aber wichtiger ist ja effektiv die Skalierung und Effektiv-Last...
 

H_M_Murdock

Urgestein
Mitglied seit
29.10.2007
Beiträge
7.987
Ort
München
Für solche IOPS-kritischen Situationen auf jeden Fall RAID 10.

Mit richtig schnellen Platten und schnellen Controllern KANN RAID 5 und 6 ausreichend schnell sein wenn die Auslastung nicht übermäßig groß ist, aber wenn du nur 7.2k SATA-HDDs hast und die auch noch rel. groß sind wird die I/O Last im Verhältnis zur Plattenperformance rel. hoch sein und du rennst dann ganz schnell in nen massiven Performanceengpass.

Mal andersrum gefragt:
Wie viele VMs sollen da drauf laufen und was machen die?
 

pajaa

Super Moderator
Hardwareluxx Team
Mitglied seit
19.05.2006
Beiträge
21.863
Ort
unterwegs
Lest ihr überhaupt, was geschrieben wird? Der Controller kann kein RAID6 und ein RAID5 ist für random I/O denkbar schlecht.

Für deinen Anwendungsfall würde ich auch ein RAID10 machen. Mehr Nettokapazität gibts mit einem RAID50, erhöht aber den Verwaltungsaufwand und senkt imho die IOPs.
 

BlackGhost

Moderator
Mitglied seit
22.11.2007
Beiträge
5.273
Mehrere RAID10 anlegen, um die Last etwas zu verteilen .. es bringt nämlich nichts, wenn mehrere VMs auf einem RAID10 sich gegenseitig behindern.
 

ulukay

Banned
Mitglied seit
19.07.2006
Beiträge
8.424
und ein RAID5 ist für random I/O denkbar schlecht.

ist ziemlich egal solange er keine DB server betreibt die viel schreiben.
wir haben ebenfalls raid5/6 arrays auf der fibrechannel storage fuer unsere esx cluster.
was nicht egal ist wenn man alle platten in ein array stopft. sobald dann eine VM werkelt wirds fuer alle lahm. besser mehrere arrays und die vms gleichmaessig aufteilen (nach erwarteter hdd last)

raid10 wuerde extrem viel bringen wenn der controller raid1 raid balancing im raid10 array anbieten wuerde, wo ich mir bei dem alten controller allerdings keineswegs sicher bin. also bevor man EIN raid10 ueber alle platten macht lieber 4 raid1 mit je 2 platten. denn raid1 read balancing fuer raid1 unterstuetzt dieser controller.
 
Zuletzt bearbeitet:

aoberdieck

Der Server-Guru von Hardwareluxx
Thread Starter
Mitglied seit
31.08.2010
Beiträge
439
Ort
Lienen
Hallo,

@H_M_Murdock: Sagen wir mal rund 30 virtuelle Maschinen mit geringer bis mittlerer Last, allerdings gerne auch mal ein wenig IO (WWW-Server, Mail-Server, etc.)

Ich habe gewichtige Hinweise auf der 3ware-Seite selbst gefunden, und die relevanten Benchmarks extrahiert -> 3ware Benchmarks 9650 + 9550
Getestet wurde dort mit recht ähnlichen WD-Platten. Die RAID-10-Befürworter haben Recht, wenn berücksichtigt wird, dass dort IO benötigt wird. Sequentiell schneiden RAID5 und RAID50 aber besser ab - der Vorteil dort ist aber verschwindend gering!!

RAID-Level rd MB wr MB rd IO wr IO

RAID 5-8 537.7 331.1 895.7 210.5
RAID 50-8 455.3 284.5 877.3 219.1
RAID 10-8 448.5 306.3 913.1 555.8

RAID 0-8 615.5 454.8 900.0 1113.3

Zwischenfazit daher von mir mal wie folgt (RAID0 bleibt unberücksichtigt, oben nur vergleichshalber aufgeführt):
Der Unterschied im sequentiellen Bereich liegt im Bereich ~ 10-20%:
448 zu 538 MB = ~20%
306 zu 331 MB = ~9%

bei der IO-Betrachtung sind die read-Werte unabhängig vom RAID-Level sehr dicht zusammen:
877 zu 913 = ~4%

der Unterschied entsteht erst beim random write:
210 zu 556 = ~ 264% (!!!)

Ohne weitere Effekte wie Speicherplatz-Ausnutzung zu betrachten wäre also meiner Meinung nach zu vernachlässigen, dass RAID5 und RAID50 zwar einen Tick schneller sind. Alle RAID-Level bieten vergleichbare Leistungen beim IO. Wer aber besonderen Wert auf write IO legt, müsste das RAID10 bevorzugen - so er denn nicht Wert auf den Platz legt. Ferner fährt man mit einem RAID5 wohl etwas besser als mit einem RAID50.

Nun könnte man das Thema ansetzen, wo der Speicherplatz besser genutzt wird, aber das ist eine andere Baustelle ;)
Für interessierte Mitleser ohne das Hintergrundwissen hier kurz zusammengefasst:

In allen RAID-Leveln (5, 10, 50) darf eine beliebige Festplatte ausfallen, ohne das Datenverlust entsteht.
RAID5: 7 TB nutzbarer Platz, Ausfall weiterer Festplatten bedeutet Daten-Verlust!
RAID50: 6 TB nutzbarer Platz, eine zweite Festplatte darf ausfallen, wenn es eine Festplatte aus dem anderen (noch verbleibenden heilen) RAID5 ist.
RAID10: 4TB nutzbarer Platz, bis zu 3 weitere Festplatten dürfen ausfallen, solange jedes untergeordnete RAID1 mindestens noch eine Festplatte behält :)

Auf meinen Anwendungsfall bezogen schliesse ich für mich nun auf RAID10 - beste write-IO (davon habe ich nicht unerheblich), fast gleichhohe Durchsatzraten (die 10% sind dann auch nicht mehr entscheidend) und unter gewissen Umständen dürfen auch mehr als 1 (sogar bis zu 4) Festplatten ausfallen.

Herzlich
Arne
 

aoberdieck

Der Server-Guru von Hardwareluxx
Thread Starter
Mitglied seit
31.08.2010
Beiträge
439
Ort
Lienen
...wenn der controller raid1 raid balancing im raid10 array anbieten wuerde, wo ich mir bei dem alten controller allerdings keineswegs sicher bin.
denn raid1 read balancing fuer raid1 unterstuetzt dieser controller.

Äh, wie meinst? Kann er oder kann er nicht? Was hat es damit genau auf sich? Soweit mir bekannt sind beim lesen ALLE Platten aktiv (also alle 8) - daher würde ich ebenfalls sagen, dass ers kann, aber ich bin mir gerade etwas unsicher, ob ich genau verstanden habe, was du meinst.
 

aoberdieck

Der Server-Guru von Hardwareluxx
Thread Starter
Mitglied seit
31.08.2010
Beiträge
439
Ort
Lienen
Entschuldigung.
Beim dritten lesen hab ichs gerafft. Er kann's - habe ich ja selbst auch geschrieben.
Wenn man lesend auf der Array geht, sieht man an den LED, dass alle 4 Platten anfangen zu lesen, daher würde ich ziemlich sicher sagen, dass dort load balancing aktiv ist (aktuell hat die Maschine 4xWD im RAID10).
Edit: "Beweis" siehe 3ware-Link (klick mich)
Hier die Werte der Single-Disk:
Single Disk 76.1 73.5 137.5 131.8
 
Zuletzt bearbeitet:

ulukay

Banned
Mitglied seit
19.07.2006
Beiträge
8.424
2 Platten Raid0 gegen 4 Platten Raid10
258 IOs/s zu 493
also funzt die das read balancing im raid10 modus wohl :)
dann mach 2 Raid10 Arrays mit je 4 platten wenn dir der verlorene speicherplatz nicht fehlt
 
Zuletzt bearbeitet:

aoberdieck

Der Server-Guru von Hardwareluxx
Thread Starter
Mitglied seit
31.08.2010
Beiträge
439
Ort
Lienen
@ulukay: werde in jedem Fall bei RAID10 bleiben, da mir die Speichermenge nicht so wichtig ist (für die Performance hau ich lieber 2-3 Spindeln mehr rein und hab halt Dampf *g*). Kannst du noch weitere Gründe anführen, mehrere Arrays zu machen? Bei einem Array besteht natürlich das Risiko, dass eine VM mir das Array lähmt, okay. Aber dafür wäre EIN Array dann natürlich auch wiederum entsprechend schneller unterwegs, wodurch das Risiko einer Überlast/Lastspitze ja auch letztlich abnimmt, weil ja mehr Dampf da ist.
Die Frage zielt ungefähr darauf ab: Ist das händische Load-Balancing (Verteilung der VMs) schlauer, oder lieber den Controller die Last verteilen lassen (weil alles auf einem Array läuft).
 

H_M_Murdock

Urgestein
Mitglied seit
29.10.2007
Beiträge
7.987
Ort
München
Wichtig ist bei VMWare auch nicht zu viele VMs pro VMFS Volume zu betreiben weil bei bestimmten Operationen das gesamte Volume gelocked wird.

Wir haben die Empfehlung bekommen die Grenze bei weniger I/O intensiven VMs bei ca 10-15 VMs pro VMFS Volume zu ziehen. Bei SATA Platten würd ich tendentiell eher weniger rechnen.
 
Zuletzt bearbeitet:

gamefreaktegel

Enthusiast
Mitglied seit
16.02.2006
Beiträge
3.544
Ort
Berlin
@H_M_Murdock
Die Empfehlung die ihr bekommen habt ist zu 100% korrekt.
VMware hat zusammen mit den Storage- und Serverherstellern sehr viele Performancetests gemacht und kam auf diesen Wert.
Des Weiteren ist auch die Größe des VMFS Volumes für die Performance relevant. Ich persönlich arbeite tagtäglich mit Geräten von HP (MSA oder EVA) und NetApp (FAS). Dort liegt die Empfehlung meist bei 400-600GB pro VMFS-Volume bzw. Datastore.
 
Oben Unten