RR3540 mit 16x 1TB @ RAID6 seeehr langsam...

[fortunes]

Hallo Leute!

Ich bin derzeit auf der Suche nach einem RAID-Controller für 16 SATA-Platten, die per RAID5 oder (besser) RAID6 in das System eingebunden werden sollen.

Leider habe ich mich beim Kauf eines HighPoint RR3540 ganz schön in die Nesseln gesetzt. Das Teil läuft zwar wunderbar, schafft aber über LAN und intern lediglich ca. 20MB/s schreibend, wenn ich 16 HDDs im RAID5/6 angehängt habe. Das Teil fliegt also raus.

Gäbe es einen Hardware-Controller, der mir mindestens 60MB/s schreibend liefern kann?

Oder gibt es einen Controller, der die CPU nutzt? Nutze ein Intel Media Series DH55HC, H55 (dual PC3-10667U DDR3) (BOXDH55HC) | Geizhals.at Deutschland , auf dem sich ein Intel Core i3-540, 2x 3.06GHz, boxed (BX80616I3540) | Geizhals.at Deutschland "langweilt". 4GB DDR3 stecken daneben. Wäre also kein Problem, der CPU die Arbeit zu überlassen.

Wäre für ein paar Ratschläge dankbar.

p.s.: Bitte keine Anfragen, was ich mit 16 Festplatten will. Das hat schon seinen Grund.

 

[Steggi]

Das Teil läuft zwar wunderbar, schafft aber über LAN und intern lediglich ca. 20MB/s schreibend, wenn ich 16 HDDs im RAID5/6 angehängt habe.

Klingt ein wenig nach deaktivierten Write-Cache. Ich weiß aus Erfahrung, dass z.b bei 3ware Controller mit deaktiviertem Cache auch nur so 15MB/s schreiben

Gäbe es einen Hardware-Controller, der mir mindestens 60MB/s schreibend liefern kann?

Das sollte eigentlich auch dein jetziger Controller schaffen ansonsten schau mal hier Controllerkarten/SATA-RAID-Controller 16x | Geizhals.at Deutschland

 

[Anarchist]

dann hast du aber ein anderes Problem

The RocketRAID 35xx series of PCI-Express
hardware RAID controllers leverage the ADMA
architecture in the Intel IOP341(800MHz) to deliver
the industry’s leading RAID 6 performance with
sustained transfer rates over 780MB/s Read
and over 685MB/s Write.

 

[fortunes]

dann hast du aber ein anderes Problem

Die Angaben sind vom Hersteller und diese wiederum haben sie von Intel, deren Prozessor das theoretisch schafft. Zwischen Theorie und Praxis liegen aber bekanntlich Welten. Der Cache ist im Übrigen automatisch aktiv.

Daher meine Anfrage, ob es Controller gibt, die das besser können. Müssen keine Controller mit eigener CPU sein, da die CPU des Servers das machen könnte. Die hat nämlich sonst nix zu tun.

 

[underclocker2k4]

Ich würde das ganze eher auf einen Platteninkomatibilität schieben. Die CPU und der Controller sind weniger das Problem.

Ein Areca 1280, oder ein LSI 9260 schaffen damit locker Transferraten die von 2 gbit NIC zu übertreffen.
Mein alter highend Adaptec Controller macht mit Samsung F4 Platten auch entspannte 15mb/s, hitachi wird erst garnicht erkannt.


Richtige RAID Controller machen sowas immer selber, da wird nix an die CPU ausgelagert. Nen SIL Spielzeugkontroller kommt nicht auf 16HDDs.

SoftwareRAID unter Linux, oder nen richtigen RAID COntroller besorgen, da haben wir nen paar Thread im Storagebereich.

*moved*

 

[BlackGhost]

RAID Controller sind immer etwas wählerisch bei den Desktop Platten, welche benutzt du denn?

Controller Empfehlung: Areca 1880IX-16 oder 1261ML oder Intel SRCSASPH16I

 

[fortunes]

RAID Controller sind immer etwas wählerisch bei den Desktop Platten, welche benutzt du denn?

Western Digital RE4-GP 2000GB, SATA II (WD2002FYPS) | Geizhals.at Deutschland - laut Hersteller 100% kompatibel.

16 Stück davon, im RAID 5 oder 6 - beide Modi bieten diese unterirdische Leistung von ca. 20MB/s schreiben. Cache ist aktiv, write-through.

Könnte es an den anderen Parametern (SectorSize etc.) liegen, dass die Performance derart mies ist?

 

[dv2130n]

falls sich keine ungereimtheiten in den einstellungen finden,
muss es immer noch nicht zwingend am controller liegen oder an der controller/festplatten-combination

es könnte sich auch um ein vibrations-/schwingungsproblem handeln
die näheren umstände der unterbringung der platten (gehäuse/racks/evtl. dämpfung) hast du ja nun nicht geschildert, aber 16 eng übereinanderhängende 3,5"-platten können eine menge vibrationen verursachen

solche rotationalen vibrationen wirken sich nachweislich direkt und erheblich auf die performance (und die
sicherheit) eines arrays aus
das problem ist bekannt und einige hersteller wirken den folgen des problems mit geeigneten massnahmen
in der ausstattung ihrer platten entgegen
so arbeitet seagate mit entsprechenden vibrationssensoren und servos, die den erschütterungen gegensteuern
den effekt dieser massnahmen besonders für nearline (constellation) und enterprise (savvio, cheetah) kann
an dieser grafik ablesen Are All Hard Drives Created Equal? Examining Rotational Vibration in Desktop vs. Enterprise – Inside IT Storage

auch hitachi arbeitet an dem problem http://www.hitachigst.com/tech/techlib.nsf/techdocs/50D6C79F1E3F024B87256C470074569D/$file/WP_RVS_25March.pdf

hier noch ein stellungnahme von sun/oracle mit einem bizarren video, in dem gezeigt wird, wie es sich auswirkt, wenn man ein festplatten-array anschreit
Oracle Media Network

ob wd seine platten, oder zumindest seine RE-Platten entsprechend präpariert, weiss ich nicht
der wd service bereich gibt dazu vielleicht etwas her

 

[BlackGhost]

16 Stück davon, im RAID 5 oder 6 - beide Modi bieten diese unterirdische Leistung von ca. 20MB/s schreiben. Cache ist aktiv, write-through.

Könnte es an den anderen Parametern (SectorSize etc.) liegen, dass die Performance derart mies ist?

ähm .. der Cache vom Controller ist nicht aktiv wenn du "Write-Through" benutzt. Stell dort um auf Write Back und die Kiste brennt

Stripe-Size nicht mit NTS Cluster-Size verwechseln.
Beim Datenlager die Stripe-Size min 128k oder größer wählen.
Cluste-Size von NTFS einfach auf Default (4096 Byte) lassen.

 

[Schlingel_INV]

eben. der controllercache ist bei write-throug NICHT aktiv. deshalb schnellstens auf write back umstellen (und am besten gleich noch ne BBU kaufen)!

 

[orpheus88]

Cluste-Size von NTFS einfach auf Default (4096 Byte) lassen.

NEIN NTFS-Cluster-Size nicht auf Default lassen, bei der Array-Größe brauchts schon 8KB oder mehr.

 

[BlackGhost]

Stimmt natürlich .. ich hab "irgendwie" aus den sechszehn HDDs .. acht für ein RAID Array gemacht

 

[fortunes]

Danke Männers, ich stelle den Array vom zweiten, alten Server gleich'mal testweise um. Gleicher Controller, aber nur 16x 1TB.

 

[fortunes]

Die Umstellung war sehr erfolgreich.

RAID6, Cache Write-Back, BlockSize 128K, 4K Sektoren, Clustergröße auf 8K formatiert.

Momentan ca. 60MB/s sowohl über LAN als auch intern schreibend.

Gäbe es noch Verbesserungsvorschläge, wie man die Übertragung weiter erhöhen könnte? 100MB/s wären schon geil...

 

[cuco]

ich hab hier ähnliche probleme. hab nen intel rs2bl080 mit 8 * 1TB Raid6 und 4*2TB Raid5
stripesize ist jeweils 256kb, write back , wirte ahead und cached IO für die platten ist aktiviert.
bei den benchmarks ist er echt sahne. da hab ich üner 500 im schnitt für das raid6
beim raid5 sind es 250 im schnitt.

das problem ist allerdings, dass ich davon beim kopieren von einem auf das andere array nichts merke. auch wenn ich auf ein raid0 das an einen anderen controller hängt kopiere schreibt der immer nur mit ca. 60mb/sec das ist auch das maximum was so übers netzwerk geht.
ist das normal oder geht da mehr?