Samsung 860 EVO Langsam durch nicht aktivierbaren Write-Chache

[Pazecx]

Moin,

ich suche einen geeigneten Raid Controller (meinetwegen auch nur als HBA nutzbar), mit dem ich mindestens 4 (eventuell 8) Samsung 860 EVOs als Raid0 durchfeuern kann.
Aktuell habe ich einen Adaptec 6405E, der scheint hierbei allerdings das Bottleneck zu sein.

Redundanz ist mir erstmal nicht so wichtig, geht mir eher um den Datendurchsatz. Anstreben tue ich in erster Linie ein RAID0 oder RAID 10.

Die SSDs würden bei mir im Server an einer Backplane hängen, gehe ich auf 8 Disks, bräuchte ich einen Controller mit zwei Ports zum anschließen.

Kann mir da jemand was empfehlen was nicht total den Geldbeutel sprengt?

Thanks!

 

[Holt]

HW RAID Controller sind für SSDs meist zu lahm und wenn sie einen Cache haben, steigen die Latenzen oft überproportional (die Controller sind eben recht lahm und die Cacheverwaltung dauert im Verhältnis zu den minimalen Zugriffszeiten von SSDs einfach zu lange), außerdem funktioniert TRIM bei den meisten SAS HBAs / RAID Controller nicht.

 

[Pazecx]

Und was / wie gebe ich meinem Host dann am besten die SSDs durch? Soll halt nach Möglichkeit so performant wie möglich sein... daher RAID 0 / 10.
Meinetwegen darf's auch SW Raid sein, mir fehlt da leider nur das Know-How und ich blicke da ehrlich gesagt derzeit nicht sooo durch

 

[Holt]

Ohne weitere Angaben zum System wie dem Board und dem OS, mit oder ohne Virtualisierung, etc. wird Dir dies niemand beantworten können. Die Frage ist auch, ob die Performancenachteile durch so einen RAID Controller / HBA, die eben für HDDs ausgelegt und für SSDs im Grund zu lahm sind, dann wirklich so ins Gewicht fallen, dass es sich lohnt über eine Alternative nachzudenken. Wenn Du die ganze Lösung jetzt schon so mit HDDs am Laufen hast, wird es mit SSDs auf jeden Fall schneller sein, auch wenn eine alternative Lösung vielleicht noch ein wenig schneller wären, lohnt sich der Aufwand ggf. gar nicht.

 

[Y0sHi]

HW RAID Controller sind für SSDs meist zu lahm und wenn sie einen Cache haben, steigen die Latenzen oft überproportional (die Controller sind eben recht lahm und die Cacheverwaltung dauert im Verhältnis zu den minimalen Zugriffszeiten von SSDs einfach zu lange), außerdem funktioniert TRIM bei den meisten SAS HBAs / RAID Controller nicht.

gibt es denn einen raid controller der nicht zu lahm ist ?

es gibt ja auch SAS ssd`s Samsung SSD PM1633a 480GB ab sterreich
würde die lohnen ?

 

[Holt]

Das ist eine Enterprise SSD, dafür bekommst Du von Samsung direkt keinen Support, auch keine FW Update oder Garantieabwicklung, die kann allenfalls über den Händler erfolgen. Ich würde die an HBAs anschließen und dann ein SW RAID verwenden, die sind meist schneller als eben die üblichen SAS Controller mit einem alte PowerPC Kern der mit bestenfalls 1GHz taktet.

Es gibt inzwischen auch schnellere Modelle die sogar für NVMe geeignet sind, wie die Broadcom Tri-Mode, aber ich habe keine Ahnung wie die genau aufgebaut sind und performen. Der HighPoint SSD7120 hat z.B. nur einen PLX Chip und ist damit kein HW RAID Controller, sondern man kann auch damit nur mehrere NVMe SSDs in einem x16 Slot ohne PCIe Lane Bifurcation nutzen und muss dann ein SW RAIDs bauen.

 

[Pazecx]

Hi,

Ich plane bei mir 4-8 SSDs als Datastores für Virtualisierung unter Hyper-V oder VMware. Welches davon wird sich noch zeigen. Ich würde gerne zwei Dinge abwägen: Entweder werde ich mir ein separates Storages bauen und dieses an den / die Hosts anschließen, oder eben auf einem Server bleiben und dort die Platten anschließen. Ob Software oder Hardware Raid, ist mir letztendlich egal. Es geht um nicht kritische Daten, und ich habe ein gutes Backup was dann auch gerne mal einen Tag dauern darf um alles wiederherzustellen. Daher wahrscheinlich auch etwas in die Richtung RAID 0 oder RAID 10.

Laufen sollen darauf dann wahrscheinlich ein Exchange Cluster, SQL Testumgebungen mit denen ich mich beschäftigen möchte, Fileserver und ein paar Webserver. Eventuell kommen dann noch Dinge wie Terminalserver hinzu.

Was könntet ihr mir hierbei vorschlagen?

 

[Holt]

Brauchst Du so viel Kapazität oder meist Du bei den Anwendungen mit der Geschwindigkeit einer SSD nicht auszukommen? Letzteres würde ich bezweifeln und daher lieber zu weniger SSD mit großer Kapazität raten.

 

[Pazecx]

Brauchst Du so viel Kapazität oder meist Du bei den Anwendungen mit der Geschwindigkeit einer SSD nicht auszukommen? Letzteres würde ich bezweifeln und daher lieber zu weniger SSD mit großer Kapazität raten.

Mir geht es da tatsächlich um die Kapazität. Die Geschwindigkeit einer SSD würde vermutlich reichen.
Ich würde auch gerne meine Workstation mit dem Server per Direktverbindung miteinander verbinden und somit weitestgehend alles auf dem Server ausüben.

 

[Pazecx]

Hier nochmal ein kleiner Nachtrag:

Ich würde mittlerweile lieber mit dem Weg gehen die 8 SSDs in dem gleichem Server zu betreiben.
Das Mainboard ist ein Supermicro X10SRi-F und die CPU derzeit ein Xeon E5-1650 v3.

Pack ich da überhaupt gute Ergebnisse mit der Hardware? Wie schließe ich die Platten an das System an? Direkt an die Onboard SATA Ports?


BTW: Falls hier ein Mod mit ließt, könnten wir das Thema sonst auch in den HomeServer Bereich schieben, denke da ist das Thema besser aufgehoben.

 

[Holt]

Lies im Handbuch Seite 1-6, da steht doch was geht: Man kann jeweils an den SATA Ports I-SATA0~5 bzw. S-SATA0~3 ein RAID RAID 0, 1, 5 oder 10 über die 6 bzw. 4 Ports erstellen, man kann aber kein RAID erstellen welches über Ports beider Controller geht.

 

[Pazecx]

Hi nochmal,

an den einzelnen Sata Ports bekomme ich leider nur eine sehr träge Performance.
Als Beispiel bei einem RAID0 mit vier SSDs: Lesen 1GB/s und Schreiben 500MB/s.

In dem Fall habe ich das über die Windows Datenträgerverwaltung eingerichtet.

Kann man da noch was machen?

 

[Holt]

Windows SW RAIDs sind dafür bekannt nicht die performantesten zu sein, aber wenn Du "Lesend 1TB/s" hast, dann gibt es doch nichts zu meckern. Oder meinst Du 1GB/s? Das wäre dann nur etwa halb so viel wie man von 4 SATA SSDs im RAID 0 erwarten sollte, schau mal wie performant das Chipsatz RAID denn ist, damit Du sehen kannst ob es nur am SW RAID liegt oder ob da ein Flaschenhals vorhanden ist. An welchen Ports hängen die SSDs denn?

 

[Pazecx]

Windows SW RAIDs sind dafür bekannt nicht die performantesten zu sein, aber wenn Du "Lesend 1TB/s" hast, dann gibt es doch nichts zu meckern. Oder meinst Du 1GB/s? Das wäre dann nur etwa halb so viel wie man von 4 SATA SSDs im RAID 0 erwarten sollte, schau mal wie performant das Chipsatz RAID denn ist, damit Du sehen kannst ob es nur am SW RAID liegt oder ob da ein Flaschenhals vorhanden ist. An welchen Ports hängen die SSDs denn?

Oh Verzeihung, ich meinte natürlich nicht 1TB/s sondern 1GB/s bzw. dannn 500MB/s.

Ich schaue nachher mal wie es mit dem Chipsatz Raid läuft.
Die SSDs hängen derzeit bei dem Board an dem S-SATA Controller. Sprich laut Handbuch am AHCI-Controller?
Der andere soll ja noch schneller sein, das werde ich nochmal testen, wobei ich mir nicht vorstellen kann das das so dolle Unterschiede macht?

 

[Holt]

Schau doch mal wie es aussieht wenn sie am I.SATA Controller hängen. Vielleicht ist der S-SATA intern im Chipsatz einfach schlechter angebunden.

 

[Pazecx]

Also ich habe jetzt nochmal die Tests angeschmissen.
Davor ist mir noch aufgefallen das die Firmware Versionen von den vier SSDs nicht alle gleich war -> geupdatet und schon direkt bessere Werte bekommen.

Allerdings bin ich da noch nicht zufrieden mit. Ich habe in meinem normalen Rechner ebenfalls ein RAID0, mit zwei 860 EVO 500GB. Da erhalte ich bei den anderen Testdurchläufen DEUTLICH bessere Werte.
Kann man das noch weiter untersuchen?

Komisch ist auch das Ergebniss mit verschiedenen CrystalDisk Versionen auf meinem Rechner...

Mein PC mit unterschiedlichen Versionen:


Server:




An dem sSATA Controller (dem schnelleren auf dem Board) komme ich auf ähnliche bzw. etwas schlechtere Ergebnisse, da schneidet das Windows SW Raid doch besser ab.


Man "darf" doch mehr erwarten bei dem Setup, oder liege ich da falsch?

 

[Pazecx]

So, ich glaube ich bin dem Fehler mittlerweile auf die Spuren gekommen.
Es wird wohl an dem Write-Chache liegen.
Ich habe alle SSDs mal einzeln getestet.
Ich hatte jeweils 2 im Pack gekauft, die ersten beiden laufen super schnell wie auch in öffentlichen Benchmarks, die anderen beiden dagegen super langsam im Write Part. In den Geräteeigenschaften ist bei denen dann auch der Write-Chache deaktiviert - und lässt sich nicht aktivieren. Google liefert dazu bisher leider auch keine brauchbaren Informationen...

Jemand damit schon einmal Erfahrungen gemacht?

 

[Holt]

Das es an der FW Version liegt, kann ich mir kaum vorstellen, die kann ein paar wenige MB/s ausmachen, aber nicht so viel. Klar kann es an der Einstellung zum Cache liegen, aber es könnte auch sein, dass das RAID noch gar nicht fertig initialisiert war. Keine Ahnung wie die Windows SW RAIDs dies machen und es bei RAID 0 überhaupt der Fall ist (da muss ja keine Redundanz berechnet werden), aber bei den Linux md SW RAIDs ist es so, dass man das RAID schon nutzen kann während im Hintergrund noch die Initialisierung läuft. Die Performance ist dann natürlich noch verringert, da muss man also prüfen ob die Initialisierung schon abgeschlossen ist. Wenn also ein frisches RAID nicht sofort die erwartete Performance liefert, lohnt es sich das mal in Hinterkopf zu haben.

Welches SSDs sind es denn genau? Poste doch mal die Screenshots von CrystalDiskInfo für die SSDs, ziehe aber bitte das Fenster soweit auf, dass alle Attribute und auch die Rohwerte vollständig sichtbar sind, also keine Scrollbalken mehr erscheinen. Prüfe auch an welche Ports die SSD jeweils hängen, dies kann auch Einfluss auf die Cache Einstellung haben, gerade die SAS RAID Controller / HBAs nehmen in explizit die Einstellung des Caches bei den Platten vor.

 

[Pazecx]

Moin,

also.
Ich habe dieses Gehäuse: 4U 4408 - Inter-Tech GmbH
Die vier SSDs hängen dort an der Backplane. Von da aus gehe ich mit einem SAS -> SATA vierfach Kabel an das Mainboard an die I-SATA Ports (die schnelleren, wobei die langsamereren auch keinen Unterschied machen).

Hier einmal ein Screenshot von einer der schnellen und einer der lahmen SSDs.

Schnell:



Langsam:



Die Platten sind aktuell alle als einzelnes Volume im Windows angelegt. Und da würde ich ja bei allen die Gleichen Werte erwarten, zumindest ungefähr.
Aber die Werte die ich da bekomme sind ja abnormal gering.

 

[Holt]

2,8MB/s bei 4k Q1T1 schreibend deuten klar auf einen deaktivierten Schreibcache der SSD hin, schau mal unter Gerätemanager -> Laufwerke -> <SSD> -> Eigenschaften -> Richtlinien welche Haken da für die jeweiligen SSDs gesetzt sind, der obere sollte gesetzt sein.

 

[Pazecx]

Ich hatte jeweils 2 im Pack gekauft, die ersten beiden laufen super schnell wie auch in öffentlichen Benchmarks, die anderen beiden dagegen super langsam im Write Part. In den Geräteeigenschaften ist bei denen dann auch der Write-Chache deaktiviert - und lässt sich nicht aktivieren. Google liefert dazu bisher leider auch keine brauchbaren Informationen...

Jemand damit schon einmal Erfahrungen gemacht?

Dort hatte ich die Chache Einstellung schon erwähnt... Lässt sich leider nicht aktivieren.

 

[Holt]

Dann musst Du die Ursache dafür finden und beheben.

 

[Mo3Jo3]

Evtl hilft dir dieses Tool hier weiter. (Achtung: AlphaStatus!)
DiskCacheMgr Bitsum

Alternativ lässt sich der WriteCache noch in der WindowsRegistry ändern und einstellen. Welcher Pfad kann ich dir aber nicht sagen.

 

[Pazecx]

Danke für den Tipp mit dem Tool, leider zeigt er bei genau den beiden Platten bei "changeable" - no an....

Registry Pfad konnte ich bei Google leider nicht finden, zumindest gibt es die Pfade beim Server 2016 / Windows 10 nicht die ich gefunden habe..

Ich denke dann müssen die Platten einfach wieder zurück geschickt werden, muss ja dann irgendwie an denen selbst liegen.

 

[Holt]

Nein, es liegt nicht an den SSDs selbst, sondern am Rechner bzw. dem Windows. Baue sie in einen anderen Rechner oder über USB an und benche erneut, dann sollten sie wieder mit Schreibcache laufen (siehst Du ja dann an den 4k Schreibend) und daher bringt es dann auch nichts wenn Du sie austauscht.

 

[Pazecx]

Nicht am Windows?

Ich habe es in meinem Windows 10 Rechner versucht -> Kein Ändern der Option.
Dann mal eben den Hypervisor mit 2019 durchinstalliert -> Auch hier keine Änderung

Ich kann Montag das Ding auch an einem Dritten Rechner anschließen, aber ich glaube da wird mir auch nichts anderes angezeigt.

 

[Mo3Jo3]

Vllt ist ja der cache defekt...

Bin grade nicht zu hause, desshalb kann ich selber nicht schauen. Aber vllt hilft dir dieser RegPfad weiter. Wobei xxxxxxx natürlich nur ein Platzhalter für die laufwerke ist

HKLM\SYSTEM\CurrentControlSet\Enum\IDE\Diskxxxxxxxxxxxx\DeviceParameters\Disk
Key : UserWriteCacheSetting

 

[Pazecx]

Vllt ist ja der cache defekt...

Bin grade nicht zu hause, desshalb kann ich selber nicht schauen. Aber vllt hilft dir dieser RegPfad weiter. Wobei xxxxxxx natürlich nur ein Platzhalter für die laufwerke ist

HKLM\SYSTEM\CurrentControlSet\Enum\IDE\Diskxxxxxxxxxxxx\DeviceParameters\Disk
Key : UserWriteCacheSetting

Ich befürchte halt immer noch das es an der SSD liegt bzw. da was kaputt ist. Auffällig ist halt nur, dass die beiden langsamen auch die sind die ich auf einmal zusammen gekauft hatte. Ich hab auch auf dem Port mal die SATA Ports gewechselt, aber alles kein Unterschied...

Den Registry Pfad gibt es bei mir so nicht.
Nur dieses hier, allerdings ohne Cache Einstellung:

 

[Holt]

Wäre das Cache, also das DRAM des Controllers defekt, so könnte die SSD gar nicht mehr arbeiten, denn der Controller hält da vor allem die Verwaltungsdaten, allen voran die Mappingtabelle (Flash Translation Layer) und nur ganz wenige Userdaten. Der Cache ist deaktiviert und eigentlich sollte so eine Einstellung nicht permanent sein. Die Frage ist auch wo bzw. wie der Cache deaktiviert wurde und wieso er in Windows nicht mehr aktiviert werden kann. Dies würde mich nicht wundern wenn die SSD an einem SAS HBA oder RAID Controller hängen, da ist es normal das diese den LW Cache abschalten, die haben ja i.d.R. selbst einen eigenen DRAM Cache, aber an SATA Ports vom Chipsatz ist sowas eigentlich nur über die Einstellung von Windows möglich.

Kaputt ist die SSD nicht, allenfalls verkonfiguriert. Hast Du mit dem Magician irgendwas gemacht? Möglicherweise dessen unsinnigen und unseeligen OS Optimierungen ausgeführt?

 

[Boy2006]

Es gibt scheinbar doch Controller für SSDs: RAID Controller Cards