SAS-Festplatten nach Entfernen von RAID (IT-Mode) werden im OS nicht erkannt – Hilfe gesucht

[hpoperator]

Hallo zusammen,

ich stehe aktuell vor folgendem Problem: Ich habe einen Server mit zahlreichen SAS-Festplatten, auf denen ursprünglich ein Hardware-RAID lief. Ziel war es, die Platten einzeln nutzbar zu machen, das scheint auch fast gelungen, aber im Betriebssystem bleiben die Laufwerke unsichtbar.

System & Setup:

• Server mit 24 × 3,5″ SAS-Festplatten (zu a 10 TB) und 7x 2,5" SSD-Platten (zu a 1TB)
• Mainboard: Supermicro X10SRL-F
• Speicher: 128 GB RDIMM DDR4 (8x 16GB Riegel)
• CPU: Xeon E5-2697A v4
• Erweiterung: 4 × LSI SAS9211-8i (SAS-HBA), dazu 2 × Mellanox ConnectX-4 Netzwerkkarten mit 4x Finisar FTLX1471D3BCL Modulen

Bisherige Schritte:

1. BIOS auf UEFI umgestellt und Secure Boot deaktiviert.
2. Alle 4 LSI-Karten erfolgreich mit IT-Mode-Firmware geflasht. Firmware-Check mit

   sas2flash.efi -listall

3. Im LSI-BIOS (via Ctrl+C) werden alle Festplatten unter „SAS Topology“, die zu der jeweiligen LSI-Karte gehören, korrekt angezeigt.
4. Von einem Live-Medium (GParted Live und Hiren’s Boot CD / WinPE) gebootet: Nur die SSDs tauchen auf, SAS-Festplatten bleiben unsichtbar oder erscheinen unter diskpart mit „Größe: 0 Byte“.
5. Verschiedene Tools wie CrystalDiskInfo, HWInfo, wurden ebenfalls schon genutzt. Bei einigen werden die SAS-Platten gelistet jedoch dort nur eingeschränkt.
6. Verkabelung (jede Platte einzeln) prinzipiell korrekt, keine Fehler ersichtlich.

Fragestellungen:

• Was kann ich jetzt tun, damit die SAS-Platten sichtbar und nutzbar werden?
• Muss ich nach dem Flash ins IT-Mode noch spezielle Schritte ausführen (z. B. BIOS-Einstellungen, Treiber)
• Gibt es Tools oder Methoden, um eventuell noch vorhandene RAID-Metadaten zu entfernen, obwohl die Platten nicht angezeigt werden?
• Oder liegt das Problem tiefer (z. B. Firmware, Board-Kompatibilität, Host-Adapter-Einstellungen)?

Ich freue mich über konkrete Tipps, die mich weiterbringen, ob per Linux-Tool, DOS/WinPE, BIOS-Check oder anders.

Vielen Dank schon mal für eure Unterstützung!

 

[kaiser]

mhmm Windows. Würde sagen, dass der passende Treiber für die SAS Controller nicht installiert ist.

 

[Holt]

Kanne es sein, dass die Platten im RAID mit einer anderen Sektorgröße formatiert wurden? Bei SAS HW RAIDs ist es nicht ungewöhnlich, dass man dort Sektorgrößen von 520 oder 528 Bytes verwendet und der Controller dann in die übrigen 8 bzw. 16 Byte eine eigene ECC schreibt und sich die Rohdaten von den Platten liefern lässt. Dann kann er selbst prüfen ob die gelesenen Daten korrekt sind und wenn nicht, sie sofort mit Hilfe der Redundanz des RAIDs rekonstruieren. Dies geht bei SATA nicht, daher gibt es dort die TLER, also die Option den Timeout einzustellen, wie lange eine HDD versuchen soll einen problematischen Sektor doch noch erfolgreich zu lesen, denn hinter jedem Sektor steht ja immer auch eine ECC und der Controller der Platte prüft damit ob de Daten korrekt gelesen wurden und versucht sie zu korrigieren. Klappt das nicht, versucht er durch wiederholtes Lesen mit anderen Parametern die Daten doch nicht erfolgreich zu lesen und gibt erst nach einem Timeout auf und liefert einen Lesefehler (und markiert den Sektor als schwebend), wenn es ihm nicht gelingt.

Dies Timeout beträgt bei normalen Desktop Platten normalerweise 14s, bei NAS Platten üblicherweise 7s und ist aber bei denen einstellbar, was WD eben als TLER bezeichnet. Trotzdem führt es aber zu einer deutlichen Verzögerung, wenn es mal nicht gelingt die Daten eines Sektors sofort korrekt zu lesen und um dies zu vermeiden, werden eben bei SAS Hardware RAIDs die Sektoren auf eine größere Kapazität formatiert und der Controller übernimmt die Fehlererkennung selbst. Wobei ich wirklich die Sektorgröße der Platten meine, nicht die Clustergröße des Filesystems! Allerdings kommen die Betriebssysteme nicht mit Platten klar, bei denen die Sektorgröße nicht 512 oder 4096 Byte beträgt und daher muss man solche Platten dann erst wieder auf 512 Byte formatieren um sie als Einzellaufwerke nutzen zu können.

 

[hpoperator]

Guten Morgen,

vielen Dank für eure Antworten!
Das mit der Sektorgröße ist ein sehr guter Punkt, der mir so nicht bekannt war.
Wie aber kann ich die SAS-Platten auf die entsprechenden Bytes formatieren, wenn ich sie, beispielsweiße über gparted-Live, nicht sehen und anwählen kann?

@kaiser
ok, das mit Windows verstehe ich und könnte definitv möglich sein, aber gparted-live (linux) zeigt die Platten ja auch nicht an 🤷‍♂️

 

[Holt]

Wie aber kann ich die SAS-Platten auf die entsprechenden Bytes formatieren, wenn ich sie, beispielsweiße über gparted-Live, nicht sehen und anwählen kann?

Da fehlt vermutlich der passende Treiber, denn musst Du hier suchen und herunterladen:

Support Documents and Downloads

Search technical documentation and downloads including firmware and drivers.

www.broadcom.com

Wobei die Treiber alle für alte Windows und Linux Versionen sind, die Dinger sind ja auch schon recht alt. Deswegen sind sie billig zu haben, aber es hat eben auch einen Grund, warum die fast nichts kosten.

 

[hpoperator]

@Holt
ok, danke dir!
Laut dem "HBA User Guide" ist die Karte mit Linux kompatibel, da mpt3sas ein Kernel-Modul ist, welches die Karten unterstützt.
Statt den "Gparted-Live-Stick" führe ich mal SystemRescue oder Ubuntu Live-USB aus und schaue, ob dies mpt3sas mitbringt (lsmod | grep mpt3sas) und ich die Platten somit ansprechen kann.
Sollte dies nicht zielführend sein, installiere ich die Treiber manuell nach.

 

[underclocker2k4]

Zum Spaß mal Windows 10 installieren?! (geht auch ohne Key)
Das dürfte bei der Kompatibilität kein Thema sein.

Wobei ich aber sagen muss, dass ich mit nem Ubuntu oder CentOS keine Schmerzen mit SAS2 LSI Controllern hatte.
Das lief eigentlich out of the Box.

 

[hpoperator]

Bin jetzt mit meinem "Latein" am Ende.....
ich habe jetzt diese zwei Netzwerkkarten ausgebaut und auch alle 9211-81.
Ich steckte EINE 9211-8i in den PCIe-Slot und startete den Server. Es kam kein LSI-Bootscreen, also die Stelle, an der ich strg+c drücken könnte um ins "LSI-BIOS" zu gelangen. Auch im Nachgang, unter dem gpartet-live wurde sie nicht erkannt. Auch nicht unter der Distri Ubuntu, welche ich installieren wollte. Angezeigt wurde mir nur das USB-Medium auf dem sich gparted-live befindet.
Also steckte ich diese 9211-8i aus und versuchte es mit der nächsten (an einem anden PCIe-Slot), selbiges Ergebnis. und dann teste ich die nächste, bis ich bei der vierten Karte angekommen bin. Bei keiner Karte wurde der LSI-Bootscreen angezeigt und keine Karte wurde erkannt.

nun das Seltsame......

Stecke ich wieder ALLE VIER 9211-8i in die PCIe-Slots und starte den Server, wird mir der LSI-Bootscreen angezeigt.

Ich ging dann ins LSI-BIOS und sah, dass dort alle vier Karten korrekt aufgeführt werden. Auch werden mir die an die jeweilige Karte angeschlossenen SAS-Platten korrekt aufgelistet.
Ich sah zwar auch, dass sich die Bootreihenfolge im LSI-BIOS geändert hatte (wahrscheinlich weil ich die Platten ausgesteckt hatte), also hinterlegte ich diese wieder und startete neu.
Was mir aufgefallen ist: Wenn der gparted bootet, bekomme ich zu den Platten fehlermeldungen aufgelistet (siehe screenshot): "Asking for cache data failed"

Natürlich bekomme ich in gparted noch immer nur die SSDs angezeigt und nicht die SAS-Platten.