ESXI-Passthrough P4510 : nvme0 missing interrupt

[eehm]

Hallo,

ich möchte meine neue Intel P4510 per Passthrough (ESXI 7u2) an eine TrueNAS-VM durchreichen.
Leider bekomme ich trotz dem Workaround mit 'pcipassthru0.msiEnabled = FALSE' die SSD nicht durchgereicht es kommt immer wieder der Fehler mit dem Interrupt.
Auf der SSD habe ich bereits die neuste FW-Version VDV10184 installiert. - Leider ohne Erfolg.

Gibt es hier eine Lösung oder einen weiteren Workaround um die SSD hier durchzureichen?

 

[mrpasc]

Die Optanes machen noch immer Ärger.
Falls du ein Board mit Intel VMD hast: unbedingt disable, damit die als "normale" NVMe erkannt wird.
Probier mal hw.pci.honor_msi_blacklist=0

Alternativ, wenn du sie im TrueNAS als SLOG verwenden willst als workaround einfach im ESXi ne vDisk erstellen und die einbinden, wurde auch von Gea Hier bei STH so empfohlen.

 

[Trambahner]

Das ist keine Optane, sondern regulärer TLC-Flash als Daten- bzw. VM-Speicher.
Aber, ja, NVME kann zickig sein für Passthrough und aufs VM-OS kommts auch noch drauf an. Optane-Passthrough mit Solaris 11.3 als VM war nicht zum Laufen zu bekommen.

Bei den Optanes musste man zu 6.5 oder 6.7-Zeiten in der passthru.map editieren, dito bei der Intel 750. Eventuell hier also auch.
Meine Optane hab ich aber rausgeworfen, nachdem ich auf Enterprise SSDs umgestiegen bin.

Bin da froh, dass meine Samsungs (2x PM9A3 7.68TB , aber halt keine Herstellergarantie) da handzahm sind; auch mit den Consumerversionen (960evo, 970 Evo Plus) gabs da ín ESXI 7 nie gewürge. Passthrough ankreuzen, nen reboot (früher zwangsweise, heute mach ichs meist auch noch), der VM zuweisen, fertisch.

 

[eehm]

hw.pci.honor_msi_blacklist=0

Muss das in die vmx-Datei und ist das für die P4510 sinnvoll oder nur für die Optane SSDs?

Bin da froh, dass meine Samsungs (2x PM9A3 7.68TB , aber halt keine Herstellergarantie) da handzahm sind;

Ja, wenn ich das geahnt hätte, dann hätte ich auch die PM9A3 gekauft .... ggf. muss ich die Intel wieder verkaufen und die PMA3 kaufen.
Aber vielleicht hat ja hier jemand noch einen Rat, wie ich die Intel P4510 zum laufen bekomme!

Beitrag automatisch zusammengeführt: 30.04.2022

Bei den Optanes musste man zu 6.5 oder 6.7-Zeiten in der passthru.cfg editieren, dito bei der Intel 750. Eventuell hier also auch.

Weißt du vielleicht noch was man hier einstellen musste, dass es geht?

 

[Trambahner]

Die 900P (Device ID 2700) braucht folgendes:

1. Eintrag in der /etc/vmware/passthru.map

# Intel Optane 900P
8086 2700 d3d0 false

2. in der VM-vmx:
pciPassthru0.msiEnabled = "FALSE"


getestet auf esxi 6.7u3b auf amd x399 und auch 7.01 u1c mit x570+5600x.

Für andere Intel-SSDs brauchst Du ne andere Device-ID. 2701 z.b. für die P4800X .
> Mit lspci -vvv auf der ESXI-Shell sollte die herauszufinden sein.

 

[besterino]

Hersteller- und Geräte-ID zeigt dir doch ESXI selbst bei der Hardware an.


Welches OS hast du in der VM?

 

[Trambahner]

Ach stimmt, haste Recht. An die Anzeige in den PCI-Geräten hab ich gar nicht gedacht. 😁

 

[eehm]

Welches OS hast du in der VM?

Das ist TrueNAS Core 12.0-U8

Beitrag automatisch zusammengeführt: 30.04.2022

Also Ihr seid echt die Besten. Vielen lieben Dank die SSD ist jetzt in der TrueNAS VM angekommen!
Falls jemand mit der Intel P4510 Probleme hat, dann hilft in Kombination mit ESXi 7u2 zusammengefasst folgendes.

In der /etc/vmware/passthru.map:
# Intel P4510
8086 0a54 d3d0 false
Und in der vmx-Datei
pciPassthruX.msiEnabled = "FALSE"
Für X dann 0, 1, 2, ... je nachdem was ihr alles durchreicht

Aber wirklich erstaunlich wie zickig so moderne HW auch sein kann.

 

[besterino]

Tjo, nachdem ich ja großspurig Solaris den Rücken kehren und zu TrueNAS Core wechseln wollte, bin ich jetzt doch wieder zurück. Nach dem Wechsel auf gescheite Hardware funktioniert alles, wie es soll: ich kann ohne Firlefanz in irgendwelchen Einstellungen 8 NVMEs sowie den HBA an Solaris 11.4 durchreichen und bekomme saubere 10Gbit-Performance übers Netz. Reicht also quasi für alle normalen Anwendungen.

TrueNAS hat bei 100gbit auch nicht wirklich die Erwartungen erfüllt. Zugegeben ist Windows als Client-OS auf der anderen Seite dafür sicherlich nicht ideal, aber ich überlege jetzt, dafür vielleicht doch eine Windows-Server-VM aufzusetzen… mal schauen.

 

[eehm]

Nach dem Wechsel auf gescheite Hardware funktioniert alles, wie es soll

Klingt interessant. Was setzt du dann als Interesse hier ein?

 

[besterino]

Ich bin inzwischen (wieder) bei Supermicro-Mainboard (H12SSL-C) und Epyc CPU (7282). War vorher mit einem ASRockRack + Threadripper 3960X unterwegs. Die vorherige Kombo verhielt sich wie gesagt z.T. sonderbar, u.a. auch bei SR-IOV (was jetzt ebenfalls anstandslos funktioniert).

Das Einzige, was nicht geht wie geplant (bisher): 2 Samsung NVME in den beiden m.2 Slots des Mainboards lassen sich nicht an Solaris per PCIE-Passthrough durchreichen (die bei Adresse 0000:02 und 0000:03).

 

[eehm]

2 Samsung NVME in den beiden m.2 Slots des Mainboards lassen sich nicht an Solaris per PCIE-Passthrough durchreichen (die bei Adresse 0000:02 und 0000:03).

Und die anderen Samsungs Adresse 0000:81 - 0000:84 sind die gleichen aber wahrscheinlich auf einer PCIe-Karte mit 4 M.2-Slots?

 

[besterino]

Sind leider nicht die gleichen (sonst wär's ja zu einfach). Die an 81-84 sind Samsung 980Pro, die an 02-03 sind PM9A1. Aber ja, korrekt: die 980 Pro stecken in einer PCIe-Karte mit 4 m.2 slots, die PM9A1 in m.2 slots des Mainboards.

Ich hab hier tatsächlich zufällig noch einen PCIe-Adapter von Supermicro für immerhin 2 m.2 slots (allerdings nur PCIe3). Vielleicht teste ich die PM9A1 später / die Tage einmal darin.

 

[eehm]

Sind leider nicht die gleichen (sonst wär's ja zu einfach).

Ja das wäre dann fast zu leicht. Dachte vielelicht liegt es nur an der M.2 Schnittstelle, aber die ist ja eigentlich auch "nur" PCIe.
Ja wenn du noch so einen Adapter rumfliegen hast, dann teste das doch mal in dem. Drücke die Daumen, dass es geht.
Aber ein wirklich schönes und auch nicht wirklich günstiges System hast du dir da hingestellt!

 

[besterino]

Naja, irgendein Hobby braucht der Mensch...

Irgendwie gibt es leider keine vergleichbar schönen Desktop-Mainboards. Asus, Asrock, Gigabyte, MSI - irgendwie hab ich mit allen schon Ärger gehabt.

So wichtig ist das mit den beiden SSDs aber auch nicht. Baue die wahrscheinlich eh aus und stopf' die woanders rein. Bin mir über das finale Setup noch nicht 100% im Klaren.

 

[sch4kal]

Das Einzige, was nicht geht wie geplant (bisher): 2 Samsung NVME in den beiden m.2 Slots des Mainboards lassen sich nicht an Solaris per PCIE-Passthrough durchreichen (die bei Adresse 0000:02 und 0000:03).

Versteh da eh nicht so das Problem, ich würde nur HBAs direkt durchreichen (oder halt VF bzw. USB-Cards für Gaming-VMs). Einfach nen Datastore einrichten und den der VM geben, ist oft stressfreier.
Solaris muss nicht auf alles direkten HW-Zugriff haben, das legt da drauf auch nur einen zpool an.

 

[Trambahner]

ZPool auf nem VMFS-Filesystem? Halte ich eher für suboptimal weil dann eine zusätzliche Abhängigkeit für den Zpool entsteht , nämlich von einem intakten und funktionsfähigen Esxi.
ZFS sollte IMO schon nativ mit den Speichermedien sprechen.

Was macht Esxi z.B. mit den verschiedenen Blockgrößen, die ZFS schreibt.? Wenn da wieder VMFS "drüberbügelt" mit seinen Blockgrößen > mehh
Native Datenträger zieh ich im Desasterfall raus und stopf sie in eine ZFS-Maschine und kann importieren+zugreifen (ZFS Feature-Stand mal nicht im Detail betrachtet), völlig unabhängig von potentiellen Inkonsistenzen auf VMFS.

Sowas würde ich maximal für Cache-Devices machen.

 

[sch4kal]

nämlich von einem intakten und funktionsfähigen Esxi.

Das auch für ein korrektes Durchreichen von HW von Nöten ist. Ich hatte jedenfalls öfter Probleme mit durchgereichter, und nach einem Reboot nicht mehr durchgereichter HW, als mit Datastores die durchgereicht werden.

 

[besterino]

Tendenziell ist mir das auch lieber, wenn die Storage-VM die gesamte Storage-Hardware unter ihrer vollständigen / alleinigen Kontrolle hat. Wie @Trambahner schon schrieb, kann man dann zur Not die Datenträger dann auch in eine bare-metal Kiste stopfen und es läuft. Auch kommen dann noch so Kleinigkeiten wie Trimm, SMART-Werte & Co. dazu, bei denen ESXi im Management z.T. nicht ideal ist. Daneben hat man eben eine Ebene mehr im Hinblick auf write-cache/sync usw., die man u.U. im Blick haben muss. Das macht dann die Feinabstimmung potenziell zumindest komplizierter.

Die Umwege über RDM oder auch VMDKs sind daher für mich eher workarounds bzw. "2nd best solution".

Das andere Problem kenne ich aber auch, vor allem wenn man etwas an den passthrough-Einstellungen ändert (ein beliebiges Gerät mehr oder weniger als Passthrough konfiguriert, kann durchaus die Gesamtliste der Geräte beeinflussen, z.B. weil sich irgendwelche PCIE-Adressen ändern...). Musste erst gestern den Hobel mehrmals neu starten, weil ich einen Port an einer NIC von SR-IOV auf Passthrough gestellt hatte und danach plötzlich statt einer NVME SSD irgend'ne PCI-Bridge im passthrough war und (logischerweise) die Storage-VM nicht starten wollte...

Am Ende ist das alles eh irgendwo "Gefrickel" und würde ich außerhalb homeuse nicht einsetzen (schon angefangen bei den Consumer m.2 NVME SSDs). Welches Gefrickel dann jetzt objektiv graduell weniger Gefrickel oder gar besser ist, könnt' ich jedenfalls nicht sagen... Darum ist mein Pool mit den "wichtigen Daten" brav auf bewährten SATA-SSDs, die an nem eigenen HBA hängen. Der NVME-Pool ist Spiel- & Übungsplatz.

Wollte aber den Thread auch gar nicht kapern, sorry für OT an dieser Stelle!