Ergebnis 1 bis 16 von 16
  1. #1
    Matrose
    Registriert seit
    10.08.2011
    Beiträge
    14


    Lightbulb [Lösung] Passthrough für Nvidia Geforce GTX Consumer GPUs in VSphere (ESXi) 6.0

    Hallo,

    ich habe lange nach einer Lösung gesucht um Nvidia Consumer Grade GPU an die VMs durchzureichen (PCIe-Passthrough), ich bin jetzt auf folgende einfache Lösung gestoßen.

    Diese ist eigentlich dafür gedacht, dass das VM OS nicht merkt, dass es virtualisiert ist und man somit weiteren Virtualisierungstechniken in der VM nutzen kann wie z.B. Hyper-V (nested virtualization).

    Lustiger weise ist es auch so möglich den Error 43 des Nvidia Grafikkarten Treiber zu umgeben.

    Gefunden habe ich es auf dieser Seite:
    https://ianmcdowell.net/blog/esxi-nvidia/

    Danach noch ein bisschen weiter geschaut und folgende weitere Information gefunden:
    Проброс видеокарты NVIDIA в VMware ESXi 6.0 | vMind.ru (Seite ist glaube ich auf russisch? Google Übersetzer hilft ein klein wenig)
    https://www.reddit.com/r/homelab/com...ssthrough_and/ (weiter unten ist ein Eintrag von JimmyWillows)

    Die Lösung lautet wie folgt (ich kopiere hier die Infos, damit falls die Websiten vom Netz gehen wir immer noch eine Quelle haben ).
    - Gewünschte VM Herunterfahren
    - *.vmx-Datei der gewünschten Maschine mit GPU Passthrough öffnen
    - Am Ende der Datei folgende Zeile hinzufügen:
    hypervisor.cpuid.v0 = FALSE
    - Datei speichern
    - PCIe-Passthrough für die GPU aktivieren (hier ggfls. nicht das Audio Device mit durchreichen, da es zu Problemen führen könnte)
    - VM Starten

    Ich sammel mal weiter hier Informationen:
    1. Anscheinend funktioniert der Passthrough nur direkt nach dem Boot des ESXi, um den Passthrough nach Reboot der VM nutzen zu können, muss wohl die Grafikkarte sicher entfernt werden (mit devcon als Scheduled Task beim Herunterfahren)
    2. Es müssen weitere Parameter in der *.vmx Datei gesetzt werden, sonst gibt es bei AMD Karten anscheinend einen BSOD (ESXi GPU Passthrough for an HTPC | WebbosWorld)
    pciHole.start = "1200"
    pciHole.end = "2200"
    Hier ein paar Threads die sinnvolle Erfahrungen enthalten haben:
    https://communities.vmware.com/thread/461404?start=0
    https://forums.servethehome.com/inde...ng-guest.9397/
    https://www.pugetsystems.com/labs/ar...ing-Setup-564/ -> Vollständige Diskussion -> https://disqus.com/home/discussion/p..._gaming_setup/
    https://steamcommunity.com/groups/st...7378213272097/

    Hört sich plausibel an, ich werde das spätestens am Wochenende mit einem i7 4790/GTX770 ausprobieren.

    Hat jemand von euch damit Erfahrungen? Für mich wäre das schon der absolute Knaller, ich habe leider nur Nvidia Consumer CPUs und habe eigentlich seit 2 Jahren abgeschrieben, die mit ESXi in eine VM zu bekommen.

    Ich hoffe das es klappt, leider bin ich noch bis Freitag auf Dienstreise, vllt. kann jemand von euch das schon früher testen?

    Interessant wäre auch eine sinn-hafte Übersetzung der russischen Website .

    Gruß

    regnets
    Geändert von regnets (11.08.16 um 10:28 Uhr)

  2. Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

  3. #2
    Kapitänleutnant
    Registriert seit
    31.05.2010
    Beiträge
    1.817


    • Systeminfo
      • Motherboard:
      • Asrock Z270M-ITX/AC
      • CPU:
      • Intel i7-7700K
      • Systemname:
      • 7700K
      • Kühlung:
      • Noctua NH-L9i mit Noctua NF-A9
      • Gehäuse:
      • Dan's A4-SFX
      • RAM:
      • 32GB DDR4
      • Grafik:
      • GTX 1080Ti Founders Edition
      • Storage:
      • 256GB Intel 600p PCIe SSD
      • Monitor:
      • Asus PB278Q / Eizo EV2750
      • Netzwerk:
      • 2x1GBit
      • Netzteil:
      • Corsair SF600 SFX
      • Betriebssystem:
      • Windows 10 Pro
      • Notebook:
      • Schenker A102, i7-3612QM, 32GB RAM, Samsung 840 EVO 1TB

    Standard

    Selbst ist der Mann bzw. die Frau. Viel Spaß beim Testen und dann berichten!

  4. #3
    Oberstabsgefreiter
    Registriert seit
    14.08.2014
    Beiträge
    459


    Standard

    Ich würde dir da gerne weiterhelfen, stehe aber noch ganz am Anfang des Projekts. Meine Motivation ist, mittelfristig (sprich: bis der Support für Win7 ausläuft oder zu viele Spiele auf DX12 setzen) den Absprung von Windows als Haupt-OS zu schaffen und zu einem Desktop-Linux zu wechseln. Ganz ohne Windows wirds zwar nicht gehen, aber 90% wäre schon mal ein Anfang. Dual Boot würde natürlich auch funktionieren, ist aber uncool und bei virtualisierter Grafik geht zu viel Leistung verloren, also soll mit VT-D die Grafikkarte durchgeleitet werden. Board (inkl. Chipsatz) und CPU müssen es unterstützen und man benötigt wohl zwei Grafikkarten (bzw. IGP), an letzterem fehlt es bei mir derzeit noch (wg. Xeon CPU ohne GPU). Ich habe gutes über QEMU mit KVM gelesen, aber wie gesagt noch nichts getestet...

  5. #4
    Matrose
    Registriert seit
    10.08.2011
    Beiträge
    14
    Themenstarter


    Standard

    Hi Sweetchuck,

    ich würde dir empfehlen ein eigenes Thema aufzumachen, mir geht es um den Passthrough von Grafikkarten rein auf ESXi Basis.

    Für deinen Zecke würde ich unRAID oder Proxmox empfehlen, bei den Systemen ist das durchleiten von Geräten ein viel kleineres Problem.

    Ich nutze ESXi weil es nicht die eierlegende Wollmilchsau ist, wie z.B. unRAID.

    Das ist bestimmt für dich interessant: https://linustechtips.com/main/topic...ing-build-log/

    Gruß

    regnets

  6. #5
    Vizeadmiral Avatar von pumuckel
    Registriert seit
    13.12.2002
    Ort
    Bayern
    Beiträge
    6.921


    • Systeminfo
      • Motherboard:
      • Asus Z10PA-U8
      • CPU:
      • Intel Xeon E5-1650v3
      • Systemname:
      • Workstation
      • Kühlung:
      • Prolimatec Genesis mit 2*140er
      • Gehäuse:
      • Fractal Design Arc Midi R2
      • RAM:
      • 64GB Crucial DDR4-2133 reg ECC
      • Grafik:
      • EVGA 1070 FTW (rebuild)
      • Storage:
      • 800GB Intel DC P3600 PCIe NVMe + weitere
      • Monitor:
      • Dell 2713H, Samsung UE40JU6550
      • Netzwerk:
      • 10GBit Mellanox Connect X2
      • Sound:
      • Asus Xonar DG
      • Netzteil:
      • Coolermaster V550
      • Betriebssystem:
      • wechselt = div. Boot SSDs
      • Sonstiges:
      • Logitech G19, G9, G13, G602
      • Photoequipment:
      • 2 Augen
      • Handy:
      • Elephone P8000 - PP + 4G dual

    Standard

    unter esxi wirste mit non Quadro/Grid nicht weit kommen (geblockt von NVidia - bewußte Sperre)

    AMD Karten funktionieren jedoch sehr oft Problemfrei (hint: die neue 480/470 oder ältere 57xx z.B.)

    ich hatte vor langer zeit hier mal was gestartet für Linux nutzer: https://www.hardwareluxx.de/community...e-1097958.html
    Geändert von pumuckel (10.08.16 um 19:22 Uhr)
    Disclaimer: Alle Posts und Aussagen sind explizit nur MEINE Meinung ... als fehlbarer Mensch kann ich mich irren

    Mein VK Thread : in Erstellung: https://www.hardwareluxx.de/community...l#post25039854

  7. #6
    Matrose
    Registriert seit
    10.08.2011
    Beiträge
    14
    Themenstarter


    Standard

    Hi pumuckel,

    also hast du es schon mit Flag hypervisor.cpuid.v0 = FALSE getestet? Mir war die Info neu.

    Ich hab schon vor langer Zeit probiert Geforce GPUs durch zu reichen und bin wie wahrscheinlich auch du auf den Error 43 im Geräte Manager gestoßen.

    Mir ist es bewusst, dass Nvidia die Benutzung in VMs blockt um ihre Profi Karten zu kaufen, aber wenn mit dem Flag auch Nested Virtualization möglich ist und einige Leuten berichten, dass es geht, ist es einen Versuch Wert!
    Geändert von regnets (10.08.16 um 20:07 Uhr)

  8. #7
    Vizeadmiral Avatar von pumuckel
    Registriert seit
    13.12.2002
    Ort
    Bayern
    Beiträge
    6.921


    • Systeminfo
      • Motherboard:
      • Asus Z10PA-U8
      • CPU:
      • Intel Xeon E5-1650v3
      • Systemname:
      • Workstation
      • Kühlung:
      • Prolimatec Genesis mit 2*140er
      • Gehäuse:
      • Fractal Design Arc Midi R2
      • RAM:
      • 64GB Crucial DDR4-2133 reg ECC
      • Grafik:
      • EVGA 1070 FTW (rebuild)
      • Storage:
      • 800GB Intel DC P3600 PCIe NVMe + weitere
      • Monitor:
      • Dell 2713H, Samsung UE40JU6550
      • Netzwerk:
      • 10GBit Mellanox Connect X2
      • Sound:
      • Asus Xonar DG
      • Netzteil:
      • Coolermaster V550
      • Betriebssystem:
      • wechselt = div. Boot SSDs
      • Sonstiges:
      • Logitech G19, G9, G13, G602
      • Photoequipment:
      • 2 Augen
      • Handy:
      • Elephone P8000 - PP + 4G dual

    Standard

    Nvidia geht aktiv gegen Virt der consumer GPUs vor (bei Qemu/KVM hilft da der flag)

    AMD gehen eigentlich (fast) alle
    Disclaimer: Alle Posts und Aussagen sind explizit nur MEINE Meinung ... als fehlbarer Mensch kann ich mich irren

    Mein VK Thread : in Erstellung: https://www.hardwareluxx.de/community...l#post25039854

  9. #8
    Matrose
    Registriert seit
    10.08.2011
    Beiträge
    14
    Themenstarter


    Standard

    Wie gesagt, dass ist mir bewusst und ich weiß das der Nvidia Geforce Treiber so gestrickt ist in einer VM nicht zu laufen.

    Also hast du es mit dem Flag schon getestet oder kanntest du das Flag schon? Ich habe weder im ESXi Hilfethread noch im Unterforum mit dem Suchbegriff etwas finden können.

  10. #9
    Vizeadmiral Avatar von pumuckel
    Registriert seit
    13.12.2002
    Ort
    Bayern
    Beiträge
    6.921


    • Systeminfo
      • Motherboard:
      • Asus Z10PA-U8
      • CPU:
      • Intel Xeon E5-1650v3
      • Systemname:
      • Workstation
      • Kühlung:
      • Prolimatec Genesis mit 2*140er
      • Gehäuse:
      • Fractal Design Arc Midi R2
      • RAM:
      • 64GB Crucial DDR4-2133 reg ECC
      • Grafik:
      • EVGA 1070 FTW (rebuild)
      • Storage:
      • 800GB Intel DC P3600 PCIe NVMe + weitere
      • Monitor:
      • Dell 2713H, Samsung UE40JU6550
      • Netzwerk:
      • 10GBit Mellanox Connect X2
      • Sound:
      • Asus Xonar DG
      • Netzteil:
      • Coolermaster V550
      • Betriebssystem:
      • wechselt = div. Boot SSDs
      • Sonstiges:
      • Logitech G19, G9, G13, G602
      • Photoequipment:
      • 2 Augen
      • Handy:
      • Elephone P8000 - PP + 4G dual

    Standard

    nur in Qemu/kvm ... zu esxi kann ich dir zu NVidia nix sagen, da ich das aktiv vermeide (= nichtmal mehr probiere)
    Geändert von pumuckel (10.08.16 um 20:22 Uhr)
    Disclaimer: Alle Posts und Aussagen sind explizit nur MEINE Meinung ... als fehlbarer Mensch kann ich mich irren

    Mein VK Thread : in Erstellung: https://www.hardwareluxx.de/community...l#post25039854

  11. #10
    Matrose
    Registriert seit
    10.08.2011
    Beiträge
    14
    Themenstarter


    Standard

    Es freut mich, dass du Qemu/kvm benutzt und nur AMD Karten nutzt.

    Aber naja, dass ist nicht mein Anliegen, deswegen habe ich den Thread erstellt, es geht mir um Geforce Consumer GPUs und ESXi.

    Das es mit Qemu/kvm/proxmox/unRaid geht ist mir bekannt, aber dafür brauchen wir dann kein Thema.

    Mir ist auch bekannt, dass es bisher keine Lösung gegeben hat, aber wenn du mal nach hypervisor.cpuid.v0 = FALSE und Geforce googlest, findest du sehr sehr wenig ergebnisse. Der Blogeintrag von Ian McDowell ist vom 9. April 2016 und deswegen wollte ich nachfragen ob jemand anders der ESXi und Nvidia Karten nutzt lust hat, dass auszuprobieren, weil ich vor dem Wochenende (oder auch erst das danach) zum testen komme und vielleicht ist es für andere Menschen die ESXi und Geforce Karten nutzen interessant.

  12. #11
    Vizeadmiral Avatar von pumuckel
    Registriert seit
    13.12.2002
    Ort
    Bayern
    Beiträge
    6.921


    • Systeminfo
      • Motherboard:
      • Asus Z10PA-U8
      • CPU:
      • Intel Xeon E5-1650v3
      • Systemname:
      • Workstation
      • Kühlung:
      • Prolimatec Genesis mit 2*140er
      • Gehäuse:
      • Fractal Design Arc Midi R2
      • RAM:
      • 64GB Crucial DDR4-2133 reg ECC
      • Grafik:
      • EVGA 1070 FTW (rebuild)
      • Storage:
      • 800GB Intel DC P3600 PCIe NVMe + weitere
      • Monitor:
      • Dell 2713H, Samsung UE40JU6550
      • Netzwerk:
      • 10GBit Mellanox Connect X2
      • Sound:
      • Asus Xonar DG
      • Netzteil:
      • Coolermaster V550
      • Betriebssystem:
      • wechselt = div. Boot SSDs
      • Sonstiges:
      • Logitech G19, G9, G13, G602
      • Photoequipment:
      • 2 Augen
      • Handy:
      • Elephone P8000 - PP + 4G dual

    Standard

    was nutzt es dann, wenn ich dir sage : ESXi und NVidia Consumer VGA = nogo

    du kannst dir ne alte 460 holen und auf Quadro umflashen ...
    Geändert von pumuckel (10.08.16 um 20:29 Uhr)
    Disclaimer: Alle Posts und Aussagen sind explizit nur MEINE Meinung ... als fehlbarer Mensch kann ich mich irren

    Mein VK Thread : in Erstellung: https://www.hardwareluxx.de/community...l#post25039854

  13. #12
    Matrose
    Registriert seit
    10.08.2011
    Beiträge
    14
    Themenstarter


    Standard

    Vielleicht liest du nochmal meinen ersten Thread durch, in den 3 Quellen sind, bei denen es mit dem Flag geht.

    Ich zitiere mal Ian, dann brauchst du nicht die Links zu durchsuchen:
    PCI Passthrough of NVidia cards is usually software-restricted to the professional Quadro series of cards. Desktop cards will flat out not work whatsoever if the drivers detect that they are being run inside virtualization. Through all the research I did online, I found that only KVM allows you to passthrough NVidia GPUs by toggling the "kvm=off" flag so the drivers can't detect virtualization and don't throw an error -43 when they detect they are in a VM.

    I got this to work on an Arch linux install with KVM/libvirt, however I wanted the same thing to be possible on ESXi, which is my preferred hypervisor.


    After hours of trail and error, I finally found a solution. It's really simple, but I found nobody else online who was able to actually get it to work.
    Geändert von regnets (10.08.16 um 20:32 Uhr)

  14. #13
    Vizeadmiral Avatar von pumuckel
    Registriert seit
    13.12.2002
    Ort
    Bayern
    Beiträge
    6.921


    • Systeminfo
      • Motherboard:
      • Asus Z10PA-U8
      • CPU:
      • Intel Xeon E5-1650v3
      • Systemname:
      • Workstation
      • Kühlung:
      • Prolimatec Genesis mit 2*140er
      • Gehäuse:
      • Fractal Design Arc Midi R2
      • RAM:
      • 64GB Crucial DDR4-2133 reg ECC
      • Grafik:
      • EVGA 1070 FTW (rebuild)
      • Storage:
      • 800GB Intel DC P3600 PCIe NVMe + weitere
      • Monitor:
      • Dell 2713H, Samsung UE40JU6550
      • Netzwerk:
      • 10GBit Mellanox Connect X2
      • Sound:
      • Asus Xonar DG
      • Netzteil:
      • Coolermaster V550
      • Betriebssystem:
      • wechselt = div. Boot SSDs
      • Sonstiges:
      • Logitech G19, G9, G13, G602
      • Photoequipment:
      • 2 Augen
      • Handy:
      • Elephone P8000 - PP + 4G dual

    Standard

    dann entschuldige ich mich hiermit förmlich für meine nutzlosen beiträge und wünsche dir alles Gute bei deiner Suche
    Disclaimer: Alle Posts und Aussagen sind explizit nur MEINE Meinung ... als fehlbarer Mensch kann ich mich irren

    Mein VK Thread : in Erstellung: https://www.hardwareluxx.de/community...l#post25039854

  15. #14
    Matrose
    Registriert seit
    10.08.2011
    Beiträge
    14
    Themenstarter


    Standard

    Ach Quark entschuldigen, ein Forum ist doch zum austauschen gedacht, da kann man sich auch schonmal mißverstehen .

    Ich werde auf jedenfall berichten, sobald ich auf meinen Desktop Rechner ESXi installiert habe, ich denke eine GTX770 in einen MicroServer Gen8 oder Gen7 ist nicht wirklich möglich (rein platz technisch )

  16. #15
    Hauptgefreiter
    Registriert seit
    07.07.2013
    Beiträge
    228


    • Systeminfo
      • Motherboard:
      • ASUS P9X79
      • CPU:
      • Intel i7 4820K @ 3,7 GHz
      • Kühlung:
      • Corsair H80i
      • Gehäuse:
      • Thermaltake Armor A60
      • RAM:
      • HyperX Fury 16 GB DDR3-1866
      • Grafik:
      • NVIDIA GeForce GTX 970
      • Storage:
      • 120 GB Samsung SSD, 1.5 TB Seagate, 2 TB Seagate
      • Monitor:
      • Dell UltraSharp 2515H / BenQ RL2450HT
      • Netzwerk:
      • Onboard Intel Gigabit
      • Sound:
      • Asus Xonar DX PCIe
      • Netzteil:
      • Sharkoon Silent Storm SHA660
      • Betriebssystem:
      • Windows 10 Education
      • Notebook:
      • MacBook Pro 13 Retina, Late 2013
      • Photoequipment:
      • Sony Alpha 33 (SLT-A33)

    Standard

    Hab bis jetzt noch nie davon gehört dass das ohne Quadro/Telsa, oder ordentlich per GRID Karte, funktionieren sollte.
    Selbst mit AMD Karten funktioniert das nicht anstandslos, dort muss man öfter mal den Host starten, was nicht Sinn der Sache ist.

    Sobald es hier ein paar Bilder gibt in denen etwas 3D Beschleunigt wird könnte es interessant werden. Denn aktuell wird von VMware alles in der GPU Sparte vom Support gezogen, da nur noch GRID die Lösung sein sollte.
    Für den Rest der Leser hier, der ggf nur wegen 3D Beschleunigung in seinem eigenem Server interessiert ist: Holt euch in der Bucht eine Nvidia Quadro K2000 bzw. K4000, besser noch die ältere Quadro 4000.

    Dabei muss man auch beachten das auch dort Beschränkungen gegeben sind: vDGA funktioniert mit den K Modellen (dedizierte Grafik), vDGA sowie vSGA funktioniert bei den ohne K Modellen (shared Grafik).

    Na da bin ich mal gespannt. Habe auch öfters mal nach einer Lösung gesucht ohne gleich die GRID K1 zu holen.
    vSphere DRS Homecluster! @ 81GHz & 202 GB ECC RAM
    ESXI 1: Gigabyte MU70-SU0, E5-2683V3 14x 2.00 GHz +HT, 48 GB DDR4 Reg.ECC 2133, 1x 10GBit, 4x 1GBit @ ESXi 6.0U2
    ESXI 2: HP ML310e Gen8, E3-1220V2 4x 3.10GHz, 26 GB DDR3 ECC 1600, 1x 10GBit, 4x 1GBit @ ESXi 6.0U2
    ESXI 3: Supermicro SYS-6017R-WRF, 2x E5-2670 16x 2.60 GHz +HT, 128 GB DDR3 ECC 1333, 4x 1GBit @ ESXi 6.0U2
    Workstation: ASUS P9X79, i7 4820K 4x 3.70GHz +HT, 16 GB DDR3 1866, MSI GTX1070, 1x 10GBit @ Windows 10 Pro

  17. #16
    Matrose
    Registriert seit
    16.02.2017
    Ort
    Schweiz
    Beiträge
    3


    Standard

    Apropos Nvidia Consumer GPUs in VSphere (ESXi) 6.0: habe die ZOTAC GEFORCE GTX 1050 MINI mal zum laufen gebracht. Laufen tut sie, mal schauen ob das für ein vHTPC reicht.
    Desktop: MacMini | i5 2x2.5GHz | 16GB | 256GB PCIe Flash | MacOS 10.12
    Mobil: MacBook Air | i5 2x1.4GHz | 8GB | 512GB Flash | MacOS 10.12
    ESXi: HP ProLiant ML10 Gen9 | Intel Xeon E3-1225 v5 4x3.30GHz | 24GB ECC | 2x2TB WD Green Raid 0, 1x1TB, 1x256GB Flash | HP NC364T PCI-e 4xGbE | ESXi 6.0U2 (PFSense, Win10, Debian, Ubuntu)
    HTPC: Intel NUC | i3 2x1.8GHz | 8GB | 128GB mSATA SSD | Win10 Pro
    HTPC: RPi 3 Model B | ARMv8 4x1.2GHz | 1GB | Raspbian
    VPN: RPi 3 Model B | ARMv8 4x1.2GHz | 1GB | Raspbian
    NAS: Synology 1815+ | 5x4TB WD RED | 2x8TB Seagate Archive HDD
    Switch: HPE OfficeConnect 1920-24G

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •