[Sammelthread] Microsoft Hyper-V Stammtisch

Danke erstmal für den Link. Schönes Tutorial, hat bei mir aber leider nicht funktioniert. Nutze aber auch niocht Server von einfach Hyper V auf Win 10 Pro.

Auf dem Server hat er gemeckert, dass es ein öffentliches Netz gäbe (liegt wohl am virtuellen Standard-Switch). Hab den Check danach diabled.
Auf dem Client lief alles durch, allerdings bei der Anmeldung bleibt die Anmeldung via anderer Benutzer ausgegraut, und es kommt der Fehler, ich müsste den Host zu den Trsuted Hosts hinzufügen...

1607808882559.png
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ja ich nutze auch RFP /SSH - ich suche auch nichts "besseres" eher komfortabel, beide Hyper V direkt in einem Interface 😊
 
@besterino Sehe ich es richtig, dass ich die Befehle größtenteils mit "disable" statt enable wieder rüclgängig mache?
 
Abend,

ich habe selber eine Lenovo p700 workstation und möchte gerne per DDA eine GPU an eine VM übergeben.
Soweit so gut. Habe soweit es geht alles notwendige im BIOS/UEFI eingestellt.

VT-d
VT-x
ACS
ACPI

leider wirft mir Windows doch immer wieder beim dismount aus, dass die Funktion nicht unterstützt wird.
Hat hier einer von euch zufällig auch eine Lenovo workstation und hatte eine ähnliche Herausforderung?

bin für jede Hilfe dankbar!

Nachtrag: die Fehlermeldung bei folgendem Befehl:

Dismount-VmHostAssignableDevice -locationpath $locationpath -force

"The current configuration does not allow for OS control of the PCI Express bus. Please check your BIOS or UEFI settings."
 
Zuletzt bearbeitet:
Ich weiß nicht, ob das genau das ist, was Du meinst, aber ich hab ne X550 T2 in meinem HomeServer, und hier eine Hyper V Ubuntu VM welche einen 1GB NIC zu einem X550 bridged, dieser widerum gibt an meinen Hauptrechner frei. Lesend sind 1 GB/s gar kein Problem, schreibend ab und an schon, aber ich bin mir sicher das liegt am Treiber (Samsung 950 PRO als SSD). Bevor hier Fragen aufkommen warum das ganze: Hatte keine Lust noch nen 10GB Switch zu kaufen ^^
 
Also Asus Router - HomeServer - zwei Kabel einmal Intel X550 #1 einmal Intel NIC 219V. Der X550 #1 ist ein vrtueller Switch der X550 #2 auch. Beide an die Ubuntu VM. In der VM gebridged und freigegeben. X550 #2 Kabel zum Hauptrechner. Dort ne Aquantia 107. In den Netzwerkeinstellungen musste ich glaube ich nen privates Netzwerk einrichten. Ja das geht, ich hab es bisher nicht geschafft, dann noch auf den Hauptrechner aus dem Netzwerk zuzugreifen, weil der ja hinter der Ubuntu VM hängt. Geht aber bestimmt auch. Braucht man ja aber auchnicht wirklich, außer vlt, wenn man auf dem Sofa chillt und per iPad mit remoteDesktop auf den Hauptrechner zugreifen will... Steam In House Gaming ging glaube ich noch, Moonlight aber nicht? Die Windows interne Netzwerkfreigabe / Brücke hat nicht wirklich funktioniert. Schöner wäre natürlich mit Switch, aber weil 10G eh Spielerei ist, war ich hier geizig :ROFLMAO:
 
Die X550 steckt auf nem Z490 ITX Board von ASRock. Das lief sehr smooth durch, hatte früher schon mal 2 Mellanox Karten, da ging aber SR IOV unter Proxmox nicht, deswegen hab ich die wieder zurückgeschickt. Eigtl braucht man auch kein 10G weil die Komprimierung des BackUp Programms bringt kaum mehr raus... aber hab die Karte für nen Hunni auf eBay Kleinanzeigen geschossen, Und die Aquantia von Asus beim CyberMonday... die Intel läuft gut mit Hyper V, der Realtek 2,5 G NIC leider nicht, fällt genre auf 100 MB zurück... wenn du den Router gmeint hast nen Asus AC88U...
 
pfSense kann afaik kein SR-IOV
 
Ich ärgere mich auch gerade mit SR-IOV rum, aber unter ESXi. Bei mir startet die VM nichtmal... schlimmer geht also immer. :d

Meine aber, dass die VM das nicht können muss - die muss m.W. nur „normale“ Treiber für die Hardware an Bord haben...
 
SR IOV ist Mist. Und hätte ich das gewusst, hätte ich die Mellanox behalten können, denn: 10 Gbit RJ45 Switche mit mehr als 2 Ports werden sehr teuer. Hatte es testweise am WE unter Proxmox aktiviert (unter ESXI hat es nicht geklappt). Es ging sogar, aber als ich im Tutorial dann noch gelesne hab, dass man es persistent machen muss, und wenn ich richtig erinnere, auch noch Treiber für die Guests, hab ich es mir geklemmt.
 
Sorry, keine Ahnung - schon ewig nicht mehr mit hyper-v gespielt. :(
 
Ich spiele gerade mal wieder mit'm Netzwerkgedöns. SR-IOV läuft jetzt brav auf meinem ESXi - da hing's am falschen Guest-OS (Solaris "is' nich'" - schöner Mist). In der Windows 10-VM geht's aber wohl (inklusive RDMA, dazu gleich). Vielleicht ist ja dein pfsense-Problem vergleichbar? Bringt einfach nicht die nötige Unterstützung mit?

Bei meinem nativen Windows 10 auf dem Threadripper-System gibt's aber z.B. ebenfalls Problemchen mit SR-IOV: Gelbes Ausrufezeichen im Dateimanager, siehe auch Tabelle 8 auf Seite 14 hier bei Mellanox. Workaround: SR-IOV im BIOS abschalten, dann läuft zumindest die NIC. Evtl. hilft ein Firmware-Update der NIC, muss ich noch testen.

Davon ab spiele ich gerade mit RDMA unter Windows herum. Oder sagen wir mal so: RDMA in der Geschmacksrichtung von "SMB Direct" - was nach meinem Verständnis ja deutlich einfacher zu konfigurieren sein sollte als RoCE & Co. Tja. Theoretisch, denn SMB Direct mit RDMA bietet Windows 10 (Pro) offenbar nur in der Sub-Geschmacksrichtung "for Workstations". Na geil.

Immerhin hab' ich es schon einmal testweise (Win Pro for WS auf beiden Seiten) geschafft, dass nach dem Mounting einer SMB-Freigabe "Get-SmbMultichannelConnection" ein "Client RDMA Capable "True" auswirft.

Jetzt häng ich aber wieder/trotzdem vor meiner ewigen ~20gbit-Limit-Wand und muss mal schauen, ob wieder mein blödes Storage limitiert. RAM-Disk, ich komme...

Jedenfalls hat der Kollege es hier (für mich) mal ganz gut zusammengefasst: http://wchukov.blogspot.com/2018/05/infinibandrdma-on-windows.html

Ich werde berichten.
 
SR-IOV sollte auch "nur" mit Win10 Pro gehen, also als GastOS. Das ging jedenfalls bei mir unter ESXi problemlos.
 
So. RAM-Disk macht's etwas besser aber noch nicht gut. Lokal hab ich auf der RAM-disk ca. 14.000MB/s read und 10.000 Write (mit Crystaldiskmark), über's Netz nur noch ca. 4.000r/3000w). Besser als 10gbit, aber noch weit von 100gbit entfernt.

Habe auch jetzt festgestellt, dass wohl RDMA mit Win10 Pro 4W als Server auch nicht taugt, jedenfalls wenn man denen hier glauben kann. Jedenfalls wechselt die Ausgabe von Get-SmbMultichannelConnection zu Client "RDMA Capable" von zunächst "true" auf magische Weise irgendwann (bisserl Last aufm Netz) zu "false"... *kotz*

Hier lagen nur ein paar Sekunden dazwischen:

Code:
PS C:\WINDOWS\system32> Get-SmbMultichannelConnection

Server Name  Selected Client IP     Server IP    Client Interface Index Server Interface Index Client RSS Capable Clien
                                                                                                                  t
                                                                                                                  RDMA
                                                                                                                  Capab
                                                                                                                  le
-----------  -------- ---------     ---------    ---------------------- ---------------------- ------------------ -----
10.10.100.79 True     10.10.100.183 10.10.100.79 16                     34                     False              True


PS C:\WINDOWS\system32> Get-SmbMultichannelConnection

Server Name  Selected Client IP     Server IP    Client Interface Index Server Interface Index Client RSS Capable Clien
                                                                                                                  t
                                                                                                                  RDMA
                                                                                                                  Capab
                                                                                                                  le
-----------  -------- ---------     ---------    ---------------------- ---------------------- ------------------ -----
10.10.100.79 True     10.10.100.183 10.10.100.79 16                     34                     True               False

Aber glauben heißt nicht wissen und darum lad' ich mir jetzt mal eine Windows 2019 Server Evaluation ISO und guck' mir das auch damit noch an... Vielleicht liegts ja auch am ESXi-Setup und/oder die ConnectX steckt in einem falschen Slot (bin mir aber ziemlich sicher, dass ich einen x16 genommen hatte). Ich seh's schon kommen, ich muss mich evtl. doch noch tiefer reinwursteln.
 
HEUREKA!

Server: Windows Server 2019 Standard "GUI Experience" - Virtuelle Maschine auf ESXi 6.7 mit 32GB RAM (Server Specs siehe Signatur "Mainserver"), ConnectX als SR-IOV NIC an VM durchgereicht

Client: Windows 10 Pro for Workstations, bare metal

Setup: 20GB RAM-Disk auf Server, Ordner freigegeben und als Laufwerk O: auf Client verbunden.
Besondere Settings: keine



100gbit.png


Code:
PS C:\WINDOWS\system32> Get-SmbMultichannelConnection

Server Name   Selected Client IP    Server IP     Client Interface Index Server Interface Index Client RSS Capable Client RDMA Capable
-----------   -------- ---------    ---------     ---------------------- ---------------------- ------------------ -------------------
10.10.100.198 True     10.10.100.79 10.10.100.198 34                     4                      False              True

So. Und jetzt muss das bitte nur noch ohne 2019 Server auf der einen Seite...
 
Jain. Unter Linux hab ich die Geschwindigkeiten durchaus schonmal gesehen. Ich hatte aber seinerzeit(tm) mich damit abgefunden, dass (für mich) vor allem mit Windows einfach nix Gescheites (schneller als 10gbit) über's Netz rauszuholen ist, vor allem nicht in der Kombination mit meiner Ist-/Wunsch-Storage-Lösung (ZFS auf Solaris 11.3 oder 11.4). Am Ende hab ich mich u.a. deshalb doch für schnelles Storage lokal im Desktop entschieden - für den unwichtigen Kram (das wichtige Zeug, liegt auf ZFS).

Nun grübele ich aber wieder mal über was Neues nach und wollte jetzt doch nochmal genauer wissen, was in Sachen Windows geht bzw. "ich ganz persönlich hingefrickelt bekomme". Insofern ist SMB-Direct mit RDMA für mich ein "Teilerfolg", da zumindest der Windows 10 "Client" jetzt im "proof of concept" die 100gbit "nachweislich" nutzen kann. Erst jetzt lohnt es sich für mich also, mir überhaupt vielleicht weitere Gedanken und ggf. Tests zu machen.

Eine echte konkrete Lösung zeichnet sich da aber auch noch nicht ab: auf der Server-Seite scheitert es bereits daran, dass "mein" Solaris (ohne Support-Vertrag) keine nativen / SR-IOV-fähigen Treiber für die Connectx-4 hat. Die Treiber sind erst später in einem Update hinzugekommen, auf das ich aber mangels Support keinen Zugriff habe. Ob sich selbst mit Treibern zwischen Solaris und Windows 10 eine - wie auch immer geartete - RDMA-nutzende Netzwerk-Verbindung herstellen lässt, weiß ich auch (noch) nicht. Zum Beispiel hätte ich große Zweifel, dass die SMB/CIFS-Implementierung von Solaris auch den RDMA-/SMB-Direct-Teil mitbringt/unterstützt. Dann müsste ich wohl mal weiter schauen mit iSCSI & Co. oder einem Windows-Fileserver als "Zwischenstück".

Ich zitier' dazu gerne mal Microsoft, mein Lieblingsteil in fett hervorgehoben: ;)

While the Microsoft RDMA interface is RDMA-technology agnostic, in our experience with customers and partners we find that RoCE/RoCEv2 installations are difficult to get configured correctly and are problematic at any scale above a single rack.  If you intend to deploy RoCE/RoCEv2, you should a) have a small scale (single rack) installation, and b) have an expert network administrator who is intimately familiar with Data Center Bridging (DCB), especially the Enhanced Transmission Service (ETS) and Priority Flow Control (PFC) components of DCB.  If you are deploying in any other context iWarp is the safer alternative.  iWarp does not require any configuration of DCB on network hosts or network switches and can operate over the same distances as any other TCP connection. RoCE, even when enhanced with Explicit Congestion Notification (ECN) detection, requires network configuration to configure DCB/ETS/PFC and/or ECN especially if the scale of deployment exceeds a single rack.  Tuning of these settings, i.e., the settings required to make DCB and/or ECN work, is an art not mastered by every network engineer.
Quelle

Im besten Fall scheitere ich mich hier also auch nur Stück-für-Stück voran. Und der Frust ist zwischendurch auch hoch, da ich kein IT-ler, geschweige denn Netzwerk-Engineer o.ä. bin und sich da für mich fast an jeder Stelle nur Fragezeichen auftun, deren Antworten ich mir mühsam selbst anlesen / ausprobieren muss. Das zusätzliche Kunststück, die Solaris- mit der Windows-Welt verheiraten zu wollen, macht die Sache für mich auch nicht leichter. :d

Naja, Hobby halt. Dafür bin ich für meine Verhältnisse schon recht weit gekommen. :)
 
Hallo,

habe eine kurze Frage:
Ist es möglich, wenn der HyperV-Host via Gigabit im Netzwerk hängt, zumindest den Traffic der VMs über 10 Gbit laufen zu lassen?

Bis Server 2012 war das wohl Standard - mit Server 2016/19 wurde dies wohl abgeschafft.

Es wird einfach die physikalische Geschwindigkeit der Netzwerkkarte genommen - alle VMs sind mit 1Gbit verbunden.

Danke
 
Huh?? Das kann doch nicht sein!

Sonst reinen vSwitch ohne physischen Port und Router-Brücke dazwischen nehmen?

EDIT & Nachtrag: gibt wohl einige Performance-Themen (und man soll wohl dringend RSC auf dem vSwitch abschalten). Speziell zu Deinem Thema, dass die physische Link Speed den ganzen vSwitch ausbremst, hab ich auf die Schnelle noch nichts gefunden.
 
Zuletzt bearbeitet:
Thema vSwitch:
1620854759049.png


Kann bitte jemand erklären, was die jeweiligen 3 Punkte bedeuten bzw. sagen wo man es nachlesen kann? Wirklich erhellendes hab ich leider nicht dazu gefunden. Ich erinnere mich dass bspw. OPNsense mit allen dreien aktiviert nicht ging...
 
So.

Da Solarish ja nicht so richtig will mit meiner ConnectX-4 und ich eh hier nur einen am liebsten aberwitzig schnellen dafür völlig unsicheren Storage für banale Daten (wenn weg --> egal) bauen will, mach' ich das jetzt halt mit Windows. Mit der kostenlosen Hyper-V Core Edition, auf der sich sogar die Fileserver-Rolle aktivieren lässt...

Setup:
Hypervisor: ESXi 6.7 (ohne U)
VM-Gast-OS: Windows Server 2019 Hyper-V Core
NIC: ConnectX-4 als SR-IOV Adapter
Storage: 40GB VMDK (OS), 2x 4TB Samsung 870 EVO (notgedrungen per RDM eingehängt)

00_VM.jpg



Installation des Gast-OS ist ja schnell gemacht.

RDMA? Läuft!

01_Server_NIC.jpg


Dann noch schnell die Fileserver-Rolle installieren:
Code:
Install-WindowsFeature File-Services

Storage Space mit "Raid0" mit den beiden SSDs (sind die einzigen freien, also mit -canpool=true) erstellen:
Code:
PS C:\> $PhysicalDisks = (Get-PhysicalDisk -CanPool $True)
PS C:\> New-StoragePool -FriendlyName 8TB -StorageSubsystemFriendlyName "Windows Storage*" -PhysicalDisks $PhysicalDisks
PS C:\> New-VirtualDisk -FriendlyName SSDs -StoragePoolFriendlyName 8TB -NumberOfColumns 2 -ResiliencySettingName simple -UseMaximumSize

Nutzbares Volume erstellen:
Code:
Diskpart
list disk //neue Disk suchen, # merken
select disk #
online disk
attributes disk clear readonly
create partition primary
format quick fs=refs
assign letter = d:
exit

Folder und Freigabe erstellen:
Code:
d:
md SMB_shares
new-smbshare -name Flott -path d:\SMB_shares -Fullaccess "HypV\Administrator"

...tjo und dann ganz normal auf dem Client verbinden.

SMB-Multichannel? Läuft (die 10.10.100.3 ist der flotte Server).

03_Läuft.jpg


Erster Speed-Test mit einer 300GB-Datei: ca. 2GB/s (pulsierend, 2GB/s bis der Cache voll ist, dann 0MB/s, dann wieder hoch...)

CDM:
02_CMD.jpg


Und jetzt kopier' ich mal meine Spiele-Bibliothek dahin. Mal schauen, wie lang das mit den 3,5TB so dauert...

Hier noch der Beweis, dass RDMA läuft: kopiert wird mit >100MB/s, der Task-Manager zeigt aber nichtmal 1mbit Last auf der Ethernet-Karte. Rock'n'Roll!

RDMA_Proof.jpg


Die spannende Frage wird ja sein, ob die Programme dann auch von der Netzwerkfreigabe so laufen, wie von einer lokalen Platte. Da hatte ich zuletzt (schon ein paar Jahre her) mit SMB noch Probleme - mit iSCSI ging hingegen alles problemlos.

Wenn dieser Test klappt, könnt' ich mein Storage insgesamt mal wieder grundlegend neu organisieren. Bliebe nur der Wermutstropfen, dass ich Windows als Fileserver benutzen muss...
 
Zuletzt bearbeitet:
@besterino

Wäre zwar vom Zeh durch den Kopf.
Was wäre wenn du zumindest zfs Iscsi nutzen könntest ?

Mir kam da gerade eine Idee:

Solaris VM und Windows direkt über den (extra) vswitch - ohne physische NIC, alles über den Ram
Zfs iscsi In den hyper v filer
Per smb an die Clients


Keine Ahnung ob und wie zuverlässig esxi Cross VM Traffic von der NIc ausschließt.

Ggf hast du dann trotz VMXNet 3 mehr Speed und zfs
 
Ne, hab ich schon ausprobiert. Die ZFS-VM bekommt die PS einfach nicht auf die Straße. Dreh- und Angelpunkt ist die NIC, leider.
 
Ich hab den Eindruck, dass der ESXi da bremst. Entweder wegen CPU- oder sonst einem Flaschenhals.
 
Ich hab das auf einem Optiplex 3070 micro am laufen. Ist aber nur zum Rumspielen
 
Hallo zusammen, ich bin nicht ganz sicher, ob das Thema hier oder im 10G Stammtisch besser aufgehoben ist.

Ich bin nicht ganz sicher wo der Flaschenhals liegt.

Intel X550 - Asus 10GB Switch (der passive) - Asus XG100 Karte

Als OS zwei Mal Windows 10.

Nun hatte ich, bevor ich den Switch geholt hatte, den PC per Netzwerkbrücke in einer Linux VM. da waren meist so 300-700 MB/s drinnen. Mit Switch hat sich nicht viel geändert.

Hatte den W10 Server dann platt gemacht, und in den letzten Wochen fleißig getestet, TrueNAS, Proxmox, ESXI (Perfrmance lag bei ba 800-1000), am Schluss beschloss ich zurück zu W10 zu gehen weil ich eben eine GraKa brauche (Steam Streaming).

Anyway: Nun habe ich während ich W10 neu installiert habe, auch wieder etwas Speedtests gemacht, under wollte Partout nicht über 450 MB/s. Jumbo Frames etc. natürlich aktiviert. Also mal direktes Netzwerk aufgebaut, zack 1,15 Gb/s am Anschlag. Später dann aber auch nur noch 400 MB/s...

Läuft auf ner 950 PRO / 3 RAID0 aus 1TB SATA SSDs (sowohl Windows Stripset, wie auch Intel Rapid Storage getestet).

Kann so ne Karte zu viel Hitze drosseln?
Oder liegt die Chance nahe, dass Hyper V, sobal man einen Switch draus macht, großzügig drosselt? Hatte es auch noch in den anderen ungeswitchten Port gesteckt, bzw. den ssitch auf den Onboard NIC gelegt... leider keine Besserung...

Jemand ne Idee?
 
Hmmm. Danke erstmal für die schnelle Rückmeldung. den Zyxel hab ich mir jetzt auch mal bestellt - vlt wirds damit besser, andererseits, war es ja zuletzt auch ohne Switch so langsam. Entweder Hitze oder Windows 10. Hast du auch W10 oder Windows Server?
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh