Workstation

[orange84]

Liebe Foren-Gemeinde,

ich bin dabei, eine neue Workstation zu konfigurieren und hoffe, hier ein paar Anregungen und konstruktive Kritik zu erhalten.

Als Host soll auf der Workstation ein Linux laufen, womit mithilfe von KVM/QEMU und LibVirt virtuelle Maschinen betrieben werden.
Als leistungsstärkste VM würde ich exemplarisch eine mit Windows betriebene VM beschreiben, in der Videoschnitt, 3D-Rendering und große Photoshop-Dateien bewältigt werden können. Der Fokus der VMs liegt eher auf Produktivität – Gaming spielt eine untergeordnete Rolle. (Nice to have, muss aber nicht)

Setup:
CPU: AMD 7950x
Kühler: Noctua NH-D15S
Mainboard: Asus ProArt x870E
RAM: G.Skill 64 GB (spätere Erweiterung auf 128 GB)
Speicher: Samsung 990 Pro 2 TB (Host) / Samsung 990 Pro 4 TB (VM)
GPU: RTX 4090
Netzteil: Corsair HX1000i
Gehäuse: Asus ProArt PA602

Zu meinen Fragen:

• Ursprünglich hatte ich mir als CPU den AMD 7950x herausgesucht.
  Da ich durch das nicht verfügbare Asus x670E auf das x870E gewechselt bin, stellt sich mir jetzt die Frage, ob es nicht vorteilhafter wäre, direkt einen 9950x zu nehmen. Allerdings sehe ich beim Vergleich der zwei CPUs den finanziellen Unterschied in der Leistung nicht gerechtfertigt. Übersehe ich etwas oder macht es sogar Sinn, den 7950x zu nehmen und auf einen „ausgereifteren“ Nachfolger des 9950x zu warten?
• Hat jemand Erfahrungen zum Thema iGPU?
  Die Überlegung dahinter ist, den Host eben mit der iGPU zu betreiben und eine GPU per Passthrough an die VMs zu geben. IOMMU soll auf dem Board ja gut realisiert sein und wenn das Vorhaben sich nicht umsetzen lässt, bietet das Board immer noch Platz für eine zweite GPU.
  -> Sollte das Vorhaben mit einer GPU (die durch das Passthrough an die VM gebunden ist) und der iGPU für den Host reserviert ist nicht ausreichen, welche GPU würdet ihr in diesem Fall für den Host vorschlagen? (Stärkeres Netzteil ist in dem neuen Szenario vorausgesetzt)

Ich bin für Verbesserungen, Anregungen oder auch für Fachsimpeln offen und dankbar!
Habt einen schönen Sonntagabend!

---

Möchtest du mit dem PC spielen? Wenn ja, welche Games zb?
Hauptsächlich Produktivität – gelegentliches zocken

2. Soll der PC auch für Bild-/Musik-/Videobearbeitung genutzt werden? Als Hobby oder Profi? Welche Software?
Ja – Photoshop, 3D-Rendering (Cinema4D, Maya, ZBrush) After Effects, Premiere Pro

3. Auflösung deiner Monitore? Wieviele Monitore? Bildwiederholfrequenz (Hertz)? Gsync/FreeSync?
Dual Monitor-Setup
Einsatzbedingt kommt es bei den Monitoren eher auf Farbechtheit als auf Auflösung etc. an
Im Betrieb werden es wahrscheinlich die guten alten Eizos werden

4. Hast du besondere Anforderungen oder Wünsche (bestimmte Marken und Hersteller, Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
Leiser Betrieb

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten?
(Bitte mit Links oder genauen Model-Namen)
Nein

6. Wie viel Geld möchtest du ausgeben?
Exklusive der GPU zwischen 2.000 und 2.500 Euro

7. Wann soll die Anschaffung des PC erfolgen?
Es gibt kein genaues Datum – die Teile würde ich nach Bedarf kaufen

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von Helfern (Liste als Sticky))?
Gerne selber bauen

9. Möchtest du deine Inhalte mit dem PC Streamen (z.B über Twitch/OBS)? Wenn ja - welche Spiele/Inhalte? Hast du schon Teile fürs Stream-Setup? (Multi-Monitore, Mikrofon, Kamera, Stream-Deck, ...)?
Nein

 

[flxmmr]

Hat jemand Erfahrungen zum Thema iGPU?
Die Überlegung dahinter ist, den Host eben mit der iGPU zu betreiben und eine GPU per Passthrough an die VMs zu geben

nicht mit AMD, aber so war das früher eigentlich der Standard bei den VFIO-Builds - würde sagen, wenn man da nix gegenteiliges liest, sollte das auch heute noch gehen. Ich hab' zur Zeit einen Ryzen 2700X mit AMD RX560 (o.ä.) für den Host und RTX4070 für die Gäste - nach den Anfängen mit Haswell+AMD HD6850 war das Setup jetzt im wesentlichen Plug-And-Play. Mit Windows kann man die GPU sogar zwischen verschiedenen Hosts hin und her verschieben, das ging mit Linux-Gästen nicht so toll.

Empfehle aber dringend dir irgendwas für performanten Storage zu überlegen (ich hatte jetzt seit 2a LVM-PVs auf NVMe-Disks, da ist ok - leider geht der virtio-Treiber nicht mit secure-Boot) - du willst dann vmtl. einfach die NVMe in den Host hängen; kann das UEFI davon mittlerweile booten?

Ein 500€-Mainboard würde ich nur kaufen, um dann einen Epyc draufzusetzen.

 

[orange84]

Hey flxmmr,

danke für dein Feedback - Genau so hatte ich mir das mit iGPU + Passthrough vorgestellt.
Freut mich zu hören, dass das in der Praxis funktioniert.

Das Board habe ich aufgrund seiner Ausstattung, der Kompatibilität mit meinem Setup und seiner Zukunftssicherheit ausgewählt.
Deine Überlegung zum Mainboard kann ich nachvollziehen. Epyc klingt zwar spannend, sprengt dann letztendlich wahrscheinlich meinen finanziellen Rahmen bzw. ist für den Einsatzzweck Overkill.

LG

 

[flxmmr]

wie gesagt, mit AMD hab' ich das nicht gemacht, wüsste aber nicht, warum das nicht gehen sollte. Speicher ist vmtl. das größte Problem, gerade mit Secure-Boot.

> Das Board habe ich aufgrund seiner Ausstattung, der Kompatibilität mit meinem Setup und seiner Zukunftssicherheit ausgewählt.

was wären das denn konkret für Punkte?

 

[orange84]

was wären das denn konkret für Punkte?

• 2x Lan (10Gb+2.5Gb)
• Gute IOMMU-Aufteilung für die GPU Passthrough
• PCIe-5.0 für GPU und NVMe
• Stabile Spannungsversorgung
• USB BIOS Flashback
• 2x USB4 mit DisplayPort (wenn ich das richtig verstanden habe, lässt sich die GPU per HDMI an die beiden USB/Displayports weiterleiten)
• HDMI Port für den iGPU

Die Workstation würde ich gerne in mein HomeLab einbinden und soll dementsprechend dort möglichst flexibel sein. Auf längere Sicht gesehen immer noch eine gute Grundlage um das System nach Updates auf ein neues als z.B. Server auszumustern. Hier könnte ich mir auch noch ein Upgrade der CPU (Epyc 😉) vorstellen etc. Da sprechen wir aber über eine entfernte Zukunft.

wie gesagt, mit AMD hab' ich das nicht gemacht, wüsste aber nicht, warum das nicht gehen sollte. Speicher ist vmtl. das größte Problem, gerade mit Secure-Boot.

Dahingehend habe ich auch mal ein wenig geforscht. Bei den aktuellen (Asus) Bords sollte booten von NVMe kein Problem sein. Angedacht sind zwei NVMe - eine kleinere für den Host und eine größere für die VMs. Das scheint mir auch die gängige Art zu sein, wenn ich mir ähnliche Setups anschaue.

Sollte ich dahingehend etwas übersehen oder wenn Du Bedenken hast, lass mich es gerne wissen. (Beim recherchieren dazu bin ich über die nächste Büchse der Pandora gestoßen - PCIe-Lanes und deren Verfügbarkeit. Das werde ich auch nochmal genauer in Betracht auf die Workstation nachlesen)
An der Stelle will ich hier auch noch deutlich sagen, dass ich eher Software- als Hardware Affin bin. Die angestrebte Workstation würde ich gerne für längerfristig bauen wollen ohne mir in naher Zukunft über neue Hardware Gedanken machen zu müssen.
Nur mal so aus dem Nähkästchen: aktuell habe ich (privat) noch ein Setup im Einsatz, was mittlerweile gute zwei Dekaden auf dem Buckel hat und trotzdem anstandslos läuft.

Deswegen gerne reingrätschen, wenn ich bei den ganzen Überlegungen zu der neuen Workstation einen Denkfehler mache oder etwas falsch verstanden habe.

 

[pwnbert]

CPU: AMD 7950x

9950X, so viel teuer ist das nicht, aber besser. Da ist nix schlecht dran. Kannst ja per Leistungsbegrenzung im Bios etwas einschränken, wenn er dir zu warm läuft, sollte ziemlich effizient sein das Ding.

Mainboard: Asus ProArt x870E

Hängt halt davon ab, was du haben willst. Gigabyte B850 AI-Top ist auch interessant, Asrock X870E Nova evtl., Asrock B850 Live-Mixer auch (wenn man kein USB braucht)...

Kühler: Noctua NH-D15S

Geht billiger und gleich gut, aber ja, passt schon erstmal.

Speicher: Samsung 990 Pro 2 TB (Host) / Samsung 990 Pro 4 TB (VM)

Jo is ok.

RAM: G.Skill 64 GB (spätere Erweiterung auf 128 GB)

ECC oder nicht ist die Frage. Mit ECC gibts imho momentan nur 2x48gb (welche man dann auch ausreizen sollte, weil 2 Module und so).
Ohne ECC ists easy, gibt mittlererweile 2x64gb = 128gb Kits um leistbares Geld (siehe in den News, wurde getestet, ca. 450€ für 2x64gb ist noch nicht mal teuer, dann lieber beim Mainboard sparen)... 4 Module sind immer so ne Sache und du wärest dann für 256gb offen.

Hat jemand Erfahrungen zum Thema iGPU?
Die Überlegung dahinter ist, den Host eben mit der iGPU zu betreiben und eine GPU per Passthrough an die VMs zu geben. IOMMU soll auf dem Board ja gut realisiert sein und wenn das Vorhaben sich nicht umsetzen lässt, bietet das Board immer noch Platz für eine zweite GPU.

Mit Proxmox ja, am Desktop nicht.
IMMOU ist imho bei CPU-Lanes egal, was ich bisher erlebt habe, sind die immer "einzeln" und unproblematisch.
Die AMD iGPU ist beim Passthrough imho problematisch (bei Zen 3 Cezanne war das z.B. der Fall, imho ist das nicht zu 100% behoben, wenn man so googelt, unter "Reset Bug" musst du suchen), die iGPU für den Host ist aber kein Problem.
GPU an PCIe Lanes müsste eigentlich unproblematisch sein fürs Passthrough, würde da aber Richtung NV oder Intel tendieren und bei AMD vorsichtig sein (Reset Bug) bzw. bei AMD vorher im Detail Recherche betreiben.
Imho möchte man für PCIe Passthrough an die VM immer CPU-Lanes, wenn irgendwie möglich. Mit 2 PCIe 5.0x8 Slots für 2 GPUs (oder so) sollte das ja kein Problem sein - wie das in der Praxis ist, ist die Frage.
Unter Proxmox kann ich auf jeden Fall per Bifurication mehrere M.2 SSDs in den x16 Slot stecken und einzeln an ne VM weitergeben, müsste daher gehen mit 2 Grakas (oder halt Graka + HBA oder was auch immer) an 2 VMs.
X670E wäre natürlich besser weil du dort 2x M.2 an der CPU hast, bei den Chipsatz-Lanes weiss ichs nicht.
B850 AI-Top von Gigabyte ist in der Hinsicht auch noch interessant, obs besser als das Asus ist - wer weiss.



Vielleicht wäre ein Intel 265k etwas für dich? Mit einem Asrock Z890 Live-Mixer oder Z890 Steel-Legend? Oder ein Asus Z890 Pro-ARt oder vllt. ein W880 mit ECC? 10 Gbit muss da teilweise extra rein, aber genug PCIe hättest du.
Schau dir mal die Blockdiagramme an, die Intel Arrow sind für sowas nicht ganz uninteressant... wobei der 9950X schon okay ist .

 

[orange84]

Joah, ich wollte Input, den habe ich bekommen...viel!
Großes Danke schonmal, dass ihr beiden euch die Zeit dafür genommen habt.

Ich fange mal mit der CPU an - und Spoiler - ich werde auch damit aufhören.

Der 9950x scheint mir aus den von pwnbert genannten Gründen am meisten Sinn zu machen.
Von einem 7950x würde ich nicht auf einen 9950x upgraden. Bei einer Neuanschaffung macht das auf das gesamte Setup gesehen aber eine "geringe" Differenz. Die Überlegung mit der Leistungsbegrenzung finde ich sehr sympathisch. Gelesen habe ich auch, dass Linux und der 9950x gute Freunde werden können.

Die nächsten beiden Punkte fasse ich mal zusammen, in Bezug auf den vorherigen. Verrückt!

Der Punkt mit dem ECC-RAM.
Das Thema hatte ich nicht auf dem Schirm und wenn ich das richtig verstanden habe, müssen dafür sowohl CPU als auch das Brett harmonieren.
Lange Rede, kurzer Sinn: 9950x und Asus x870E machen das - theoretisch.
Da würde ich dann auf 2x48Gb gehen.

Die alternativen Mainboards finde ich trotzdem interessant und werde sie mir mal anschauen.
...aber Gefühlt machen sich der 9950x und das Ausus x870E im Verbund für meinen Einsatzzweck schon sehr gut.

Die AMD iGPU ist beim Passthrough imho problematisch (bei Zen 3 Cezanne war das z.B. der Fall, imho ist das nicht zu 100% behoben, wenn man so googelt, unter "Reset Bug" musst du suchen), die iGPU für den Host ist aber kein Problem.

Und so ist es auch gedacht: die iGPU ist für den Host und die (NV) GPU geht dann per IOMMU (auch son Punkt für das Ausus x870E) an den Gast.
Reset Bug habe ich noch nicht geschafft zu recherchieren, steht aber auf der Liste - versprochen!

... wobei der 9950X schon okay ist

Die angestrebte Workstation würde ich gerne für längerfristig bauen wollen ohne mir in naher Zukunft über neue Hardware Gedanken machen zu müssen.
Nur mal so aus dem Nähkästchen: aktuell habe ich (privat) noch ein Setup im Einsatz, was mittlerweile gute zwei Dekaden auf dem Buckel hat und trotzdem anstandslos läuft.

Unter Anbetracht der Tatsachen, ist das für mich schon "jammern" auf sehr hohem Niveau.

Vielen Dank fürs Lesen und einen schönen Abend.
Cheers!

 

[pwnbert]

Von einem 7950x würde ich nicht auf einen 9950x upgraden.

Nein, wenn man schon einen 7950x hat, dann nicht. Aber als Neukauf macht der keinen Sinn.

Die alternativen Mainboards finde ich trotzdem interessant und werde sie mir mal anschauen.
...aber Gefühlt machen sich der 9950x und das Ausus x870E im Verbund für meinen Einsatzzweck schon sehr gut.

Gigabyte B850 AI Top kanns auch, die Asrock B850 (z.B.) Live Mixer auch, das Asrock X870E Nova auch (welches eine gar nicht soo blöde PCIE Config hat).

Is bissl schwer, die genaue Auswahl.

Bezüglich 10 Gbit LAN, ist die Frage, was man da will, ob jetzt schon oder in Zukunft.
In Zukunft werden wir Realtek NICs für 10GbE an USB 10/20G sehen, was ziemlich praktisch wird, weil man sich da die PCIe Karte spart.
Oldschool-Gedanke: USB-NIC ist Pfui, allgemein sind USB-Geräte unzuverlässig und meh, zudem ist Realtek Pfui.
Praxis 2025: USB-NIC (2.5Gbit mit Realtek) läuft am Home-Server (Gigabyte MC12) absolut problemlos, USB-Passthrough unter Proxmox ist absolut problemlos, Treiber absolut problemlos (Intel 225/226 ist wohl nicht besser und mit den Marvell ist wohl auch nith ejder happy).

Die Hauptfrage beim Board ist, ob du den PCIe 5.0x16 Slot für die GPU auf 2 Stück 5.0x8 aufteilbar haben willst (auch mechanisch)... dann bist du eben beim Asus Pro-Art Creator oder beim Gigabyte AI-Top.

Das Pro-Art X870E ist aber ganz cool mit, weil der PCIe 5.0x16 Slot nicht nur x8/x8 mit dem 2. Slot laufen kann sondern auch x8x4x4, also x8 am 1. 5.0 x16 (mech) Slot, x4 am 2. 5.0x16 (mech) Slot und 5.0x4 auf M2_2 (ne 2. PCIe 5.0 M.2 SSD).
Ziemlich coole Nutzung der CPU Lanes, für ne Grafikkarte als Passthrough für eine VM wird in den meisten Fällen auch PCIe 5.0x4 reichen.. du hast an dem Brett auf jeden Fall 2 M.2 SSDs und 2 PCIe Slots direkt an der CPU, die du an VMs geben kannst (wenn ich da nicht ganz falsch liege), das ist für ne Desktop-Plattform eine ganze Menge.

Preise für DDR5 UDIMM ECC sind halt leider als "nasty" zu bezeichnen:

Arbeitsspeicher (RAM) Speicher Preisvergleich Geizhals Österreich

Preisvergleich für Arbeitsspeicher (RAM) Speicher ✓ Bewertungen ✓ Produktinfos ⇒ Auswahl und Filtern der Produkte nach den besten Eigenschaften und dem billigsten Preis

geizhals.at

250€ für ein 48gb Modul, da setzt es dich halt nieder, macht 500€ für 96gb (wobei soo schlimm ist es auch nicht, ein 2x64gb "Gaming" Kit kostet 450€, 2x32gb ca. 200€).

Gibt viel, was für ECC RAM spricht, wenig, das dagegen spricht (ausser dem Preis, wobei das bei der CPU/Board Wahl auch schon egal ist).

=> Asus X870E Creator + 9950X ist nice.

PS:
Die Intel Arc Pro B50/B60 sollen SR-IOV können (hardware) und die Unterstützung (software) im Herbst bekommen... angeblich... wäre eine verdammt interessante Sache.

 

[orange84]

Von einem Hardware-Rabbit-Hole ins nächste.

Gibt viel, was für ECC RAM spricht, wenig, das dagegen spricht (ausser dem Preis, wobei das bei der CPU/Board Wahl auch schon egal ist).

Ich habe dazu mal ein wenig quergelesen und verglichen und bin der Meinung, dass ECC für meinen Einsatzzweck überdimensioniert ist. Würde das Setup auf geschäftlicher Ebene laufen, sähe die Sache anders aus. Trotzdem triggert mich dann doch der Zusatz in der Klammer, wobei Du natürlich vollkommen Recht hast...😉

Das nächste Rabbit-Hole mit dem schönen Ortsschild "Böhmisches Dorf" - PCIe Lanes und deren Aufteilung.
Das Grundprinzip leuchtet mir ein. Anbindung, Aufteilung etc. sind mir noch unklar.
Entsprechende Fachartikel und Wiki-Einträge dazu stehen schon auf meiner Leseliste...

=> Asus X870E Creator + 9950X ist nice.

Das fasst es für mich ganz gut zusammen!
Die Kombination und dadurch entstehenden Möglichkeiten machen für mich hier den Unterschied. Klar, alle Features werde ich nicht zu 100% ausreizen, dafür ist dann aber immer noch Luft nach oben. Und wenn ich es richtig verstanden habe, ist die Option der Lane-Aufteilung mit x8/x4/x4 für den gedachten Einsatzzweck ziemlich interessant.

Wünsche allen Lesenden ein schönes Wochenende!

 

[pwnbert]

Naja, ECC hat nix mit "geschäftlich" zu tun... ist halt ne Fehlerkorrektur per Checksumme im RAM, quasi Raid 5 für den RAM - seeeehr falsch und schwammig gesagt.
Der RAM ist mit Abstand das fehleranfälligste im PC.
Nicht jeder RAM-Fehler führt zum Bluescreen/Pagefault... schon mal Fotos gesehen, wo irgendwo ab einer gewissen "Zeile" so Pixelmatsch war, grün, grau, sowas? Das ist Bitrot (wsl. meist wegen billiger SD Cards oder USB Sticks). Oft merkst RAM-Fehler nicht, das führt dann ggf. zu so Dingen wie den "schlechten XYZ Treibern", wenn dir einfach irgend ein Programm mit ner komischen Fehlermeldung abschmirt. Kann scheiße gecodet sein, kann aber auch einfach schlechter RAM sein.
Was heute in Memtest stable ist, muss es übermorgen nicht immer noch sein.
Zudem werden die OC-RAM alle mit deutlich mehr Spannung betrieben um die paar % Speed durch Timings rauszuholen... ist ja nice zum Benchen und für FPS-Jäger... geht aber deutlich auf die Lebensdauer. Wenn du bissl was von Halbleitern verstehst (elektronisch), kannst dir vllt. denken, was 1.4V gegenüber 1.1V Spannung so tun.

Ich hab vor 2 Jahren auf ECC umgestellt (5900X), nachdem ich mir ein Windows bis zur "unreperierbarkeit" zerschossen hab, weil ich Updates gemacht habe mit offenbar fehlerhaften RAM (der war das vorher noch nicht so wirklich).
Bisher kannte ich das so, dass man den ein oder anderen Absturz hatte von irgendwas. Nicht täglich, nicht wöchentlich, aber doch ab und zu mal. Gern Grafiktreiber (NV, AMD gleichermaßen) und allerlei "Windows-Typischer-Kram", oder gern auch mal PC-Spiele, die doch mal gecrasht sind (wenn auch nur ganz selten, so dass man das als "normal" abgetan hat, weil man das seit 20 Jahren so kennt). Ich wage zu mutmaßen, dass die Anfälligkeit von Programmen auf so RAM-Fehler irgendwie von der Struktur abhängt, wie die halt funktionieren.

Ich hatte seither gar nix mehr. Nichts!
Ich trau mich wetten, dass 80% der Setups hier, die alle "100% stable" sind, über 1-2 Jahre betrachtet eben nicht 100% stable sind. Diese Behauptung wird zwar erstmal jeder haten...

Gut, das ist vllt. ein klein wenig übertrieben, bisher hab ich auch 25 Jahre ohne ECC gelebt und auch keine nennenswerten Probleme (bis auf das eine mit dem Update bei stark fehlerhaften gewordenen RAM) gehabt - so wie 98% der restlichen User.

=> Ich würd diese ~250€ extra für ECC (@96gb gerechnet) ausgeben, bei nem 500€ Creator Board und ner 500€ CPU.

Das nächste Rabbit-Hole mit dem schönen Ortsschild "Böhmisches Dorf" - PCIe Lanes und deren Aufteilung.

Seriöse Hersteller geben so Blockdiagramme raus.

ASRock Phantom Gaming X870E Nova WiFi ab € 334,79 (2025) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für ASRock Phantom Gaming X870E Nova WiFi ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: AMD AM5 • Chipsatz: AMD X870E • CPU-Kompatibilität: Ryzen 7000 , Ryzen 8000G , … ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen

geizhals.at

Deeplink zum Bild:

https://gzhls.at/i/51/85/3295185-l12.jpg

Hier siehst du, wie das genau gemacht ist, wo die "Switches" verbaut sind, und wo die "Bandbreitenprobleme" sind, warum du z.B. bei dem verlinkten Board bei M2_3 und M2_4 keine Bandbreitensteigerung von einem (Software)-Raid-0 hättest (weil jede Schnittstelle zwar 4x 4.0 ist, sich diese beiden aber nur 4x 4.0 Anbindung zur CPU gemeinsam mit anderen Dingen teilen).

Asus macht sowas nicht, weil Asus halt Asus ist (ich mag Asus potentiell immer noch, wobei ich momentan viel auf Asrock unterwegs bin).
Bei Asus musst du das Manual lesen und versuchen zu verstehen... (die Seite mit den "blauen" Tabellen und den *, **, *** Kommentaren dazu).

Kurze Lernaufgabe:
Sieh dir bei Geizhals die Diagramme folgender Boards an:

ASRock Z890 Steel Legend WiFi ab € 202,90 (2025) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für ASRock Z890 Steel Legend WiFi ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: Intel 1851 (LGA1851) • Chipsatz: Intel Z890 • CPU-Kompatibilität: Core Ultra 20… ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen

geizhals.at

https://geizhals.at/gigabyte-x870e-aorus-pro-a3287137.html (Spoiler: GPU auf 8x5.0 und 2x M.2 dazu bei bedarf, 8x5.0 reicht eigentlich immer, ganz interessant obwohl "böses Lanesharing")

ASRock B850 LiveMixer WiFi ab € 187,46 (2025) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für ASRock B850 LiveMixer WiFi ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: AMD AM5 • Chipsatz: AMD B850 • CPU-Kompatibilität: Ryzen 7000 , Ryzen 8000G , R… ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen

geizhals.at

https://geizhals.at/asrock-b650-livemixer-90-mxbj50-a0uayz-a2827703.html (Spoiler: hier hat man an der CPU nen weiteren PCIe Slot mit 4 Lanes statt nem M.2, für Home-Server Passthrough Kram interessant)
https://geizhals.at/asrock-x670e-steel-legend-a2791724.html (verglichen zum X870E Nova etc. verstehst du dann, warum die USB-4 Verwendung bei X870E ein "Problem" ist, Spoiler: Frisst 1x 4 Lanes der CPU für 1x PCIe x4 Slot oder M.2 Slot)

Für PCIe Passthrough sind imho CPU Lanes zu bevorzugen gegenüber Chipsatz Lanes (da ist die Frage wie das IMMOU Zeug ist, CPU Lanes sind imho immer extra, ich kann mich mit der Behauptung aber auch irren...).

Und wenn ich es richtig verstanden habe, ist die Option der Lane-Aufteilung mit x8/x4/x4 für den gedachten Einsatzzweck ziemlich interessant.

Ja genau, und wenns Budget halbwegs da ist 2x 48gb 5600er ECC UDIMM dazu und gut ist die Sache. Auf die Jahre gesehen kein Verlust.


Ganz spannende Idee für die Zukunft ist dann noch, zur 4090 dazu Intel Arc Pro in nen PCIe x4 Slot stecken und das SR-IOV probiern (wenns denn wirklich kommt). Sollte eigentlich ganz easy laufen.

 

[orange84]

Das mit dem ECC war mir so in der Tiefe ehrlich gesagt gar nicht klar.
Da hatte ich bisher auch eher die Einstellung "brauch ich nicht zwingend". Je mehr ich mich einlese, desto mehr verstehe ich warum ECC gerade für Workstation und VM-Setup sinnvoll ist.
In Relation zu CPU und Board macht der Aufpreis dann auch "keinen riesigen" Unterschied, wenn man dafür über Jahre Stabilität gewinnt.
(2x48GB 5600 klingt sehr solide)

Die Diagramme machen vieles klarer!
Beim Nova sieht man schön, wo die Switches sitzen und wie die Lanes verteilt werden. Das Manual lesen verbuche ich unter "sich mit der Materie auseinandersetzten".
Ich habe das für meinen Einsatzzweck durchdacht und versuche das aufzuteilen. Da ich jetzt mehr Fragen als Antworten habe, lasse ich euch gerne daran teilhaben.
Auch von dem Thema iGPU bin ich auf längerfristig nicht ganz angetan, nachdem ich dazu ein Bericht zum Thema Verschleiß und Verbrauch der CPU gelesen habe...

Nochmal kurz zur Ausgangslage: In erster Instanz soll ein Linux (Fedora) laufen, welches mittels KVM/QEMU die VMs betreibt/verwaltet. Da auf den einzelnen VMs temporär gearbeitet wird (größere Datenmengen werden nach Fertigstellung ausgelagert und archiviert) ist der Bedarf an Festplattenspeicher der einzelnen VMs überschaubar.
Die VMs werden zu 80% nacheinander und die restlichen 20% gleichzeitig betrieben - ich hoffe, dass macht Sinn und ist nachvollziehbar?!?

Host (angebunden über den Mainboard Chipsatz)
GPU (kleinere Karte für Linux, RTX A2000 oder Intel Arc Pro)
NVMe / 2TB (OS, Tools, etc.)

VM (angebunden über den CPU Chipsatz)
GPU (z.B. RTX 4090) → direkt an die VM per Passthrough durchgereicht.
NVMe / 4TB (VM-Library/Images, ISO) → kann vom Host gemanagt und den VMs bereitgestellt werden.

Zu meinen Fragen:
- Hätte ich mit diesem Setup für die VM 8x Lanes GPU und 8x Lanes NVMe?
- Wenn auf diesem Setup mehrere VMs gleichzeitig laufen, verringert sich dadurch die Geschwindigkeit der NVMe die an der CPU hängt bzw. werden deren Lanes dann per VM geteilt?
- Zu dem Thema VMs gleichzeitig laufen laufen lassen, speziell mit KVM/QEMU:
Ist es Möglich eine VM (Windows+GPU-Passthrough) + VM (Ubuntu) + Host (Fedora) gleichzeitig laufen zu lassen?
Die Ubuntu-VM und der Host sollen sich dabei die kleinere Karte "teilen". Die Ubuntu-VM soll sich mit dem Vollbildmodus "über" den Host legen. Die Windows-VM kann bei Bedarf dazugeschaltet werden. Der "manuelle Bildschirm-Switch" zwischen Windows-VM und Ubuntu-VM bzw. Host wäre für meinen Fall zu vernachlässigen...wahrscheinlich werden es in Zukunft auch noch mehr Monitore.

Ich hoffe, die Fragen waren einigermaßen nachvollziehbar und ich keinen Denkfehler mache.
(Gerne verbessern, wenn ich schlecht recherchiert habe )

 

[pwnbert]

Auch von dem Thema iGPU bin ich auf längerfristig nicht ganz angetan, nachdem ich dazu ein Bericht zum Thema Verschleiß und Verbrauch der CPU gelesen habe...

Ich bin mir nicht sicher,w as du da gelesen hast. iGPU Verwendung ist kein zusätzlicher "Verschließ". Einen Verschließ gibts überhaupt nicht, wenn man nicht massiv zu viel Spannung verwendet. Intel 13/14 hatte son Spannungsproblem, ein paar Asrock AM5 Boards mit gewissen BIOS Versionen dürften das out of the Box auch haben - allgemein ist das eher kein Thema.
iGPU ist schon okay, gerade bei den neuen Generationen. Nur eben Passthrough davon kann bei AMD so ne Sache sein (kA inwiefern das nun besser ist), aber das spielt ja keine Rolle.
iGPU ist eher positiv als negativ.

Nochmal kurz zur Ausgangslage: In erster Instanz soll ein Linux (Fedora) laufen, welches mittels KVM/QEMU die VMs betreibt/verwaltet. Da auf den einzelnen VMs temporär gearbeitet wird (größere Datenmengen werden nach Fertigstellung ausgelagert und archiviert) ist der Bedarf an Festplattenspeicher der einzelnen VMs überschaubar.

Jo verständlich und okay, seh da kein Problem.
Hab meine VMs (noch) in Win10 mit VMware laufen lokal, am Homeserver per Proxmox (anfangs auch TrueNAS, was man aber ziemlich vergessen kann).

Solang du den VMs ext4 auf ext4 (oder halt xfs, ntfs...) gibst hast auch kein echtes Write-Amplification Problem (wie es z.B. zfs auf btrfs wäre oder so, also alle cow).
Performt eigentlich alles sehr gut.

Die VMs werden zu 80% nacheinander und die restlichen 20% gleichzeitig betrieben - ich hoffe, dass macht Sinn und ist nachvollziehbar?!?

So ne Linux-VM braucht "nix"... mein Server is nur ein 5750G bzw. 5650G (also 6 oder 8 Zen 3 Cores), ein "normalo-Linux" (z.B. Debian mit KDE @X11) kommt mit 1 Core und 8gb RAM leicht aus.

kA wofür du überhaupt ne GPU in der VM brauchst, was du da tust (CUDA, KI?) und so.
Für die Anzeige selbst reicht das per Software, bei Linux Guests ist vllt. dieses virtualGL eine Möglichkeit (kA inwiefern das Zeug tot ist und nimmer entwickelt wird, läuft aber ganz gut finde ich).

- Hätte ich mit diesem Setup für die VM 8x Lanes GPU und 8x Lanes NVMe?

Ja klar. Sogar mehr als das.

- Wenn auf diesem Setup mehrere VMs gleichzeitig laufen, verringert sich dadurch die Geschwindigkeit der NVMe die an der CPU hängt bzw. werden deren Lanes dann per VM geteilt?

Nein die VMs haben darauf keinen direkten Zugriff (ohne SR-IOV, was das Zeug idR. nicht kann). Die VMs kommunizieren mit dem Host (also KVM-Programm), welches wiederum auf die Harddisk auf OS-Ebene zugreift.
Praktisch läuft das alles super und du merkst kaum was.

Ist es Möglich eine VM (Windows+GPU-Passthrough) + VM (Ubuntu) + Host (Fedora) gleichzeitig laufen zu lassen?

Imho schon, allerdings kannst du die 4090 nur einem OS geben. Also entweder dem Host oder 1 VM.
Mit SR-IOV kann sich theoretisch eine GPU "teilen" für mehrere VMs, angeblich soll die Intel ARC Pro B50/60 diese Unterstützung bekommen, ob das alles so läuft, ist eine Überraschung. Gibt sonst keine "leistbaren" GPUs die das können.
Bin nicht so ganz fit in Workstation-Level Virtualisierung, wie die Bildausgabe bei GPU Passthrough da genau passiert... ob nur über die GPU oder eh "normal", imho sollte KVM auf den Framebuffer des Gastes zugreifen und diesen "normal im Fenster" anzeigen, aber kein Plan, nie gemacht so.

Probiers einfach hätte ich gesagt.


Performance Mäßig brauchst dir keine Sorgen machen, sowas wird idR. mit viel schlechterer Hardware gemacht und läuft gut.
9950X + X870E Pro-ART + 96gb ECC ist eh mit Kanonen auf Spatzen (abhängig davon, was du vor hast). Ist aber soweit zukunftstauglich und daher nicht total sinnlos.

Hast die 4090 schon? Dann ist das ja nicht so das Thema.

 

[orange84]

Probiers einfach hätte ich gesagt.

Performance Mäßig brauchst dir keine Sorgen machen, sowas wird idR. mit viel schlechterer Hardware gemacht und läuft gut.
9950X + X870E Pro-ART + 96gb ECC ist eh mit Kanonen auf Spatzen (abhängig davon, was du vor hast). Ist aber soweit zukunftstauglich und daher nicht total sinnlos.

Hast die 4090 schon? Dann ist das ja nicht so das Thema.

Das freut mich zu hören und ich glaube, dass ich Momentan eher mit Spatzen auf Kanonen werfe...
Einfach mal probieren, weil Performance genug da ist...valider Punkt! Allerdings ist auch bei mir das Budget (leider) nicht unerschöpflich, was mich auch zu der 4090 bringt.
Habe ich noch nicht, die will auch noch angeschafft werden
Momentan geht's mir mehr darum die Basis sauber aufzubauen (Lane-Verteilung, Speicher, etc.) bevor ich in die GPU investiere. Für den Anfang reicht mir auch eine kleinere GPU für den Host.
Ob das dann für die VM eine 4090 wird, muss man sehen.

kA wofür du überhaupt ne GPU in der VM brauchst, was du da tust (CUDA, KI?) und so.

Genau das! Für den Einsatz in der Workload-VM in Bezug auf 3D-Rendering und Videoschnitt hätte ich schon gerne Kapazitäten.

Nein die VMs haben darauf keinen direkten Zugriff (ohne SR-IOV, was das Zeug idR. nicht kann). Die VMs kommunizieren mit dem Host (also KVM-Programm), welches wiederum auf die Harddisk auf OS-Ebene zugreift.
Praktisch läuft das alles super und du merkst kaum was.

Sollte für den Alltag keine Engpässe bedeuten (es wird nur eine Benchmark-Workload-VM geben) und die GPU-Frage für das Passthrough kann ich dann entspannt angehen

 

[pwnbert]

Das freut mich zu hören und ich glaube, dass ich Momentan eher mit Spatzen auf Kanonen werfe...

Das macht aber nix, weil etwas Reserve schadet nicht und wenn du schon ne 4090 brauchst verrät mir das, dass du schon etwas "mehr" vorhast.
Gerade mit 4090 oder 5090 im Setup sind alles andere "Peanuts", ob du jetzt nen 9950X mit dem Pro-ART und 96 ECC nimmst oder 9700X mit B850 umd 64gb non-ecc... so groß ist der Unterschied unsterm Strich nicht, 600-700€, in Anbetracht einer 2000€ Grafikkarte ist das eher... naja... egal, wenns dafür keinen Stress macht.

Einfach mal probieren, weil Performance genug da ist...valider Punkt! Allerdings ist auch bei mir das Budget (leider) nicht unerschöpflich, was mich auch zu der 4090 bringt.
Habe ich noch nicht, die will auch noch angeschafft werden

Warte auf 5080 Super 24gb oder aufn gutes Angebot für ne 5090 (darfst halt nicht wählerisch sein und musst flott sein, am Ende hab ich die Gainward für 2039€ bekommen... einfach alle auf ne Geizhals Wunschliste tun und regelmäßig reinschauen).
5080 Super 24gb wird ca. ne 4090 sein zum gleichen Preis oder günstiger, nur eben neu mit Garantie.

Vllt. hast ja noch ne ältere Grafikkarte zum probieren, oder du probierst echt ne Intel Arc PRO (!) (gibts die denn schon?).

Für den Anfang reicht mir auch eine kleinere GPU für den Host.

9950X hat eh ne iGPU, das passt schon.


Zur Einschätzung, in meinem "Test-Server" (Gigabyte MC12LE0, 5650G = 6 Core Zen 3, 64gb ECC DDR4) laufen auf ner alten SATA SSD (940 evo 250gb) Proxmox mit paar VMs (1-2 Cores, 8gb RAM pro VM).

Hab dort letztens (über spice verbunden) den Prusaslicer Sourcecode runtergeladen, dort nen Wert verändert (Lüfterdrehzahl PWM ist hardcoded lol) und das Ding kompliert, dafür diverses Zeug installiert und so (in ner endeavourOS VM die ich extra dafür gemacht hab).
Klar, das braucht alles keine Leistung, ging aber alles fix, Installation, Updates...
Hab mir dafür ne VM gemacht, weil ich sowas eigentlich nicht kann und einfach nem Guide gefolgt bin, in ner VM kann ich wild alles installieren und probieren ohne mir ein OS zu versauen.

Wie gesagt, ging alles total angenehm fix, nirgendwo ne Gedenksekunde oder so... auf total popeliger Hardware.



Meinen Segen hast du - auf so nem System kannst zocken ebenso (mit der passenden GPU).
Ne Alternative wäre noch ein Intel 265k mit einem Asus W880 Pro Ace.
Kostet ca. das gleiche (das W880 kann dann auch ECC), CPU minimal günstiger (und um das auch langsamer), der DDR5 ECC ist so oder so teuer.

Ich denke, das Pro-ART ist ziemlich flexibel.


PS:
Ich würd beim GPU-Kauf darauf achten, dass diese den 2. PCIe x16 Slot nicht verdeckt, der könnte für dich nämlich nützlich sein.
Ich hab leider kein Plan wie viel Slot hoch der GPU Kühler dann sein darf, kann das schwer einschätzen, musst googeln oder Asus Manual fragen oder beim Asus Support das Glück probieren.

 

[flxmmr]

Nochmal ein paar Kommentar von mir zu den schon sehr gut passenden Ausführungen von Dir (dachte iwie der TE würde schon Linux nutzen :|)

Für PCIe Passthrough sind imho CPU Lanes zu bevorzugen gegenüber Chipsatz Lanes (da ist die Frage wie das IMMOU Zeug ist, CPU Lanes sind imho immer extra, ich kann mich mit der Behauptung aber auch irren...).

Bei AMD waren (Stand Zen2) die CPU-PCIe-Devices i.d.R. immer in verschiedenen IOMMU-Gruppen; mit Intel hat man das früher nicht so gut hingekriegt (den aktuellen Stand kenn' ich gar nicht) - da waren 2 GPUs nur mit scary-Patches möglich. Dafür waren bei Intel die Chipsatz-Devices i.d.R. in recht vielen Gruppen - muss mal bei meinem X470 nachschauen, wie das für AMD aussieht.

GPU (kleinere Karte für Linux, RTX A2000 oder Intel Arc Pro)

Also eine Quadro für 600€ zu kaufen, ist ohne ganz besondere Gründe (wie bspw. den Treiberblock in VMs unter Windows früher) eher sehr sinnlos ausgegebenes Geld. Da bekommt man ganz alleine schon einen schönen Linux-Rechner - wenn man dann noch ein 300€-billigeres Mainboard hier nimmt, hat man den hier spezifizierten Windows-Rechner und einen schönen Linux-Rechner. Wenn man das nicht um der Sache willen oder aus ganz besonderen Gründen macht, lohnt sich das quasi nicht.

- Wenn auf diesem Setup mehrere VMs gleichzeitig laufen, verringert sich dadurch die Geschwindigkeit der NVMe die an der CPU hängt bzw. werden deren Lanes dann per VM geteilt?

Wie ich schon in #2 angesprochen habe, Speicher ist vmtl. das größte Problem. Es gibt 3 Möglichkeiten:
1) VM-Disk als File auf dem Host-Dateisystem -> keine Lanes in der VM, Performance eher unterdurchschnittlich auf dem Niveau einer SATA-SSD (aber dann vmtl. auch für mehrere Gäste)
2) VM-Disk als "raw"-LVM-Volume -> immer noch keine Lanes in der VM, Performance gut, aber weit weg von irgendwelchen nVME-Benchmarks - weiß nicht, wie das dann für mehrere Gäste aussieht.
1+2) "Device" in der VM entweder emuliert (Performance sehr mies) oder virtio-Device mit Extra-Treiber. Ich habe für den Treiber außerhalb einer Redhat-Subscription auf die schnelle keine Quellen gefunden, wo der anständig für Secure-Boot signiert ist... Willst du also Secure-Boot, solltest du dich schon mal drum kümmern.
3) nVME genauso wie die GPU in die VM gereicht und das virtuelle UEFI davon booten lassen -> Performance wie nativ, Anbindung wie im Blockdiagramm, wohl theoretisch wohl möglich, aber eher arkan -> kannst du selbst mal dein Glück versuchen

Ist es Möglich eine VM (Windows+GPU-Passthrough) + VM (Ubuntu) + Host (Fedora) gleichzeitig laufen zu lassen?
Die Ubuntu-VM und der Host sollen sich dabei die kleinere Karte "teilen". Die Ubuntu-VM soll sich mit dem Vollbildmodus "über" den Host legen.

Mit Windows und einer Quadro, die ich noch zu Zeiten des Treiber-Blocks und sehr beschränkten Platzes gekauft habe, konnte ich die GPU sogar zwischen verschiedenen laufenden VMs hin und her-schieben (die hatten dann noch ein Spice-2t-Display)/die GPU aus der VM nehmen - in den Standby gehen - aufwachen - die GPU zurück hängen. Das hängt dann aber sehr von der invidiuellen GPU (siehe Resetbug) ab und unter Linux mit den Nvidia-Treibern (CUDA) hat das leider für mich nicht funktioniert.

So ne Linux-VM braucht "nix"... mein Server is nur ein 5750G bzw. 5650G (also 6 oder 8 Zen 3 Cores), ein "normalo-Linux" (z.B. Debian mit KDE @X11) kommt mit 1 Core und 8gb RAM leicht aus.

Das kommt halt wie immer drauf an, was man damit macht...

Für die Anzeige selbst reicht das per Software, bei Linux Guests ist vllt. dieses virtualGL eine Möglichkeit (kA inwiefern das Zeug tot ist und nimmer entwickelt wird, läuft aber ganz gut finde ich).

Hast du Virtual-GL mal eingerichtet? Das geht zwar ansich, gerade für die anspruchsvollste Nutzung des anspruchslosen Nutzer (s.o.), nämlich den Webbrowser funktioniert das nicht wirklich.

Nein die VMs haben darauf keinen direkten Zugriff (ohne SR-IOV, was das Zeug idR. nicht kann). Die VMs kommunizieren mit dem Host (also KVM-Programm), welches wiederum auf die Harddisk auf OS-Ebene zugreift.

Mit SR-IOV kann sich theoretisch eine GPU "teilen" für mehrere VMs, angeblich soll die Intel ARC Pro B50/60 diese Unterstützung bekommen, ob das alles so läuft, ist eine Überraschung. Gibt sonst keine "leistbaren" GPUs die das können.
Bin nicht so ganz fit in Workstation-Level Virtualisierung, wie die Bildausgabe bei GPU Passthrough da genau passiert... ob nur über die GPU oder eh "normal", imho sollte KVM auf den Framebuffer des Gastes zugreifen und diesen "normal im Fenster" anzeigen, aber kein Plan, nie gemacht so.

auf SR-IOV würde ich keine Hoffnung setzen. Das kann AMD bzw. Nvidia in der proprietären Variante bei den DC-Karten ja schon lange und verkauft dann auch entsprechend teure Softwarelösungen über die Anbieter entsprechender Server. Da das ein reines Treiber/Softwareproblem scheint, gibt's da sogar entsprechende Tools für Consumer-Nividias... https://gitlab.com/polloloco/vgpu-proxmox. Genauso sieht es mit dem Zugriff auf den Framebuffer des Gastes aus - damit das geht, muss es halt einen passenden Treiber geben (für Host+Gast), ob das Intel anbieten wird, steht in den Sternen. Die Lösung, die es gibt, ist, den Gasttreiber den Framebuffer in ein VMEM-Device schreiben zu lassen und das dann auf dem Host anzuzeigen (konnte Nvidia lange auch nur mit Quadros): https://looking-glass.io/ - mit allen Vor- und Nachteilen dieses Ansatzes...

tl;dr: Das ist alles sehr lustig, wenn man mehr Zeit als Geld hat, bzw. das um der Sache willen macht. Sobald man eine Lösung haben will, die läuft, kein Interesse hat, das um der Sache selbst zu machen und das Budget sehr flexibel scheint (500€-MBs "weil die alles haben" und neue Quadros für die kleine Linux-VM ohne besonderen Zweck) ist das in meinen Augen relativ sinnbefreit.

 

[pwnbert]

Bei AMD waren (Stand Zen2) die CPU-PCIe-Devices i.d.R. immer in verschiedenen IOMMU-Gruppen

Bei Zen 3 ist das auch so. Zen4/5 kein Plan, hab aber nix gegenteiliges gehört und bin da sehr aktiv in der Richtung.

1) VM-Disk als File auf dem Host-Dateisystem -> keine Lanes in der VM, Performance eher unterdurchschnittlich auf dem Niveau einer SATA-SSD (aber dann vmtl. auch für mehrere Gäste)

Naja, das mit der Leistung ist gar nicht so schlecht. Wenn du magst kann ich demnächst ein paar Benchmarks laufen lassen, also HDD-Benchmark im Guest, ext4 auf LVM-Thin z.B...
Imho war das überraschend gut...
ext4@ext4 oder ext4€zfs könnte ich auch mal testen, meinentwegen auch zfs@zfs... muss ich schauen...

3) nVME genauso wie die GPU in die VM gereicht und das virtuelle UEFI davon booten lassen -> Performance wie nativ, Anbindung wie im Blockdiagramm, wohl theoretisch wohl möglich, aber eher arkan -> kannst du selbst mal dein Glück versuchen

Unter Proxmox easy gonig @ CPU-Lanes.
Am X870E Pro Art hat er 1x M.2 CPU, dann noch den PCIe x16 Slot, den man in x8 PCIe(16), x4 PCIe(16) x4 M.2 teilen kann, da hätte man also durchaus die Möglichkeit zumindest 1 (oder auch 2, wenn man die OS-SSD an den Chipsatz hängt, was imho schnell genug ist) M.2 SSDs exklusive an ne VM zu übergeben - wenn man tatsächlich so eine "High-Performance-VM" benötigt.
Diese Option besteht aber immer noch (und auch im Nachhinein), da kann der TE ja jederzeit eine 1-4tb SSD kaufen und das "nachrüsten", wenn die "indirekten" Sachen nicht schnell genug sind.

Mit Windows und einer Quadro, die ich noch zu Zeiten des Treiber-Blocks und sehr beschränkten Platzes gekauft habe, konnte ich die GPU sogar zwischen verschiedenen laufenden VMs hin und her-schieben (die hatten dann noch ein Spice-2t-Display)/die GPU aus der VM nehmen - in den Standby gehen - aufwachen - die GPU zurück hängen. Das hängt dann aber sehr von der invidiuellen GPU (siehe Resetbug) ab und unter Linux mit den Nvidia-Treibern (CUDA) hat das leider für mich nicht funktioniert.

Coole Sache. Meine Erfahrung damit ist leider nicht so positiv. Ich würde da auf die Arc-Pro mit SR-IOV hoffen... dazu kann man aber erst mehr sagen, wenns praktische Berichte gibt und die entsprechenden Treiber. Ist ja alles erst im kommen.

auf SR-IOV würde ich keine Hoffnung setzen. Das kann AMD bzw. Nvidia in der proprietären Variante bei den DC-Karten ja schon lange und verkauft dann auch entsprechend teure Softwarelösungen über die Anbieter entsprechender Server.

Naja, die Intel iGPUs können (konnten?) das auch ziemlich exklusive, dürfte auch funktioniert haben.
Dass man SR-IOV sonst nicht (sinnvoll) bekommt, ist mir bewusst.
Darum die Hoffnung Richtung Arc-Pro. Mal sehen, ob von Intel hier mal (wieder) was brauchbares kommt.

Hast du Virtual-GL mal eingerichtet? Das geht zwar ansich, gerade für die anspruchsvollste Nutzung des anspruchslosen Nutzer (s.o.), nämlich den Webbrowser funktioniert das nicht wirklich.

Jup, und hat super funktioniert. Hab sogar mal versucht drüber zu zocken (über Spice), das hat sogar haaaaalbwegs funktioniert (Hard-Reset, son älterer FPS, hab ich in Steam installiert und per Proton gestartet). War zwar ne Ruckelorgie, aber durchaus bei irgendwas zwischen 5 und 15 fps...
Ich überleg grade, ob ich im Browser die Hardwarebeschleunigung an oder aus hatte... war aber überrascht, dass das recht gut läuft.

Die Lösung, die es gibt, ist, den Gasttreiber den Framebuffer in ein VMEM-Device schreiben zu lassen und das dann auf dem Host anzuzeigen (konnte Nvidia lange auch nur mit Quadros): https://looking-glass.io/ - mit allen Vor- und Nachteilen dieses Ansatzes...

Wobei die Frage ist, ob man denn diesen Frame-Buffer wirklich braucht, wenn man die GPU nicht als primäre Anzeige verwendet... wenn man als primäre Anzeige irgend ein Virt-IO (oder virtualGL etc.) verwendet und die 4090 nur als CUDA-Knecht, sollte das relativ egal sein? Verlaufe ich mich hier?

tl;dr: Das ist alles sehr lustig, wenn man mehr Zeit als Geld hat, bzw. das um der Sache willen macht. Sobald man eine Lösung haben will, die läuft, kein Interesse hat, das um der Sache selbst zu machen und das Budget sehr flexibel scheint (500€-MBs "weil die alles haben" und neue Quadros für die kleine Linux-VM ohne besonderen Zweck) ist das in meinen Augen relativ sinnbefreit.

Jo, bissl Eigenleistung ist da halt drin.
Aber ne Workstation mit ESXI Lizenz und Wartungsvertrag etc... mh... obs das besser macht?


Ich seh das jetzt nicht ganz so schwarz, und so teuer ist die Hardware nicht... gemessen an Dingen, die wirklich teuer sind.
Klar, das Board kostet 450€, hat aber immerhin 10Gbit drauf (die keinen ganzen x4 Slot frisst und halbwegs sparsam ist) und ne halbwegs sinnvolle PCIe Verteilung, die Alternative dazu sind Threadripper/Xeon Systeme... und da hast dann immer noch die Softwarefrage.
Dein 500€ Board fürn Epyc ist so ne Sache (mit 450€ bist da nicht gerade dabei) und der Epyc selbst ist einfach sauteuer (vor allem, wenn er nicht ganz lahm sein soll, der 9950X ist gerade für sowas schon eine gute CPU), mit dem Epyc bist gleich bei 1500-2000€ statt 500€...
Ich versteh deinen Punkt zwar total, aber genau betrachtet (eben gerade die flexible Nutzung der IMMOU-freien CPU Lanes) ist das 450€ Mainboard das eher geringere Übel.


Aber - toller Post - schön von Leuten zu lesen, die Ahnung haben.

 

[flxmmr]

Naja, das mit der Leistung ist gar nicht so schlecht

ja, am Ende hat die VM i.d.R. auch noch einen kräftigen RAM-Cache und SATA-SSD merkt man auch fast nie; Hauptpunkt ist eher, dass sich in so einem Setup Debatten über die Zahl der Lanes an der NVMe-SSD in meinen Augen quasi erledigen. Die SSD wird da selten das Bottleneck sein. Der Umstieg von Image-Files zu LVM hat auf jeden Fall bei mir die Bootzeit drastisch gesenkt, wenn ich mich recht erinnere.

Coole Sache. Meine Erfahrung damit ist leider nicht so positiv.

ja, nachdem die R9 390 und RX 470 dabei auch etwas zickig waren, hatte ich mir da (auch für CUDA mit Linux-Gast) einfach mal eine RTX 4000 geleistet (RTX 2070-Chip mit Leistung einer 2060). Seitdem der Treiber dann auch für die normalen Geforce in der VM lief, aber sofort eine RTX4070 gekauft .

Jup, und hat super funktioniert

Hmm - ich glaube du meinst virgl, das die HostGPU verwendet, oder https://docs.mesa3d.org/drivers/virgl.html? Ich glaube da ist dann auch video-decoding dabei. Echtes "Virtual-GL" um eine remote-GPU/bzw. die GPU im Gast via VNC auf dem Host zu nutzen ist das https://virtualgl.org/About/Background und das ist dann auch eher den anderen Lösungen ähnlich (hab' das mal an der Uni auf den RTX6000 dort getestet. Open-GL läuft gut, der ganze Rest eher nicht).

Wobei die Frage ist, ob man denn diesen Frame-Buffer wirklich braucht, wenn man die GPU nicht als primäre Anzeige verwendet... wenn man als primäre Anzeige irgend ein Virt-IO (oder virtualGL etc.) verwendet und die 4090 nur als CUDA-Knecht, sollte das relativ egal sein? Verlaufe ich mich hier?

Wenn man 3D will, muss das der Treiber für den virtuellen Framebuffer dann ja trotzdem iwie managen, dass er den 3D-Kontext auf der Gast-GPU rendern lässt und die Ergebnisse iwie anzeigt. Die KVM/Quemu-Treiber können das aber afaik alle nicht - Hyper-V für Remotedesktops kann das aber glaub' ich. Und ja, wenn man einfach nur CUDA nutzen will, braucht man das alles nicht.

Aber ne Workstation mit ESXI Lizenz und Wartungsvertrag etc... mh... obs das besser macht?

Ich glaub' Einzelplatz-Lösungen dafür gibt es gar nicht - da musst du dann schon einen ganzen VDI-Cluster kaufen, der dir gleich ein Dutzend virtuelle Workstations hostet. Und ja, das ist keine Lösung
Meinte damit auch eher, dass im vorliegenden Fall (wenig Linux-Erfahrung, Interesse eine fertige Lösung für "Produktivität" zu haben, "kleines Linux") einfach das Ziel mit 2 Rechnern deutlich einfacher zu erreichen ist. Der Spaß- und Bastelfaktor ist da halt 0, aber weiß auch nicht, ob @oRangE darauf aus ist.

 

[pwnbert]

Wenn man 3D will, muss das der Treiber für den virtuellen Framebuffer dann ja trotzdem iwie managen, dass er den 3D-Kontext auf der Gast-GPU rendern lässt und die Ergebnisse iwie anzeigt. Die KVM/Quemu-Treiber können das aber afaik alle nicht - Hyper-V für Remotedesktops kann das aber glaub' ich. Und ja, wenn man einfach nur CUDA nutzen will, braucht man das alles nicht.

Ja, aber wenn man z.B. die 4090 braucht um irgend ein LLM oder nen text2img oder so laufen zu lassen, dann braucht man das ja wiederum nicht... so rum war mein Gedankengang.
Kann am Ende nur der TE sagen, aber meine Vermutung ist, dass nix in Echtzeit 3d gerendert und angezeigt werden soll (wie es eigentlich der Hauptzweck einer Grafikkarte ist).

einfach das Ziel mit 2 Rechnern deutlich einfacher zu erreichen ist. Der Spaß- und Bastelfaktor ist da halt 0, aber weiß auch nicht, ob @oRangE darauf aus ist.

Naja.
Ich finde an VMs toll, dass man sich für jeden Zweck seine eigene VM "zimmern" kann, als "Vorlage" speichern kann, klonen kann, verwerfen kann...
Man kann auch mehrere zugleich booten und drin werken. Das geht mit nem 2. Rechner alles nicht (ordentlich), bei den Unzulänglichkeiten von KVM Switches mal begonnen usw...

Mit VMs Arbeiten ist schon ziemlich geil.
Klar, die Frage ist, ob man nicht nen Server hinstellen möchte mit Proxmox z.B. und auf der Workstation selbst nur gewisse Sachen machen will.

Hmm - ich glaube du meinst virgl, das die HostGPU verwendet, oder https://docs.mesa3d.org/drivers/virgl.html? Ich glaube da ist dann auch video-decoding dabei. Echtes "Virtual-GL" um eine remote-GPU/bzw. die GPU im Gast via VNC auf dem Host zu nutzen ist das https://virtualgl.org/About/Background und das ist dann auch eher den anderen Lösungen ähnlich (hab' das mal an der Uni auf den RTX6000 dort getestet. Open-GL läuft gut, der ganze Rest eher nicht).

Herrje, ich hab doch keine Ahnung.
So hab ichs verwendet, was das am Ende bedeutet... ich bin da nicht soo tief drin.

 

[flxmmr]

ja, cool ist das definitiv (und gerade mit einer großen CPU und viel RAM, die man manchmal aber nicht immer ganz braucht, sogar sehr praktisch)! MI dem ausprobieren hast du auch sehr recht (da hatte ich gar nicht sooo dran gedacht), das ist mit physischer Hardware schon nerviger (und das obwohl eigentlich so ein UEFI schon ein HTTP-Bootmenü hosten können müsste...). Wobei man da das Bastlerherz mit Netboot auch befriedigen könnte. Kommt halt alles drauf an, womit man spielen will!

 

[pwnbert]

Ist hallt nice... machst nen Speicherpunkt von einer VM, ob jetzt Snapshot oder ob man sie einfach clont...
Und dann probierst einfach das neue dubiose Paket ausm AUR oder sonstwas. Wenns daneben geht, so what.

Wenn man sich mal dran gewöhnt hat, ist das richtig nice.

Noch nicer ist es, wenn man VMs am Server laufen hat... da machst dein Remote Fenster auf, machst deinen Kram und kannst den PC auch runterfahren, rebooten oder sonst was, während dein Job in der VM weiter läuft... und wenns nur ein lahmer Download beim Free-Hoster ist oder so.

 

[orange84]

Aber - toller Post - schön von Leuten zu lesen, die Ahnung haben.

Dem Zitat würde ich mich an der Stelle gerne annehmen und es an euch beide zurück geben. Wahnsinn, was sich hier in den letzten Posts an Fachwissen gesammelt hat!
...und um ehrlich zu sein, komme ich gedanklich gerade nicht mehr hinterher. 🤯

Meinte damit auch eher, dass im vorliegenden Fall (wenig Linux-Erfahrung, Interesse eine fertige Lösung für "Produktivität" zu haben, "kleines Linux") einfach das Ziel mit 2 Rechnern deutlich einfacher zu erreichen ist. Der Spaß- und Bastelfaktor ist da halt 0, aber weiß auch nicht, ob @oRangE darauf aus ist.

Ich finde an VMs toll, dass man sich für jeden Zweck seine eigene VM "zimmern" kann, als "Vorlage" speichern kann, klonen kann, verwerfen kann...
Man kann auch mehrere zugleich booten und drin werken. Das geht mit nem 2. Rechner alles nicht (ordentlich), bei den Unzulänglichkeiten von KVM Switches mal begonnen usw...

Genau das fasst einen der Beweggründe für dieses Setup sehr gut zusammen. Die Variante mit den zwei Rechnern kann ich nachvollziehen, möchte ich aber gerade wegen dem Bastel- und vor allem Lernfaktor nicht in Anspruch nehmen.
Die von @pwnbert genannten Gründe bezüglich dem Umgang mit den VMs beschreibt genau das, warum ich diese Art von Setup wählen würde.
Wobei in meinem speziellen Fall die WindowsVM mit der GPU-Passthrough die perfomanteste und stabilste von allen sein sollte. Auch wenn diese einmal fertig eingerichtet ist, soll die ihren Dienst als "Arbeits-VM" verrichten. Hier werfe ich mal noch den Ausdruck "Bare-Metal" in die Runde.
Lustigerweise arbeite ich aktuell noch auf einem System, was genau spiegelverkehrt ist. Es läuft ein Windows, was über VMware virtualisiert. Das hat für mich über die Jahre sehr gut funktioniert und ich habe dadurch angefangen mich mit Linux auseinanderzusetzen. (Mittlerweile gibt es in meinem Netzwerk zwei Raspberrys und nur noch die eine Windows-Maschine - Rest alles Linux )
Weil das eben so gut funktioniert, die Lernkurve für mich bis jetzt sehr steil war und es auch Zeit für neue Hardware ist, wollte ich dieses Prinzip mit der neuen Workstation "umdrehen".

Berechtigterweise könnte man an dem Punkt die Frage in den Raum stellen, warum ich das neue Setup nicht nach dem selben Prinzip aufsetze.
Das hat für mich wiederum etwas mir der Anbindung der Workstation in das bestehende Netzwerk und dessen Anwendungsbereich zu tun.
Kurz gesagt möchte ich nicht mit einem Windows-System ein Ubuntu virtualisieren, mit dem ich mein Netzwerk manage. (Augenzwinkern Richtung der beiden LAN-Ports am x870E)
Eher soll das Linux als "Grundsystem" laufen, was ich mittlerweile täglich für diverse Tätigkeiten im Einsatz habe. Die "Arbeits-VM" wird nur punktuell bei anstehenden Arbeiten in Anspruch genommen und dafür wird dann eben die Leistung benötigt.
Ich hoffe das macht Sinn oder ist zumindest nachvollziehbar und Erklärt den Anwendungsbereich ein wenig besser.
(Als doppelten Boden hatte ich mir noch die Möglichkeit offen gelassen, wieder nach dem Windows-Host-Prinzip zu fahren...so schnell möchte ich mich aber nicht geschlagen geben - der Traum lebt weiter!)

Nochmal vielen Dank an euch beiden, für die Zeit die ihr euch für die Antworten genommen habt!
Vor allem die Punkte Reset-Bug, Secure-Boot und NVMe-Anbindung/Passthrough werde ich mir nochmal genauer im Bezug auf das Setup durchlesen.

 

[pwnbert]

Berechtigterweise könnte man an dem Punkt die Frage in den Raum stellen, warum ich das neue Setup nicht nach dem selben Prinzip aufsetze.

Weil Broadcom auf Microsoft eine unseriöse Basis ist? 🤡

Zieh den neuen Rechner einfach parallel hoch, wenn du eh nichts weiter verwendest und gut ists.
Du musst ohnehin deine eigenen Erfahrungen machen und dazu lernen, das ist ein Thema, wo man viel zu wenig "Material" bekommt.

Da muss man erst mal bissl reinkommen in alles, ist eigentlich halb so wild, wenn man gut dabei ist.
So 100% vorausplanen kann man das imho nicht sinnvoll, weil man viel zu viel individuelle Erfahrung macht und im Internet viel zu wenig solide Grundlagen zur Plaung bekommt.
=> Insofern ist ein flexibles Setup imho sehr wichtig, eines, mit dem man erstmal sinnvoll starten kann.
Nicht unnötig teuer, damit am Ende keine teure Hardware "brach liegt", aber auch nicht billigfrickeln und sich Optionen nehmen. Imho ist ein "volles" AM5 dafür eine gute Plattform (gegenüber einer Threadripper oder Xeon Workstation ja immer noch ein Klacks).

Eine GPU brauchst dafür noch nicht mal zwingend, zum Testen tuts vllt. was älteres (aber nicht zu alt, sonst sind die Treiber Mist).
Die Intel Arc Pro B50/B60 werden noch relativ interessant (nicht nur wegen dem eventuellen SR-IOV), auch allgemein, sofern diese unterstützt werden von "deiner Software"..

Vielleicht bekommst wo günstig irgendwas in der Größenordnung 3060/4060 her, zum Antesten wäre das ja auch mal was. 4090 würd ich auslassen und auf die 4080 Super warten, wird vom P/L niemals schlechter. 5090 um knappe 2000€ ist halt schon teuer und nur mit Geduld und etwas Zufall zu bekommen.

 

[orange84]

Genau das war auch mein Gedanke – zu viel vorausplanen bringt nix, am Ende stolpert man über zig Kleinigkeiten, die man vorher nicht auf dem Zettel hatte.
Das ist mir schon hier im Thread beim schreiben/lesen sehr klar geworden!
Kurzum: erst mal aufbauen, Host sauber aufsetzen und in KVM/QEMU reinkommen. Mit dem 9950x, ECC-RAM und den Lane-Optionen vom ProArt habe ich ja schon eine sehr solide Basis.
Alles andere ergibt sich mit der Zeit, je nachdem wie sich die Workloads entwickeln.

GPU-technisch bin ich auch bei dir: erstmal klein anfangen. Wäre nice, wenn das mit der iGPU für den Host funktioniert...mal schauen wie sich das in der Praxis verhält.
Und mit so einer 4060 für die VM kann ich mich gedanklich sehr gut anfreunden

 

[pwnbert]

Klar funktioniert die iGPU für den Host, warum auch nicht?

Ob du in ner VM überhaupt eine "echte" GPU brauchst, hängt stark von der Anwendung ab... wirst ja sehn.