Disclaimer: Ich bin kein Experte, ich mach das nicht beruflich. Auch wenn ich zu vielen Themen hier was sagen kann (denke ich zumindest, hab schon einiges selbst probiert und auch wissen gesammelt), bin ich in der Hinsicht doch ein Hobbist, mein echter Job ist ein anderer.
Bei LXC/Docker nicht, bei einer VM kannst ein ganzes PCIe Gerät an die VM geben, dass die VM das sieht, als wäre es direkt dran.
Der 9400-16i macht da irgend son komisches Bus-Reset-Signal, welches die ganze IMMOU Gruppe resettet, sprich SATA und USB Controller fliegen raus bis zum Reboot wenn die VM startet.
Son Bleed Over effekt, frag mich nicht, wie das genau geht.
Wsl. ist deshalb am MC12LE0 (und auch beim B650 Live Mixer, da wird sich irgendwer was gedacht haben) der 2. Slot mit CPU Lanes gespeist.
IMMOU Gruppen kann man ignorieren lassen - IOMMU Setup: amd_iommu=on iommu=pt pcie_acs_override=downstream,x2 (via /etc/kernel/cmdline).
Kann halt sein, dass man lustige Nebenwirkungen hat, muss aber nicht.
Obs Intel besser macht, wsl. nicht.
Von Asrock Rack gabs ein paar AM4 Boards, aber eher mit X470 oder X570, Ausstattung aber eher meh, teilweise nicht so das, was man sich vorstellt. Bekommst aber kaum noch, gebraucht muss man halt schauen.
Bei der CPU würde das nur mit dem PCIe x16 gehen der direkt an der CPU hängt, korrekt?
Nie probiert bei 1700, höchstwahrscheinlich geht alles, was direkt an der CPU hängt gut.
USB Passthrough (z.B. USB Netzwerkkarte) ist im Übrigen erstaunlich unproblematisch, kA ob das überall so ist oder nur in den Fällen, die ich bisher hatte.
Allgemein ist PCIe Passthrough aber nicht so wichtig.
NICs machst einach virtuell (und/oder USB), wenn überhaupt nötig, bis 10G dürfte das von der Leistung her kein Problem sein.
LXC/Docker braucht kein PCIe Passthrough, das geht anders, frag mich nicht, wie man das nennt. Gibt auch privileged LXC, die haben ohnehin Hardwarezugriff.
Ich hab meinen Filer als TrueNAS VM eingerichtet jetzt, mit 2x M.2 PCIe Passthrough und 1x 9400-16i Passthrough (welcher zwar funktioniert, mir aber den SATA Controller und nen USB Controller abschießt), ich werd versuchen den per Adapter auf die M.2 CPU Lanes zu hängen. Dadurch verlier ich zwar ne Root-SSD auf der CPU und muss auf den Chipsatz ausweichen, aber irgend nen Tod muss man halt sterben.
Es wäre im Übrigen möglich, dass ich die Probleme mit dem 9207-8i nicht hätte, ich bin am überlegen, ob ich zu Testzwecken umbauen sollte. Einerseits isses mir zu blöd, andererseits mach ichs vielleicht, für die Wisssenschaft, lol.
Wenn du das NAS direkt auf Proxmox machst, sparst dir auch das. Musst ja nur ein entsprechendes ZFS Pool anlegen und ne SMB Freigabe machen, GUI gibts dafür napp-it oder dieses ZNAS-Dings ausm Nachbarthread, oder du machst es halt per Commandline (kannst dir von der KI helfen lassen).
Ich hab mich bewusst für die TrueNAS VM entschieden, da ich eine bessere "Trennung" will und meine ~10 Datenträger am HBA so nicht im Proxmox sichtbar habe (wenn ich zb mit lsblk abfrage), somit hab ich nicht sda-sdg drin, wo man sich so einfach vertippen kann... ich brauch so einen Noobschutz, also brauchen, ich will.
Der oben erwähnte Mini PC mit Intel Gen 8 und Platz für 2x 3,5" HDD ist sicher die beste Lösung im Bezug auf Kleinheit.
Du musst wissen, welchen Weg du gehen willst.
Mini-PC - sparsam, kompakt, begrenzt, sinnvoll.
ATX-Desktop-Bastelgurke - auch sparsam, nicht ganz so, nicht kompakt, du hast mehr "Platz" zum rumfrickeln und rumbauen, wenn du mal was anders magst... dir z.B. spontan ne 9700 AI-Pro 32gb kaufst fürn lokalen LLM Server, weils eben lustig ist.
Es wird ohnehin eine Frickelpartie, egal welchen Weg du gehst, an irgend einem Hindernis stolperst du (ich sag ja nicht, dass du es nicht überwinden kannst, mit KI ist das viel leichter, in sowas ist die KI gut).
Das geilste Mainboard, dass es in AM4 als B550 gibt (speziell für diesen Fall), ist
wohl das Gigabyte Aorus Master,
✔ Preisvergleich für GIGABYTE B550 AORUS Master ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: AMD AM4 • Chipsatz: AMD B550 • CPU-Kompatibilität: Athlon - Dali , Ryzen 3000 ,… ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen
geizhals.at
Hier siehst du warum, diese Art von Blockdiagramm willst du bei jedem Mainboard ansehen, leider sind diese bei AM4 aber selten "geliefert" worden, man muss oft die Anleitung genau lesen um zu sehen, welche Lanes nun woher kommen und ob was wie geteilt ist.
Dieses Board würde perfekt mit dem x8x4x4 der Cezanne CPU zusammenspielen.
Wenn du das gebraucht bekommst, hammer. War aber selbst neu schon ziemlich teuer (immerhin 250€ gegenüber den 110€, die ich fürs Riptide gezahlt hab, wsl. hab ichs mir auch deshalb nicht angesehen damals, ich hab ja mit einem Budget-Build bekommen wie du, onnte ja keiner wissen, dass das Ding mal so voll und teuer wird).
Das billigste B550 Board wäre das Phantom Gaming 4, die PCIe Lane Konfig ist gleich wie beim teureren (aber mit 105-110€ leistbarem) Riptide. Das Riptide hat eine gute 2.5 Gbit NIC (son Killer Ding, läuft unter TrueNAS Scale oder Proxmox top, nur FreeBSD Treiber gabs 2023 keine, ob das heute anders ist bezweifle ich, aber wen juckt das schon). 2x 10G USB hinten hat es auch noch, die Chipset M.2 ist nur halb angebunden beim billigen sehe ich gerade. Imho sind die 20€ Aufpreis da gut angelegt, auch wenn du am 1. Blick die 2,5Gbit und die 2x 10G USB nicht brauchst, besser haben als brauchen.
✔ Preisvergleich für ASRock B550 Phantom Gaming 4 ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: AMD AM4 • Chipsatz: AMD B550 • CPU-Kompatibilität: Ryzen 3000 , Ryzen 4000G , R… ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen
geizhals.at
✔ Preisvergleich für ASRock B550 PG Riptide ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: AMD AM4 • Chipsatz: AMD B550 • CPU-Kompatibilität: Ryzen 3000 , Ryzen 4000G , R… ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen
geizhals.at
Asus Prime/Strix oder Gigabyte Eagle gehen auch, die haben nur die PCIe Chipsatz Lanes etwas anders als das Riptide (dort hast du wenn du alle Bestückst x1, x2, x1), bei den Asus/Gigabyte hast du dann x1, x1, x1, x1 auf den Slots, sobald du mehr als den 4er belegt hast (es werden die 4 Chipset Lanes auf die 3 bzw 4 Slots verteilt). Beim Riptide hast du den Nachteil, dass du nur 3 Slots hast, dafür den Vorteil, dass einer davon mit PCIe 3.0x2 angebunden ist, was immerhin 2x so schnell ist wie Gen1, je nach dem, was du vor hast, vielleicht ein Vorteil.
Also wenn AM4, dann das Asrock Riptide B550 (oder halt das Aorus Master, welches man aber kaum bekommen wird, ein B550 um 250€ wird sich gegenüber ähnlich teuren aber "besseren" X570 kaum verkauft haben, insofern ist die Chance sowas zu angeln gering). X570 wird man nicht wollen, so viel Vorteile hats (speziell mit der -G CPU die ohnehin kein PCIe Gen 4 kann), der X570 ist aktiv gekühlt weil er viel Strom braucht (schnell PCIe Gen braucht einfach mehr, drum haben die -G APUs nur Gen 3, damit sie sparsamer sind im Mobile Bereich).
Für ECC bräuchtest du dann (neben dem UDIMM RAM natürlich, welchen man bekommt, etwas teuer aber doch noch realistsich) eine entsprechende CPU wie 5650G, 5655G, 5750G, 5755G (5350G/5355G sind die 4 Core Modelle, die wills tdu eigentlich nicht). Aufpassen, gibt wohl CPUs mit Vendor-Lock, ich glaube Dell oder Lenovo, sprich welche die nur mit Dell/Lenovo (bin mir nimmer sicher) Board/Bios laufen, also aufpassen beim Ausschlachten von Lenovo/Dell/HP Rechnern.
Gebrauchtbeispiel:
https://www.kleinanzeigen.de/s-anzeige/amd-ryzen-7-pro-5750g-prozessor-cpu-am4/3443599295-225-13429
Die 5650G/5655G hat man lange um 130-160€ bekommen, die 5750G/5755G waren immer sehr selten, hab meinen 5750G Ende 2023 um 240€ gekauft, die Neuauflage 5755G gabs dann recht lange um 200-240€. AM4 hat ja noch Pins, insofern beim Gebrauchtkauf etwas auf verbogene Pins achten.
Die Cezanne sind unter Teillast erstaunlich sparsam und lassen sich im Bios gut TDP begrenzen, mit ca. 40-45W Deckel gehen auch die Peaks nicht höher und du hast >90% der Multicoreleistung und 99% Singlecoreleistung, sind eigentlich gute CPUs.
Ich kann mir nicht vorstellen, dass die 14000er hier mithalten können, bei den i5 kenn ich das verhalten aber nicht.
Im AM4 Homeserver bin ich so tief drin, dass ich dir das so selbstsicher und selbstbewusst erklären kann. Kannst gern fragen.
Beim Intel würde mir wie schon gesagt dieses Board gefallen:
✔ Preisvergleich für ASUS Prime B760-Plus D4 ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: Intel 1700 (LGA1700) • Chipsatz: Intel B760 • CPU-Kompatibilität: Celeron G6000… ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen
geizhals.at
Der PCIe x1 Slot über dem x16 ist absolut super, der wird nämlich von keiner GPU (oder so) verdeckt und bleibt nutzbar. Auch x1 Slots sind wertvoll weil ne M.2 SSD auch mit PCIe Gen 3x1 immer noch 2x so schnell wie mit SATA läuft (und es ohnein keine SATA mehr gibt).
Das B760 Plus ist das modernere Board (sieht man speziell an den M.2 Schnittstellen) und auch am USB.
Außerdem kann das System PCIe Gen 4, B550 Chipset nur Gen 3 und die Cezanne CPU auch nur Gen 3.
Der B550 Chipsatz ist an der CPU mit 4x PCIe 3.0 angebunden, der B760 mit 4x PCIe 4.0, alles was am Chipsatz hängt teilt sich diese Bandbreite (drum ist z.B. ein Raid 0 aus SSDs die am Chipsatz hängen nicht unbedingt schneller als eine einzelne M.2).
Ich glaub kaum, dass der 14400 mit B760 sparsamer ist als der Cezanne+B550, wsl. im Idle eher auf Gleichstand und unter Teillast wsl. geringer Mehrverbraucht.
Der B550 kann punkten durch die Aufteilbarkeit des x16 Slots (z.B. mit dem 4x M.2 Adapter, gibt noch andere Adapter auch, aber ob die Chinaadapter wirklich funktionieren ist so ne Sache... hatte einen laufen, der mir dann nach 1 Jahr Fehler gemacht hat, ist nix passiert, das ZFS Pool ist halt offline gegangen bis zum Reboot, aber keine Datenschäden).
Ohne Adapterkram kann das B760 doch ein wenig mehr an PCIe (sehr viel mehr isses nicht, aber doch, hängt halt davon ab, was/wie man es verwenden mag).
Passmark sagt, der 5750G vs. der 14400 haben die gleiche Multicoreleistung (ca. 25k), Singlecore ist der Intel etwas vorn (3700 vs 3300), hängt aber auch davon ab, ob P und E Cores dann richtig zugewiesen werden.
Remote-KVM: Egal ob Intel oder AMD, die Consumer haben alle kein IPMI/Remote Management, wobei dieses Gen 8 Intel System wohl irgendwas hat, müsstest mal die KI fragen oder Leute wie Supaman oder Underclocker hier, die haben mehr Ahnung als ich, was das betrifft.
Mit nem Nano-KVM, Jet-KVM etc. kannst dir da gut helfen, bin zufrieden mit dem NanoKVM.
Von meinem maximal aufgeblasenem B550 wirds die Tage noch ein Update geben (bezüglich PCIe Passthrough vom HBA und der Verwendung einer AMD AI Pro GPU), wenn dus nicht eilig hast, kannst das Wissen für dich dann verwerten.
Grundsätzlich bin ich immer noch zufrieden damit (bzw. wüsste nicht, womit ich es ersetzen sollte, ausser dem genannten Gigabyte Master), durch meine vorhandenen DDR4 ECC UDIMM komm ich da auch so schnell nicht weg. Mit der AI-Pro hätte ich dann allerdings eine Grafikanzeige... und bräuchte die iGPU nicht (wobei ich mir schon überlegt hab dort z.B. Text to Speech KI laufen zu lassen um die dicke GPU frei zu halten für VRAM füllende LLMs), könnte also auf einen 5900X wechseln, hätte dann 1x M.2 in der Asus Hyper mehr. Ich fürchte aber, dass der Preis dafür mindestens +25W idle wären, mein X570-5900X Desktop (mit Wakü, RGB und 5090) nuckelt idle leider schon ziemlich aus der Dose), der Unterschied zwischen Cezanne und Vermeer ist massiv (würde man erstmal gar nicht vermuten), drum treffen auch die Leistungshunger-Vorurteile auf den Cezanne (5750G etc.) nicht zu.
=> Was ich heute kaufen würde, hätte ich nichts und bräuchte was? Eigentlich eine B850 Plattform, vllt. mit einem 9700X (weil nur 1 CCD und deshalb nicht ganz so hungrig). Ob ich auf ECC einfach verzichten würde? Ich weiss nicht.
Ich kanns dir echt nicht sagen.
Du musst selber überlegen, was du willst, ob maximale Bastelfreiheit (und da noch die Intel/AMD Frage, die als zentralen Punkt wohl die ECC tauglichkeit hat), ob kleines schlankes System das genau tut was es soll, usw...
So, genug verwirrt?
