Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
[Kaufberatung]AM4 ATX Board mit x8/x8 PCIe + Vega + NVMe
ich suche nach einem etwas spezielleren Mainboard welches die folgenden Anforderungen abdeckt (Ziel ist ein relativ stromsparendes NAS System mit SAS HBA und Dual Port 10/25 NIC)
Unterstützung für zwei PCIe 3.0 Karten, x8 mechanisch und elektrisch
ein SAS HBA PCIe 3.0 x8
ein Dual Port NIC, beispielsweise Intel X710, ebenfalls PCIe 3.0 x8
Unterstützung für 2 NVMe PCIe Disks für Boot, Anbindung / Speed eigentlich egal
GPU sollte idealerweise in CPU integriert sein
Habe momentan ein Ryzen 3200G hier, muss aber nicht die CPU sein. Die CPU könnte ich aber auch ersetzen (mit einer ohne iGPU), was dann wahrscheinlich etwas mehr Flexibilität bei den PCIe Lanes bringt).
Gefunden habe ich eine Auswahl an X570 Boards (ASRock X570 Taichi oder MSI MEG X570 Unify), aber die sind alle super schwer zu bekommen... Falls jemand eine Idee hat würde ich mich sehr freuen.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Was du machen kannst:
B550 (z.B. Asrock Riptide oder Asus TUF) mit nem x8x4x4 Bifurication Adapter, welcher 2x M.2 (vorn und hinten) drauf hat und nen PCIe x16 Slot (x8 elektr.), dafür brauchst dann aber ne CPU mit GPU.
So kannst du 2x M.2 an die CPU Lanes hängen und hast nochmal 8 Lanes für ne Low-Profile (passt fast... bissl frickeln, aber geht gut) Karte (HBA oder NIC).
Dann hast am Chipsatz noch nen PCIe 3.0x4 elektrisch Slot (meinst x16 mechanisch), da kannst dann den übrigen HBA/NIC rein tun. PCIe 3.0x4 wird für nen HBA reichen, 4 Gigabyte/s wirst mit den Platten am HBA wahrscheinlich nicht schaffen (dafür bräuchtest du schon 8 gute SATA SSDs dran).
Die Pro-Cezanne können auch ECC, also 5650G/5655G/5750G/5755G (B550 Riptide und TUF können auch ECC).
Mit den iGPU-CPUs -G hast immer nur PCIe 3.0...
Ohne ECC gehen die 5600G/5700G...
Wobei der 3200G wohl nicht die vollen PCIe Lanes hat, weswegen das oben genannte hier nicht im ganzen Umfang möglich ist.
Auf AM5 wäre das B850 Live-Mixer ein guter Kandidat. Da hat auch jede CPU ne iGPU, also wäre z.B. ein 7700 tray gangbar.
Da hast 2x M.2 auf der CPU, PCIe x16 Slot ("Teilbar" z.B. mit ner 4x M.2 Karte) und noch 2x PCIe 4.0x4 (x16 mech).
Das X870 Pro-RS ist halt überhaupt nicht flexibel was die PCIe Konfig angeht, CPU Lanes mit USB4 "verschwendet" welches für den Zweck nie gebraucht werden wird usw... in dem Fall ist das echt keine gute Wahl.
Es gibt wie gesagt schon Boards, die sowas besser können.
Das B850 Live-Mixer ist eines, das X870E Aorus (kann halt kein ECC imho, zumindest steht nix dabei) auch, weils interessante Bifurication Möglichkeiten hat ohne dubiose Riser Karten.
Vielleicht noch zu erwähnen:
Z890 ist auch interessant, wenns kein ECC haben muss. Sehr viel PCIe Möglichkeit.
4x M.2, 1x PCIe x16, 2x PCIe x4 (nix geteilt, der Chipsatz immerhin mit 8x PCIe 4.0 angebunden)
Ziemlich nice fürs Geld. Mit nem Ultra 225 bestimmt interessant, sofern kein ECC benötigt wird, wahrscheinlich interessanter als die schon gute B850+7700er Kombi.
Ich persönliche würde eher in Richtung der Vorschläge von pwnbert schauen.
Alternativ könnte das ASUS ProArt B650-Creator für AM5 noch interessant sein.
Ja, das geht auch. Dieses, das TUF B550 und das Riptide B550 sind sich alle seehr ähnlich und unterscheiden sich eigentlich nur in der Ausführung der unteren PCIe Slots vom Chipsatz. Bei den 2 Asus kannst du x4 oder x1 x1 x1 x1 Lanes wählen, beim Asrock x4 oder x1 x2 x1.
Sonst hat man halt die B550 üblichen Einschränkungen was mit ner -G CPU nicht gerade besser wird - reicht aber für vieles und ist sparsam.
Haja, je nach Bedarf kann man AM4 schon noch machen. Muss halt dann günstig bleiben (womit diese 600€ AsrockRack Boards rausfallen), ein Problem für AM4 ist der Preissprung vom DDR4 ECC UDIMM Speicher. Verzichtet man auf ECC, kann man mit 5700G + B550 + DDR4 bis 128gb schon noch was nettes auf die Beine stellen zu echt geringen Kosten.
PCIe Lanes sind halt überschaubar, aber immer noch mehr als das ganze N100 Zeugs.
Nachtrag:
Die NICs der B550 unterscheiden sich auch. Das Riptide hat diesen Killer 3100, das Strix den Intel 225 und das TUF den Realtek 8125.
Ich würde da zum Realtek tendieren. Der Killer läuft am Riptide mit TrueNAS zwar 100% stabil (und zwar echte 100%, es war in 2 Jahren nicht ein einziges Mätzchen), allerdings gibts/gabs bei FreeBSD out of the Box erstmal keine Unterstützung (kenn mich auch zu wenig aus um da was reinzufrickeln), unter Windows macht diese NIC am X570 TaiChi ab und zu Probleme, so 1x im Monat muss ich die Netzwerkverbindung deaktivieren/aktivieren.
Die Intel 225 sollen relativ verbugt sein, was man so hört (kann jetzt aber auch nicht soo schlimm sein denke ich).
Obwohl Realtek einen miesen Ruf hat, sind die 8125 Chips imho einwandfrei, hatte damit zumindest noch keinen Stress (und auch von nix gelesen).
Beim 3200g müsste man schauen, welche Lanes der nun wirklich hat (ob da nur 8 Stück am PCIe x16 Slot sind).
Anders als oben beschrieben könnte man den Wunsch wohl auch so zurecht fricklen:
HBA in den x16 Slot.
NIC in den x4 Slot vom Chipsatz (ist mech. eh x16).
SSD in beide M.2 (1x an CPU und 1x am Chipsatz, da werden dann die 2 letzten von 6 SATA deaktiviert). Ist bissl Unsauber, da der ganze Chipsatz nur mit 4 PCIe 3.0 Lanes an der CPU hängt, NIC und SSD2 sich da die Bandbreite teilen, aber gilt "Speed eigentlich egal", dann kann man das so schon machen.
erstmal besten Dank für eure Antworten und sorry, dass ich mich so spät erst melde! Es kamen ein paar andere Dinge dazwischen und ich komme jetzt erst dazu, mich dem Projekt wieder zu widmen.
Zunächst mal zum HBA: es ist ein interner 8 Port 12Gbps SAS HBA, da kommen 8 Enterprise SAS SSDs dran (Samsung PM1643a, 4TB). Ich glaube also, die 3.0x8 können schon relativ gut ausgenutzt werden. Bezüglich NIC bin ich mir noch unsicher, tendiere aber momentan zu ner Intel X710, das sollte eigentlich problemlos ausreichen.
Die beiden NVMe SSDs sind tatsächlich nur Boot Medium, brauchen also nur Konnektivität, keine Performance. Könnte auch problemlos über SATA angebunden werden, hab die beiden kleinen NVMe Disks halt noch hier.
Zurück zum Board: AM4 ist immer schwerer zu bekommen, und die Workstation Boards die oben genannt sind sind mir ehrlich gesagt etwas zu teuer. Inzwischen habe ich zusätzlich noch das ASUS ProArt B650 Creator gefunden, welches x6 oben ja auch bereits vorgeschlagen hat, das gefällt mir eigentlich ziemlich gut.
Direkt an der CPU bekomme ich damit HBA und NIC in x8/x8 Mode unter. Gepaart mit einem Ryzen 7400F (der 8400F ist zwar günstiger, aber hat weniger PCIe Lanes, ich bin nicht sicher welchen Einfluss das hätte) sollte das eigentlich ein potentes System geben. M.2_1 und M.2_2 hängen ebenfalls direkt an der CPU, M.2_3 benötige ich nicht. Für die Grafik würde dann irgendeine x1 low profile Karte nehmen und in den x1 Slot stecken.
Seht ihr damit irgendwelche Schwierigkeiten?
Noch ein Hinweis zum Bifurcation Adapter - das ganze soll in ein 2HE Rackmount Chassis, da passen ohnehin nur low profile Karten rein. Wenn ich zusätzlich mit einem Adapter frickeln muss wird es leider ziemlich eng
Verwendest du das Ding als Fileserver oder intern in der Workstation?
Wenn dus als Fileserver verwendest, musst bedenken, dass das Zeug auch übers LAN muss. 10 Gbit sind ja ca. 1 Gb/s, was 1x PCIe 3.0 wäre..
Was man im "100 Gbit (40 Gbit and beyond) Thread" so liest, wirds ab 10 Gbit eher tricky da mit SMB noch mitzuhalten.
Ich tät mir da wenig gedanken machen über die PCIe 3.0x4 Schnittstelle. Damit bekommst du theoretisch ein 40 Gbit LAN gefüttert.
Geht schon, 5655G ist auch gut verfügbar, aber der DDR4 ECC UDIMM ist unangenehm teuer geworden (ca. 110€/32gb, klar ist DDR5 noch teurer, aber der Unterschied ist nicht mehr sooo enorm).
Direkt an der CPU bekomme ich damit HBA und NIC in x8/x8 Mode unter. Gepaart mit einem Ryzen 7400F (der 8400F ist zwar günstiger, aber hat weniger PCIe Lanes, ich bin nicht sicher welchen Einfluss das hätte) sollte das eigentlich ein potentes System geben. M.2_1 und M.2_2 hängen ebenfalls direkt an der CPU, M.2_3 benötige ich nicht. Für die Grafik würde dann irgendeine x1 low profile Karte nehmen und in den x1 Slot stecken.
Da bist du aber ganz schön auf einem komsichen Weg.
Nimm doch eine CPU mit iGPU, alle "richtigen" AM5 haben eine iGPU. Also 7700, 9600X, je nach dem, was du brauchst.
Die 8000er Serie vergiss ganz schnell mit ihren PCIe Kürzungen. Da ist die Hälfte der PCIe Slots/M.2 am Board ohne Funktion.
Das Mainboard, naja.
Wie wärs mit einem Asrock B850 Live-Mixer?
Da steckst NIC und HBA in die unteren beiden PCIe 4.0x4 Slots, diese PCIe 3.0x4 Verbindung reicht wie gesagt dick aus, dann hast noch den ganzen x16 Slot frei für eine Adapterorgie deiner Wahl.
Wäre die wirtschaftlich sinnvollste Lösung, welche dir mit Abstand die meiste "Freiheit" gewährt. Zu den 2 PCIe Slots (welche imho ausreichend stark/schnell sind) kommen dann noch 2 M.2 an der CPU und der ganze flexible x16 Slot.
Oder das Gigabyte B850 AI-Top? Ist teuer, dafür hast du 2x 10Gbit onboard und 2x PCIe 5.0x8 - da kannst dann richtig gas Geben. Unten noch ein PCIe 4.0x2 für irgendwas kleines.
Imho ist da aber Verschwendung für ne popelige NIC und nen popeligen HBA... genau so die 2 PCIe 5.0x4 M.2 Plätze zum booten... dafür können die 22110/25110, also die dicken PLP M.2 aufnehmen. Spannendes Board irgendwo.
PS:
Hast schon mal gemessen was deine PM-SSDs im Idle brauchen?
Wirklich stromsparend wäre immer noch AM4 / B550 / 5650G/5755G wie oben erläurtert, nur halt etwas eingeschränkt (aber wsl. nicht merkbar).
Verwendest du das Ding als Fileserver oder intern in der Workstation?
Wenn dus als Fileserver verwendest, musst bedenken, dass das Zeug auch übers LAN muss. 10 Gbit sind ja ca. 1 Gb/s, was 1x PCIe 3.0 wäre..
Das Ding wird als NAS / Fileserver verwendet. NFS für Proxmox und Kubernetes Cluster (mit Democratic CSI) und ein paar Windows Clients mit SMB, die aber Client-seitig ohnehin nur Gigabit oder sogar WiFi haben.
PCIe 3.0 hat 1GB/s pro Lane (dual simplex, also beide Richtungen), das reicht gerade nicht für 10Gbps Ethernet. Momentan denke ich entweder über eine Intel X710-DA2 oder eine Mellanox ConnectX-4 LX CX4121C (2x 25 Gbps) nach (die drei Proxmox Nodes haben genau diese ConnectX verbaut). Für 2x 25 Gbps (50Gbps) bräuchte ich ~6,25 GBps und damit PCIe 3.0 x8 oder eben 4.0 x4, letzteres gibts aber nicht soweit ich weiß (auf NIC Seite).
Und ja, SMB hat Protokollbedingt Schwierigkeiten bei höheren Bandbereiten. NFS ist davon idR weniger betroffen, insbesondere wenn das Netzwerk Jumbo Frames unterstützt.
Da bist du aber ganz schön auf einem komsichen Weg.
Nimm doch eine CPU mit iGPU, alle "richtigen" AM5 haben eine iGPU. Also 7700, 9600X, je nach dem, was du brauchst.
Die 8000er Serie vergiss ganz schnell mit ihren PCIe Kürzungen. Da ist die Hälfte der PCIe Slots/M.2 am Board ohne Funktion.
Hab mich irgendwie nie genauer mit der 8000er Serie beschäftigt, aber je mehr ich jetzt rein schaue desto mehr bin ich verwundet was diese Plattform soll...
Wegen iGPU: Zumindest bei den AM4 Platform war es immer so, dass eine iGPU die Anzahl der verfügbaren PCIe Lanes verringert hat. Scheint mit AM5 nicht mehr der Fall zu sein? In dem Fall kann man natürlich problemlos eine CPU mit iGPU nehmen, glaube aber der 7600 tuts dann auch.
Wie wärs mit einem Asrock B850 Live-Mixer?
Da steckst NIC und HBA in die unteren beiden PCIe 4.0x4 Slots, diese PCIe 3.0x4 Verbindung reicht wie gesagt dick aus, dann hast noch den ganzen x16 Slot frei für eine Adapterorgie deiner Wahl.
Wäre die wirtschaftlich sinnvollste Lösung, welche dir mit Abstand die meiste "Freiheit" gewährt. Zu den 2 PCIe Slots (welche imho ausreichend stark/schnell sind) kommen dann noch 2 M.2 an der CPU und der ganze flexible x16 Slot.
Oder das Gigabyte B850 AI-Top? Ist teuer, dafür hast du 2x 10Gbit onboard und 2x PCIe 5.0x8 - da kannst dann richtig gas Geben. Unten noch ein PCIe 4.0x2 für irgendwas kleines.
Imho ist da aber Verschwendung für ne popelige NIC und nen popeligen HBA... genau so die 2 PCIe 5.0x4 M.2 Plätze zum booten... dafür können die 22110/25110, also die dicken PLP M.2 aufnehmen. Spannendes Board irgendwo.
Hm... das Gigabyte B850 AI-Top ist das doppelt so teuer wie das Pro Creator und hier stimme ich dir zu, das ist vermutlich Verschwendung. Die 10Gbit Onboard sind cool, müsste nur für die andere Seite RJ45 SFP+ Module kaufen.
Zum Asrock B850 Live-Mixer. Sowohl HBA als auch NIC sind Gen 3, d.h. ~1GB/s pro Lane. Bei x4 wären das 4 GBps bzw 32 Gbps. Das würde theoretisch (!) zumindest die Mellanox NIC bremsen, beim HBA (D3307-A12, LSI SAS3008) bin ich mir nicht sicher. Ehrlich gesagt nehme ich aber an, dass man das in der Praxis so gut wie nicht merkt...
Insgesamt gefällt mir die Idee aber trotzdem ganz gut, da dann der x16 Slot komplett frei wäre. Perspektivisch komme ich Mitte nächstes Jahr an eine große Menge NetApp 8TB NVMe U.2 SSDs und würde dann überlegen, die jetzigen 4TB PM SSDs durch die U.2 SSDs zu ersetzen. Dafür gibts PLX8749 basierte Adapter (basically ein PCIe Switch), der ein x16 Slot auf 4x SFF8654 aufteilt und damit 8 NVMe Disks anbinden kann. Ohne weiteren Umbau wäre der Slot dann einfach direkt frei...
Nein, hab ich tatsächlich nicht nicht gemessen. Als ich sie am Anfang re-formatiert habe (die kommen mit einer Sektor Size von 520 Bytes, musste auf 512 Bytes geändert werden) sind die trotz Kühlung sehr heiß geworden. Jetzt gerade müsste ich wirklich mal messen...
PCIe 3.0 hat 1GB/s pro Lane (dual simplex, also beide Richtungen), das reicht gerade nicht für 10Gbps Ethernet. Momentan denke ich entweder über eine Intel X710-DA2 oder eine Mellanox ConnectX-4 LX CX4121C (2x 25 Gbps) nach (die drei Proxmox Nodes haben genau diese ConnectX verbaut). Für 2x 25 Gbps (50Gbps) bräuchte ich ~6,25 GBps und damit PCIe 3.0 x8 oder eben 4.0 x4, letzteres gibts aber nicht soweit ich weiß (auf NIC Seite).
PCIe 3.0 hat 1 Giga-Byte /s nicht 1 Giga-Bit /s bzw 8 GT/s - pro Lane.
Was also an PCIe 3.0x4 für ne popelige 2x 10 Gbit NIC nicht reichen soll, kein Plan. Gut, 2x 25 Gbit reizt man damit nimmer aus aber... lastet man 2 25er NICs zugleich voll aus?
Nein, hat sie nicht.
Bei AM4 waren die iGPU-CPUs aber alle mehr oder weniger Mobile-Modelle welche aus unterschiedlichen Gründen nur PCIe 3.0 Speed hatten (zumindest Cezanne volle Lane Zahl), wsl. kosten und vor allem Energieverbrauch - weil mans einfach nicht braucht für den Zweck.
Die kleinen AM5 -G CPUs sind... warum auch immer so beschnitten. Vllt. auch Kosten, vllt. Resteverwertung, frag mich nicht.
Bei AM5 haben alle "normalen" CPUs (ohne F) ne iGPU, die -G Modelle haben ne stärkere (neuere) iGPU (AV1 decode oder so, musst nachlesen).
Keine iGPU bei AM5 haben nur so Ultra-Low-End Modelle wie der 7500f. 9950X, 9800x3d usw. gibts alle nur mit iGPU - zu Recht.
PS:
Mellanox X6 und Intel E810 (diese sind selbst auf Geizhals "günstig") 25Gbit sind btw. PCIe 4.0x8, da hättest das Thema weniger.
9500-8i (die ersten, die PCIe 4.0x8 können) bekommst auf ebay aus China per SK für ~110€ nachgeschmissen.
Klingt mir, als würdest du günstig an alten Enterprise-Kram kommen. Musst halt schauen, was sinnvoll ist... unnötig Lanes verschwenden nur weil man irgendwo nen popeligen alten HBA gefunden hat und unbedingt verwenden will, muss ja nicht sein...
Musst dir halt überlegen, wie du machst.
Ich hör da viel "haben wollen" raus, so wie die Angst der Gamer eine GPU mit "nur" 8 Lanes anzubinden (speziell wenns 5.0 ist).
Weil jetzt mal ehrlich, wenn du dir selbst einredest, dass du 8 Lanes für die NIC brauchst, weil du sonst nicht beide 25G Schnittstellen zugleich voll ausfahren kannst (während du was von sparsam im Verbrauch redest)... ich mein... ehrlich (ich mein das nicht böse)?
PCIe 3.0 hat 1 Giga-Byte /s nicht 1 Giga-Bit /s bzw 8 GT/s - pro Lane.
Was also an PCIe 3.0x4 für ne popelige 2x 10 Gbit NIC nicht reichen soll, kein Plan. Gut, 2x 25 Gbit reizt man damit nimmer aus aber... lastet man 2 25er NICs zugleich voll aus?
Sorry, ich bin Netzwerker, GBps sind bei uns GigaByte pro Sekunde, Gbps sind GigaBit pro Sekunde (großes / kleines b) . Wir meinen aber das gleiche glaube ich. Ich meinte, dass eine PCIe 3.0 Lane (1GBps = 8 Gbps) für ein 10Gb/s Port nicht ausreichend. 3.0x4 reicht für 2x 10Gbps aber natürlich locker (und ja mir ist bewusst dass 1 GBps gerundet und ohne Overhead ist, aber die Aussage passt ja trotzdem).
Nein, hat sie nicht.
Bei AM4 waren die iGPU-CPUs aber alle mehr oder weniger Mobile-Modelle welche aus unterschiedlichen Gründen nur PCIe 3.0 Speed hatten (zumindest Cezanne volle Lane Zahl), wsl. kosten und vor allem Energieverbrauch - weil mans einfach nicht braucht für den Zweck.
Ich meine mich zu erinnern, dass bei vielen der AM4 Boards angegeben war, dass der x16 Slot bei Einsatz einer CPU mit iGPU auf Gen 3 läuft (wie du sagst), aber eben auch elektrisch nur noch mit x8 angebunden wird. Ich schaue gerne mal nach einigen Beispielen, hab aber relativ viele der B550 Board Manuals gewälzt.
PS:
Mellanox X6 und Intel E810 (diese sind selbst auf Geizhals "günstig") 25Gbit sind btw. PCIe 4.0x8, da hättest das Thema weniger.
9500-8i (die ersten, die PCIe 4.0x8 können) bekommst auf ebay aus China per SK für ~110€ nachgeschmissen.
Günstig ist halt immer relativ. Wenn man die Gesamtkosten optimiert, gibts ja jetzt im Prinzip drei Optionen:
- Option 1: Board mit x8/x8 Split ((Gen 3 oder höher, bspw. B650 Pro Creator, ~227€) + vorhandenes HBA (0€) + ConnectX-4 2x 25 (~80€). Preis rund 310€, beide Karten haben Gen3 x8 Anbindung, aber keine Möglichkeit mehr für spätere Erweiterung und die Idee mit den NVMe Karten über PLX ist vom Tisch
- Option 2: Board mit x16 und 2* Gen4 x4 (beispielsweise das B850 Live Mixer, ~185€) + 9500-8i (~110€) + Intel E810 (~185€). Preis rund 480€. Beide Karten laufen Gen4 x4 und der x16 Slot wäre für zukünftige Erweiterung beispielsweise mit PLX frei.
- Option 3: Wie Option 2, aber ich verwende den bisherigen HBA in einem der elektrischen x4 Slots weiter. Wäre dann eben nur Gen3 x4, aber da perspektivisch ja eh die NVMe Disks mit PLX kommen wäre das ein Kompromiss. Preis ~370€. Oder aber ich akzeptiere dass eine ConnectX-4 "nur" mit Gen3 x4 läuft (~32Gbps statt 50 Gbps), dann drückt das den Preis auf ~265€...
Und ja, die Berechnung haut natürlich nur hin, weil die Disks und co nicht bezahlt werden müssen.
Klingt mir, als würdest du günstig an alten Enterprise-Kram kommen. Musst halt schauen, was sinnvoll ist... unnötig Lanes verschwenden nur weil man irgendwo nen popeligen alten HBA gefunden hat und unbedingt verwenden will, muss ja nicht sein...
Musst dir halt überlegen, wie du machst.
Ich hör da viel "haben wollen" raus, so wie die Angst der Gamer eine GPU mit "nur" 8 Lanes anzubinden (speziell wenns 5.0 ist).
Weil jetzt mal ehrlich, wenn du dir selbst einredest, dass du 8 Lanes für die NIC brauchst, weil du sonst nicht beide 25G Schnittstellen zugleich voll ausfahren kannst (während du was von sparsam im Verbrauch redest)... ich mein... ehrlich (ich mein das nicht böse)?
Ich sag mal so... das ist kein Fall von "brauchen". Das ist ein Fall von "wollen" kombiniert mit Overengineering Brauch man 2x 25? Nein. Es ist halt ein 25G Switch da, es ist eine große Menge 25G Transceiver da. 10G Transceiver müsste ich erstmal besorgen, aber ja, die kosten nicht die Welt. Am Ende werd ich mich vermutlich auf ein vernünftigen Kompromiss selbst runterhandeln, momentan bin ich noch in der "optimieren was geht" Phase.
Anyway, bis hierhin schon mal vielen vielen Dank für die Zeit die Du dir genommen hast!
Einsatz einer CPU mit iGPU auf Gen 3 läuft (wie du sagst), aber eben auch elektrisch nur noch mit x8 angebunden wird. Ich schaue gerne mal nach einigen Beispielen, hab aber relativ viele der B550 Board Manuals gewälzt.
Das betrifft nur ein paar alte/schwache -G CPUs, bei den 5650G/5655G/5750G/5755G hast du alle Lanes, nur eben 3.0... ich hab 3 Stück davon laufen, daher kann ich dir das sehr genau sagen.
- Option 3: Wie Option 2, aber ich verwende den bisherigen HBA in einem der elektrischen x4 Slots weiter. Wäre dann eben nur Gen3 x4, aber da perspektivisch ja eh die NVMe Disks mit PLX kommen wäre das ein Kompromiss. Preis ~370€. Oder aber ich akzeptiere dass eine ConnectX-4 "nur" mit Gen3 x4 läuft (~32Gbps statt 50 Gbps), dann drückt das den Preis auf ~265€...
Ich würde das so machen.
Wenn dir in der Praxis je auffallen sollte (was ich irgendwie bezweifle), dass PCIe 3.0x4 zu wenig für HBA und NIC sind, musst du eben neuere HBA/NIC beschaffen.
Ist ja auch kein Thema, oder? 25G sind mit PCIe 3.0x4 kein Ding... und 2x 25G Vollauslastung musst erstmal zusammenbringen - da kann ich mir schwer vorstellen, wie du das anstellen willst.
Brauchst ja dann ein entsprechendes Endgerät auch (bzw. 2 zugleich eigentlich).
Die Möglichkeiten kennst du ja jetzt...
Ob die 9000er CPUs sparsamer sind als die 7000er musst dir noch ergoogeln.
Das B850 Live-Mixer ist glaub ich die beste Möglichkeit möglichst viele PCIe-Lanes (real nutzbar) pro € zu bekommen...
Alles andere (Supermicro etc.) ist weniger flexibel und deutlich teurer.
Ich würde das so machen.
Wenn dir in der Praxis je auffallen sollte (was ich irgendwie bezweifle), dass PCIe 3.0x4 zu wenig für HBA und NIC sind, musst du eben neuere HBA/NIC beschaffen.
Ist ja auch kein Thema, oder? 25G sind mit PCIe 3.0x4 kein Ding... und 2x 25G Vollauslastung musst erstmal zusammenbringen - da kann ich mir schwer vorstellen, wie du das anstellen willst.
Brauchst ja dann ein entsprechendes Endgerät auch (bzw. 2 zugleich eigentlich).
Es sind drei Proxmox Server die ebenfalls 2x 25Gb haben. Für die lokalen Disks läuft ein Ceph mit lokalem Storage. Kubernetes Nodes sollen direkt aufs NAS zugreifen und den Storage von dort mounten (NFS oder iSCSI, je nach RWO oder RWX Bedarf), ebenfalls werden Snapshots und Backups auf dem NAS gespeichert. Dazu eben noch die eigentlichen Clients. Wird das 2x25 voll auslasten? hardly
Ein paar der Supermicro Boards habe ich mir auch angeschaut, da liegen wir preislich aber woanders. Die müsste ich dann leider auch "regulär" beschaffen, dort habe ich keine Optionen
Ich hab mir das von dir vorgeschlagene Board nochmal genauer angeschaut. Laut Block Diagram ist die Anbindung zwischen CPU und Chipset "nur" x4, das ist ja ziemlich normal. Allerdings hängen beide PCIe x4 Ports am Chipsatz, sodass sie sich die Bandbreite teilen müssen:
Scheint als muss ich irgendeinen Tod sterben... Lieber wären mir die M.2 mit geteilter Bandbreite am Chip und mehr PCIe Lanes direkt an der CPU, aber sowas gibts wohl nicht
Ich hab mir das von dir vorgeschlagene Board nochmal genauer angeschaut. Laut Block Diagram ist die Anbindung zwischen CPU und Chipset "nur" x4, das ist ja ziemlich normal. Allerdings hängen beide PCIe x4 Ports am Chipsatz, sodass sie sich die Bandbreite teilen müssen:
Ja, das stimmt, die Frage ist... wie funktioniert PCI-Express eigentlich? Muss da alles "durch" die CPU? Ich weiss es nicht. @Holt - der weiss alles.
Ich mein, PCIe ist ja auch Bidirektional, also wenn du von der SSD liest und das dann über die NIC "versendest", wären das ja entgegengesetzte Richtungen, was ja auch okay wäre.
Doppelt Bidirektional gehts dann halt nicht mehr...
Aber ja, die schlechte Verbindung zum Chipsatz (nämlich auch zum X870E) ist das größte Problem von AM5 und wird sich wohl so schnell nicht ändern. Wahrscheinlich könnte die CPU dort PCIe 5.0x4, aber der Chipsatz halt nicht. Mal sehn, ob da mit Zen 6 noch was nachkommt, oder ob AMD so erbärmlich bleibt.
Ich fürchte, es gibt keine Boards, wo PCIe Slots statt M.2 Slots an der CPU hängen zusätzlich.
Zudem würde ich mit so Adapter/Riser-Kabeln aufpassen, bis PCIe 3.0 ist das recht Harmlos, mit Gen 4 funktioniert sowas eher schlecht und mit Gen 5 mag ich ned dran denken.
Es gibt nur ein Asrock Rack, das mehr Slots als den x16 an der CPU hat, nämlich nen PCIe 5.0x4 zusätzlich:
Hilft dir aber auch nur bedingt weiter... zudem gibts das Board noch mit 10 Gbit Onboard, was aber auch am Chipsatz hängt.
(Bei AM4 hatte z.B. das Gigabyte MC12-LE0 auf nen M.2 Steckplatz für die CPU verzichtet und nen PCIe 4.0x4 Slot zusätzlich zum x16 Slot an der CPU gehabt.)
Intel hätte noch ein (einziges) W880 (für nen 265k), welches ich ganz interessant (wenn auch sauteuer) finde:
✔ Preisvergleich für ASUS Pro WS W880-ACE SE ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: Intel 1851 (LGA1851) • Chipsatz: Intel W880 • CPU-Kompatibilität: Core Ultra 20… ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen
geizhals.at
Unterm Strich ist das aber auch nicht "besser" als das Gigabyte B850 Ai-Top, es hat hat halt noch IPMI (und bissl mehr Möglichkeit mit dem SlimSAS und imho 1 M.2 mehr oder so, müsste man jetzt genau schauen).
Zudem ist beim Arrow der Chipsatz wohl mit 8 PCIe 4.0 (DMI Link) angebunden.
Ob das unterm Streich besser ist naja. Die 4x U.2 würde man am besten auf so nen Adapter für den x16 Slot unterbekommen.
=> Am Ende wirst mit ner Consumer-Plattform einfach gewisse Grenzen in Kauf nehmen müssen, der nächste Schritt ist dann Xeon/Threadripper/Epyc (auch mit entsprechendem Verbrauch).
