Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
[Kaufberatung]AM4 ATX Board mit x8/x8 PCIe + Vega + NVMe
ich suche nach einem etwas spezielleren Mainboard welches die folgenden Anforderungen abdeckt (Ziel ist ein relativ stromsparendes NAS System mit SAS HBA und Dual Port 10/25 NIC)
Unterstützung für zwei PCIe 3.0 Karten, x8 mechanisch und elektrisch
ein SAS HBA PCIe 3.0 x8
ein Dual Port NIC, beispielsweise Intel X710, ebenfalls PCIe 3.0 x8
Unterstützung für 2 NVMe PCIe Disks für Boot, Anbindung / Speed eigentlich egal
GPU sollte idealerweise in CPU integriert sein
Habe momentan ein Ryzen 3200G hier, muss aber nicht die CPU sein. Die CPU könnte ich aber auch ersetzen (mit einer ohne iGPU), was dann wahrscheinlich etwas mehr Flexibilität bei den PCIe Lanes bringt).
Gefunden habe ich eine Auswahl an X570 Boards (ASRock X570 Taichi oder MSI MEG X570 Unify), aber die sind alle super schwer zu bekommen... Falls jemand eine Idee hat würde ich mich sehr freuen.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Was du machen kannst:
B550 (z.B. Asrock Riptide oder Asus TUF) mit nem x8x4x4 Bifurication Adapter, welcher 2x M.2 (vorn und hinten) drauf hat und nen PCIe x16 Slot (x8 elektr.), dafür brauchst dann aber ne CPU mit GPU.
So kannst du 2x M.2 an die CPU Lanes hängen und hast nochmal 8 Lanes für ne Low-Profile (passt fast... bissl frickeln, aber geht gut) Karte (HBA oder NIC).
Dann hast am Chipsatz noch nen PCIe 3.0x4 elektrisch Slot (meinst x16 mechanisch), da kannst dann den übrigen HBA/NIC rein tun. PCIe 3.0x4 wird für nen HBA reichen, 4 Gigabyte/s wirst mit den Platten am HBA wahrscheinlich nicht schaffen (dafür bräuchtest du schon 8 gute SATA SSDs dran).
Die Pro-Cezanne können auch ECC, also 5650G/5655G/5750G/5755G (B550 Riptide und TUF können auch ECC).
Mit den iGPU-CPUs -G hast immer nur PCIe 3.0...
Ohne ECC gehen die 5600G/5700G...
Wobei der 3200G wohl nicht die vollen PCIe Lanes hat, weswegen das oben genannte hier nicht im ganzen Umfang möglich ist.
Auf AM5 wäre das B850 Live-Mixer ein guter Kandidat. Da hat auch jede CPU ne iGPU, also wäre z.B. ein 7700 tray gangbar.
Da hast 2x M.2 auf der CPU, PCIe x16 Slot ("Teilbar" z.B. mit ner 4x M.2 Karte) und noch 2x PCIe 4.0x4 (x16 mech).
Das X870 Pro-RS ist halt überhaupt nicht flexibel was die PCIe Konfig angeht, CPU Lanes mit USB4 "verschwendet" welches für den Zweck nie gebraucht werden wird usw... in dem Fall ist das echt keine gute Wahl.
Es gibt wie gesagt schon Boards, die sowas besser können.
Das B850 Live-Mixer ist eines, das X870E Aorus (kann halt kein ECC imho, zumindest steht nix dabei) auch, weils interessante Bifurication Möglichkeiten hat ohne dubiose Riser Karten.
Vielleicht noch zu erwähnen:
Z890 ist auch interessant, wenns kein ECC haben muss. Sehr viel PCIe Möglichkeit.
4x M.2, 1x PCIe x16, 2x PCIe x4 (nix geteilt, der Chipsatz immerhin mit 8x PCIe 4.0 angebunden)
Ziemlich nice fürs Geld. Mit nem Ultra 225 bestimmt interessant, sofern kein ECC benötigt wird, wahrscheinlich interessanter als die schon gute B850+7700er Kombi.
Ich persönliche würde eher in Richtung der Vorschläge von pwnbert schauen.
Alternativ könnte das ASUS ProArt B650-Creator für AM5 noch interessant sein.
Ja, das geht auch. Dieses, das TUF B550 und das Riptide B550 sind sich alle seehr ähnlich und unterscheiden sich eigentlich nur in der Ausführung der unteren PCIe Slots vom Chipsatz. Bei den 2 Asus kannst du x4 oder x1 x1 x1 x1 Lanes wählen, beim Asrock x4 oder x1 x2 x1.
Sonst hat man halt die B550 üblichen Einschränkungen was mit ner -G CPU nicht gerade besser wird - reicht aber für vieles und ist sparsam.
Haja, je nach Bedarf kann man AM4 schon noch machen. Muss halt dann günstig bleiben (womit diese 600€ AsrockRack Boards rausfallen), ein Problem für AM4 ist der Preissprung vom DDR4 ECC UDIMM Speicher. Verzichtet man auf ECC, kann man mit 5700G + B550 + DDR4 bis 128gb schon noch was nettes auf die Beine stellen zu echt geringen Kosten.
PCIe Lanes sind halt überschaubar, aber immer noch mehr als das ganze N100 Zeugs.
Nachtrag:
Die NICs der B550 unterscheiden sich auch. Das Riptide hat diesen Killer 3100, das Strix den Intel 225 und das TUF den Realtek 8125.
Ich würde da zum Realtek tendieren. Der Killer läuft am Riptide mit TrueNAS zwar 100% stabil (und zwar echte 100%, es war in 2 Jahren nicht ein einziges Mätzchen), allerdings gibts/gabs bei FreeBSD out of the Box erstmal keine Unterstützung (kenn mich auch zu wenig aus um da was reinzufrickeln), unter Windows macht diese NIC am X570 TaiChi ab und zu Probleme, so 1x im Monat muss ich die Netzwerkverbindung deaktivieren/aktivieren.
Die Intel 225 sollen relativ verbugt sein, was man so hört (kann jetzt aber auch nicht soo schlimm sein denke ich).
Obwohl Realtek einen miesen Ruf hat, sind die 8125 Chips imho einwandfrei, hatte damit zumindest noch keinen Stress (und auch von nix gelesen).
Beim 3200g müsste man schauen, welche Lanes der nun wirklich hat (ob da nur 8 Stück am PCIe x16 Slot sind).
Anders als oben beschrieben könnte man den Wunsch wohl auch so zurecht fricklen:
HBA in den x16 Slot.
NIC in den x4 Slot vom Chipsatz (ist mech. eh x16).
SSD in beide M.2 (1x an CPU und 1x am Chipsatz, da werden dann die 2 letzten von 6 SATA deaktiviert). Ist bissl Unsauber, da der ganze Chipsatz nur mit 4 PCIe 3.0 Lanes an der CPU hängt, NIC und SSD2 sich da die Bandbreite teilen, aber gilt "Speed eigentlich egal", dann kann man das so schon machen.
erstmal besten Dank für eure Antworten und sorry, dass ich mich so spät erst melde! Es kamen ein paar andere Dinge dazwischen und ich komme jetzt erst dazu, mich dem Projekt wieder zu widmen.
Zunächst mal zum HBA: es ist ein interner 8 Port 12Gbps SAS HBA, da kommen 8 Enterprise SAS SSDs dran (Samsung PM1643a, 4TB). Ich glaube also, die 3.0x8 können schon relativ gut ausgenutzt werden. Bezüglich NIC bin ich mir noch unsicher, tendiere aber momentan zu ner Intel X710, das sollte eigentlich problemlos ausreichen.
Die beiden NVMe SSDs sind tatsächlich nur Boot Medium, brauchen also nur Konnektivität, keine Performance. Könnte auch problemlos über SATA angebunden werden, hab die beiden kleinen NVMe Disks halt noch hier.
Zurück zum Board: AM4 ist immer schwerer zu bekommen, und die Workstation Boards die oben genannt sind sind mir ehrlich gesagt etwas zu teuer. Inzwischen habe ich zusätzlich noch das ASUS ProArt B650 Creator gefunden, welches x6 oben ja auch bereits vorgeschlagen hat, das gefällt mir eigentlich ziemlich gut.
Direkt an der CPU bekomme ich damit HBA und NIC in x8/x8 Mode unter. Gepaart mit einem Ryzen 7400F (der 8400F ist zwar günstiger, aber hat weniger PCIe Lanes, ich bin nicht sicher welchen Einfluss das hätte) sollte das eigentlich ein potentes System geben. M.2_1 und M.2_2 hängen ebenfalls direkt an der CPU, M.2_3 benötige ich nicht. Für die Grafik würde dann irgendeine x1 low profile Karte nehmen und in den x1 Slot stecken.
Seht ihr damit irgendwelche Schwierigkeiten?
Noch ein Hinweis zum Bifurcation Adapter - das ganze soll in ein 2HE Rackmount Chassis, da passen ohnehin nur low profile Karten rein. Wenn ich zusätzlich mit einem Adapter frickeln muss wird es leider ziemlich eng
Verwendest du das Ding als Fileserver oder intern in der Workstation?
Wenn dus als Fileserver verwendest, musst bedenken, dass das Zeug auch übers LAN muss. 10 Gbit sind ja ca. 1 Gb/s, was 1x PCIe 3.0 wäre..
Was man im "100 Gbit (40 Gbit and beyond) Thread" so liest, wirds ab 10 Gbit eher tricky da mit SMB noch mitzuhalten.
Ich tät mir da wenig gedanken machen über die PCIe 3.0x4 Schnittstelle. Damit bekommst du theoretisch ein 40 Gbit LAN gefüttert.
Geht schon, 5655G ist auch gut verfügbar, aber der DDR4 ECC UDIMM ist unangenehm teuer geworden (ca. 110€/32gb, klar ist DDR5 noch teurer, aber der Unterschied ist nicht mehr sooo enorm).
Direkt an der CPU bekomme ich damit HBA und NIC in x8/x8 Mode unter. Gepaart mit einem Ryzen 7400F (der 8400F ist zwar günstiger, aber hat weniger PCIe Lanes, ich bin nicht sicher welchen Einfluss das hätte) sollte das eigentlich ein potentes System geben. M.2_1 und M.2_2 hängen ebenfalls direkt an der CPU, M.2_3 benötige ich nicht. Für die Grafik würde dann irgendeine x1 low profile Karte nehmen und in den x1 Slot stecken.
Da bist du aber ganz schön auf einem komsichen Weg.
Nimm doch eine CPU mit iGPU, alle "richtigen" AM5 haben eine iGPU. Also 7700, 9600X, je nach dem, was du brauchst.
Die 8000er Serie vergiss ganz schnell mit ihren PCIe Kürzungen. Da ist die Hälfte der PCIe Slots/M.2 am Board ohne Funktion.
Das Mainboard, naja.
Wie wärs mit einem Asrock B850 Live-Mixer?
Da steckst NIC und HBA in die unteren beiden PCIe 4.0x4 Slots, diese PCIe 3.0x4 Verbindung reicht wie gesagt dick aus, dann hast noch den ganzen x16 Slot frei für eine Adapterorgie deiner Wahl.
Wäre die wirtschaftlich sinnvollste Lösung, welche dir mit Abstand die meiste "Freiheit" gewährt. Zu den 2 PCIe Slots (welche imho ausreichend stark/schnell sind) kommen dann noch 2 M.2 an der CPU und der ganze flexible x16 Slot.
Oder das Gigabyte B850 AI-Top? Ist teuer, dafür hast du 2x 10Gbit onboard und 2x PCIe 5.0x8 - da kannst dann richtig gas Geben. Unten noch ein PCIe 4.0x2 für irgendwas kleines.
Imho ist da aber Verschwendung für ne popelige NIC und nen popeligen HBA... genau so die 2 PCIe 5.0x4 M.2 Plätze zum booten... dafür können die 22110/25110, also die dicken PLP M.2 aufnehmen. Spannendes Board irgendwo.
PS:
Hast schon mal gemessen was deine PM-SSDs im Idle brauchen?
Wirklich stromsparend wäre immer noch AM4 / B550 / 5650G/5755G wie oben erläurtert, nur halt etwas eingeschränkt (aber wsl. nicht merkbar).
Verwendest du das Ding als Fileserver oder intern in der Workstation?
Wenn dus als Fileserver verwendest, musst bedenken, dass das Zeug auch übers LAN muss. 10 Gbit sind ja ca. 1 Gb/s, was 1x PCIe 3.0 wäre..
Das Ding wird als NAS / Fileserver verwendet. NFS für Proxmox und Kubernetes Cluster (mit Democratic CSI) und ein paar Windows Clients mit SMB, die aber Client-seitig ohnehin nur Gigabit oder sogar WiFi haben.
PCIe 3.0 hat 1GB/s pro Lane (dual simplex, also beide Richtungen), das reicht gerade nicht für 10Gbps Ethernet. Momentan denke ich entweder über eine Intel X710-DA2 oder eine Mellanox ConnectX-4 LX CX4121C (2x 25 Gbps) nach (die drei Proxmox Nodes haben genau diese ConnectX verbaut). Für 2x 25 Gbps (50Gbps) bräuchte ich ~6,25 GBps und damit PCIe 3.0 x8 oder eben 4.0 x4, letzteres gibts aber nicht soweit ich weiß (auf NIC Seite).
Und ja, SMB hat Protokollbedingt Schwierigkeiten bei höheren Bandbereiten. NFS ist davon idR weniger betroffen, insbesondere wenn das Netzwerk Jumbo Frames unterstützt.
Da bist du aber ganz schön auf einem komsichen Weg.
Nimm doch eine CPU mit iGPU, alle "richtigen" AM5 haben eine iGPU. Also 7700, 9600X, je nach dem, was du brauchst.
Die 8000er Serie vergiss ganz schnell mit ihren PCIe Kürzungen. Da ist die Hälfte der PCIe Slots/M.2 am Board ohne Funktion.
Hab mich irgendwie nie genauer mit der 8000er Serie beschäftigt, aber je mehr ich jetzt rein schaue desto mehr bin ich verwundet was diese Plattform soll...
Wegen iGPU: Zumindest bei den AM4 Platform war es immer so, dass eine iGPU die Anzahl der verfügbaren PCIe Lanes verringert hat. Scheint mit AM5 nicht mehr der Fall zu sein? In dem Fall kann man natürlich problemlos eine CPU mit iGPU nehmen, glaube aber der 7600 tuts dann auch.
Wie wärs mit einem Asrock B850 Live-Mixer?
Da steckst NIC und HBA in die unteren beiden PCIe 4.0x4 Slots, diese PCIe 3.0x4 Verbindung reicht wie gesagt dick aus, dann hast noch den ganzen x16 Slot frei für eine Adapterorgie deiner Wahl.
Wäre die wirtschaftlich sinnvollste Lösung, welche dir mit Abstand die meiste "Freiheit" gewährt. Zu den 2 PCIe Slots (welche imho ausreichend stark/schnell sind) kommen dann noch 2 M.2 an der CPU und der ganze flexible x16 Slot.
Oder das Gigabyte B850 AI-Top? Ist teuer, dafür hast du 2x 10Gbit onboard und 2x PCIe 5.0x8 - da kannst dann richtig gas Geben. Unten noch ein PCIe 4.0x2 für irgendwas kleines.
Imho ist da aber Verschwendung für ne popelige NIC und nen popeligen HBA... genau so die 2 PCIe 5.0x4 M.2 Plätze zum booten... dafür können die 22110/25110, also die dicken PLP M.2 aufnehmen. Spannendes Board irgendwo.
Hm... das Gigabyte B850 AI-Top ist das doppelt so teuer wie das Pro Creator und hier stimme ich dir zu, das ist vermutlich Verschwendung. Die 10Gbit Onboard sind cool, müsste nur für die andere Seite RJ45 SFP+ Module kaufen.
Zum Asrock B850 Live-Mixer. Sowohl HBA als auch NIC sind Gen 3, d.h. ~1GB/s pro Lane. Bei x4 wären das 4 GBps bzw 32 Gbps. Das würde theoretisch (!) zumindest die Mellanox NIC bremsen, beim HBA (D3307-A12, LSI SAS3008) bin ich mir nicht sicher. Ehrlich gesagt nehme ich aber an, dass man das in der Praxis so gut wie nicht merkt...
Insgesamt gefällt mir die Idee aber trotzdem ganz gut, da dann der x16 Slot komplett frei wäre. Perspektivisch komme ich Mitte nächstes Jahr an eine große Menge NetApp 8TB NVMe U.2 SSDs und würde dann überlegen, die jetzigen 4TB PM SSDs durch die U.2 SSDs zu ersetzen. Dafür gibts PLX8749 basierte Adapter (basically ein PCIe Switch), der ein x16 Slot auf 4x SFF8654 aufteilt und damit 8 NVMe Disks anbinden kann. Ohne weiteren Umbau wäre der Slot dann einfach direkt frei...
Nein, hab ich tatsächlich nicht nicht gemessen. Als ich sie am Anfang re-formatiert habe (die kommen mit einer Sektor Size von 520 Bytes, musste auf 512 Bytes geändert werden) sind die trotz Kühlung sehr heiß geworden. Jetzt gerade müsste ich wirklich mal messen...
PCIe 3.0 hat 1GB/s pro Lane (dual simplex, also beide Richtungen), das reicht gerade nicht für 10Gbps Ethernet. Momentan denke ich entweder über eine Intel X710-DA2 oder eine Mellanox ConnectX-4 LX CX4121C (2x 25 Gbps) nach (die drei Proxmox Nodes haben genau diese ConnectX verbaut). Für 2x 25 Gbps (50Gbps) bräuchte ich ~6,25 GBps und damit PCIe 3.0 x8 oder eben 4.0 x4, letzteres gibts aber nicht soweit ich weiß (auf NIC Seite).
PCIe 3.0 hat 1 Giga-Byte /s nicht 1 Giga-Bit /s bzw 8 GT/s - pro Lane.
Was also an PCIe 3.0x4 für ne popelige 2x 10 Gbit NIC nicht reichen soll, kein Plan. Gut, 2x 25 Gbit reizt man damit nimmer aus aber... lastet man 2 25er NICs zugleich voll aus?
Nein, hat sie nicht.
Bei AM4 waren die iGPU-CPUs aber alle mehr oder weniger Mobile-Modelle welche aus unterschiedlichen Gründen nur PCIe 3.0 Speed hatten (zumindest Cezanne volle Lane Zahl), wsl. kosten und vor allem Energieverbrauch - weil mans einfach nicht braucht für den Zweck.
Die kleinen AM5 -G CPUs sind... warum auch immer so beschnitten. Vllt. auch Kosten, vllt. Resteverwertung, frag mich nicht.
Bei AM5 haben alle "normalen" CPUs (ohne F) ne iGPU, die -G Modelle haben ne stärkere (neuere) iGPU (AV1 decode oder so, musst nachlesen).
Keine iGPU bei AM5 haben nur so Ultra-Low-End Modelle wie der 7500f. 9950X, 9800x3d usw. gibts alle nur mit iGPU - zu Recht.
PS:
Mellanox X6 und Intel E810 (diese sind selbst auf Geizhals "günstig") 25Gbit sind btw. PCIe 4.0x8, da hättest das Thema weniger.
9500-8i (die ersten, die PCIe 4.0x8 können) bekommst auf ebay aus China per SK für ~110€ nachgeschmissen.
Klingt mir, als würdest du günstig an alten Enterprise-Kram kommen. Musst halt schauen, was sinnvoll ist... unnötig Lanes verschwenden nur weil man irgendwo nen popeligen alten HBA gefunden hat und unbedingt verwenden will, muss ja nicht sein...
Musst dir halt überlegen, wie du machst.
Ich hör da viel "haben wollen" raus, so wie die Angst der Gamer eine GPU mit "nur" 8 Lanes anzubinden (speziell wenns 5.0 ist).
Weil jetzt mal ehrlich, wenn du dir selbst einredest, dass du 8 Lanes für die NIC brauchst, weil du sonst nicht beide 25G Schnittstellen zugleich voll ausfahren kannst (während du was von sparsam im Verbrauch redest)... ich mein... ehrlich (ich mein das nicht böse)?
