[Sammelthread] 10Gbit Homenetzwerk

[gea]

Ich habe es so verstanden, dass bei RDMA-NICs auf beiden Seiten der vorhandene RAM benutzt wird

Mittels rdrma kann ein RAM Bereich zwischen host und client direkt gelesen/beschrieben werden, ohne dass dazu das Lanprotokoll ip mit seinem CPU Aufwand benötigt wird. Nach der Übertragung der Daten in den gegenüberliegenden RAM werden die Daten normal aus dem RAM zur Platte transferiert oder weiterverarbeitet. Insgesamt verringert das die CPU Last und die Latenz enorm. Im Ergebnis kann selbst bei Multiuser Transfers die SMB Direkt Übertragung fast mit Wirespeed (25Gbit/s, 100Gbit/s) erfolgen.

Man benötigt halt neben rdma nics einen rdma fähigen SMB Server (SMB Direkt) wie Windows Server ab v2012 und SMB Direkt rdma clients wie Windows 11 Pro

 

[Gr3yh0und]

Gen 3x1 790-800 MB/s

Frage mich wann einer auf die Idee kommt das auf ein m2 a+e 2230 Board zu bauen... Dann könnte man den ganzen SFF Kisten preiswert, sparsam 8Gbit einflößen und den WiFi slot nutzen.

 

[Dwayne_Johnson]

Mittels rdrma kann ein RAM Bereich zwischen host und client direkt gelesen/beschrieben werden, ohne dass dazu das Lanprotokoll ip mit seinem CPU Aufwand benötigt wird. Nach der Übertragung der Daten in den gegenüberliegenden RAM werden die Daten normal aus dem RAM zur Platte transferiert. Insgesamt verringert das die CPU Last und die Latenz enorm. Im Ergebnis kann selbst bei Multiuser Transfers die SMB Direkt Übertragung fast mit Wirespeed (25Gbit/s, 100Gbit/s) erfolgen.

Wenn ich damit den Transfer gut spürbar beschleunigen könnte, muss ich das haben
Nur welche (noch bezahlbare) RDMA-Karte wäre zu empfehlen? Und weiss jmd, ob diese NICs unter UNRAID, TrueNAS etc problemlos laufen?

Beitrag automatisch zusammengeführt: Heute um 16:43

Frage mich wann einer auf die Idee kommt das auf ein m2 a+e 2230 Board zu bauen... Dann könnte man den ganzen SFF Kisten preiswert, sparsam 8Gbit einflößen und den WiFi slot nutzen.

Bei USFF-PCs (1 Liter-PCs) wirds interessant
Solche Umbauten auf 10G gibt es, aber ob der Wifi-M.2-Slot bei neueren USSFs nutzbar ist - k.A. Bei den Älteren geht das nicht, weil diesen Wifi-Slots anscheinend passende Protokolle fehlen

btw:
In Lenovo Tinys (USFF) könnte eine normale RTL8127-Karte mit diesem Adapter passen

 

[gea]

Ich vermute mal, die gängigsten sind Mellanox ab X4 oder Intel 810, ansonst auf RoCE v2 achten.
Mit wenigen clients im gleichen Raum brauchts keinen Switch, da reichen DAC Kabel neben normalem 1-10G

ps
Das Problem mit TrueNas etc ist SAMBA, das kann kein SMB Direkt. Man bräuchte stattdessen den Kernel ksmbd SMB Server (nicht in jeder Distribution) der nicht immer SMB Direkt kann und auch dann nur mit Linux clients SMB Direkt kann und nicht mit z.B. mit Windows 11.

Besterino ist da der "Meister"

[Sammelthread] - Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Hab gerade bei mir zuhause die Verkabelung umgestellt und dann 2h Fiber debugged... Stellt sich raus: Der Zulieferer hat mir komplett falsche Kabel geschickt. Bestellt war OS2 MTP APC... Die gibt es eigentlich NUR in APC, ich hab die noch nie UPC gesehen (Multimode MTP ist dagegen immer UPC...

www.hardwareluxx.de

 

[bakhtar]

Ob du ein einziges zb 100GB großes File oder 100.000 Mini-Files von insgesamt 100GB kopierst, macht keinen Unterschied?

Natürlich macht es einen Unterschied. Header/Payload Ratio, Pipeline-Initialisierung, Blockgrösse, Paketverluste etc… kosten Zeit. Das einmal zu berechnen oder x100.000 geht auf Kosten der Zeit. RoCE hat mit „Beamen“ nichts zu tun.

 

[besterino]

@Dwayne_Johnson: Wenn Du über einen Linux-Server für SMB (Direct) Freigaben mit KSMBD nachdenkst, hab' ich noch keine Empfehlung. Ich hab zuletzt Ubuntu genommen, musst aber 'nen Custom Kernel basteln. Alles "Arch-based" scheidet m.E. als Server-OS kategorisch aus. Fedora habe ich noch nicht ausprobiert... hmmm... könnte ich ja eigentlich mal, wollte die Tage ja eh wieder RDMA-Netzwerk spielen gehen.

Allerdings interessiert mich mehr, wie etwaige Geschwindigkeitsvorteile mit vs. ohne RDMA aussehen und das würde ich erst einmal mit Windows Server als SMB-Server testen wollen - das funktioniert wenigstens zuverlässig...

Alternativ könnte ich mich mal reinfuchsen, ob nicht NFSoRDMA eine Alternative wäre (NVMe-of habe ich ja schonmal unter Windows mit dem Starwind-Ding hingefummelt - war aber nicht so prall).

Ansonsten, noch zur Performance @Dwayne_Johnson RDMA vs TCP/IP, allerdings auf Basis NFS und mit 100Gbit NICs, nicht 10Gbit, und auf beiden Seiten in voller Breite mit 16 PCIe Lanes:
2-3x higher bandwidth (128KB block size)
140% higher IOPS (8KB block size)
150% higher IOPS (2KB block size)

Quelle: https://developer.nvidia.com/blog/d...tem-performance-with-rdma-enabled-networking/

 

[Dwayne_Johnson]

Ich hab zuletzt Ubuntu genommen, musst aber 'nen Custom Kernel basteln

Darin bin ich der absolute "Profi" (nicht)
Den Tipp via TCP (anstatt SMB) hat mir auch @craxity gegeben - muss ich mal testen

Beitrag automatisch zusammengeführt: Heute um 17:57

Natürlich macht es einen Unterschied. Header/Payload Ratio, Pipeline-Initialisierung, Blockgrösse, Paketverluste etc… kosten Zeit. Das einmal zu berechnen oder x100.000 geht auf Kosten der Zeit. RoCE hat mit „Beamen“ nichts zu tun.

Schon ein einfacher Scan des NAS via SMB mit den zig Mio Files, dauert schon eine Ewigkeit

 

[gea]

Ich vermute es soll NFS statt SMB heißen
NFS und SMB sollten ähnlich schnell sein. NFS mit RDMA könnte unter Linux Vorteile haben da NFS da üblicher ist. NFS Ist halt was Authentifizierung, Authorisierung und plattformübergreifendes multiuser Verhalten (Locking) angeht, im Vergleich zu SMB weit unterlegen..

ps
Um einen ZFS Filer mit vielen Dateien auf mechanischen Platten extrem viel schneller zu machen, brauchts einen NVMe special vdev Mirror.

 

[craxity]

Ich vermute es soll NFS statt SMB heißen

Wenn es um meine Aussage geht, meinte ich rsync statt SMB. rsync hat keine Probleme mit dem TCP Congestion Control, das SMB so ausbremst.