[Sammelthread] 10Gbit Homenetzwerk

[Dwayne_Johnson]

Ich bin neugierig 🙃

Beitrag automatisch zusammengeführt: Freitag um 23:48

Aber ich glaube, wir waren zu voreilig

TP-Link Omada Service Plus. Anzahl Lizenzen: 1 Lizenz(en), Zeitraum: 3 Jahr(e), Typ: Vor Ort

Zumal dieser Shop garkeinen "Omada" hat (laut Shop-Suche)


Das ist ein Vorort-Service für 300€
(könnte das beim EnGenius ECS 5512FP auch nur ein Vorort-Service für 200€ gewesen sein? Lieferten aber die HW für 1.100€ )

Siehe auch hier...

https://www.idealo.de/preisvergleich/MainSearchProductCategory.html?q=TP-Link+Omada+SP-SX3832-3Y

 

[craxity]

@Dwayne_Johnson Ich habe schon widerrufen. Ich muss echt besser aufpassen

Ist aber schade. Hätte das Teil gerne getestet.

 

[Dwayne_Johnson]

Aber bevor weg, lieber den Bestell-Button drücken
Hätte, wie bei Amazon klappen können...

 

[Haldi]

Dann glüht mir das halt weg,

USB Lüfter?

Aber ich mein, was ist denn dein UseCase? Der wird wohl kaum 24/7 100% belastet oder? Der läuft 15-20mins Volldampf und dann wider Idle.

 

[craxity]

und dann wider Idle

Kommt halt drauf an, ob der Verbrauch im Idle niedrig genug ist.

 

[Dwayne_Johnson]

15-20 min von 24h…
Da könnte man das Ding auch ganz abschalten, wenn ständige „Bereitschaft“ nicht im Fokus liegen

 

[besterino]

Wenn ich schon wüsste, wofür ich sowas brauche, hätte ich mir das Ding im Zweifel gar nicht gekauft.

Denkbar wäre halt am Laptop. Oder für Freunde, wenn sie bei mir mit ihrem Rechner mal was schneller unterwegs sein wollen. Oder … ach keine Ahnung. Das sind so Dinger die kann man 5-6x im Jahr brauchen. Geht auch ohne, aber wenn man sie dann hat, freut man sich.

 

[Dwayne_Johnson]

Apropos „brauchen“…
Was frisst so eine 100G-Karte und wofür nutzt du die?

Ich hab nicht mal Laufwerke, die 12,5GByte/s schaffen

btw:
Und wie ich gelesen hab, scheint nur Windows Enterprise RDMA zu unterstützen

 

[besterino]

Apropos „brauchen“…
Was frisst so eine 100G-Karte und wofür nutzt du die?

Ich hab nicht mal Laufwerke, die 12,5GByte/s schaffen

btw:
Und wie ich gelesen hab, scheint nur Windows Enterprise RDMA zu unterstützen

Meine Dual-Port frisst idle ca. 8-10W belegt mit 1x 100Gbit und 1x 10Gbit. Laut Specs 14.2-17W max. mit passiven Kabeln (die ich hab). Genutzt: Früher mal als Connection zum zentralen Storage, auf dem iSCSI Shares lagen, auf denen wieder Programme und Spiele installiert waren mit Dedup platzsparend für die ganze Gamer-Familie. Dann aber nur noch für Spielereien.

Ich hatte zu den besten schnellsten Zeiten als Storage 4x4TB gen4 NVME in Raid0 - da geht schon was. War mir aber irgendwie zu blöd und stromfressend den Epyc oder Threadripper (giep PCIE LANES!) dafür 24/7 laufen zu lassen, so dass ich die NVMEs dann doch auf die Rechner lokal verteilt hab. Aktuell liegen hier aber noch 2x4TB Gen5 ungenutzt herum…

Jetzt bin ich wieder in Versuchung…

Win & RDMA: nur Enterprise stimmt nicht. „For Workstations“ kann’s definitiv auch. Ich meine auch, MS hat das irgendwann mal geändert und SMB Direct in Win 11 Pro verfügbar gemacht (aber nur als Client, Server bleibt Server Editionen vorbehalten). Und ich Depp hab mir extra nen „Pro for Workstations“ key besorgt… (aber damit ging’s und gehts halt auf jeden Fall). Kann ja mal einer mit Win 11 Pro schauen, ob unter „Programme & Features“ —> Windows Features (oder so ähnlich) —> „SMB Direct“ auswählbar/aktivierbar ist?

Das Blöde: es ist mir immer noch nicht gelungen, mit einem non-Microsoft-OS als SERVER eine SMB Direct Connection hinzufummeln. Willst Du schnell, brauchste also Win Server auf der anderen Seite……und darum werkelt halt derzeit bei mir Win Server 2022 auf‘m „NAS“. *kotz*

Aber wenn meine Linux-Spiele (Pun intended) so erfolgreich weiter gehen, ergeben sich ja ganz neue Möglichkeiten.

 

[Zeitmangel]

15-20 min von 24h…
Da könnte man das Ding auch ganz abschalten, wenn ständige „Bereitschaft“ nicht im Fokus liegen

Ist halt nur schlecht, wenn die 15min. sich ungleichmäßig auf die 24h verteilen (ja, ich bin ein Genie )

@besterino
Na wenns läuft...

Windows Server 2025 - RDMA - Folge 01 - Der Anfang des Grauens

Moin Zusammen, vor ein paar Tagen hat sich ein Unternehmen bei mir gemeldet, welches ein paar Probleme mit deren nigelnagelneuem Server 2025 S2D...

administrator.de

 

[Dwayne_Johnson]

Ist halt nur schlecht, wenn die 15min. sich ungleichmäßig auf die 24h verteilen (ja, ich bin ein Genie )

Daher schrieb ich das mit der "ständigen Bereitschaft" (ob nötig)
Ich wusste, dass du was dazuschreiben wirst. Wer ist nun das "Genie"?

Beitrag automatisch zusammengeführt: Gestern um 14:39

@besterino
Na wenns läuft...

Windows Server 2025 - RDMA - Folge 01 - Der Anfang des Grauens

Moin Zusammen, vor ein paar Tagen hat sich ein Unternehmen bei mir gemeldet, welches ein paar Probleme mit deren nigelnagelneuem Server 2025 S2D...

administrator.de

Wieso muss der RDMA-Krempel für normale User so kompliziert sein?
Evtl. um Geld mit einem teuren "Vor-Ort-Service" zu generieren? 🤡

 

[Haldi]

Wieso muss der RDMA-Krempel für normale User so kompliziert sein?
Evtl. um Geld mit einem teuren "Vor-Ort-Service" zu generieren? 🤡

NVMe-oF Share Screens

Provides information on NVMe-oF share screens and settings.

www.truenas.com

When enabled, allows configuring one or more ports after enabling and selecting RDMA as the transport. It requires an Enterprise license, and an RDMA-capable system and

 

[Dwayne_Johnson]

Hat jmd ein RDMA-fähiges Setup am Laufen (PC zu PC oder PC zu NAS)?
Mich würde interessieren, wie flink tausende, winzige Files von A nach B im Gegensatz zu normalen Setups kopiert werden können

 

[besterino]

Joah, hab ich laufen. Aber ich denke, dass da mit wie ohne RDMA Storage limitiert.

 

[Zeitmangel]

Ich wusste, dass du was dazuschreiben wirst. Wer ist nun das "Genie"?

Da gilt die uralte Regel, wer zuerst kommt mahlt zuerst. Tut mir leid

Ich meine 10Gbit kann einen glücklicherweise noch nicht auf RDMA-Vorzüge heiß machen. Entspannung

 

[Dwayne_Johnson]

Joah, hab ich laufen. Aber ich denke, dass da mit wie ohne RDMA Storage limitiert.

Ich brauche Daten
Also die kopierte Datenmenge (vorrangig tausende, winzige Files) mit normalem Netzwerk und mit RDMA

Fraglich ist, ob ich eine RDMA-fähige NIC im NAS mit dem Standard-OS zum laufen bekomme oder ob ich UNRAID, TrueNAS etc nutzen müsste


btw:
Das mit "Baba" ist mir jetzt zu blöd geworden...
Kann quasi nix mehr ohne Chats kaufen Vor Weihnachten haben die sich um mich gerissen. Nun muss ich pro Frage fast nen Tag warten

Ich könnte den Adapter auch für knapp über 50€ (inkl. Versand) bekommen, aber dann müsste ich zwei nehmen

 

[besterino]

Wie wäre es, statt stumpf irgendwelche Ordner zu kopieren, ein Benchmark-Tool zu nehmen? Idealerweise eines, das auch auf SMB-Shares läuft... jemand eine Idee (und kommt mir nicht mit Diskmark - das taugt dafür nix). Atto?

 

[Dwayne_Johnson]

Ob das mein Szenario wiederspiegelt, ist eine andere Sache...
Habe gehofft, dass irgendjmd nen Ordner mit vielen, kleinen Files hat. Und ich hoffe mal nicht, dass das Netzwerk via SMB wegen den vielen, kleinen Files so stark limitiert

Wie wäre es, statt stumpf irgendwelche Ordner zu kopieren, ein Benchmark-Tool zu nehmen? Idealerweise eines, das auch auf SMB-Shares läuft... jemand eine Idee (und kommt mir nicht mit Diskmark - das taugt dafür nix). Atto?

Ich würde IOmeter nehmen...
Ist etwas Frickelei, aber immer noch ein Top-Tool

Iometer project - Downloads

 

[besterino]

Mit robocopy kann man wohl auch die Zeit messen. Ich schau die Tage mal…

 

[bakhtar]

Hat jmd ein RDMA-fähiges Setup am Laufen (PC zu PC oder PC zu NAS)?
Mich würde interessieren, wie flink tausende, winzige Files von A nach B im Gegensatz zu normalen Setups kopiert werden können

… ich habe zw. zwei Servern (ConnectX 3 Pro) und Workstation. Habe aber normale HDDs (keine SAS oder NVMe) Datenträger. Von Dateigrossen her sehe ich keine signifikante Unterschiede. RoCE umgeht die CPU, das ist für mich relevant.

 

[gea]

Wie wäre es, statt stumpf irgendwelche Ordner zu kopieren, ein Benchmark-Tool zu nehmen? Idealerweise eines, das auch auf SMB-Shares läuft... jemand eine Idee (und kommt mir nicht mit Diskmark - das taugt dafür nix). Atto?

Man könnte AJA nehmen. Das testet Videostreams mit Einzelbilder. Mit z.B.16-500G, niedriger Auflösung testet man viele kleine Dateien, mit 8K große Dateien wenn man in settings file per frame wählt. Der Codec macht CPU Last mit kleineren Dateien, für reine Diskperformance z.B 8-bit YUV oder AJA Raw wählen. Für kleinste Dateien z.B. Prores Proxy nehmen. Für SMB einen Laufwerksbuchstaben z.B. Z: nehmen. In System > Report sieht man eine Grafik mit Performance über der Zeit

AJA System Test: Accurately Test Your System performance and speed

Predict the capabilities of any drive system for recording and playing back of various resolutions and codecs

www.aja.com

Download Now anwählen, dann "continue without signup".

Dann "C:\Program Files\AJA\windows\Applications\AJA System Test.exe" starten

https://www.napp-it.org/doc/downloads/performance_smb2.pdf

kleine Dateien

 

[Dwayne_Johnson]

… ich habe zw. zwei Servern (ConnectX 3 Pro) und Workstation. Habe aber normale HDDs (keine SAS oder NVMe) Datenträger. Von Dateigrossen her sehe ich keine signifikante Unterschiede. RoCE umgeht die CPU, das ist für mich relevant.

Ob du ein einziges zb 100GB großes File oder 100.000 Mini-Files von insgesamt 100GB kopierst, macht keinen Unterschied?

 

[Zeitmangel]

Aus Sicht des Netzwerks anscheinend nicht.

 

[Dwayne_Johnson]

Bei mir findet der Datenaustausch bestenfalls "nur" von NVMe zu NVMe statt - bei RoCE von RAM zu RAM

 

[gea]

Ich hoffe mal nicht, dass das Netzwerk via SMB wegen den vielen, kleinen Files so stark limitiert

Dem Netzwerk wirds egal sein, dem Storage nicht. Bei kleinen Dateien limitiert iops. Unterhalb ca 64K kanns richtig langsam werden, sieht man gut in Atto Benchmarks (Transfer vs Blocksize)

z.B.

 

[craxity]

Und ich hoffe mal nicht, dass das Netzwerk via SMB wegen den vielen, kleinen Files so stark limitiert

Viele kleine Dateien sollten immer extrem langsam sein. Das ist schon wegen TCP Congestion Control so. https://en.wikipedia.org/wiki/TCP_congestion_control

Ich verstehe TCP Congestion Control so: TCP weiß nicht, wie schnell die Strecke ist und wie viele Daten gesendet werden können, bevor der Empfang bestätigt wurde. Daher startet es mit einer kleinen Datenrate. Mit der Zeit passt es die Datenrate an. Aber weil jede Datei ein eigener "Lernprozess" ist und in wenigen Paketen versendet wird, kommt TCP nicht über die intialen, kleinen Datenraten hinaus.

Ich würde an deiner Stelle mal rsync probieren. Das arbeitet anders als SMB und sollte für viele kleine Dateien wesentlich besser geeignet sein.

 

[Dwayne_Johnson]

Dem Netzwerk wirds egal sein, dem Storage nicht. Bei kleinen Dateien limitiert iops. Unterhalb ca 64K kanns richtig langsam werden, sieht man gut in Atto Benchmarks (Transfer vs Blocksize)

Weiss ich doch
Aber mich würde der Unterschied von RAM zu RAM (bei RoCE) interessieren. Wenn damit aus wenigen MB/s dann spürbar mehr wird, kann ich immer noch überlegen, ob ich mir den Aufwand und die höheren Kosten für min 2 RDMA-fähige NICs antue. Bleibt auch die Frage, ob ich so eine Karte mit UGOS (NAS) zum Laufen bekomme (PCIe4.0 x4 Slot ist noch frei) oder ob ich alles (ein anderes OS) neu machen muss. Knapp 10 Mio Files tauscht man nicht einfach so aus (Final kommen noch einige dazu)

 

[gea]

Für einen echten Ram-Ram test müsste man auf beiden Seiten eine Ramdisk anlegen, ansonst liest/schreibt man letzlich doch von NVMe, spart sich mit RDMA aber Transfers im RAM und Berechnungen sowie den ip Overhead. Daneben ist die Latenz mit RDMA sehr viel geringer.

Für ein RDMA Nas brauchts SMB Direkt. Das geht immer und sofort mit einem Windows Server als NAS und Linux bzw Windows Clients Mit einem Linux NAS kann man ksmbd versuchen. Besterino hat das mit Linux Clients hinbekommen, nicht jedoch mit einem Windows Client.

Wenn man nur die Verbindung testen will

GitHub - yufeiren/iperf-rdma: Benchmarking RDMA interconnects.

Benchmarking RDMA interconnects. Contribute to yufeiren/iperf-rdma development by creating an account on GitHub.

github.com

 

[Dwayne_Johnson]

Ich habe es so verstanden, dass bei RDMA-NICs auf beiden Seiten der vorhandene RAM benutzt wird

Eine RDMA-Netzwerkkarte (Remote Direct Memory Access, oft als RNIC bezeichnet) ist ein spezieller Netzwerkadapter, der Daten direkt zwischen dem Arbeitsspeicher zweier Computer überträgt, ohne die Hauptprozessoren (CPU) oder Betriebssysteme der beteiligten Rechner zu belasten. Dies ermöglicht extrem geringe Latenzzeiten und sehr hohen Datendurchsatz

Interessiert mich...
Momentan langweilen sich CPU (1235U) und 64GB RAM (von möglichen 96GB) im NAS nur

@gea
UGOS (NAS-OS bei Ugreen) basiert auf Debian 12. Ist jedoch recht "zugenagelt"

@besterino
Welche Linux-Distri hast du dafür genommen?

 

[Trambahner]

Meine RTL8127 SMB Resultate (Windows 11 zu/von Proxmox/Debian; Hardware Pro WS B850M-Ace 9700X gegen ein X570D4U-2L2T 5600X ; also eine Intel X550. )
Getestet worden ist eine zusätzliche 8127-Steckkarte, nicht der Onboard-8127 des Pro WS B850M-Ace (diese Board bringt ja selber eine solche NIC mit).

Gen 4x1 1050-1100 MB/s
Gen 3x1 790-800 MB/s (dauerte beim Schreiben wenige Sekunden für Windows zum Hochlaufen, Start war bei 600 MB/s)
Gen 2x1 395-400 MB/s
Gen 1x1 195-203 MB/s

Die PCIe-Gen hab ich im Bios entsprechend für den Slot eingestellt=limitiert.

Ob an CPU PCIe-Lane direkt oder Chipsatz machte keinen Unterschied solange der CPU<>Chipsatz Link nicht bereits gesättigt war .
Bei älteren Chipsätzen/CPUs mag das evtl. bissl anders ausfallen z.B. wegen Latenzen / Chipsatz-Leistung
Über den Chipsatz wirds halt ggf. zum Engpass, wenn da bereits mehrere SSDs (v.a. NVME) dranhängen und parallel zugegriffen wird

Hab mit Windows 11 SMB getestet als auch mit iperf3-Tool. Die iperf-Raten sind minimalst, um den SMB Protokoll-Oberhead, höher.