[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Ja, dass es kein OS2 ist, ist maximal ärgerlich. 100G ist bisher auch Neuland für mich, in den Sphären war ich bisher noch nicht unterwegs. Irgendwo muss man ja aber anfangen, sich zu informieren…

Ich hab jetzt erstmal was, was ich mir anschauen kann. Danke.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich bin gerade dabei mir ein Konzept für eine günstige 25-100G Workgroup Lösung zu überlegen

Anwendungsfall: 2-8 Concurrent User AV Bearbeitung (low latency, low cpu load, daher rdma)
Ziel: LAN Performance wie "lokale NVMe"
Performance: 25G (3GB/s) sollte reichen, direct connect (ohne teuren Switch)
SMB Server: Windows Server 2019 Essentials oder neuerer mit SMB Direkt/RDMA und Windows 11 Pro Clients

Vorüberlegung:

Für SMB Direct und RDMA gibt es zwei Optionen
1.) RoCE v2, die Highend Variante mit lossless udp, kompliziert im Setup
2.) iWARP, die Einfach Variante mit tcp, vereinfacht Setup und eventuelle Switch Anforderungen.
Theoretisch minimal langsamer als RoCe v2, sollte aber unerheblich sein.

25G Nics mit RoCE v2 Treibern gibts vor allem von Mellanox und Intel
25G Nics mit iWARP Treibern gibts von Chelsio und Intel (Intel 810 kann RoCEv2 und iWARP)
für 100G brächte man eine 6x QSFP Intel E810 (2x im Server)

Ich konzentriere mich mal auf die Intel E810 in der SFP 28 Ausführung (2/4 port 25G)

Kosten: (günstigst, used, Key, SoHo)
Älteres Microsoft Server 2019 Essentials, mit halbwegs sicherem Legal State (MS cerified store): ca 30,-- bis 300,--
Intel E810 SFP28, 2/4 Port: ab ca 160,--/220,-- (used, China)

Verkabelung je Client
1 x Dac Kabel SFP28 bis 5m: ab 50,-- oder besser gleich
2 x Tranceiver 25G SFP28: je ab 50,-- +2x LW Patchkabel (SM bzw MM) je nach Länge 3m-100m

Für Kommunikation und Internet: vorhandenes 1-10G LAN

Für Software, Nics undVerkabelung bei 4 Clients brauche ich also neben Windows Server
1x Intel E810 4 Port und 4x Intel E810 2 Port, dazu 8 Tranceiver und Patchkabel

LAN Kosten für Server + 4 Clients zusammen ab ca 1200,--
RoCEv2 mit günstigen used Mellanox dürfte ähnlich liegen

Habe ich was übersehen ?
Hat jemand SMB Direkt mit iWARP im Einsatz ?
 
Nachdem der kleine Mikrotik ja nun doch RDMA kann, würde ich den für alles mit bis zu 4 Hochgeschwindigkeitsteilnehmern eher im Betracht ziehen als eine X mal Dualport-Lösung. Mit 600 Euro echt erschwinglich.

Oder halt was Gebrauchtes Lautes. :d

Willst Du meinen Plexxi für einen schmalen Taler haben? ;)
 
Hatte meinen Mellanox SN2010 auch für <1000 € bekommen, der hätte noch 18x SFP28 zu den 4 QSFP28. Cumulus problemlos möglich, oder halt das Painfree Onyx, das aber EOL ist.
 
Danke. Im Moment bin ich erst am Konzept prüfen für ein SMB Direkt HowTo für Dummies mit Focus auf geringe Kosten, Einfachheit und "Bürotauglichkeit" sprich geringe Lautstärke. Ein Switch statt DAC/AOC Verkabelung macht die Konfiguration etwas einfacher zumal mit iWARP und ip statt RoCE v2 mit lossless udp jeder Switch geht ohne dass man da besondere Features oder spezielle Settings braucht.

Ein MikroTik CRS504-4XQ-IN Switch beispielsweise (ab ca 600,-- ) mit Begrenzung auf 4 x 25/100 Ports wäre nicht so tragisch, man würde bei mehr als 4 Arbeitsplätze diese sowieso eher auf 2 Räume aufteilen, jeweils mit einem Raum-Switch. Die Option auf 100G oder alternativ RoCEv2 ist auch nice. Jedem nic Port manuell eine ip zuzuweisen ist zwar nicht aufwendig aber da der MikroTik einen DHCP Server haben dürfte, könnte man das etwas vereinfachen.

Bleibt die Basisfrage iWARP mit ip und Intel/Chelsio vs Mellanox mit RoCEv2
Ich tendiere im Moment eher zu iWARP habe aber bisher null Erfahrung damit.
 
Frage:
Der MikroTik CRS504-4XQ-IN hat 4 x QSFP 100G Anschlüsse und kein RJ45.

Da sollte man doch je Port mittels eines QSFP28 auf 4x SFP28 (Passive DAC) Breakout Kabel 4 x Intel E810 SFP28 -25G anschließen können, sprich ein MikroTik CRS504-4XQ-IN könnte bis zu 16 Clients mit 25G versorgen.

Kann man einen der QSFP Ports mittels QSFP28 to SFP28 Adapter und da einem SFP+ auf RJ45-Modul mit einem normalen 1/10G Switch verbinden. Damit hätte man 3 x 100G (12x 25G) und ein normalen RJ45 für "sonstiges".
 
Doch, der hat 1x RJ45.
 
lt KI hat der 2x "RJ45" Ports

1. Der ETH/BOOT Port (Management-Port)
Dies ist ein dedizierter Fast-Ethernet-Port (10/100 Mbit/s). Er ist technisch vom Haupt-Switch-Chip (Marvell Prestera) getrennt.

Zweck: Er dient ausschließlich dem Out-of-Band-Management. Das bedeutet, du kannst auf die Konfiguration des Switches zugreifen, selbst wenn du deine 100G/25G-Datenports durch eine Fehlkonfiguration "ausgesperrt" hast.

2. Der CONSOLE Port (Serieller Port)
Obwohl er wie ein Netzwerkanschluss aussieht, ist dies ein serieller RS232-Anschluss im RJ45-Format (Cisco-Standard Pinbelegung).

Zweck: Er bietet direkten Zugriff auf die Kommandozeile (CLI) über ein serielles Kabel (Roll-over-Kabel oder RJ45

Also nein, kein nutzbarer RJ45 für lan traffic
 
gea schrieb:
Kann man einen der QSFP Ports mittels QSFP28 to SFP28 Adapter und da einem SFP+ auf RJ45-Modul mit einem normalen 1/10G Switch verbinden. Damit hätte man 3 x 100G (12x 25G) und ein normalen RJ45 für "sonstiges".
Zum Vergrößern anklicken....
Ist leider nur Halbwissen, aber vielleicht sinnvoll für dich zur weiteren Recherche: Technisch geht das zunächst mal, ich bin mir aber relativ sicher, dass das langsamste Glied in einem solchen "Breakout-Aufbau" die Geschwindigkeit aller Verbindungen bestimmt.
Sprich: 100G zu 4x 25G machen ist kein Problem, aber aus 3x 25G + 3x 10G + 1x 1G wird nix, sondern halt 7x 1G.
 
Die 4x QSFP Switch Ports sollten unabhängig voneinander arbeiten.
Es sollte also möglich sein, 3 der QSFP Ports mit breakout Kabel auf je 4x25G zu splitten (12 Ports).

Der 4. QSFP wird nicht gesplittet sondern erhält einen Adapter auf SFP28 (SFP+), nutzt also nur einen der 4x 25G Links.
Daran kommt dann das SFP+ auf RJ 45 Modul um daran 1/10G zu fahren. Damit kann da nichts bremsen.

Die 4 QSFP liefern dann 12x SFP28-25G und einmal RJ45 (oder SFP28/SFP+)
 
Ah, dann hatte ich dich missverstanden - alles klar, dann passt das :)
 
Der Switch gefällt mir immer besser für ein bezahlbares 25G LAN
 
Wenn dein Hauptanliegen aber eh bei 25G liegt, kannst du auch den CRS510-8XS-2XQ-IN nehmen, der ist praktisch identisch, aber teilt die 100G-Ports eben bereits auf zwei Mal 4x 25G.
Im STH-Review gehen sie auch genau auf diese Gemeinsamkeit der Modelle ein:
www.servethehome.com

MikroTik CRS510-8XS-2XQ-IN Review 8-port 25GbE 2-port 100GbE Switch

In our MikroTik CRS510-8XS-2XQ-IN review, we see how this switch is bringing 25GbE and 100GbE to even smaller and lower power deployments
www.servethehome.com www.servethehome.com
 
Danke für den Hinweis.
Ist praktisch die gleiche Technik mit 2x Breakout Kabel "nach innen" verlegt. Das macht die Verkabelung übersichtlicher. Der Switch ist dafür etwas teurer.

Ein Aufbau für ein "lowcost" 25G RDMA SMB Direct LAN für AV Schnitt könnte damit so aussehen

Windows Server (2019+ Essentials, 30-300,--)
Nic 100G Intel E810-CQDA1 (A2 mit 2 Ports ca 300,-- bis 400,--)
alternativ 25G Intel E810-XXVDA1 (A2 mit 2Ports, ca 130,-- bis 200,--)

Switch CRS510-8XS-2XQ-IN mit 25/100G, 2 x 100G, 8 x 25G ( ca 900,--)
alternativ CRS504-4XQ-IN mit 4 x 100G, breakout Kabel nötig für 25G (ab ca 600,--)

Für 1/10G RJ45
Adapter QSFP+ auf SFP28/SFP+ (ab 40,--)
Tranceiver SFP+ auf RJ45 (ab 20,--)

je Client 25G mit Win 11 Pro
1x 25G Intel E810-XXVDA1 (A2 mit 2Ports, ab ca 130,-- bis 200,--)
2x Tranceiver SFP28 (ab je 40,--)
2x LC Patchkabel je nach Länge (ab je 10,--)

alles im bezahlbaren Bereich und relativ günstig zu haben, teils used
Die Lösung kann bei 25G je Server/Client max 12 Clients, bei 100G zum Server max 8 Clients

Sonstiges:
RDMA Protokoll: iWARP
Leistungsaufnahme je Nic: 15-25W (auf ausreichende Kühlung achten)

Anmerkungen ?
 
Bau mal! :d
 
Ist erstmal nur die Vorüberlegung wie man aktuell eine mittelgroße Arbeitsgruppe möglichst einfach und günstig vernetzen kann, bei der jeder Arbeitsplatz über SMB und Netz so schnell sein soll wie beim Zugriff auf eine lokale NVMe.
 
Ich habe die Erkenntnisse mal in einem pdf zusammengefasst

1.0 High performance SMB workgroup
1.1 Performance considerations
1.2 SMB server considerations
1.3 SMB client considerations
1.4 Nic and driver considerations
1.5 RDMA configuration
2.0 Storageserver configuration
2.1 Desktop Client configuration
2.2 Storage configuration
2.3 Storage Spaces
2.4 OpenZFS
3.0 Switch options
4.0 Configuration options
5.0 Management with napp-it cs web-gui
 
@gea: gen5 NVME Speed wird trotzdem knifflig. ;)

Man verliert halt auch mit RDMA einiges an Performance. Auf der anderen Seite ist ZFS auch einfach keine Rakete, also alles irgendwie dann auch fast schon egal. :d
 
NVMe Speed ist ja keine feste Größe, zudem können die günstigen NVMe bei längerem Schreiben stark einbrechen. Wichtiger ist eh so schnell wie derzeit technisch möglich und dazu die geringe Latenz und CPU Last von SMB Direkt. ZFS ist klar mehr auf Sicherheit als Performance ausgelegt. Auch ist ZFS unter Windows vermutlich noch nicht ganz so optimiert und schnell wie unter Linux/Unix. 3 GB/s sollten aber auch mit ZFS unter Windows möglich werden, alternativ SMB Shares für besonders kritische Daten auf einen Storage Spaces NVMe Mirror legen.
 
Ich brauche mal wieder Eure Hilfe: Was wäre denn eine taugliche MPO-MTP Lösung für Gira Standard 55 Unterputzdosen?

Ja, ich brauche diese, weil es schon ein Riesenkrampf war, das entsprechende Kabel (zusammen mit 2x OS2) vom Keller ins 2. OG zu bekommen und das bleibt jetzt so. ;)

Bisher habe ich das stumpf direkt verbunden auf der einen Seite im Switch, auf der anderen in der NIC. Habe aber Sorge, dass das Kabel evtl. irgendwann mal durch das Herumhantieren auf beiden Seiten Schaden nimmt und will das nun auf beiden Seiten sauber terminieren, so dass das Kabel in der Wand nicht mehr bewegt werden muss/kann und wenn dann halt das Patch-Kabel zwischen Unterputzdose und NIC übern Jordan geht…

Nun habe ich das also ein female/female MTP-12 OM4 Typ-B Kabel in der Wand. Wenn ich das richtig verstehe, brauche ich jetzt zwei "Kupplungen" - 1x für die Unterputzdose und 1x für ein Patchpanel o.ä. - und zwei MTP/MPO Kabel male auf female.

Zu den Details bin ich aber schon wieder verwirrt:
Die Kupplungen gibt es mit den Nasen "aligned" und "opposed" (wenn opposed dann bei FS auch gleich mit so Befestigungs"nasen" rechts/links). Was richtig wäre, hängt doch vermutlich von den weiteren verwendeten Kabeln ab? Ich hätte also am Ende 3 Kabel mit 2 Kupplungen, eins davon ist nun gesetzt als "Type B". Wenn ich es mir leicht machen wollte, müsste ich doch jetzt mit 2 Kupplungen "Aligned" und 2x Type A Kabeln hinkommen, oder?

Dann gibt's auch schon fertige "keystone snap-in" Varianten, wie zum Beispiel diese:
Ob OM3 oder OM4 sollte doch an der Stelle egal sein, oder?
Da dies nun aber "opposed" wäre, müsste ich dahinter jeweils wieder ein Type B Kabel nehmen, um die Ausrichtung wieder richtig rum "umzudrehen", korrekt?

Oder ist das eh alles egal, weil am Ende die NICs / Switches / Transceiver das erkennen und sich anpassen, egal ob "pin 1 an pin 1" usw. oder "pin 1 an pin12" usw. ankommt?

Dann wird's nochmal blöd, denn natürlich hätte ich nun einen für mein Gira-System passenden Unterputz-Tragring. Davon gibt's aber mal entspannt 10 unterschiedliche Varianten für unterschiedliche Einsätze...mit im Ergebnis trauriger Ausbeute: für LWL ist überhaupt nur was von Metz spezifiziert, und natürlich nichts für das MTP/MPO Kuriositätenkabinett...

Was würdet Ihr nehmen / wird zueinander passen?
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh