[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

[danielmayer]

Hatte ich aufgrund der widersprüchlichen Angaben befürchtet. Trotzdem schade!

 

[java4ever]

...dafür habe ich eine originalverpackte CX516-GCAT auf ebay für 170€ geschossen.
Geflasht auf CCAT (100G statt 50G) anscheinend problemlos, aber ich hab mir sagen lassen, dass man die CX516A wohl nicht auf CX556, also VPI, flashen kann.

Jetzt brauch ich nur noch ne zweite... Aktuell sind die ja doch alle recht teuer

 

[danielmayer]

Nur mal so als Teaser für den größeren Bericht um Weihnachten rum (natürlich als extra Thread):

 

[craxity]

@danielmayer Hast du einen Link zu dem Unterputzeinsatz? Oder hast du den selbst angefertigt?

 

[danielmayer]

Schaefer, Eigenentwurf. Im Bild sind beide Dosen jeweils mit DN32-Leerrohr versorgt. Ich habe noch eine andere "Special"-Dose für eine Blende (RJ45+ 2xduplexLC). Letzteres ging zum Ziehen besser als duplex Cat7a...
Ich stelle die Dateien dann gerne zur Verfügung. Wie gesagt: Bericht kommt dann...

 

[underclocker2k4]

Alternativ:

LOGILINK NK4024 - Modulare Wanddose für Glasfaser mit LC-Duplex-Stecker

Modulare Frontplatte/Wanddose für Glasfaser mit LC-Duplex-SteckerModularer Aufbau, Keystone-Module sind veränderbar80 x 80mm Außenrahmen, kompatibel mit den meisten deutschen WandschalterserienK [...]

www.reichelt.de

Datenblatt

Default Seitenbeschreibung. Kundenspezifisch anpassen.

www.telegaertner.com

selber basteln?

LWL 53353.1 - Kupplung LC Quad, Singlemode, Metallgehäuse

LC-4 fach (Quad) Kupplungen im Metallgehäusepassen in SC-duplex AusbrücheBefestigungsmöglichkeiten über Clips oder M2 Gewindeschrauben diese sind im Lieferumfang enthalten. [...]

www.reichelt.de

 

[sch4kal]

Oder vom günstigen Foren-LWL-Nerd-Lieferanten: https://www.fs.com/de/products/13414.html

Beitrag automatisch zusammengeführt: 10.10.2021

Hier ein Beispielbild von einer Rezension.

 

[underclocker2k4]

https://img-en.fs.com//images/reviews/13414/070600820.jpg

Wenn man was auf dem Bild erkennen möchte.

 

[littledevil]

Da ihr munter auf 40/100Gbit geht: hat werd zwei sparsame 10 gbit abzugeben?

 

[danielmayer]

Liebe underclocker&sch4kal: ihr werdet doch wohl nicht diese billig-Kunstoffteile mit meiner 2mm-Aluplatte vergleichen?! Tzzzz... Keinen Sinn für Ästhetik, was?
Außerdem: ich habe zusätzlich einen RJ45 darauf untergebracht

 

[sch4kal]

Liebe underclocker&sch4kal: ihr werdet doch wohl nicht diese billig-Kunstoffteile mit meiner 2mm-Aluplatte vergleichen?! Tzzzz... Keinen Sinn für Ästhetik, was?
Außerdem: ich habe zusätzlich einen RJ45 darauf untergebracht

Selbstbau ist natürlich immer besser !

 

[java4ever]

Heute kamen 4 Kaiam 100G CWDM4 Transceiver.. 2/4 sind kaputt. Tolle Quote

Verkäufer sitzt in den USA und hat versprochen zeitnah Ersatz zu schicken.

On another note:
Gibt es Duplex LC SMF 100G Transceiver, die auch 40G können?

 

[java4ever]

So.
Zwei Gebrauchte fs.com CWDM4 Transceiver gekauft.

Rcvr signal avg optical power(Channel 2) : 0.0000 mW / -inf dBm
...also gebrauchte CWDM4 Transceiver sind eher nicht zu empfehlen

 

[danielmayer]

Naja, der Sende-LC muss in den Receive-LC ...

 

[underclocker2k4]

Einfach mal nen Loop an einem SFP stecken. Ist der dann immer noch blind?

 

[KernelMaker]

Mittlerweile läuft mein SAN endlich... Allerdings mal eine Frage in die Runde
Kriegt man überhaupt irgendwie 100Gbit Throughput hin?

Ich nutze ESXi 6.7 mit einem napp-it SAN.
Beides mit Connect x4 100GbE verbunden per DAC.
Datastore ist NFS

Read und Write Speed in der VM liegen bei etwa 4GB/s in fio unter Linux.

Windows 10 mit ATTO liegt bei etwa 3,6-3,8GB/s.

Netstat bei iperf3 (gemessen von ESXi zu napp-it über die vmk Schnittstelle):
iperf3 auf einem Prozess erreicht knapp 27Gbit/s.
iperf3 auf einem Prozess mit 5 Parallel Streams erreicht ebenfalls 27Gbit/s.
iperf3 verteilt auf 5 Prozesse (mit verschiedenen Ports) erreicht knapp über 50Gbit/s.

Benchmark napp-it Lokal direkt mit fio auf dem ZFS Raid.

Egal was ich ausprobiere, der Maximalspeed liegt irgendwo bei 50Gbit/s im Test und bei 30Gbit/s im realen Nutzen als SAN Datenspeicher.

Bis jetzt habe ich auf beiden Systemen noch kein Tuning vorgenommen. Die TCP und Kernelparameter sind also Standard. Gibt es hier Empfehlungen für höhere Geschwindigkeiten?
Würde ESXi 7 einen Unterschied bringen? Dort lassen sich über die GUI auch RDMA Adapter konfigurieren, was zumindest auf dem Papier die Performance steigern sollte. Funktioniert RDMA o.ä. überhaupt bei Solaris?

Hardware

ESXi 6.7
2x Intel Xeon E5-2640 v4
128GB DDR4-2400 RAM
Connectx4 Adapter

napp-it 21.06
1x Intel Xeon E5-2640 v4
32GB DDR4-2400 RAM
Connectx4 Adapter
4x SSD Samsung 970 Evo 1TB als RAID-Z1.

 

[sch4kal]

Mittlerweile läuft mein SAN endlich... Allerdings mal eine Frage in die Runde
Kriegt man überhaupt irgendwie 100Gbit Throughput hin?

Ich nutze ESXi 6.7 mit einem napp-it SAN.
Beides mit Connect x4 100GbE verbunden per DAC.
Datastore ist NFS

Read und Write Speed in der VM liegen bei etwa 4GB/s in fio unter Linux.
Anhang anzeigen 682972
Windows 10 mit ATTO liegt bei etwa 3,6-3,8GB/s.

Netstat bei iperf3 (gemessen von ESXi zu napp-it über die vmk Schnittstelle):
iperf3 auf einem Prozess erreicht knapp 27Gbit/s.
iperf3 auf einem Prozess mit 5 Parallel Streams erreicht ebenfalls 27Gbit/s.
iperf3 verteilt auf 5 Prozesse (mit verschiedenen Ports) erreicht knapp über 50Gbit/s.
Anhang anzeigen 682944

Benchmark napp-it Lokal direkt mit fio auf dem ZFS Raid.
Anhang anzeigen 682973


Egal was ich ausprobiere, der Maximalspeed liegt irgendwo bei 50Gbit/s im Test und bei 30Gbit/s im realen Nutzen als SAN Datenspeicher.

Bis jetzt habe ich auf beiden Systemen noch kein Tuning vorgenommen. Die TCP und Kernelparameter sind also Standard. Gibt es hier Empfehlungen für höhere Geschwindigkeiten?
Würde ESXi 7 einen Unterschied bringen? Dort lassen sich über die GUI auch RDMA Adapter konfigurieren, was zumindest auf dem Papier die Performance steigern sollte. Funktioniert RDMA o.ä. überhaupt bei Solaris?

Hardware

ESXi 6.7
2x Intel Xeon E5-2640 v4
128GB DDR4-2400 RAM
Connectx4 Adapter

napp-it 21.06
1x Intel Xeon E5-2640 v4
32GB DDR4-2400 RAM
Connectx4 Adapter
4x SSD Samsung 970 Evo 1TB als RAID-Z1.

Deine CPUs dürften zu lahm dafür sein, und nein, ohne Tweaks an ziemlich vielen Stellschrauben siehst du da nicht mehr, selbst bei aktuelleren Systemen.
Bei derartigen Geschwindigkeiten wird es sogar wichtig, in welchem NUMA-Cluster die CPU und die NIC sind, und welchen Scheduler du benutzt.
Mit spezieller Software (DPDK/VPP) könntest du solche Durchsätze auch mit deinen alten CPUs erreichen, bei normalen NFS Lese/Schreibzugriffen sehe ich da allerdings wenig Chancen.
Welche iperf Version benutzt du ?

*edit* guckstu hier: https://fasterdata.es.net/host-tuning/linux/100g-tuning/

 

[danielmayer]

Oder guckst du in die früheren Seiten dieses Threads, es wurde schon viel darüber geschrieben...

 

[besterino]

Ich bin bei ESXi auch an eine Schallmauer gekommen, die so irgendwo bei 25-30GB/s lag - je nach OS. Traurigerweise hab ich die 100Gbit unter realer Anwendung bisher auch nur mal zwischen Windowskisten per SMB Direct mit RDMA gesehen und mit RAM-Disks auf beiden Seiten… und dafür brauchst dann entweder Windows Server auf beiden Seiten oder beim Client Windows Pro FOR WORKSTATIONS.

Ohne mindestens SR-IOV auf Serverseite hast Du m.E. eh keine Chance - und dann ist Solarish mit ner ConnectX-4 z.B. raus (zumindest ohne Oracle Support und auch OmniOS zickte virtualisiert rum).

Für diese Speed muss halt alles passen, da ist der physische 100gbit Link nur der Anfang, der für sich allein einfach kaum was bringt.

 

[java4ever]

So, meine CX556A-EDAM aus Israel ist da.

In Realität sind das wohl CX556-EDAT mit angelöteten GPIO Headern und anderer Firmware. Crossflash auf CX556A-EDAT erfolgreich, soweit ich das sagen kann.

Morgen ist der Crossflash der CX516A-GCAT dran... Aktuell ist die auf CX516A-CCAT geflasht, ich hoffe ich kann die auf CX556A-ECAT flashen

 

[danielmayer]

Uha, ein neuer Sünder in unseren Reihen!

 

[java4ever]

Sünder war ich mit dem 56G Networking auch vorher schon

 

[KernelMaker]

Deine CPUs dürften zu lahm dafür sein, und nein, ohne Tweaks an ziemlich vielen Stellschrauben siehst du da nicht mehr, selbst bei aktuelleren Systemen.
Bei derartigen Geschwindigkeiten wird es sogar wichtig, in welchem NUMA-Cluster die CPU und die NIC sind, und welchen Scheduler du benutzt.
Mit spezieller Software (DPDK/VPP) könntest du solche Durchsätze auch mit deinen alten CPUs erreichen, bei normalen NFS Lese/Schreibzugriffen sehe ich da allerdings wenig Chancen.
Welche iperf Version benutzt du ?

*edit* guckstu hier: https://fasterdata.es.net/host-tuning/linux/100g-tuning/

Danke für die Infos! Scheint Tatsächlich an der CPU zu liegen.
Die 100G Infos von hier hatte ich schon umgesetzt: https://fasterdata.es.net/host-tuning/linux/100g-tuning/

Was holt man sich denn so feines, wenn es bezahlbar ist?
Epyc + neues Serverboard und den 2600 RAM weiterbetreiben?
Die Xeons sind bzw. waren halt leider spottbillig aufgrund der Möglichkeit für ES/QS Modelle aus China.

iperf3 unter napp-it/solaris und dann halt mehrmals gestartet, weil es sonst nur auf einem Kern läuft.
Auf ESXi die iperf Version, die im vSAN Ordner liegt.

Ich bin bei ESXi auch an eine Schallmauer gekommen, die so irgendwo bei 25-30GB/s lag - je nach OS. Traurigerweise hab ich die 100Gbit unter realer Anwendung bisher auch nur mal zwischen Windowskisten per SMB Direct mit RDMA gesehen und mit RAM-Disks auf beiden Seiten… und dafür brauchst dann entweder Windows Server auf beiden Seiten oder beim Client Windows Pro FOR WORKSTATIONS.

Ohne mindestens SR-IOV auf Serverseite hast Du m.E. eh keine Chance - und dann ist Solarish mit ner ConnectX-4 z.B. raus (zumindest ohne Oracle Support und auch OmniOS zickte virtualisiert rum).

Für diese Speed muss halt alles passen, da ist der physische 100gbit Link nur der Anfang, der für sich allein einfach kaum was bringt.

Zwischen zwei Ryzen 9 Computern war es schneller. Etwa 70Gbit.
Allerdings auch nur in Tests wie iperf.

ESXi leider genauso schnell. Das scheint tatsächlich irgendwo bei 30Gbit zu blocken.
Naja an sich reicht mir das (sind schließlich immer noch 4GiB/s und ordentlich IOPS) und es ist billiger als ein LSI HWR Controller, damit ESXi das RAID erkennt...
Allerdings könnte man dann auch statt eines extra Servers fürs SAN einfach die All-In-One Lösung nehmen. Die war nämlich auch nicht schneller bzw. langsamer.

 

[besterino]

HA! Habe soeben herausgefunden, dass beim Bau meiner Hütte damals doch nicht alles verkehrt gemacht wurde... vom 2. OG geht genau von meinem Daddelplatz ein Leerrohr in den Keller, wo aktuell noch ein dämliches ISDN/CAT-Kabel drin liegt... mit etwas Glück, passt da sogar ein MPO-Stecker durch... 100G am "Arbeitsplatz", ich komme!

Falls der MPO-Stecker nicht durch geht: was wären denn wohl möglichst gut durch einen Kabelkanal zu ziehende Stecker? Ich hab für 10G bisher nur LC-Transceiver und für 100G nur MPO (12 Fasern) - wenn's nicht sein muss, würd ich die gerne behalten. Spleissen kann ich selbst leider nicht (weder für 10G, noch für 100G) und für ein so ein Kabel jemanden kommen lassen, würde ich gerne vermeiden...

Habt Ihr evtl. noch Ideen?

Zur Not würde ich mein Glück wohl einfach mal mit diesem Kabel hier versuchen und das hoffentlich irgendwie durch das Leerrohr würgen: https://www.fs.com/de/products/82163.html

 

[java4ever]

LC Stecker sind leider nicht so viel kleiner - Aber OS2 ist deutlich günstiger auf die Länge gesehen, und CWDM4 Transceiver sind relativ günstig zu haben.

 

[danielmayer]

Vermutlich keine Chance bei 15er oder 20er Leerrohr. Da wäre jede Kurve gefährlich. Wenn es senkrecht runter geht könnten trotzdem beide klappen. Ab DN25 sollte ein MPO locker durchgehen - wenn keine harten Knicke drin sind.
ISDN rausruppen und "Versuch macht kluch!".
Auf jeden Fall mit einem guten Fieberglas-Zugdraht arbeiten. Wenn das unten ankommt sollte das laufen.

 

[besterino]

Was wäre denn ein "guter Fieberglas-Zugdraht"?

Ich hab momentan noch die Hoffnung, dass der MPO passt, wenn ich das "ISDN-Kabel" raus hab.

Ansonsten übrigens mal ein ganz herzliches "Frohes Fest" an alle!

 

[besterino]

FROHES NEUES! … im wahrsten Sinne…

Also: ISDN-Kabel rausgezogen und das bei der Gelegenheit zugleich als "Zugdraht" für MPO-mit-Kabel-und-noch'n-Draht-plus-Angelschnur benutzt. Diverse Angst- und Ertüchtigungs-Schweißperlen (keine Ahnung wie oft ich aus OG2 in den Keller und zurück gerannt bin) später ist Runde 1 geschafft:

Eigentlich wollte ich dann das ISDN-Kabel mit der Angelschnur wieder hochziehen - das war aber ein Satz mit X. Mit dem Draht ging's dann.

In die Dose musste ich dann noch eine Aussparung schnitzen, besser konnte ich das mit dem fertigen Kabel (Spleissen is' nich', kann ich nich') mit Bordmitteln nicht lösen.

Immerhin scheint bei dem ganzen Gezerre und Gewusel nichts Fundamentales kaputtgegangen zu sein, die Verbindung steht und ein erster Test auf dem 08/15 Storage im Keller liefert auch mal mehr als 10Gbit...

 

[sch4kal]

Penguin Computing Arctica 3200c - 32 Anschlüsse 100gbe-Icos installiert | eBay

Entdecken Sie Penguin Computing Arctica 3200c - 32 Anschlüsse 100gbe-Icos installiert in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

100G finally getting affordable

 

[java4ever]

Finger Weg von den Whitebox Switchen, da wirst du nicht froh.

Zum Einen ist das mit Software so ne Sache... SONIC ist zwar schön für Microsoft, aber auch nicht so 100% stabil und rund. Cumulus Linux Lizenzen sind sackenteuer, genau wie alle Alternativen.
Zum Anderen haben einige 100G Switche (Celestica DX010, Edge Core AS7512-32X, ggf. auch der Arctica) Probleme mit den Intel C2000 / AVR54 bug und sterben random

Celestica DX010 sind übrigens noch günstiger.


Ich hoffe ja dass es irgendwann wieder Mellanox SN2700 < 2000€ gibt...