[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

[java4ever]

Finger Weg von den Whitebox Switchen, da wirst du nicht froh.

Zum Einen ist das mit Software so ne Sache... SONIC ist zwar schön für Microsoft, aber auch nicht so 100% stabil und rund. Cumulus Linux Lizenzen sind sackenteuer, genau wie alle Alternativen.
Zum Anderen haben einige 100G Switche (Celestica DX010, Edge Core AS7512-32X, ggf. auch der Arctica) Probleme mit den Intel C2000 / AVR54 bug und sterben random

Celestica DX010 sind übrigens noch günstiger.


Ich hoffe ja dass es irgendwann wieder Mellanox SN2700 < 2000€ gibt...

 

[sch4kal]

Finger Weg von den Whitebox Switchen, da wirst du nicht froh.

Zum Einen ist das mit Software so ne Sache... SONIC ist zwar schön für Microsoft, aber auch nicht so 100% stabil und rund. Cumulus Linux Lizenzen sind sackenteuer, genau wie alle Alternativen.
Zum Anderen haben einige 100G Switche (Celestica DX010, Edge Core AS7512-32X, ggf. auch der Arctica) Probleme mit den Intel C2000 / AVR54 bug und sterben random

Celestica DX010 sind übrigens noch günstiger.

Wir machen mit Edgecore Kisten und Sonic unser EVPN-VXLAN Overlay im Datacenter, das läuft problemlos, oder zumindest genauso gut/schlecht wie mit Juniper QFXen bzw. Nexus Switche.
Auf dem Penguin läuft ICOS, das ist so ein Standard NOS von Broadcom selbst, für Privat-Luxxer die damit L2 Switching machen mit bisschen VLANs und Spanning-Tree wird das wohl taugen,
aber ONL gibts ja zur Not auch noch.

 

[java4ever]

Wir machen mit Edgecore Kisten und Sonic unser EVPN-VXLAN Overlay im Datacenter, das läuft problemlos

Und auf welchen? Auf 7512 läuft Sonic auf jeden Fall nicht vernünftig... So mein letzter Stand

Portsplits mit Sonic sind auch so eine Geschichte - Außer auf Mellanox Hardware funktioniert das eher nicht so.

Auf dem Penguin läuft ICOS, das ist so ein Standard NOS von Broadcom selbst, für Privat-Luxxer die damit L2 Switching machen mit bisschen VLANs und Spanning-Tree wird das wohl taugen,

Naja, wer sich selbst als Luxxer nen 100G switch holt, wird sich mit nem relativ dummen L2 Switch wohl eher nicht zufrieden geben


Software Support bei Whitebox ist massiver Hit'N'Miss - Wer sich nicht mit der Programmierung von Switchen auskennt ist beim Debuggen auch eher verloren

 

[sch4kal]

Und auf welchen? Auf 7512 läuft Sonic auf jeden Fall nicht vernünftig... So mein letzter Stand

7326, noch mit 10G zu den Servern und 100G Uplinks, sind aktuell auch nur als Leaf-Switche im Einsatz.

Portsplits mit Sonic sind auch so eine Geschichte - Außer auf Mellanox Hardware funktioniert das eher nicht so.

Du meinst Breakouts ? Sowas machen wir nicht.

Naja, wer sich selbst als Luxxer nen 100G switch holt, wird sich mit nem relativ dummen L2 Switch wohl eher nicht zufrieden geben

Gibt ja hier den Ein oder Anderen der eine direkte 100G Verbindung hat, einfach der Geschwindigkeit wegen.
Für Privat brauchst da mit einem oder 2 Switches ja auch eher weniger ein L2-Overlay Netz.
Soo unbrauchbar sind die Features von ICOS jetzt nicht wenn ich das verfügbare Manual so überfliege. Basic Routing sollte damit auch machbar sein, wie so Standard Dinge wie ACLs, QoS,...

Software Support bei Whitebox ist massiver Hit'N'Miss - Wer sich nicht mit der Programmierung von Switchen auskennt ist beim Debuggen auch eher verloren

Jo, Support gibts über eine Consulting Firma, bislang kamen wir aber auch so zurecht. Immer noch deutlich billiger als nen QFX oder voll lizensierter Nexus samt Wartungsvertrag.

Beitrag automatisch zusammengeführt: 08.02.2022

Celestica DX010 sind übrigens noch günstiger.

Oh den hatte ich noch nicht auf dem Schirm, danke.
Gibts tatsächlich noch viel günstiger aus den Staaten:

Celestica SEASTONE dx010 32-Port 100g QSFP 28 ONIE Switch Mfgr Datum vor 2018 | eBay

Entdecken Sie Celestica SEASTONE dx010 32-Port 100g QSFP 28 ONIE Switch Mfgr Datum vor 2018 in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

MFG Date 26.10.2017, könnte evtl. schon mit der neueren Revision ohne Atom-Bug sein.

 

[java4ever]

Das mit dem Atom Bug ist so der Punkt, der mich vom Kauf abhält.
SoNIC fixen wär ja vielleicht noch ne schöne Challenge, aber wenn ich den Switch zuoft rebooten muss (Arbeit an SoNIC) ist gerade ein Bug, der beim Reboot zuschlägt, eher blöd...

 

[danielmayer]

Wir sollten uns darauf einigen, dass besterino mit einem "dummen" Switch bestens zurechtkommt und zwangsläufig der Tester sein sollte. 380USD zzgl. 19% sollten für die eindeutige homeluxx-Platz-1-Position nicht zuviel sein!

 

[besterino]

Ich hab aus Anlass des Postings oben tatsächlich gestern mal bisserl bei EBay zu 100gbit Switches gestöbert. So ein richtiger Zug zum Tor wollte sich aber nicht einstellen…

2-4 Ports würden mir ja reichen, aber mir ist das gerade zu aufwändig, auch um zu schauen ob dann RDMA über Ethernet und weitere solche Kleinigkeiten gehen.

Aber davon ab: @danielmayer ist hier in Sachen Infrastruktur ganz klar No. 1 - du hast dich quasi freiwillig für das „nächste Level“ gemeldet!

 

[danielmayer]

Geht nicht! Mein Kapital liegt jetzt in den Wänden! Geldbörse voll wie Flasche leer

 

[besterino]

Papperlapapp.

Suchauftrag: voll funktionsfähiger, RDMA-über-Ethernet fähiger Switch ohne besondere Ausfallrisiken / versteckte Lizenzkosten mit mindestens 4 QSFP28-100gbit Ports in bezahlbar (für unter 500 Euro, plusminus).

Als wenn Du da nicht zuschlagen würdest...

 

[danielmayer]

Nicht ganz, aber fast: https://www.ebay.de/itm/384297581277?hash=item5979ebbadd:g:9YgAAOSwolphXBrH

Soll aber auch recht laut sein..

 

[besterino]

https://www.ebay.de/itm/265410211994?hash=item3dcbae709a:g:tQ4AAOSwaRlhlVSr

EOL seit 2018 Jahren...

 

[java4ever]

Viel Glück mit dem Cavium ASIC

 

[java4ever]

Ich hab hier gerade ein großes Problem mit Mellanox SX6036 und 40GBase-LR Optiken.

Laut Mellanox funktionieren High-Power Transceiver wie der LR4 nur in Ports 1, 3, 33 und 35 was ich natürlich beachte.

Trotzdem kriege ich ums Verrecken keinen Link zustande. Port Modus (IB / Eth) macht keinen Unterschied, genau so wenig wie der Switch Modus (VPI, ib-single-switch, eth-single-switch)

Versucht habe ich Finisar FTL4C1QL2L und fs.com QSFP-LR4-40G

Irgendwelche Ideen? Hat zufällig jemand andere 40GBase-LR4 Optiken (idealerweise original Mellanox MC2210511-LR4) rumliegen, die ich mir zum Testen ausleihen könnte?

 

[danielmayer]

@java4ever : leider nein, ich könnte nur mit SR4 aushelfen.

In der Bucht: Nokia 210 WBX, 32x100G splittbar auf 128x10G/25G, für 350€ zzgl Versand. Das heimliche Problem scheint mir aber das OS zu sein, abgesehen von 194W Idle
Oder weiß jemand, warum die so verschleudert werden?

 

[java4ever]

Das Problem mit den LR4 ist übrigens mittlerweile gelöst.
Habe aus Verzweiflung sogar für nicht wenig Geld originale Mellanox 10km LR4 Optiken erworben, mit denen es auch nicht ging.

Mellanox hat es richtig schön versemmelt und auf ihren eigenen, für Infiniband freigegebenen Transceivern die Infiniband Bits nicht gesetzt.
Die ConnectX-3 ignoriert das. Die ConnectX-5 aber nicht. Die ignoriert das nur bei 100G, möchte bei 40G / 56G aber bitte diese Bits im Transceiver sehen, sonst verweigert sie den Dienst.

Re Switche:
Ja, da bin ich auch schon dran und hab schon Nokia kontaktiert.
a) Hat das Ding keinen SoNIC Support und auch andere NOS außerhalb von Nokia können das wohl nicht so ohne weiteres
b) Das Ding scheint eine leicht modifizierte Version eines Alcatel Lucent Switches zu sein (wenig überraschend nachdem sie ja aufgekauft wurden)
c) Kommst du ohne weiteres nicht an irgendwelche BDAs dran. Ich diskutiere das aktuell mit Nokia aus.
d) Kann SR Linux (NOS von Nokia) mit der Kiste nicht. Wohl nur Nokias SR-OS.

 

[besterino]

HA! Oracle hat mich erhört!

Soll heißen: Oracle gibt quasi diverse Updates für das Original Solaris auch an so doofe User wie mich ohne Support-Vertrag frei und das eröffnet eeeendlich (!) Zugang zu den Connectx-4 Treibern für Solaris 11.4. Vor dem pkg update ist Solaris auf 11.4.0.12 - danach auf 11.4.42.111 (s. Screenshot). Einziger Wermutstropfen: die Treiber unterstützen (noch?) keine SR-IOV Geräte, d.h. man muss (zumindest) einen Port der Connectx-4 "komplett" per PCIE-Passthrough der VM zuweisen.

Ließ mir keine Ruhe und ich hab jetzt mal gerade meinen Gaming-Desktop zweckentfremdet und mal flott ESXi (6.7) und eine Solaris 11.4 VM draufgeklatscht. Ergebnis: läuft tatsächlich wie erhofft!!!

Dann kann ich die TrueNAS-VM wohl bald wieder beerdigen...

Als nächstes mal SMB Direct & Co. ausprobieren. Das wird aber wohl noch etwas dauern, stehen jetzt ein paar größere Änderungen an (meine Haupt-Storage-VM ist z.B. noch auf Solaris 11.3...)

 

[java4ever]

Ich starte übrigens gerade ein Projekt, dass sich mit der Programmierung von Transceivern befasst.
Inbegriffen sind:
- Möglichst Vollständiger Decoder für SFP und QSFP (SFF8636)
- Webinterface zum Erstellen eigener Codierungen
- Datenbank von Programmierungen

Soll am Ende alles quelloffen werden.

Falls sich jemand beteiligen möchte, melde man sich bitte per PN

 

[Zgurgar]

HA! Oracle hat mich erhört!

Soll heißen: Oracle gibt quasi diverse Updates für das Original Solaris auch an so doofe User wie mich ohne Support-Vertrag frei und das eröffnet eeeendlich (!) Zugang zu den Connectx-4 Treibern für Solaris 11.4. Vor dem pkg update ist Solaris auf 11.4.0.12 - danach auf 11.4.42.111 (s. Screenshot). Einziger Wermutstropfen: die Treiber unterstützen (noch?) keine SR-IOV Geräte, d.h. man muss (zumindest) einen Port der Connectx-4 "komplett" per PCIE-Passthrough der VM zuweisen.

Naja nur das du damit zum Beta Tester wirst.
Muss man halt wissen ob man sich eine Oracle Beta antun möchte. Wirklich viel tun die ja nicht mehr für Solaris. Außer Bestandskunden zur Kasse bitten.

Is the CBE build the same as an SRU?
The CBE build(s) are a similar to a beta, they are pre-release builds of a particular SRU. As such they will not contain all of the fixes that the resulting SRU contains. However like the SRU release they are accumulative and include the fixes in prior SRUs and CBEs upto that point in time.

Quelle: https://blogs.oracle.com/solaris/post/announcing-the-first-oracle-solaris-114-cbe

 

[besterino]

Beta Solaris ist mir x-Mal lieber als stable [egal was].

 

[Azrael_ct]

Weder 10, noch 40/100 Gbit... aber,

Taugen die hier was, oder laufen die nur auf Dell? https://www.its-haehnlein.com/Shop/...-pcie-x8-3.0-25gbe-sfp28-dual-port-server-nic
Möchte zwei SFP28 Module von FS (LC BiDi OS2) reinpacken.

Oder hat jemand noch zwei Dualport Karten mit SFP28 zur Hand die er abgeben möchte?

 

[danielmayer]

Du möchtest dann über ein duplex-LC 50G im Trunk umsetzen? Oder warum 130€ für bidi-Modul statt 40 für standard-duplex?
Dell mit Broadcom habe ich zwei 10G-RJ45, die tadellos in jedem System liefen.

 

[Azrael_ct]

@danielmayer

Ich habe hier drei einzelne OS2-Fasern mit LC-Simplex-Stecker als Stockwerkverbindung liegen. Eine davon verbindet die Switche untereinander mit 10G. Die beiden anderen Fasern liegen ungenutzt herum, da möchte ich eine Direktverbindung der Workstation zum NAS bauen. Der "unsinnige" Gedanke war hier die Dell-Broadcom Karten zu verwenden, 1 Slot mit SFP+ Modul und 10G zum Switch, das andere mit 25G Direktverbindung. BiDi oder nicht wäre nicht wichtig. Passen denn zwei Simplex in ein Duplex-Modul?
Das wäre dann vermutlich so eines:

Industrielles SFP28 Optisches Transceiver Modul mit DOM - Cisco SFP-25G-LR-S-I Kompatibel 25GBASE-LR SFP28 1310nm 10km DOM Duplex LC SMF - FS Deutschland

Industrielles SFP28 Optisches Transceiver Modul mit DOM - Cisco SFP-25G-LR-S-I Kompatibel 25GBASE-LR SFP28 1310nm 10km DOM Duplex LC SMF

www.fs.com

Sind deine Module kodiert oder generisch?

 

[underclocker2k4]

Passen denn zwei Simplex in ein Duplex-Modul?

Natürlich, weil ein LC-Duplex auch nur 2 LC Simplex sind, wo noch eine schicke Klammer drum ist.
Nimmst du die Klammer ab, haste wieder 2 Simplex. das muss man btw. eh machen, wenn man die Fasern kreuzen muss.

 

[danielmayer]

Na toll: jetzt habe ich bei eBay zwei billige CWDM 100G simplex-LC Transceiver gefunden (45€/St!) und kann sie nicht testen: von drei Karten geben zwei kein Lebenszeichen von sich 😭
Kann jemand NIC testen, ob es an ElKos liegt, die ggf ausgetauscht werden können? Eine cx455a und eine cx456a... Eine gewisse Menge Reparatur-€ würde sich schon lohnen...

 

[java4ever]

Na toll: jetzt habe ich bei eBay zwei billige CWDM 100G simplex-LC Transceiver gefunden (45€/St!) und kann sie nicht testen: von drei Karten geben zwei kein Lebenszeichen von sich 😭
Kann jemand NIC testen, ob es an ElKos liegt, die ggf ausgetauscht werden können? Eine cx455a und eine cx456a... Eine gewisse Menge Reparatur-€ würde sich schon lohnen...

Puh... Schwierig. Zumindest ohne ein wenig Plan von Elektronik zu haben.

Man könnte schauen ob es ggf. die VRMs geschossen hat. Das sollte jeder machen können, der GPUs reparieren kann.

Ich gehe davon aus dass du das übliche Prozedere (andere Platform, Untersuchung auf optische Schäden, etc...) durchhast?

Wenn du die Transceiver testen willst sag Bescheid, im Zweifelsfall kann ich sie mal bei mir reinstecken

P.S. Ich hab gerade 6 100G CWDM4 von Intel, 6 40G LR4-Lite von Kaiam, 10 SFP+ LR von Infinera und 8 56G Transceiver von Finisar importiert

 

[besterino]

Ich probier's mal wieder.

Aktuelles Test-Setup: Windows Server VM mit 4xPcie4 NVME (Samsung 980 Pro) im PCIe-Passthrough, konfiguriert per diskmgmt als Striped Volume / Raid0 (Storage Space geht mit NVME nicht...). NIC in der WinServer-VM ist eine "SR-IOV-ConnectX-4".

Nativ auf'm Server schon nicht wirklich überragend:

Über's Netz per SMB-Direct wird's dann etwas kurios (irgendein Cache schlägt da feste zu):

Zum Vergleich, schnödes iSCSI über vmxnet3 mit Solaris als "virtueller" Server auf VM-Seite:

Ich vermute, dass die beschissenen write-Werte auf die "flat" volumes als Grundlage für die iSCSI-Shares zurückzuführen sind.

Hypervisor für beide VMs ist die gleiche Kiste mit ESXI 7.0U3.

Ich glaub, ich versuch' mich demnächst doch mal wirklich an Infiniband. Vielleicht bekomm ich ja doch irgendwie eine RDMA-Verbindung zwischen Windows-Client und Solaris-Storage-Server hin...