Aktuelles

[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

sch4kal

Enthusiast
Mitglied seit
18.07.2016
Beiträge
3.248
Finger Weg von den Whitebox Switchen, da wirst du nicht froh.

Zum Einen ist das mit Software so ne Sache... SONIC ist zwar schön für Microsoft, aber auch nicht so 100% stabil und rund. Cumulus Linux Lizenzen sind sackenteuer, genau wie alle Alternativen.
Zum Anderen haben einige 100G Switche (Celestica DX010, Edge Core AS7512-32X, ggf. auch der Arctica) Probleme mit den Intel C2000 / AVR54 bug und sterben random

Celestica DX010 sind übrigens noch günstiger.
Wir machen mit Edgecore Kisten und Sonic unser EVPN-VXLAN Overlay im Datacenter, das läuft problemlos, oder zumindest genauso gut/schlecht wie mit Juniper QFXen bzw. Nexus Switche.
Auf dem Penguin läuft ICOS, das ist so ein Standard NOS von Broadcom selbst, für Privat-Luxxer die damit L2 Switching machen mit bisschen VLANs und Spanning-Tree wird das wohl taugen,
aber ONL gibts ja zur Not auch noch.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Wir machen mit Edgecore Kisten und Sonic unser EVPN-VXLAN Overlay im Datacenter, das läuft problemlos
Und auf welchen? Auf 7512 läuft Sonic auf jeden Fall nicht vernünftig... So mein letzter Stand

Portsplits mit Sonic sind auch so eine Geschichte - Außer auf Mellanox Hardware funktioniert das eher nicht so.

Auf dem Penguin läuft ICOS, das ist so ein Standard NOS von Broadcom selbst, für Privat-Luxxer die damit L2 Switching machen mit bisschen VLANs und Spanning-Tree wird das wohl taugen,
Naja, wer sich selbst als Luxxer nen 100G switch holt, wird sich mit nem relativ dummen L2 Switch wohl eher nicht zufrieden geben


Software Support bei Whitebox ist massiver Hit'N'Miss - Wer sich nicht mit der Programmierung von Switchen auskennt ist beim Debuggen auch eher verloren
 

sch4kal

Enthusiast
Mitglied seit
18.07.2016
Beiträge
3.248
Und auf welchen? Auf 7512 läuft Sonic auf jeden Fall nicht vernünftig... So mein letzter Stand
7326, noch mit 10G zu den Servern und 100G Uplinks, sind aktuell auch nur als Leaf-Switche im Einsatz.
Portsplits mit Sonic sind auch so eine Geschichte - Außer auf Mellanox Hardware funktioniert das eher nicht so.
Du meinst Breakouts ? Sowas machen wir nicht.
Naja, wer sich selbst als Luxxer nen 100G switch holt, wird sich mit nem relativ dummen L2 Switch wohl eher nicht zufrieden geben
Gibt ja hier den Ein oder Anderen der eine direkte 100G Verbindung hat, einfach der Geschwindigkeit wegen.
Für Privat brauchst da mit einem oder 2 Switches ja auch eher weniger ein L2-Overlay Netz.
Soo unbrauchbar sind die Features von ICOS jetzt nicht wenn ich das verfügbare Manual so überfliege. Basic Routing sollte damit auch machbar sein, wie so Standard Dinge wie ACLs, QoS,...
Software Support bei Whitebox ist massiver Hit'N'Miss - Wer sich nicht mit der Programmierung von Switchen auskennt ist beim Debuggen auch eher verloren
Jo, Support gibts über eine Consulting Firma, bislang kamen wir aber auch so zurecht. Immer noch deutlich billiger als nen QFX oder voll lizensierter Nexus samt Wartungsvertrag.
Beitrag automatisch zusammengeführt:

Celestica DX010 sind übrigens noch günstiger.
Oh den hatte ich noch nicht auf dem Schirm, danke.
Gibts tatsächlich noch viel günstiger aus den Staaten:
MFG Date 26.10.2017, könnte evtl. schon mit der neueren Revision ohne Atom-Bug sein.
 
Zuletzt bearbeitet:

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Das mit dem Atom Bug ist so der Punkt, der mich vom Kauf abhält.
SoNIC fixen wär ja vielleicht noch ne schöne Challenge, aber wenn ich den Switch zuoft rebooten muss (Arbeit an SoNIC) ist gerade ein Bug, der beim Reboot zuschlägt, eher blöd...
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
Wir sollten uns darauf einigen, dass besterino mit einem "dummen" Switch bestens zurechtkommt und zwangsläufig der Tester sein sollte. 380USD zzgl. 19% sollten für die eindeutige homeluxx-Platz-1-Position nicht zuviel sein!
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.022
Ort
Wo mein Daddel-PC steht
Ich hab aus Anlass des Postings oben tatsächlich gestern mal bisserl bei EBay zu 100gbit Switches gestöbert. So ein richtiger Zug zum Tor wollte sich aber nicht einstellen…

2-4 Ports würden mir ja reichen, aber mir ist das gerade zu aufwändig, auch um zu schauen ob dann RDMA über Ethernet und weitere solche Kleinigkeiten gehen.

Aber davon ab: @danielmayer ist hier in Sachen Infrastruktur ganz klar No. 1 - du hast dich quasi freiwillig für das „nächste Level“ gemeldet! :d
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
Geht nicht! Mein Kapital liegt jetzt in den Wänden! Geldbörse voll wie Flasche leer :)
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.022
Ort
Wo mein Daddel-PC steht
Papperlapapp.

Suchauftrag: voll funktionsfähiger, RDMA-über-Ethernet fähiger Switch ohne besondere Ausfallrisiken / versteckte Lizenzkosten mit mindestens 4 QSFP28-100gbit Ports in bezahlbar (für unter 500 Euro, plusminus).

Als wenn Du da nicht zuschlagen würdest...
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.022
Ort
Wo mein Daddel-PC steht

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Ich hab hier gerade ein großes Problem mit Mellanox SX6036 und 40GBase-LR Optiken.

Laut Mellanox funktionieren High-Power Transceiver wie der LR4 nur in Ports 1, 3, 33 und 35 was ich natürlich beachte.

Trotzdem kriege ich ums Verrecken keinen Link zustande. Port Modus (IB / Eth) macht keinen Unterschied, genau so wenig wie der Switch Modus (VPI, ib-single-switch, eth-single-switch)

Versucht habe ich Finisar FTL4C1QL2L und fs.com QSFP-LR4-40G

Irgendwelche Ideen? Hat zufällig jemand andere 40GBase-LR4 Optiken (idealerweise original Mellanox MC2210511-LR4) rumliegen, die ich mir zum Testen ausleihen könnte?
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
@java4ever : leider nein, ich könnte nur mit SR4 aushelfen.

In der Bucht: Nokia 210 WBX, 32x100G splittbar auf 128x10G/25G, für 350€ zzgl Versand. Das heimliche Problem scheint mir aber das OS zu sein, abgesehen von 194W Idle ;)
Oder weiß jemand, warum die so verschleudert werden?
 

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Das Problem mit den LR4 ist übrigens mittlerweile gelöst.
Habe aus Verzweiflung sogar für nicht wenig Geld originale Mellanox 10km LR4 Optiken erworben, mit denen es auch nicht ging.

Mellanox hat es richtig schön versemmelt und auf ihren eigenen, für Infiniband freigegebenen Transceivern die Infiniband Bits nicht gesetzt.
Die ConnectX-3 ignoriert das. Die ConnectX-5 aber nicht. Die ignoriert das nur bei 100G, möchte bei 40G / 56G aber bitte diese Bits im Transceiver sehen, sonst verweigert sie den Dienst.

Re Switche:
Ja, da bin ich auch schon dran und hab schon Nokia kontaktiert.
a) Hat das Ding keinen SoNIC Support und auch andere NOS außerhalb von Nokia können das wohl nicht so ohne weiteres
b) Das Ding scheint eine leicht modifizierte Version eines Alcatel Lucent Switches zu sein (wenig überraschend nachdem sie ja aufgekauft wurden)
c) Kommst du ohne weiteres nicht an irgendwelche BDAs dran. Ich diskutiere das aktuell mit Nokia aus.
d) Kann SR Linux (NOS von Nokia) mit der Kiste nicht. Wohl nur Nokias SR-OS.
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.022
Ort
Wo mein Daddel-PC steht
HA! Oracle hat mich erhört!

Soll heißen: Oracle gibt quasi diverse Updates für das Original Solaris auch an so doofe User wie mich ohne Support-Vertrag frei und das eröffnet eeeendlich (!) Zugang zu den Connectx-4 Treibern für Solaris 11.4. Vor dem pkg update ist Solaris auf 11.4.0.12 - danach auf 11.4.42.111 (s. Screenshot). Einziger Wermutstropfen: die Treiber unterstützen (noch?) keine SR-IOV Geräte, d.h. man muss (zumindest) einen Port der Connectx-4 "komplett" per PCIE-Passthrough der VM zuweisen.

Ließ mir keine Ruhe und ich hab jetzt mal gerade meinen Gaming-Desktop zweckentfremdet und mal flott ESXi (6.7) und eine Solaris 11.4 VM draufgeklatscht. Ergebnis: läuft tatsächlich wie erhofft!!!

Sol11Con4.jpg


Dann kann ich die TrueNAS-VM wohl bald wieder beerdigen... :d

Als nächstes mal SMB Direct & Co. ausprobieren. Das wird aber wohl noch etwas dauern, stehen jetzt ein paar größere Änderungen an (meine Haupt-Storage-VM ist z.B. noch auf Solaris 11.3...)
 

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Ich starte übrigens gerade ein Projekt, dass sich mit der Programmierung von Transceivern befasst.
Inbegriffen sind:
- Möglichst Vollständiger Decoder für SFP und QSFP (SFF8636)
- Webinterface zum Erstellen eigener Codierungen
- Datenbank von Programmierungen

Soll am Ende alles quelloffen werden.

Falls sich jemand beteiligen möchte, melde man sich bitte per PN
 

Zgurgar

Enthusiast
Mitglied seit
24.09.2008
Beiträge
163
Ort
Dortmund
HA! Oracle hat mich erhört!

Soll heißen: Oracle gibt quasi diverse Updates für das Original Solaris auch an so doofe User wie mich ohne Support-Vertrag frei und das eröffnet eeeendlich (!) Zugang zu den Connectx-4 Treibern für Solaris 11.4. Vor dem pkg update ist Solaris auf 11.4.0.12 - danach auf 11.4.42.111 (s. Screenshot). Einziger Wermutstropfen: die Treiber unterstützen (noch?) keine SR-IOV Geräte, d.h. man muss (zumindest) einen Port der Connectx-4 "komplett" per PCIE-Passthrough der VM zuweisen.

Naja nur das du damit zum Beta Tester wirst.
Muss man halt wissen ob man sich eine Oracle Beta antun möchte. Wirklich viel tun die ja nicht mehr für Solaris. Außer Bestandskunden zur Kasse bitten.

Is the CBE build the same as an SRU?
The CBE build(s) are a similar to a beta, they are pre-release builds of a particular SRU. As such they will not contain all of the fixes that the resulting SRU contains. However like the SRU release they are accumulative and include the fixes in prior SRUs and CBEs upto that point in time.
Quelle: https://blogs.oracle.com/solaris/post/announcing-the-first-oracle-solaris-114-cbe
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.022
Ort
Wo mein Daddel-PC steht
Beta Solaris ist mir x-Mal lieber als stable [egal was].
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
Du möchtest dann über ein duplex-LC 50G im Trunk umsetzen? Oder warum 130€ für bidi-Modul statt 40 für standard-duplex?
Dell mit Broadcom habe ich zwei 10G-RJ45, die tadellos in jedem System liefen.
 

Azrael_ct

Enthusiast
Mitglied seit
02.03.2005
Beiträge
105
Ort
Kempten
@danielmayer

Ich habe hier drei einzelne OS2-Fasern mit LC-Simplex-Stecker als Stockwerkverbindung liegen. Eine davon verbindet die Switche untereinander mit 10G. Die beiden anderen Fasern liegen ungenutzt herum, da möchte ich eine Direktverbindung der Workstation zum NAS bauen. Der "unsinnige" Gedanke war hier die Dell-Broadcom Karten zu verwenden, 1 Slot mit SFP+ Modul und 10G zum Switch, das andere mit 25G Direktverbindung. BiDi oder nicht wäre nicht wichtig. Passen denn zwei Simplex in ein Duplex-Modul?
Das wäre dann vermutlich so eines:

Sind deine Module kodiert oder generisch?
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
Na toll: jetzt habe ich bei eBay zwei billige CWDM 100G simplex-LC Transceiver gefunden (45€/St!) und kann sie nicht testen: von drei Karten geben zwei kein Lebenszeichen von sich 😭
Kann jemand NIC testen, ob es an ElKos liegt, die ggf ausgetauscht werden können? Eine cx455a und eine cx456a... Eine gewisse Menge Reparatur-€ würde sich schon lohnen...
 

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Na toll: jetzt habe ich bei eBay zwei billige CWDM 100G simplex-LC Transceiver gefunden (45€/St!) und kann sie nicht testen: von drei Karten geben zwei kein Lebenszeichen von sich 😭
Kann jemand NIC testen, ob es an ElKos liegt, die ggf ausgetauscht werden können? Eine cx455a und eine cx456a... Eine gewisse Menge Reparatur-€ würde sich schon lohnen...
Puh... Schwierig. Zumindest ohne ein wenig Plan von Elektronik zu haben.

Man könnte schauen ob es ggf. die VRMs geschossen hat. Das sollte jeder machen können, der GPUs reparieren kann.

Ich gehe davon aus dass du das übliche Prozedere (andere Platform, Untersuchung auf optische Schäden, etc...) durchhast?

Wenn du die Transceiver testen willst sag Bescheid, im Zweifelsfall kann ich sie mal bei mir reinstecken

P.S. Ich hab gerade 6 100G CWDM4 von Intel, 6 40G LR4-Lite von Kaiam, 10 SFP+ LR von Infinera und 8 56G Transceiver von Finisar importiert :d
 
Zuletzt bearbeitet:

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.022
Ort
Wo mein Daddel-PC steht
Ich probier's mal wieder.

Aktuelles Test-Setup: Windows Server VM mit 4xPcie4 NVME (Samsung 980 Pro) im PCIe-Passthrough, konfiguriert per diskmgmt als Striped Volume / Raid0 (Storage Space geht mit NVME nicht...). NIC in der WinServer-VM ist eine "SR-IOV-ConnectX-4".

Nativ auf'm Server schon nicht wirklich überragend:

Server_nativ.jpg


Über's Netz per SMB-Direct wird's dann etwas kurios (irgendein Cache schlägt da feste zu):

smbdirect.jpg


100gbit.jpg


Zum Vergleich, schnödes iSCSI über vmxnet3 mit Solaris als "virtueller" Server auf VM-Seite:

iSCSI.jpg


Ich vermute, dass die beschissenen write-Werte auf die "flat" volumes als Grundlage für die iSCSI-Shares zurückzuführen sind.

Hypervisor für beide VMs ist die gleiche Kiste mit ESXI 7.0U3.

Ich glaub, ich versuch' mich demnächst doch mal wirklich an Infiniband. Vielleicht bekomm ich ja doch irgendwie eine RDMA-Verbindung zwischen Windows-Client und Solaris-Storage-Server hin...
 
Zuletzt bearbeitet:

Shihatsu

Enthusiast
Mitglied seit
16.08.2005
Beiträge
3.468
Heya, ich plane "demnächst" mein Netzwerk komplett von Kupfer auf LWL umzustellen, dazu werde ich meinen vorhandenen CRS328-24P-4S+RM mit einem RS326-24S+2Q+RM zu erweitern. Soweit, sogut, 2 DACs kaufen, Switche redundant verbinden, VLANs auf- bzw. weiter spannen und glücklich sein. Jedoch, o weh, warte - da ist ein Problem. Genauer gesagt: 2. Names QSFP+. Verdammt! Gibt es (aktuell) eine günstige Möglichkeit das in einen Server rein zu kriegen?
 
Oben Unten