Aktuelles

[Sammelthread] Der 100Gbit Netzwerk Thread (und ein bisschen 40gbit)

besterino

Active member
Thread Starter
Mitglied seit
31.05.2010
Beiträge
4.426
Ort
Wo mein Daddel-PC steht
So liebe Geschwindigkeitsfanatiker, die ganze Geschichte begann mit einem verlockenden Angebot bei Ebay, zu einem sehr günstigen Preis Dell-gebrandete Mellanox Connectx-4 Dual Port 100gbit NICs schießen zu können: Dell Plus QSF MLX L CX4 100G HWTYK | eBay

s-l1600.jpg

Erfolgreich getestete Hardware zu den Karten:
100Gbit Transceiver: Generic QSFP28 Modul | 100G QSFP28 100GBASE-SR4 Transceiver | FS.COM
Kabel: MPO Trunkkabel, 10m (33ft) MPO Buchse auf Buchse, 12 Fasern OM4 (OM3) 50/125 Multimode, Polarität B, Elite, LSZH
Standard-Blende: MTM010154
Adapter QSFP+ auf SFP+: MAM1Q00A-QSA
10Gbit Transceiver (im MAM1Q00A-QSA):
  • Avago AFBR-709SMZ-ELX
  • Fibrestore SFP-10GSR-85
  • IBM 78P0624
  • Finisar FTLX8571D3BCL


Dieses Kabel sollte auch funktionieren (wird von FS.COM zu ihren 100Gbit-Receivern empfohlen): MTP Trunkkabel, 10m (33ft) MTP Buchse auf MTP Buchse, 12 Fasern OM4 (OM3) 50/125 Multimode, Polarität B, Elite, Plenum (OFNP)
Wie wir im Laufe dieses Threads herausfinden bzw. bestätigen konnten, lassen sich diese Karten in echte Mellanox ConnectX-4 VIB (kombiniert IB/Eth) crossflashen.

Anleitung für den Crossflash von Danielmayer hier im Thread.

Für den uneingeschränkten Umgang mit den NICs empfehle ich Download und Installation folgender Komponenten bzw. folgende Links:

Linux-Treiber (Stichwort: MLNX_OFED), unten auf Download clicken und OS wählen: http://www.mellanox.com/page/products_dyn?product_family=26

ESXi-Treiber (Link zu vmware): http://www.mellanox.com/page/products_dyn?product_family=29

Windows-Treiber, für die ConnectX-4 auf WinOF-2 clicken und OS wählen: http://www.mellanox.com/page/products_dyn?product_family=32&mtag=windows_sw_drivers

Firmware-Tools, MFT (glaub, eventuell auch bei den OFED-Driverpaketen dabei, aber schaden kann's ja nicht): http://www.mellanox.com/page/management_tools

Firmware für die MCX456A-ECAT: http://www.mellanox.com/page/firmware_table_ConnectX4IB

Handbuch: Manual Mellanox ConnectX-4/5 + ESXi
Handbuch: Manual Mellanox UEFI/Legacy Bios
HowTo: HowTo Install Mellanox Firmware Tools for ESX VMWare

Die wesentlichen Informationen zu der Karte und den Einstellungen kann man mit dem Tool mlxconfig abfragen und ändern: Unter Linux geht das z.B. mit "mlxconfig -d /dev/mst/mt4115_pciconf0 q".

Da der Crossflash auch das UEFI-Bios der NICs disabled, kann man damit zum Beispiel diese Funktionalität für beide Ports wieder einschalten:
Code:
mlxconfig -d /dev/mst/mt4115_pciconf0 set EXP_ROM_UEFI_x86_ENABLE=1 
mlxconfig -d /dev/mst/mt4115_pciconf0.1 set EXP_ROM_UEFI_x86_ENABLE=1
Ich dürfte die letzten Tage einer der eher intensiveren Besucher auf den Mellanox-Seiten gewesen sein. Kann ich aber nur empfehlen, die Docu bei Mellanox ist m.E. echt vorbildlich, z.B. wie diese RDMA-Test Anleitung. Meine Lernkurve war steil und vielen Dank an alle (vor allem Danielmayer), die mir beim Einstieg geholfen haben bzw. hier dabei waren und sind! Macht schon echt Laune hier in diesem ganz speziellen Unterforum!

Als kleine Anmerkung am Rande: Um wirklich 100gbit rauszubekommen, wo 100gbit draufstehen, muss vieles passen und die Technik ist - sage ich mal als Laie - momentan schon noch die Krönung um Leistungshimmel des gepflegten Heimnetzes. Ohne einen echten elektrischen x16 PCIe3.0 Slot wird's nichts und auch die CPU wird ordentlich gefordert. Schon PCIe3.0 x8 limitiert auf ca. 60gbit (plusminus) und mein i3-7100 kommt trotz x16 auch nicht viel höher als 70-75gbit (wenn er denn bei den Standard-Tests als Server fungiert). Auch bei den Tests heißt es "Obacht!": Parallelität sowohl bei den Netzwerk-Streams als auch bei den CPU-Kernen ist gefragt. Single-wasauchimmer bringt die PS nicht auf die Strasse bzw. die gbit nicht durchs Kabel.

Mir ist es daher auch nur gelungen, die 100gbit aufzurufen, wenn ich die CPU dank RDMA außen vor lassen konnte.

Mein vorläufiges Fazit: Wahnsinnig spannende Welt - aber wohl am Ende vielleicht doch (noch) nicht unbedingt was für Daheim. ;) Aber ich geb' das Zeug nicht mehr her... :d

Zum Abschluss noch eine kleine Kabel-Kunde (geklaut aus einem anderen Thread hier):
"MM" = Multimode = 50/125, Kabel = "OM1"-"OM5"
"SM" = Singlemode = 9/125, Kabel = "OS1"-"OS2"
NICs ist das egal. Wichtig ist eine (!) Technik zwischen zwei Punkten: MM-Transceiver + MM-Kabel + MM-Kupplung + MM-Kabel + MM-Transceiver. Oder eben SM. Aber nur eines davon.
Je höher die Zahl in der Kabel-Klassifikation, desto besser das Kabel. In der Regel äußert sich das durch die erzielbare Reichweite. Stand der Dinge ist OM4 bzw. OS2 und bei den Preisen bei z.B. fs.com gibt es keinen Grund etwas schlechteres zu kaufen. OM4/OS2 sind auch locker 100G-kompatibel, nicht "nur" 10G.
sch4kal hatte OS2 empfohlen, nicht OM2. Also die Singlemode-Kette. Macht m.E. im Haus kein Sinn, da in der Gesamtinvestition deutlich teurer und kaum ein Haus 100m (100G) oder 300m (10G) Punkt-zu-Punkt-Leitungslänge reißen wird.
Hier noch der ursprüngliche Startpost im Spoiler.
Aus gegebenem Anlass:

Dank Pumuckel, Underclocker2k4 und Danielmayer war ich mal wieder schwachsinnig und habe mir zwei 100Gbit NICs geschossen.

Dazu habe ich mir für den Start (100gbit-punkt-zu-punkt) ausgesucht:

2x 100Gbit Transceiver: Generic QSFP28 Modul | 100G QSFP28 100GBASE-SR4 Transceiver | FS.COM
1x Kabel: MTP Trunkkabel 10m, 12F MTP OM4 Buchse, Polarität B, Magenta | FS.COM

Dummerweise heute die Nachricht bekommen, dass das Kabel nicht sofort lieferbar ist... muss also Ersatz suchen. :-[

Den Danielmayer muss ich auch noch überreden, dass er mir weiteres Testequipment stellt... ;)

Ich werde berichten...
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

Luckysh0t

Active member
Mitglied seit
08.11.2009
Beiträge
1.053
Ort
Im a tea pot
Dann viel Erfolg und Spaß :)

PS Der Nutzer heist underclocker2k4 - zu viel Wrestling geschaut ? ^^
PPS Gabs nicht sogar einen 40/100 er Thread schonmal ?
 
Zuletzt bearbeitet:

danielmayer

Member
Mitglied seit
30.03.2005
Beiträge
623
ja nun, hab's mir auch bestellt... dann mach du mal die 100G Geschichten zuerst, ich habe 40+10er Equipment und lasse die qsfp28'er zunächst weg.
 

Fischje

   Moderator   oO blub oO
Hardwareluxx Team
Mitglied seit
04.11.2013
Beiträge
4.132
Ort
M'Gladbach
ääähh wozu, was braucht mann denn da um die geschwindigkeiten zu erreichen. optane raid zu optane raid?
 

besterino

Active member
Thread Starter
Mitglied seit
31.05.2010
Beiträge
4.426
Ort
Wo mein Daddel-PC steht
Werde das RAMdisk<—>RAMdisk testen. ;)

Mein Storage ist dafür viel zu lahm. 10GB/s schaufel ich nichtmal auf einer Seite lesend, geschweige denn auf einer zweiten schreibend.

Wobei das auch mit der RAMdisk schwierig wird, den richtigen Zeitpunkt bei einem 20GB-File für den Screenshot zu drücken...
 
Zuletzt bearbeitet:

danielmayer

Member
Mitglied seit
30.03.2005
Beiträge
623
jep! was ham'wa über die Leute vor 9 Jahren gelacht, die zuhause dringend über Myrinet u.a. ein 10G-Netz "brauchten" ;)
Braucht keiner (derzeit). Aber der Spieltrieb wird eben nicht nur bei Lego geweckt...

Edit: Ich habe mit Optane ja noch nichts gemacht, aber aus meinem Anwendungsbereich heraus sind 2xSSD zu 2xSSD im Raid0 schon schneller als 10G bei sequentiellem Lesen/Schreiben. Bei M.2 sowieso. Insofern muss man evtl die powerloss-protected-Szenarien etwas hinten anstellen. bei reiner Spaßvideothek "kann" 1GB/sek in gewissen Szenarien begrenzen. und das wollen wir ja nicht ;)
 
Zuletzt bearbeitet:
Mitglied seit
12.07.2017
Beiträge
213
Ort
Nahe Würzburg
Ich schließe mich dem an. Habe zu hause mittlerweile ein kleines Testnetz mit 40G weil dort die passenden HPE Comeware 5700 mit Transcievern abgefallen sind. Bezahlbare 100G hören sich an ich bin gespannt wie das wuppt
 

besterino

Active member
Thread Starter
Mitglied seit
31.05.2010
Beiträge
4.426
Ort
Wo mein Daddel-PC steht
Also „brauchen“ tu‘ ich das nicht. Und „gebrauchen“ kann ich das wahrscheinlich auch nicht. Aber schon seit Jahrzenten macht mich „Netzwerk“ einfach irgendwie an... mehr als CPUs, oder RAM oder Storage oder... nur GPUs sind vielleicht noch ein bisserl „sexier“ seitdem man damit auch so machine learning shit machen kann. ;) gut - ich kann das natürlich auch wieder nicht gescheit, aber trotzdem sexy. :d
 

testm

Member
Mitglied seit
26.01.2015
Beiträge
415
100GBits für Homelab klingt irgendwie ... übertrieben. Bei dem Preis könnte man aber schwach werden :drool:
Bin auf die Tests gespannt und was ipref so schönes rausspuckt :d

@niklasschaefer: HPE 5700 ist mir wohl bekannt hast du auch ein passenden Gehörschutz zuhand? :haha:
 

p4n0

Active member
Mitglied seit
07.08.2012
Beiträge
2.203
Ort
Raum Stuttgart
Geil, ich feier solche verrueckten Sachen. Wuerde auch gerne etwas Networkpr0n betreiben.. Leider siegt bei mir immer die Vernunft.
Frohes basteln wuensch ich dir! :d
 

testm

Member
Mitglied seit
26.01.2015
Beiträge
415
@niklasschaefer: Habe auch nicht behauptet, dass die normalen Aruba's besonder leise sind... ;) Beim Konfigurieren sind die Switche idR in meiner Hörweite und ein Switch aus der HPE 5700-Serie ist nicht wirklich leise...

Gibt es hier den "dienstlich Bekloppte" mit 100G-Verbindungen am Dienstort ? Bis auf bei NSP's, ISP's und DC's habe ich bislang keinen Einsatz der entsprechenden Infrastruktur gesehen bzw. würde mich die genaue Verwendung interessieren.
 

danielmayer

Member
Mitglied seit
30.03.2005
Beiträge
623
Sieht so aus. Ich warte damit noch ein wenig, zumal ich zwei LP-2HE-Gehäuse rumliegen habe.
 

besterino

Active member
Thread Starter
Mitglied seit
31.05.2010
Beiträge
4.426
Ort
Wo mein Daddel-PC steht
Ich hab nur ein 2HE. Aber ich warte auch noch... 40 Euro Versandkosten für 2 so Dinger mit einem Warenwert von 16 Euro... och nöööö.
 

cypher_botox

Active member
Mitglied seit
29.12.2005
Beiträge
2.189
Ort
Obertshausen
ääähh wozu, was braucht mann denn da um die geschwindigkeiten zu erreichen. optane raid zu optane raid?
Auf 100GB komm ich nicht, aber meine Rechner sind alle mit 40G Infiniband verbunden, das gemischte 4 und 8GB Fiber Channel wird imo Zug um Zug gegen einen Infiniband-Filer ala Eigenbau getauscht.
Brauchen sicher nicht, aber haben is auch schön! :coolblue:

@topic
Bin mal gespannt was besterino da zusammenbastelt!
 

besterino

Active member
Thread Starter
Mitglied seit
31.05.2010
Beiträge
4.426
Ort
Wo mein Daddel-PC steht
Wird noch was dauern, bis da was Lauffähiges steht. Karten sind da, Transceiver müssten nächste Woche kommen... Kabel, keine Ahnung.
 

cypher_botox

Active member
Mitglied seit
29.12.2005
Beiträge
2.189
Ort
Obertshausen
Steht was OM4 Spezifikation, sind aber glaub ich andere wie meine FC-OM4-Kabel oder?

Dann könnte ich dir ein paar in OVP abtreten.
 

pumuckel

Active member
Mitglied seit
13.12.2002
Beiträge
7.562
Ort
Bayern
Ich zitiere mal STH:

"
Sorry for the delay in feedback, had some other issue to fix before I could get the old logs:

I flashed the cards with
flint -d /dev/mst flint/mt4115_pciconf0 -i fw-ConnectX4-rel-12_23_1020-MCX456A-ECA_Ax-UEFI-14.16.17-FlexBoot-3.5.504.bin -allow_psid_change burn

which made them MCX456A-ECATs
"
 
Zuletzt bearbeitet:

besterino

Active member
Thread Starter
Mitglied seit
31.05.2010
Beiträge
4.426
Ort
Wo mein Daddel-PC steht
Steht was OM4 Spezifikation, sind aber glaub ich andere wie meine FC-OM4-Kabel oder?

Dann könnte ich dir ein paar in OVP abtreten.
Wie enden denn Deine? Ich brauch welche mit 12 Adern, Polarität Typ B und 2x weiblichen MPO Steckern. Glaub ob om3 oder om4 ist Wurscht (bei meinen Längen bis Max. 10m)...

- - - Updated - - -

Man ist das alles kompliziert: kann ich bei einem Breakout-Kabel die 4 aufgeteilten Enden eigentlich in unterschiedliche Geräte stecken? Also kann die QSFP+ Seite sich quasi in 4-Ports aufteilen (müsste ja dann vermutlich 4 MAC-Adressen bereitstellen)?

Beispiel:
Seite A = Server mit QSFP+
Seite B = 1x Switch1, 1x PC1, 1x PC2 und 1x Switch2

Und A kann mit "jedem B" einzeln kommunizieren?
 

danielmayer

Member
Mitglied seit
30.03.2005
Beiträge
623
Jaein. Mellanox hatte schon mit früheren Karten eine Breakoutfunktion durchaus integriert. Ich habe in den aktuellen PDFs dazu aber noch nichts gefunden. Den Part kann ich aber dann testen.
 

besterino

Active member
Thread Starter
Mitglied seit
31.05.2010
Beiträge
4.426
Ort
Wo mein Daddel-PC steht
Fein, dann warte ich das mal ab. :) Hab jetzt mal für Testzwecke noch ein 5m MTP MPO Kabel geordert, das angeblich bei fs.com noch lagernd war. Daumendrücken.

In der Zwischenzeit habe ich heute schonmal meinen Mini-Netzumbau als Vorbereitung für das nächste Upgrade abgeschlossen.

Bin über die Zeit irgendwie so eher zufällig peu-a-peu fast vollständig von 10Gbase-T auf SFP+ migriert, einfach weil der 10GBase-T-Switch irgendwie lautstärkemäßig nicht dauerhaft einsetzbar war. Hab also heute endlich die zweite Emulex im BackupServer eingebaut: Jetzt hängen Haupt-PC, 2. Workstation und MainServer über den Klassiker (TP-Link T1700G-28TQ) mit 10Gbit-Glasfaser am Standard-Netz. Mainserver+BackupServer sind separat davon einfach über eine Direktverbindung in ihrem eigenen separaten 10Gbit-"Subnetz" verbunden. Irgendwie alles deutlich übersichtlicher jetzt.

Im TP-Link ist noch ein SFP+-10gbit-Platz frei und auch der MainServer hat noch einen 10GBase-T ungenutzt - vorerst genug Flexibilität für die ein oder andere Spielerei.

Außerdem liegen hier jetzt 5x 10Gbase-T NICs (4x x540-T2, 1x AT2) und ein zwei Switches (Asus XGU2008, D-Link DXS-1210-TS) momentan ungenutzt rum... wenn ich mir Mühe gäbe, könnte ich wahrscheinlich auch noch einen weiteren Switch freiziehen (hab aber keine Lust und who cares). Das reicht erstmal für meine Spielwiese.

Bin jedenfalls mal gespannt, ob die 100Gbit-NICs so ohne weiteres von ESXi gefressen werden... wenn nicht, wär's für mich eher ein Fehlkauf gewesen.
 
Zuletzt bearbeitet:
Oben Unten