[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

[niklasschaefer]

Am zukunftssichersten finde ich noch SonglemOde OS2 oder wenn es Längen technisch passt OM3 oder OM4 Multimode. So wie die Kollegen schon sagen würde ich bei 10G bleiben. 40G ist unheimlich teuer.

 

[al15]

Super danke nochmals fürs Feedback - die HP Infiniband NIC 544QSFP 10/40Gb FDR/EN DP passt aber auf jeden Fall oder würded ihr was anders nehmen?

 

[craxity]

@al15 Die Karte passt und läss sich recht simpel auf die richtige FW flashen.

 

[underclocker2k4]

Was ich mir gut vorstellen kann, dass die HP Firmware etwas störrig ist, was die SFPs angeht.
Alternative wäre noch die XL710, kostet aber.

 

[craxity]

Bei mir haben die Karten auch mit der HP-Firmware irgendwelche billigen DACs akzeptiert.

 

[al15]

welche SFPs habt ihr denn bei OS2 kabeln verwendet?

 

[sch4kal]

Für 10G: 10GBase-LR, für 40G: 40GBase-LR4.

 

[al15]

ist bei den Herstellern was zu beachten oder passt das Cisco oder so immer:
10G: https://www.fs.com/de/products/11556.html
40G: https://www.fs.com/de/products/36171.html

bzw was haltet ihr von dem:
HP GBIC-Modul 40GbE QSFP+ LR4 Transceiver - 720190-B21

HP GBIC-Modul 40GbE QSFP+ LR4 Transceiver - 720190-B21

Es handelt sich um Gebrauchtware, welche von unserem Technikerteam getestet wurde. Sie ist technisch und optisch in einem einwandfreien Zustand.

www.gekko-computer.de

Wäre recht günstig im vergleich

 

[underclocker2k4]

Ich bin mir nicht sicher. NICs lehnen gerne Singlemode Transceiver ab. Bei dem steht explizit dabei, dass er quasi nur für Switche gedacht ist.

Da muss man also ein wenig vorsichtig sein.

Bei HP und Dell verweigern die 10GBE NICs den Betrieb mit SM-Transceivern, es sei denn, man kodiert die um.

 

[al15]

Danke- würde der von FS passen oder habt ihr noch andere günstige gebrauchte im Auge?

 

[underclocker2k4]

Singlemode ist Singlemode und das teilt der Transceiver auch bereitwillig mit.
Ob du nun den org HPE oder den FS da reinstreckst, ist egal, wenn die NIC keine SM SFPs haben will, dann bleibt es halt dunkel.

 

[danielmayer]

Die o.g. LRM funktionieren bei mir weder in der Aquantia 108 (?) noch in der Mellanox cx2. Der Mikrotik CSS610 hat dagegen klaglos angenommen.
Insofern +1 zu underclockers Bedenken.

 

[sch4kal]

Ich bin mir nicht sicher. NICs lehnen gerne Singlemode Transceiver ab. Bei dem steht explizit dabei, dass er quasi nur für Switche gedacht ist.

Da muss man also ein wenig vorsichtig sein.

Bei HP und Dell verweigern die 10GBE NICs den Betrieb mit SM-Transceivern, es sei denn, man kodiert die um.

In einem unserer DL 380 Gen10 laufen ohne Probleme 10GBase-LR Optiken von Flexoptix in der X710 NIC:

root@perftest:~# lspci -k -s 5d:00
5d:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
        DeviceName: Embedded FlexibleLOM 1 Port 1
        Subsystem: Hewlett-Packard Company Ethernet 10Gb 2-port 562FLR-SFP+ Adapter
        Kernel driver in use: i40e
        Kernel modules: i40e
5d:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
        DeviceName: Embedded FlexibleLOM 1 Port 2
        Subsystem: Hewlett-Packard Company Ethernet 10Gb 562SFP+ Adapter
        Kernel driver in use: i40e
        Kernel modules: i40e

root@perftest:~# ethtool -i eno5
driver: i40e
version: 2.7.26
firmware-version: 10.3.5
expansion-rom-version:
bus-info: 0000:5d:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

root@perftest:~# ethtool -m eno5
        Identifier                                : 0x03 (SFP)
        Extended identifier                       : 0x04 (GBIC/SFP defined by 2-wire interface ID)
        Connector                                 : 0x07 (LC)
        Transceiver codes                         : 0x20 0x00 0x00 0x00 0x00 0x00 0x00 0x00
        Transceiver type                          : 10G Ethernet: 10G Base-LR
        Encoding                                  : 0x06 (64B/66B)
        BR, Nominal                               : 10300MBd
        Rate identifier                           : 0x00 (unspecified)
        Length (SMF,km)                           : 10km
        Length (SMF)                              : 10000m
        Length (50um)                             : 0m
        Length (62.5um)                           : 0m
        Length (Copper)                           : 0m
        Length (OM3)                              : 0m
        Laser wavelength                          : 1310nm
        Vendor name                               : FLEXOPTIX
        Vendor OUI                                : 38:86:02
        Vendor PN                                 : P.1396.10
        Vendor rev                                : A
        Option values                             : 0x00 0x1a
        Option                                    : RX_LOS implemented
        Option                                    : TX_FAULT implemented
        Option                                    : TX_DISABLE implemented
        BR margin, max                            : 0%
        BR margin, min                            : 0%
        Vendor SN                                 : F78N217
        Date code                                 : 180216
        Optical diagnostics support               : Yes
        Laser bias current                        : 33.842 mA
        Laser output power                        : 0.6767 mW / -1.70 dBm
        Receiver signal average optical power     : 0.6957 mW / -1.58 dBm
        Module temperature                        : 37.69 degrees C / 99.84 degrees F
        Module voltage                            : 3.3072 V
        Alarm/warning flags implemented           : Yes
        Laser bias current high alarm             : Off
        Laser bias current low alarm              : Off
        Laser bias current high warning           : Off
        Laser bias current low warning            : Off
        Laser output power high alarm             : Off
        Laser output power low alarm              : Off
        Laser output power high warning           : Off
        Laser output power low warning            : Off
        Module temperature high alarm             : Off
        Module temperature low alarm              : Off
        Module temperature high warning           : Off
        Module temperature low warning            : Off
        Module voltage high alarm                 : Off
        Module voltage low alarm                  : Off
        Module voltage high warning               : Off
        Module voltage low warning                : Off
        Laser rx power high alarm                 : Off
        Laser rx power low alarm                  : Off
        Laser rx power high warning               : Off
        Laser rx power low warning                : Off
        Laser bias current high alarm threshold   : 90.000 mA
        Laser bias current low alarm threshold    : 2.000 mA
        Laser bias current high warning threshold : 80.000 mA
        Laser bias current low warning threshold  : 3.000 mA
        Laser output power high alarm threshold   : 1.7783 mW / 2.50 dBm
        Laser output power low alarm threshold    : 0.1995 mW / -7.00 dBm
        Laser output power high warning threshold : 1.4125 mW / 1.50 dBm
        Laser output power low warning threshold  : 0.2512 mW / -6.00 dBm
        Module temperature high alarm threshold   : 90.00 degrees C / 194.00 degrees F
        Module temperature low alarm threshold    : -25.00 degrees C / -13.00 degrees F
        Module temperature high warning threshold : 85.00 degrees C / 185.00 degrees F
        Module temperature low warning threshold  : -20.00 degrees C / -4.00 degrees F
        Module voltage high alarm threshold       : 3.6000 V
        Module voltage low alarm threshold        : 3.0000 V
        Module voltage high warning threshold     : 3.5000 V
        Module voltage low warning threshold      : 3.0500 V
        Laser rx power high alarm threshold       : 1.2589 mW / 1.00 dBm
        Laser rx power low alarm threshold        : 0.0251 mW / -16.00 dBm
        Laser rx power high warning threshold     : 1.1220 mW / 0.50 dBm
        Laser rx power low warning threshold      : 0.0316 mW / -15.00 dBm

 

[underclocker2k4]

Ich hatte das vor 2-3 Jahren mal getestet und da ging das nicht.
Habe gerade nochmal getestet
Beim DL380G10 wird neben SR auch LR erkannt und sogar FremdSFPs
Beim 740xd werden nur SR und nur freigegebene erkannt.
Was aber hilft, wenn man den EPROM vom LR zum passenden SR umprogrammiert.

Entweder trügt mich meine Erinnerung oder es wurde mit einem der SPPs gepatcht?

 

[java4ever]

Hab gerade auf ebay zwei ConnectX-5 (mutmaßlich CX556A-ECAT), HPE 825111-B21 für je 200€ pro Stück + 10€ Versand geschossen.

Leider nur die ECAT (-> PCIe 3.0) und nicht EDAT (-> PCIe 4.0) Variante, aber für 200€ nen schöner Schnapper.

ConnectX-4 Single Port gibt es ja mittlerweile auch für echt wenig Geld (< 200€)

 

[besterino]

Tjo, nur die Treiberunterstützung mit Solarish ist leider schlecht. Zumindest bei der „freien“ Version von Oracle selbst wie auch Illumos/ OmniOS.

 

[java4ever]

Wie gut dass ich Linux nutze

 

[besterino]

Jo, das lüppt wohl.

 

[danielmayer]

Haben die EDAT andere Hardware verbaut oder ist der (gleiche) Chipsatz nur in der Firmware auf 3.0 begrenzt? Ein 200€-Versuch könnte das natürlich klären, aber evtl lässt sich ein sicherer Verlust durch Wissen vermeiden

 

[java4ever]

Das ist eine exzellente Frage.

Ich vermute, dass der Chip, der verbaut ist, auch im Silizium ne neue Rev ist...

Gibt's denn schon Erfahrungen mit dem Crossflashen von ConnectX-4 / ConnectX-5 / ConnectX-6?

 

[besterino]

Hab nur meine "ConnectX-4" von Dell-Custom auf Standard-Mellanox geflashed.

 

[danielmayer]

Ich auch - vgl. Begin dieses Threads. Daher ja auch meine Frage...

Edit: Bist Du sicher, dass CX5? Lt. dieser Liste ist das eine CX4: HPE 840QSFP28 InfiniBand EDR/Ethernet 100Gb 2p ConnectX-4 Adapter N/A-Custom 825111-B21

 

[java4ever]

Edit: Bist Du sicher, dass CX5?

Ja.

Bild des Verkäufers auf ebay:

 

[besterino]

Was wäre eigentlich eine (idealerweise) bezahlbare Intel-100G-NIC (nicht nur Infiniband)?

Mir kam gerade der ketzerisch-geniale Gedanke, statt >1.000 Euro für eine Solaris-Lizenz auszugeben (um an die ConnectX-4 Treiber zu kommen), könnte ich ja vielleicht auch einfach in out-of-the-box von Solaris 11.4 unterstützte Hardware investieren... ...und da fährt man ja eigentlich mit Intel normalerweise ganz gut.

So richtig fündig geworden bin ich aber noch nicht. Immerhin, ca. 400 Euro ließen sich selbst mit einer neuen NIC sparen:
Intel E810-CQDA1 für ca. EUR 680.
HPE Intel OP101 für ca. EUR 130 (Infiniband only?).

Wobei das mit der offiziell von Solaris unterstützten Hardware echt ein Witz ist: die Oracle HCL findet nichtmal irgendwas zu Mellanox / ConnectX... ein Trauerspiel oder ich suche an der falschen Stelle...

 

[sch4kal]

Was wäre eigentlich eine (idealerweise) bezahlbare Intel-100G-NIC (nicht nur Infiniband)?

Mir kam gerade der ketzerisch-geniale Gedanke, statt >1.000 Euro für eine Solaris-Lizenz auszugeben (um an die ConnectX-4 Treiber zu kommen), könnte ich ja vielleicht auch einfach in out-of-the-box von Solaris 11.4 unterstützte Hardware investieren... ...und da fährt man ja eigentlich mit Intel normalerweise ganz gut.

So richtig fündig geworden bin ich aber noch nicht. Immerhin, ca. 400 Euro ließen sich selbst mit einer neuen NIC sparen:
Intel E810-CQDA1 für ca. EUR 680.
HPE Intel OP101 für ca. EUR 130 (Infiniband only?).

Wobei das mit der offiziell von Solaris unterstützten Hardware echt ein Witz ist: die Oracle HCL findet nichtmal irgendwas zu Mellanox / ConnectX... ein Trauerspiel oder ich suche an der falschen Stelle...

Ich glaube da wäre es einfacher, sich ganz von Solaris los zu sagen. Auch wenn ich selbst Solaris sehr schätze, weil es extrem stabil läuft, aber der Hardware- und Community-Support ist für die Katz.

 

[besterino]

😭

Will nich!

 

[danielmayer]

OK ... Dann bin ich gespannt, was Dir geliefert wird, Java4ever: "ConnectX-5 (mutmaßlich CX556A-ECAT), HPE 825111-B21" passt mit dem Bild nicht überein, dort ist eine andere SKU genannt... Entweder ist der Text oder das Bild falsch.

Beitrag automatisch zusammengeführt: 26.07.2021

@besterino: evtl kann man für DOS noch einen Treiber schreiben. Du scheinst ja auf angerostete Systeme zu stehen
Mit dem emm386-Treiber... Rdma... Hmmm... Nein, wohl leider nicht.

 

[java4ever]

Der VK hat auch ne falsche P/N angegeben... Tatsächlich ist es laut Foto eine 872726-B21, also 841QSFP

 

[besterino]

@danielmayer Frechheit.

Ich kenn mich nicht so richtig bei den Datacenter-NICs aus und bei Geizhals finde ich nur eine überschaubare Anzahl von NICs für 100Gbit und QSFP28 als Schnittstelle:

Netzwerk Adapter & Hubs mit Typ: LAN-Adapter, Verbindung: QSFP28, Übertragungsrate QSFP28: 100Gb/s Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Netzwerk Adapter & Hubs mit Typ: LAN-Adapter, Verbindung: QSFP28, Übertragungsrate QSFP28: 100Gb/s

geizhals.de

Nimmt man dann aus den genannten Gründen mal Mellanox/Nvidia raus, bleibt im Prinzip nur noch die Intel E810-CQDA1/2 also im Prinzip die Wahl zwischen 1 oder 2 Ports.

Oder fällt Euch Experten noch eine andere Möglichkeit ein, ein passendes Gegenstück zu einer ConnectX-4 mit einer Direktverbindung NIC<-->NIC aufzubauen?

 

[java4ever]

Gut, das Thema ConnectX-5 hat sich erledigt.

Der blöde Verkäufer hat nie geliefert. Angeblich wäre das Paket auf dem Versandweg verloren gegangen, das Tracking zeigt jedoch eindeutig, dass es niemals losgeschickt wurde.

Geld gabs per PayPal zurück und ne negative Bewertung hinterher, leider sitzt der Verkäufer in Polen, sodass ich da wenig Handhabe habe...