Aktuelles

[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

niklasschaefer

Experte
Mitglied seit
12.07.2017
Beiträge
285
Ort
Nahe Würzburg
Am zukunftssichersten finde ich noch SonglemOde OS2 oder wenn es Längen technisch passt OM3 oder OM4 Multimode. So wie die Kollegen schon sagen würde ich bei 10G bleiben. 40G ist unheimlich teuer.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

al15

Enthusiast
Mitglied seit
12.05.2008
Beiträge
38
Super danke nochmals fürs Feedback - die HP Infiniband NIC 544QSFP 10/40Gb FDR/EN DP passt aber auf jeden Fall oder würded ihr was anders nehmen?
 

underclocker2k4

Mr. Alzheimer
Mitglied seit
01.11.2004
Beiträge
20.834
Ort
Bärlin
Was ich mir gut vorstellen kann, dass die HP Firmware etwas störrig ist, was die SFPs angeht.
Alternative wäre noch die XL710, kostet aber.
 

craxity

Enthusiast
Mitglied seit
09.05.2008
Beiträge
5.370
Ort
Hadamar
Bei mir haben die Karten auch mit der HP-Firmware irgendwelche billigen DACs akzeptiert.
 

al15

Enthusiast
Mitglied seit
12.05.2008
Beiträge
38
welche SFPs habt ihr denn bei OS2 kabeln verwendet?
 

sch4kal

Enthusiast
Mitglied seit
18.07.2016
Beiträge
3.248
Für 10G: 10GBase-LR, für 40G: 40GBase-LR4.
 

al15

Enthusiast
Mitglied seit
12.05.2008
Beiträge
38
ist bei den Herstellern was zu beachten oder passt das Cisco oder so immer:
10G: https://www.fs.com/de/products/11556.html
40G: https://www.fs.com/de/products/36171.html

bzw was haltet ihr von dem:
HP GBIC-Modul 40GbE QSFP+ LR4 Transceiver - 720190-B21

Wäre recht günstig im vergleich
 

underclocker2k4

Mr. Alzheimer
Mitglied seit
01.11.2004
Beiträge
20.834
Ort
Bärlin
Ich bin mir nicht sicher. NICs lehnen gerne Singlemode Transceiver ab. Bei dem steht explizit dabei, dass er quasi nur für Switche gedacht ist.

Da muss man also ein wenig vorsichtig sein.

Bei HP und Dell verweigern die 10GBE NICs den Betrieb mit SM-Transceivern, es sei denn, man kodiert die um.
 
Zuletzt bearbeitet:

al15

Enthusiast
Mitglied seit
12.05.2008
Beiträge
38
Danke- würde der von FS passen oder habt ihr noch andere günstige gebrauchte im Auge?
 

underclocker2k4

Mr. Alzheimer
Mitglied seit
01.11.2004
Beiträge
20.834
Ort
Bärlin
Singlemode ist Singlemode und das teilt der Transceiver auch bereitwillig mit.
Ob du nun den org HPE oder den FS da reinstreckst, ist egal, wenn die NIC keine SM SFPs haben will, dann bleibt es halt dunkel.
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
Die o.g. LRM funktionieren bei mir weder in der Aquantia 108 (?) noch in der Mellanox cx2. Der Mikrotik CSS610 hat dagegen klaglos angenommen.
Insofern +1 zu underclockers Bedenken.
 

sch4kal

Enthusiast
Mitglied seit
18.07.2016
Beiträge
3.248
Ich bin mir nicht sicher. NICs lehnen gerne Singlemode Transceiver ab. Bei dem steht explizit dabei, dass er quasi nur für Switche gedacht ist.

Da muss man also ein wenig vorsichtig sein.

Bei HP und Dell verweigern die 10GBE NICs den Betrieb mit SM-Transceivern, es sei denn, man kodiert die um.
In einem unserer DL 380 Gen10 laufen ohne Probleme 10GBase-LR Optiken von Flexoptix in der X710 NIC:
Bash:
root@perftest:~# lspci -k -s 5d:00
5d:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
        DeviceName: Embedded FlexibleLOM 1 Port 1
        Subsystem: Hewlett-Packard Company Ethernet 10Gb 2-port 562FLR-SFP+ Adapter
        Kernel driver in use: i40e
        Kernel modules: i40e
5d:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
        DeviceName: Embedded FlexibleLOM 1 Port 2
        Subsystem: Hewlett-Packard Company Ethernet 10Gb 562SFP+ Adapter
        Kernel driver in use: i40e
        Kernel modules: i40e

root@perftest:~# ethtool -i eno5
driver: i40e
version: 2.7.26
firmware-version: 10.3.5
expansion-rom-version:
bus-info: 0000:5d:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

root@perftest:~# ethtool -m eno5
        Identifier                                : 0x03 (SFP)
        Extended identifier                       : 0x04 (GBIC/SFP defined by 2-wire interface ID)
        Connector                                 : 0x07 (LC)
        Transceiver codes                         : 0x20 0x00 0x00 0x00 0x00 0x00 0x00 0x00
        Transceiver type                          : 10G Ethernet: 10G Base-LR
        Encoding                                  : 0x06 (64B/66B)
        BR, Nominal                               : 10300MBd
        Rate identifier                           : 0x00 (unspecified)
        Length (SMF,km)                           : 10km
        Length (SMF)                              : 10000m
        Length (50um)                             : 0m
        Length (62.5um)                           : 0m
        Length (Copper)                           : 0m
        Length (OM3)                              : 0m
        Laser wavelength                          : 1310nm
        Vendor name                               : FLEXOPTIX
        Vendor OUI                                : 38:86:02
        Vendor PN                                 : P.1396.10
        Vendor rev                                : A
        Option values                             : 0x00 0x1a
        Option                                    : RX_LOS implemented
        Option                                    : TX_FAULT implemented
        Option                                    : TX_DISABLE implemented
        BR margin, max                            : 0%
        BR margin, min                            : 0%
        Vendor SN                                 : F78N217
        Date code                                 : 180216
        Optical diagnostics support               : Yes
        Laser bias current                        : 33.842 mA
        Laser output power                        : 0.6767 mW / -1.70 dBm
        Receiver signal average optical power     : 0.6957 mW / -1.58 dBm
        Module temperature                        : 37.69 degrees C / 99.84 degrees F
        Module voltage                            : 3.3072 V
        Alarm/warning flags implemented           : Yes
        Laser bias current high alarm             : Off
        Laser bias current low alarm              : Off
        Laser bias current high warning           : Off
        Laser bias current low warning            : Off
        Laser output power high alarm             : Off
        Laser output power low alarm              : Off
        Laser output power high warning           : Off
        Laser output power low warning            : Off
        Module temperature high alarm             : Off
        Module temperature low alarm              : Off
        Module temperature high warning           : Off
        Module temperature low warning            : Off
        Module voltage high alarm                 : Off
        Module voltage low alarm                  : Off
        Module voltage high warning               : Off
        Module voltage low warning                : Off
        Laser rx power high alarm                 : Off
        Laser rx power low alarm                  : Off
        Laser rx power high warning               : Off
        Laser rx power low warning                : Off
        Laser bias current high alarm threshold   : 90.000 mA
        Laser bias current low alarm threshold    : 2.000 mA
        Laser bias current high warning threshold : 80.000 mA
        Laser bias current low warning threshold  : 3.000 mA
        Laser output power high alarm threshold   : 1.7783 mW / 2.50 dBm
        Laser output power low alarm threshold    : 0.1995 mW / -7.00 dBm
        Laser output power high warning threshold : 1.4125 mW / 1.50 dBm
        Laser output power low warning threshold  : 0.2512 mW / -6.00 dBm
        Module temperature high alarm threshold   : 90.00 degrees C / 194.00 degrees F
        Module temperature low alarm threshold    : -25.00 degrees C / -13.00 degrees F
        Module temperature high warning threshold : 85.00 degrees C / 185.00 degrees F
        Module temperature low warning threshold  : -20.00 degrees C / -4.00 degrees F
        Module voltage high alarm threshold       : 3.6000 V
        Module voltage low alarm threshold        : 3.0000 V
        Module voltage high warning threshold     : 3.5000 V
        Module voltage low warning threshold      : 3.0500 V
        Laser rx power high alarm threshold       : 1.2589 mW / 1.00 dBm
        Laser rx power low alarm threshold        : 0.0251 mW / -16.00 dBm
        Laser rx power high warning threshold     : 1.1220 mW / 0.50 dBm
        Laser rx power low warning threshold      : 0.0316 mW / -15.00 dBm
 

underclocker2k4

Mr. Alzheimer
Mitglied seit
01.11.2004
Beiträge
20.834
Ort
Bärlin
Ich hatte das vor 2-3 Jahren mal getestet und da ging das nicht.
Habe gerade nochmal getestet
Beim DL380G10 wird neben SR auch LR erkannt und sogar FremdSFPs
Beim 740xd werden nur SR und nur freigegebene erkannt.
Was aber hilft, wenn man den EPROM vom LR zum passenden SR umprogrammiert.

Entweder trügt mich meine Erinnerung oder es wurde mit einem der SPPs gepatcht?
 

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Hab gerade auf ebay zwei ConnectX-5 (mutmaßlich CX556A-ECAT), HPE 825111-B21 für je 200€ pro Stück + 10€ Versand geschossen.

Leider nur die ECAT (-> PCIe 3.0) und nicht EDAT (-> PCIe 4.0) Variante, aber für 200€ nen schöner Schnapper.

ConnectX-4 Single Port gibt es ja mittlerweile auch für echt wenig Geld (< 200€)
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.021
Ort
Wo mein Daddel-PC steht
Tjo, nur die Treiberunterstützung mit Solarish ist leider schlecht. Zumindest bei der „freien“ Version von Oracle selbst wie auch Illumos/ OmniOS. :(
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.021
Ort
Wo mein Daddel-PC steht
Jo, das lüppt wohl. :d
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
Haben die EDAT andere Hardware verbaut oder ist der (gleiche) Chipsatz nur in der Firmware auf 3.0 begrenzt? Ein 200€-Versuch könnte das natürlich klären, aber evtl lässt sich ein sicherer Verlust durch Wissen vermeiden ;)
 

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Das ist eine exzellente Frage.

Ich vermute, dass der Chip, der verbaut ist, auch im Silizium ne neue Rev ist...

Gibt's denn schon Erfahrungen mit dem Crossflashen von ConnectX-4 / ConnectX-5 / ConnectX-6?
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.021
Ort
Wo mein Daddel-PC steht
Hab nur meine "ConnectX-4" von Dell-Custom auf Standard-Mellanox geflashed.
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
Ich auch - vgl. Begin dieses Threads. Daher ja auch meine Frage...

Edit: Bist Du sicher, dass CX5? Lt. dieser Liste ist das eine CX4: HPE 840QSFP28 InfiniBand EDR/Ethernet 100Gb 2p ConnectX-4 Adapter N/A-Custom 825111-B21
 
Zuletzt bearbeitet:

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Edit: Bist Du sicher, dass CX5?
Ja.

Bild des Verkäufers auf ebay:
1627293579759.png
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.021
Ort
Wo mein Daddel-PC steht
Was wäre eigentlich eine (idealerweise) bezahlbare Intel-100G-NIC (nicht nur Infiniband)?

Mir kam gerade der ketzerisch-geniale Gedanke, statt >1.000 Euro für eine Solaris-Lizenz auszugeben (um an die ConnectX-4 Treiber zu kommen), könnte ich ja vielleicht auch einfach in out-of-the-box von Solaris 11.4 unterstützte Hardware investieren... :d ...und da fährt man ja eigentlich mit Intel normalerweise ganz gut.

So richtig fündig geworden bin ich aber noch nicht. Immerhin, ca. 400 Euro ließen sich selbst mit einer neuen NIC sparen:
Intel E810-CQDA1 für ca. EUR 680.
HPE Intel OP101 für ca. EUR 130 (Infiniband only?).

Wobei das mit der offiziell von Solaris unterstützten Hardware echt ein Witz ist: die Oracle HCL findet nichtmal irgendwas zu Mellanox / ConnectX... ein Trauerspiel oder ich suche an der falschen Stelle... :(
 

sch4kal

Enthusiast
Mitglied seit
18.07.2016
Beiträge
3.248
Was wäre eigentlich eine (idealerweise) bezahlbare Intel-100G-NIC (nicht nur Infiniband)?

Mir kam gerade der ketzerisch-geniale Gedanke, statt >1.000 Euro für eine Solaris-Lizenz auszugeben (um an die ConnectX-4 Treiber zu kommen), könnte ich ja vielleicht auch einfach in out-of-the-box von Solaris 11.4 unterstützte Hardware investieren... :d ...und da fährt man ja eigentlich mit Intel normalerweise ganz gut.

So richtig fündig geworden bin ich aber noch nicht. Immerhin, ca. 400 Euro ließen sich selbst mit einer neuen NIC sparen:
Intel E810-CQDA1 für ca. EUR 680.
HPE Intel OP101 für ca. EUR 130 (Infiniband only?).

Wobei das mit der offiziell von Solaris unterstützten Hardware echt ein Witz ist: die Oracle HCL findet nichtmal irgendwas zu Mellanox / ConnectX... ein Trauerspiel oder ich suche an der falschen Stelle... :(
Ich glaube da wäre es einfacher, sich ganz von Solaris los zu sagen. Auch wenn ich selbst Solaris sehr schätze, weil es extrem stabil läuft, aber der Hardware- und Community-Support ist für die Katz.
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.021
Ort
Wo mein Daddel-PC steht
😭

Will nich!
 

danielmayer

Enthusiast
Mitglied seit
30.03.2005
Beiträge
876
OK ... Dann bin ich gespannt, was Dir geliefert wird, Java4ever: "ConnectX-5 (mutmaßlich CX556A-ECAT), HPE 825111-B21" passt mit dem Bild nicht überein, dort ist eine andere SKU genannt... Entweder ist der Text oder das Bild falsch.
Beitrag automatisch zusammengeführt:

@besterino: evtl kann man für DOS noch einen Treiber schreiben. Du scheinst ja auf angerostete Systeme zu stehen :p
Mit dem emm386-Treiber... Rdma... Hmmm... Nein, wohl leider nicht.
 

besterino

Urgestein
Thread Starter
Mitglied seit
31.05.2010
Beiträge
6.021
Ort
Wo mein Daddel-PC steht
@danielmayer Frechheit. :d

Ich kenn mich nicht so richtig bei den Datacenter-NICs aus und bei Geizhals finde ich nur eine überschaubare Anzahl von NICs für 100Gbit und QSFP28 als Schnittstelle:

Nimmt man dann aus den genannten Gründen mal Mellanox/Nvidia raus, bleibt im Prinzip nur noch die Intel E810-CQDA1/2 also im Prinzip die Wahl zwischen 1 oder 2 Ports. ;)

Oder fällt Euch Experten noch eine andere Möglichkeit ein, ein passendes Gegenstück zu einer ConnectX-4 mit einer Direktverbindung NIC<-->NIC aufzubauen?
 

java4ever

Profi
Mitglied seit
12.01.2018
Beiträge
571
Ort
Darmstadt
Gut, das Thema ConnectX-5 hat sich erledigt.

Der blöde Verkäufer hat nie geliefert. Angeblich wäre das Paket auf dem Versandweg verloren gegangen, das Tracking zeigt jedoch eindeutig, dass es niemals losgeschickt wurde.

Geld gabs per PayPal zurück und ne negative Bewertung hinterher, leider sitzt der Verkäufer in Polen, sodass ich da wenig Handhabe habe...
 
Oben Unten