IPoIB einrichten, Windows 10 und Debian

Knogle

Experte
Thread Starter
Mitglied seit
03.05.2014
Beiträge
2.775
Ort
Aix-la-Chapelle
Ich gruesse euch liebe Community.

Seit einigen Wochen versuche ich nun mit grossem Aufwand meine Mellanox ConnectX2 VPI 40GBit/s Karten zum laufen zu kriegen.
Ich habe die Karte unter Linux wie folgt eingerichtet, also meinem Server

Code:
ib0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 4092
        inet 192.168.3.0  netmask 255.255.255.254  broadcast 255.255.255.255
        unspec 80-00-02-08-FE-80-00-00-00-00-00-00-00-00-00-00  txqueuelen 256  (UNSPEC)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Unter Windows kriege ich das irgendwie nicht hin, denn er sagt mir dass das Netzwerkkabel nicht angeschlossen sei, obwohl es aufjedenfall drin ist!
Treiber habe ich nun den korrekten installiert, und zumindest im Geraete-Manager wird nun auch das Ding erkannt ohne Fehler.

Neuste Firmware ist auch drauf, nur Windows zeigt halt leider nix an.

434444d1526408777-ipoib-einrichten-windows-10-und-debian-fehler.png


Interessanterweise werden unter Windows 10 fuer die Netzwerkkarte, Adressen angezeigt die ich nie hinzugefuegt habe, z.B. die 169.. etc.

434445d1526408777-ipoib-einrichten-windows-10-und-debian-daten.png


Ich hoffe jemand weiss wie ich das zum laufen kriege!
 

Anhänge

  • fehler.PNG
    fehler.PNG
    2,8 KB · Aufrufe: 154
  • daten.PNG
    daten.PNG
    7,6 KB · Aufrufe: 161
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich gruesse euch liebe Community.

Seit einigen Wochen versuche ich nun mit grossem Aufwand meine Mellanox ConnectX2 VPI 40GBit/s Karten zum laufen zu kriegen.
Ich habe die Karte unter Linux wie folgt eingerichtet, also meinem Server

Code:
ib0: flags=4099  mtu 4092
        inet 192.168.3.0  netmask 255.255.255.254  broadcast 255.255.255.255
        unspec 80-00-02-08-FE-80-00-00-00-00-00-00-00-00-00-00  txqueuelen 256  (UNSPEC)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Unter Windows kriege ich das irgendwie nicht hin, denn er sagt mir dass das Netzwerkkabel nicht angeschlossen sei, obwohl es aufjedenfall drin ist!
Treiber habe ich nun den korrekten installiert, und zumindest im Geraete-Manager wird nun auch das Ding erkannt ohne Fehler.

Neuste Firmware ist auch drauf, nur Windows zeigt halt leider nix an.

434444d1526408777-ipoib-einrichten-windows-10-und-debian-fehler.png


Interessanterweise werden unter Windows 10 fuer die Netzwerkkarte, Adressen angezeigt die ich nie hinzugefuegt habe, z.B. die 169.. etc.

434445d1526408777-ipoib-einrichten-windows-10-und-debian-daten.png


Ich hoffe jemand weiss wie ich das zum laufen kriege!

169... ist ne APIPA,wird vergeben wenn kein DHCP vorhanden ist...arbeite dich mal von Layer 1(Kabel) die OSI-Schichten nach oben zur Fehlerbehebung,bis du bei Layer 8 angekommen bist

Die Netzmaske 255.255.255.254 unter Linux stimmt auch nicht


Sent from my iPhone using Tapatalk Pro
 
Zuletzt bearbeitet:
ibstat auf dem Client sagt
Code:
CA 'ibv_device0'
        CA type:
        Number of ports: 1
        Firmware version: 2.9.1200
        Hardware version: 0xb0
        Node GUID: 0x0002c9030059cec6
        System image GUID: 0x0002c9030059cec9
    Port 1:
        State: Initializing
        Physical state: LinkUp
        Rate: 40
        Base lid: 0
        LMC: 0
        SM lid: 0
        Capability mask: 0x90580000
        Port GUID: 0x0002c9030059cec7
        Link layer: IB
        Transport: IB

auf Server

Code:
CA 'mlx4_0'
        CA type: MT26428
        Number of ports: 1
        Firmware version: 2.9.1200
        Hardware version: b0
        Node GUID: 0x0002c9030059dc4a
        System image GUID: 0x0002c9030059dc4d
        Port 1:
                State: Initializing
                Physical state: LinkUp
                Rate: 40
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: 0x02510868
                Port GUID: 0x0002c9030059dc4b
                Link layer: InfiniBand

ibstatus auf dem Server

Code:
ibstatus
Infiniband device 'mlx4_0' port 1 status:
        default gid:     fe80:0000:0000:0000:0002:c903:0059:dc4b
        base lid:        0x0
        sm lid:          0x0
        state:           1: DOWN
        phys state:      2: Polling
        rate:            10 Gb/sec (4X)
        link_layer:      InfiniBand

- - - Updated - - -

So Update!
Habe opensm auf dem Server installiert.

Dann eingegeben

Code:
systemctl enable opensm
/etc/init.d/opensm start
modprobe mlx4_ib
ifup ib0

Dann hat sich sofort Windows gemeldet, ein neues Netzwerk einzurichten.
Jetzt steht da nicht mehr "Netzwerkkabel wurde entfernt"

Jetzt geht alles!! Verbindung steht, aber leider nur mit 32GBit/s
Werde mal die Schritte zusammenfassen, falls jemand das gleiche Problem hat.
 
Zuletzt bearbeitet:
Ja, das fehlende opensm hatte ich vermutet. Zumindest bei meinen qlogic/intel-karten gibt es aber auch noch eine Art sleep-bug, bei dem man die Karten durch einen Befehl erst aus dem Schönheitsschlaf holen musste.
32gbit ist Maximum:
-zitat-
Effective throughput & multiple virtual lanes
Because SDR, DDR, and QDR versions use 8/10 encoding (8 bits of data takes 10 bits of signaling), effective throughput for these is lowered to 80%: SDR at 2Gb/s/lane; DDR at 4Gb/s/lane; and QDR at 8Gb/s/lane. Starting with FDR, IB uses 64/66 encoding, allowing a higher effective throughput to signaling rate ratio of 96.97%: FDR at 13.64Gb/s/lane; EDR at 24.24Gb/s/lane; and HDR at 48.48Gb/s/lane.
/zitat
 
Hmm ok das mit den 32GBit/s erscheint mir nun logisch.
Ist ja genau die Bandbreite welche die Karte ueber die 8x PCIe 2.0 Lanes beziehen kann.

D.h. aber auch dass die PCIe 3.0 100GBit Karten und mehr, PCIe x16 brauchen, gell?
 
Ja nein, 8x PCIE 2.0 = 40gbit.
Über Infiniband gehen ja auch 40Gbit Signale. Die enthalten aber eben nur 8 Daten je 10 Signale. Daher Datenrate 32Gbit.
Und ja, 100G-Adapter sind x16er Karten (oder höher).
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh