Ergebnis 1 bis 7 von 7
  1. #1
    Kapitänleutnant Avatar von Knogle
    Registriert seit
    03.05.2014
    Ort
    Brasília - DF
    Beiträge
    1.846


    • Systeminfo
      • Motherboard:
      • ASRock X99 Extreme 4
      • CPU:
      • Intel Xeon E5-2650 v4
      • Netzwerk:
      • Intel OnBoard LAN
      • Netzteil:
      • DELTA 1250W
      • Betriebssystem:
      • Debian 8

    Standard IPoIB einrichten, Windows 10 und Debian

    Ich gruesse euch liebe Community.

    Seit einigen Wochen versuche ich nun mit grossem Aufwand meine Mellanox ConnectX2 VPI 40GBit/s Karten zum laufen zu kriegen.
    Ich habe die Karte unter Linux wie folgt eingerichtet, also meinem Server

    Code:
    ib0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 4092
            inet 192.168.3.0  netmask 255.255.255.254  broadcast 255.255.255.255
            unspec 80-00-02-08-FE-80-00-00-00-00-00-00-00-00-00-00  txqueuelen 256  (UNSPEC)
            RX packets 0  bytes 0 (0.0 B)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 0  bytes 0 (0.0 B)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    Unter Windows kriege ich das irgendwie nicht hin, denn er sagt mir dass das Netzwerkkabel nicht angeschlossen sei, obwohl es aufjedenfall drin ist!
    Treiber habe ich nun den korrekten installiert, und zumindest im Geraete-Manager wird nun auch das Ding erkannt ohne Fehler.

    Neuste Firmware ist auch drauf, nur Windows zeigt halt leider nix an.



    Interessanterweise werden unter Windows 10 fuer die Netzwerkkarte, Adressen angezeigt die ich nie hinzugefuegt habe, z.B. die 169.. etc.



    Ich hoffe jemand weiss wie ich das zum laufen kriege!
    Angehängte Grafiken Angehängte Grafiken

  2. Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

  3. #2
    Obergefreiter
    Registriert seit
    26.01.2016
    Beiträge
    126


    Standard IPoIB einrichten, Windows 10 und Debian

    Zitat Zitat von Knogle Beitrag anzeigen
    Ich gruesse euch liebe Community.

    Seit einigen Wochen versuche ich nun mit grossem Aufwand meine Mellanox ConnectX2 VPI 40GBit/s Karten zum laufen zu kriegen.
    Ich habe die Karte unter Linux wie folgt eingerichtet, also meinem Server

    Code:
    ib0: flags=4099  mtu 4092
            inet 192.168.3.0  netmask 255.255.255.254  broadcast 255.255.255.255
            unspec 80-00-02-08-FE-80-00-00-00-00-00-00-00-00-00-00  txqueuelen 256  (UNSPEC)
            RX packets 0  bytes 0 (0.0 B)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 0  bytes 0 (0.0 B)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    Unter Windows kriege ich das irgendwie nicht hin, denn er sagt mir dass das Netzwerkkabel nicht angeschlossen sei, obwohl es aufjedenfall drin ist!
    Treiber habe ich nun den korrekten installiert, und zumindest im Geraete-Manager wird nun auch das Ding erkannt ohne Fehler.

    Neuste Firmware ist auch drauf, nur Windows zeigt halt leider nix an.



    Interessanterweise werden unter Windows 10 fuer die Netzwerkkarte, Adressen angezeigt die ich nie hinzugefuegt habe, z.B. die 169.. etc.



    Ich hoffe jemand weiss wie ich das zum laufen kriege!
    169... ist ne APIPA,wird vergeben wenn kein DHCP vorhanden ist...arbeite dich mal von Layer 1(Kabel) die OSI-Schichten nach oben zur Fehlerbehebung,bis du bei Layer 8 angekommen bist

    Die Netzmaske 255.255.255.254 unter Linux stimmt auch nicht


    Sent from my iPhone using Tapatalk Pro
    Geändert von Tchacker (15.05.18 um 22:21 Uhr)

  4. #3
    Bootsmann
    Registriert seit
    30.03.2005
    Beiträge
    521


    Standard

    Was sagen ibstat und ibstatus?

  5. #4
    Kapitänleutnant Avatar von Knogle
    Registriert seit
    03.05.2014
    Ort
    Brasília - DF
    Beiträge
    1.846
    Themenstarter


    • Systeminfo
      • Motherboard:
      • ASRock X99 Extreme 4
      • CPU:
      • Intel Xeon E5-2650 v4
      • Netzwerk:
      • Intel OnBoard LAN
      • Netzteil:
      • DELTA 1250W
      • Betriebssystem:
      • Debian 8

    Standard

    ibstat auf dem Client sagt
    Code:
    CA 'ibv_device0'
            CA type:
            Number of ports: 1
            Firmware version: 2.9.1200
            Hardware version: 0xb0
            Node GUID: 0x0002c9030059cec6
            System image GUID: 0x0002c9030059cec9
        Port 1:
            State: Initializing
            Physical state: LinkUp
            Rate: 40
            Base lid: 0
            LMC: 0
            SM lid: 0
            Capability mask: 0x90580000
            Port GUID: 0x0002c9030059cec7
            Link layer: IB
            Transport: IB
    auf Server

    Code:
    CA 'mlx4_0'
            CA type: MT26428
            Number of ports: 1
            Firmware version: 2.9.1200
            Hardware version: b0
            Node GUID: 0x0002c9030059dc4a
            System image GUID: 0x0002c9030059dc4d
            Port 1:
                    State: Initializing
                    Physical state: LinkUp
                    Rate: 40
                    Base lid: 0
                    LMC: 0
                    SM lid: 0
                    Capability mask: 0x02510868
                    Port GUID: 0x0002c9030059dc4b
                    Link layer: InfiniBand
    ibstatus auf dem Server

    Code:
    ibstatus
    Infiniband device 'mlx4_0' port 1 status:
            default gid:     fe80:0000:0000:0000:0002:c903:0059:dc4b
            base lid:        0x0
            sm lid:          0x0
            state:           1: DOWN
            phys state:      2: Polling
            rate:            10 Gb/sec (4X)
            link_layer:      InfiniBand
    - - - Updated - - -

    So Update!
    Habe opensm auf dem Server installiert.

    Dann eingegeben

    Code:
    systemctl enable opensm
    /etc/init.d/opensm start
    modprobe mlx4_ib
    ifup ib0
    Dann hat sich sofort Windows gemeldet, ein neues Netzwerk einzurichten.
    Jetzt steht da nicht mehr "Netzwerkkabel wurde entfernt"

    Jetzt geht alles!! Verbindung steht, aber leider nur mit 32GBit/s
    Werde mal die Schritte zusammenfassen, falls jemand das gleiche Problem hat.
    Geändert von Knogle (16.05.18 um 16:47 Uhr)

  6. #5
    Bootsmann
    Registriert seit
    30.03.2005
    Beiträge
    521


    Standard

    Ja, das fehlende opensm hatte ich vermutet. Zumindest bei meinen qlogic/intel-karten gibt es aber auch noch eine Art sleep-bug, bei dem man die Karten durch einen Befehl erst aus dem Schönheitsschlaf holen musste.
    32gbit ist Maximum:
    -zitat-
    Effective throughput & multiple virtual lanes
    Because SDR, DDR, and QDR versions use 8/10 encoding (8 bits of data takes 10 bits of signaling), effective throughput for these is lowered to 80%: SDR at 2Gb/s/lane; DDR at 4Gb/s/lane; and QDR at 8Gb/s/lane. Starting with FDR, IB uses 64/66 encoding, allowing a higher effective throughput to signaling rate ratio of 96.97%: FDR at 13.64Gb/s/lane; EDR at 24.24Gb/s/lane; and HDR at 48.48Gb/s/lane.
    /zitat

  7. #6
    Kapitänleutnant Avatar von Knogle
    Registriert seit
    03.05.2014
    Ort
    Brasília - DF
    Beiträge
    1.846
    Themenstarter


    • Systeminfo
      • Motherboard:
      • ASRock X99 Extreme 4
      • CPU:
      • Intel Xeon E5-2650 v4
      • Netzwerk:
      • Intel OnBoard LAN
      • Netzteil:
      • DELTA 1250W
      • Betriebssystem:
      • Debian 8

    Standard

    Hmm ok das mit den 32GBit/s erscheint mir nun logisch.
    Ist ja genau die Bandbreite welche die Karte ueber die 8x PCIe 2.0 Lanes beziehen kann.

    D.h. aber auch dass die PCIe 3.0 100GBit Karten und mehr, PCIe x16 brauchen, gell?

  8. #7
    Bootsmann
    Registriert seit
    30.03.2005
    Beiträge
    521


    Standard

    Ja nein, 8x PCIE 2.0 = 40gbit.
    Über Infiniband gehen ja auch 40Gbit Signale. Die enthalten aber eben nur 8 Daten je 10 Signale. Daher Datenrate 32Gbit.
    Und ja, 100G-Adapter sind x16er Karten (oder höher).

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •