[Sammelthread] 10Gbit Homenetzwerk

[Tundor]

Moin, hier im Thread wurden öfters die Mellanox X3 Karten empfohlen. Ich bräuchte eine Karte für meinen Win11 Rechner und eine soll in meine Truenas Kiste.
Ist das hier das richtige Modell? https://www.ebay.de/itm/14317116119...uid=Bq3zApGZShO&widget_ver=artemis&media=COPY

60€ für 2 Stück scheint mir ok, wenn auch Versand aus China. Oder gibt es bessere Alternativen? Wichtig ist mir, vorallem im Truenas System, dass der Idle Verbrauch im Rahmen bleibt, was auch immer das bei 10G heißt

 

[BobbyD]

vorallem im Truenas System, dass der Idle Verbrauch im Rahmen bleibt

Ich selbst hab keinerlei Erfahrung mit uralter Server-Gear. Deswegen ein komplett anderer Vorschlag: Würde dir ggf. 5Gbit reichen? Dann mal die entsprechenden Karten mit Realtek-Chip von Ali insbesondere als Neukunde ins Auge fassen, gäbe es auch als m.2. Verbrauchstechnisch sind sie mir bis jetzt nicht negativ aufgefallen.

 

[Tundor]

5G würden mir prinzipiell reichen, aber dann brauch ich ja wieder nen Rj45 Transceiver am Switch. Beide Anschlüsse (also PC + Truenas) könnte ich über DAC realisieren da es keine große Distanz ist.

 

[BobbyD]

aber dann brauch ich ja wieder nen Rj45 Transceiver am Switch

Dann sind sie natürlich raus. Dachte, Du wolltest eine Direktverbindung realisieren, wichtige Details fehlten in der ursprünglichen Fragestellung.

 

[Haldi]

Wichtig ist mir, vorallem im Truenas System, dass der Idle Verbrauch im Rahmen bleibt, was auch immer das bei 10G heißt

Dann kauf dir keine Melanox ConnectX 3 !

Lektüre dazu:

The Curse of ASPM

You either get to C8 or you die trying.

z8.re

 

[Tundor]

Ok, also wenn ich mir die Wall of Text so durchlese, dann funktioniert ASPM eigentlich nie außer bei den teuren Intel Karten und auch da nur mit rumwurschteln?

 

[sch4kal]

ConnectX 4Lx dürften das auch können, alle neueren Generationen ab der 5 dann denk ich sowieso. Aber da verlassen wir schon die 10G Spielewelt und landen bei mind. 25G.

 

[BobbyD]

Würde dir ggf. 5Gbit reichen? Dann mal die entsprechenden Karten mit Realtek-Chip von Ali insbesondere als Neukunde ins Auge fassen, gäbe es auch als m.2. Verbrauchstechnisch sind sie mir bis jetzt nicht negativ aufgefallen.

Selbst als Bestandskunde sind die preislich ok, hab gerade für zwei Karten knapp 31€ gezahlt (vor Zoll/Steuern?).

Spoiler: Edit

 

[Zeitmangel]

Die Auslobungen der 8126 Karten verwirren mich leicht. Viele schreiben alle 4 Speeds dahin, auffallend viele lassen 2.5Gbit aber aus Können die wirklich alle per se auch 2.5Gbit oder gibt es da irgendwelche... Nuancen die man diesbezüglich beachten sollte?

 

[MentalVerschreckt]

Realtek schreibt selbst von "5 Speed", das können ja wohl nur 10, 100, 1000, 2500 und 5000 MBit sein.

Ich glaube nicht, dass - sogar wenn man die 2500 MBit ausflaggen könnte - das ein Hersteller tun würde.

 

[Zeitmangel]

Ok. Die 10Mbit schreibt aber kaum jemand hin. Die meinte ich in den Aufzählungen also nicht

 

[me777]

Hallo,

ich habe seit längeren ein Problem das ich in meinem Netzwerk an einem PC in eine Richtung (iperf3) nicht die möglich Bandbreite bekomme, in die andere schon.
Jetzt habe ich den Switch als Ursache ausgemacht.

Ich habe 2 Server und den OPNsense Router an einem "MikroTik CRS309-1G-8S+" (2x DAC, einmal Glas) - von dort geht ein Glas Patchkabel durchs Haus auf einen "HPE Networking Instant On 1930 24p Gigabit 4p SFP+" Switch - hier hängen 2 PCs mit 5G Karten per Kupfer und GBics an den 10G Ports.

Die Richtung die nicht richtig funktioniert ist auf einem PC iperf3 -s und auf einem von den Servern iperf -c hier bekomme ich ca 1.2 - 1.5 GBit
Gegenrichtung 5GBit.
Ich habe gefühlt alles außer den Switches hin und her getauscht und überbrückt (Ja auch ein anderes Glas Kabel und überall ein anderes GBic, sogar andere Kupfer Kabel)

Jetzt habe ich die GBics vom Aruba in einen "MikroTik CRS305-1G-4S+IN" getauscht und siehe da 5G in beide Richtungen.
Daraus schließe ich das der HPE irgendwie nicht so mitspielt wie ich das gerne hätte.

Hat jemand einen Tipp was da nicht passt und wie man das beheben kann?

Danke

*Nachtrag: Ich habe zumindest 1 Fehler gefunden: Der HPE hatte JumboFrame global an. (Die GUI falsch interpretiert...)
Jetzt habe ich 4,57 in die "gute" Richtung und 3,88 in die "schlechte" (ich denke die gute war vorher etwas besser...)

Ist da noch Verbesserungspotential da oder ist das OK?

 

[Spawn182]

Kleine Frage an die MikroTik Nutzer mit ConnectX-3 10GB Karten. Ich habe seit ein paar Tagen das Problem, dass bei einem Neustart meiner PCs die ConnectX-3 keine stabile Verbindung aufbauen, sondern der Link ständig up and down geht. Ziehe ich das Kabel kurz ab oder starte die Netzwerkkarte neu geht dieses Link up down Phänomen weg. Ich habe leider sowohl meinen PC neu aufgesetzt, als auch den MikroTek updated. So dass ich keine einzige Ursache ausmachen kann, wobei ich den Router in verdacht habe, da es auch auf einer Linux Kiste passiert, an der nichts geändert wurde. Es sind auch verschiedene Ports mit verschiedenen Kabeln, sodass ich jetzt mal ein mehrfachen Defekt von Kabeln und Modulen ausschlie0en möchte, somal es ja nach dem manuellen Eingriff perfekt läuft.

CRS317-1G-16S+ im RouterOS im Switch Mode, RouterOS 7.19 (auch rc3 ändert nichts), default Settings
FS SFP-10GMSR-85 LC/UPC MMF DOM optisches Transceiver-Module
FS LC OPC Duplex Kabel
ConnectX-3 MCX311A-XCAT mit obigen Modulen

Das lief jetzt über Jahre alles stabil und diese Fehler treten seit einer Woche bei meinem DIY NAS mit ConncetX-3 unter Proxmox als auch auf der Workstation ConncetX-3 unter Windows 11 auf. Nach dem abstöpseln oder Netzwerkkarte neu-starten ist alles 100% stabil.

Das Log File gibt jetzt auch nicht richtig sinnvolles her...

2025-05-22 12:22:57 interface,info sfp-sfpplus5 link down
2025-05-22 12:23:01 interface,info sfp-sfpplus5 link up (speed 10G, full duplex)
2025-05-22 12:23:03 interface,info sfp-sfpplus5 link down
2025-05-22 12:23:03 interface,info sfp-sfpplus5 link up (speed 10G, full duplex)
2025-05-22 12:23:41 interface,info sfp-sfpplus5 link down
2025-05-22 12:23:41 interface,info sfp-sfpplus5 link up (speed 10G, full duplex)
2025-05-22 12:23:44 interface,info sfp-sfpplus5 link down
2025-05-22 16:43:34 interface,info sfp-sfpplus1 link up (speed 10G, full duplex)
2025-05-22 16:43:39 interface,info sfp-sfpplus1 link down
2025-05-22 16:43:41 interface,info sfp-sfpplus1 link up (speed 10G, full duplex)
2025-05-22 16:44:00 interface,info sfp-sfpplus1 link down
2025-05-22 16:44:01 interface,info sfp-sfpplus1 link up (speed 10G, full duplex)
2025-05-22 16:45:09 interface,info sfp-sfpplus1 link down
2025-05-22 16:45:14 interface,info sfp-sfpplus1 link up (speed 10G, full duplex)
2025-05-22 16:46:14 interface,info sfp-sfpplus1 link down
2025-05-22 16:46:14 interface,info sfp-sfpplus1 link up (speed 10G, full duplex)
2025-05-22 16:46:19 interface,info sfp-sfpplus1 link down
2025-05-22 16:46:20 interface,info sfp-sfpplus1 link up (speed 10G, full duplex)
2025-05-22 16:46:23 interface,info sfp-sfpplus1 link down
2025-05-22 16:46:26 interface,info sfp-sfpplus1 link up (speed 10G, full duplex)
2025-05-22 16:47:05 interface,info sfp-sfpplus1 link down
2025-05-22 16:47:07 interface,info sfp-sfpplus1 link up (speed 10G, full duplex)

 

[GameCollector]

Vielleicht mal Firmware Update für die NICs probieren?

 

[Spawn182]

@GameCollector Die ConnectX-3 sind ja EOL, da ist die bis heute aktuellste Version drauf.

Ich habe jetzt den CRS317 auf RouterOS 7.18 downgraded und jetzt scheint es wieder zu gehen. Ich beobachte das mal und wenn bei einem erneuten Upgrade auf 7.19 das wieder auftritt, dann hat MikroTik da irgendwo was leider geändert, was die ConncetX-3 Kompatibilität angeht.

 

[Fusseltuch]

Stell mal auf dem MikroTik die Auto Negotiation aus und die Geschwindigkeit fest ein.

 

[Spawn182]

Hatte ich gemacht, hat bei der 7.19 auch nichts geholfen Aber ich lass das jetzt ein paar Tage mit der 7.18 laufen und dann versuche ich es nochmal. Wenn nicht bleibt eben die 7.18, primär läuft die Kiste eh nur als Switch.

 

[sch4kal]

Fehler dürfte bei Mikrotik liegen. Viel Glück dabei die Entwickler dort dazu zu bewegen, fixes bereitzustellen oder zu backporten.

 

[Weltherrscher]

Kann mich nicht beklagen.
(Uplink vom CRS328 auf die Firewall, darin ist ne ConnectX3, Update auf 7.19 war der letzte Linkdown... =) )

//Edith:
Kabel issn 3 m DAC...

 

[Holt]

Gute Nachricht: Realtek bringt mit dem RTL8127 den ersten kompakten und günstigen 10GbE NIC, der soll 10$ kosten, hat eine PCIe 4.0 Lane und soll 2W brauchen, also auf dem Mainboard keinen Kühlkörper benötigen. Nachdem schon der RTL8125 (2.5GbE) und der RTL8126 (5GbE) auf vielen Mainboards zu finden sind, können wir also hoffen künftig 10GbE nicht mehr nur auf den ganz teuren Mainboards zu finden oder nachrüsten zu müssen.