[Sammelthread] 10Gbit Homenetzwerk

[Zeitmangel]

Nun...
"Easy to use but this made the topology report on my unifi system go nuts. Also uses the cheaper network adapters so you may see weird network issues. I decided it wasn’t worth the headache and went back to my integrated 1G NICs. Good enough in a pinch but I wouldn’t rely on them."

Sonst, im Empfang 392 MB/s. Mehr ist nicht. Kann aber auch ok sein. Nur als Info.

 

[Spliffsta]

Zwar sub 10G, aber preislich interessant:

[Prime] SABRENT USB-C LAN Ethernet Adapter / Netzwerkadapter | 5G - 5GbE-optimiert, USB 3.1 Gen 1+ erforderlich | für Windows, macOS & Linux | mydealz

www.mydealz.de

20€ beim Chinesen.

 

[pwnbert]

Sonst, im Empfang 392 MB/s. Mehr ist nicht. Kann aber auch ok sein. Nur als Info.

Naja, liegt vielleicht am 5G USB, wegen Overhead und so?

Aber naja, besser als nix, für so retrofitting Aktionen, wenn man nur nen USB 3 / 5G Port hat und 10GbE Netzwerk...

 

[craxity]

@pwnbert Aber ist der Aufpreis gegenüber 2.5G nicht zu hoch für die etwas höhere Geschwindigkeit? Man zahlt mehr als das Doppelte für ca. 3.5G statt 2.5G.

 

[pwnbert]

Wo gibts 2.5G um 12€? Ich hab dafür so 20-25€ bezahlt vor.. naja... halbes Jahr?

 

[craxity]

Bei Amazon finde ich mindestens zwei Modelle ab 12,xx €

 

[pwnbert]

Tatsache, gibts schon so billig. Geht ja in eine gute Richtung. Ich freu mich auf die 10 GbE USB Dinger.
Wenn man dort dann "nur" 800 mb/s rausbekommt, wäre das schon okay.

10G USB hat fast jedes popelige B550 Board zumindest einen, somit wäre schön PCIe frei im Home-Bastel-Server.

Fehlen dann nur noch wirklich sinnvoll sparsame 10 GbE Switches... mein Wunsch bleibt RJ45, weil die Kabel schon liegen und vorhanden sind... ist einfach bequemer für mich.

 

[Zeitmangel]

@pwnbert
Vorsicht. Ich hab auch mal postuliert/fantasiert, über lowpower Ethernet mit 980 MB/s. Da konnte ich hier Hundekaka grad noch so ausweichen

 

[pwnbert]

Mal sehn, wenn alle Beteiligten gewisse Energiesparmaßnahmen können, passt das ja.
Geht ja nur um Idle, unter Last darf das ja bissl Strom brauchen, wenn er idle "zurückschalten" kann...

Meine Phantasie wäre, dass die Realtek 812x Chips das dann auch können (der Switch muss halt auch mitspielen).

Insofern bin ich im TrueNAS Thread dann auch eher Team Debian+Realtek als Team BSD+Legacy-Intel...


Was soll ich schon sagen, diese "schlechten" Realtek / Killer (am Asrock) Chips laufen bei mir rockstable, sogar über USB (am M12LE0).
Mag sein, dass die irgendwas nicht könnenn, Latenz und seq. Rate sind in Ordnung für meine Anwendung und preiswert und sparsam ist der Kram auch.
Also bin ich happy. Das ganze nächstes Jahr nochmal in 10 GbE und ich kann endlich mein ZFS Fusion Pool ausfahren.

 

[Weltherrscher]

Das USB-Gedöns ist aber nicht für 24/7 Maschinen gedacht...
Wenn sich der Hub mal verschluckt, ist die Netzwerkverbindung erstmal wech...

 

[pwnbert]

Hajo, bisher hälts am MC12... aber ja, eh.

 

[Da_Maddy]

Mal noch ein Einwurf, weil lustiger Zufallsfund:
Techstage hatte 2018 die Fritzbox 7580 getestet und schrieb:

Richtige Sprünge sind dann erst wieder mit 10 GBit/s LAN zu erwarten, das müssen aber dann auch die Netzwerkspeicher unterstützen. Ab wann AVM die erste Fritzbox mit 10-Gbps-Port bringen wird, ist noch nicht bekannt. Wir vermuten aber frühestens 2019, weil dann auch der nächste große WLAN-Speed-Sprung mit IEEE802.11ax am oberen Ende des WLAN-Massenmarktes von mehreren WLAN-Herstellern erwartet wird.

Quelle

AVM Fritzbox 7580 mit Fritz OS 7 im Test: Schön schnell | Heise online bestenlisten

<strong>Die Fritzbox 7580 kam zwar im August 2016 in den Handel, ist dank ordentlicher Hardware und gutem Software-Support aber immer noch topaktuell. Wir testen den Router mit dem neuen Betriebssystem Fritz OS 7. </strong> | Heise online bestenlisten

www.heise.de

Wir merken: das mit dem schnellen Netz geht echt nur langsam vorwärts....

 

[Zeitmangel]

Wow. 7580. Mit das coolste Ding was sie je gebaut haben. Wurde auch nach dem Launch 2016 sogar richtig gut, mit FritzOS 7.12, 2019
Weswegen Techstage sich das lieber erst 2018 mit 7.0 anschauen sollte...
Leider war denen anscheinend so ein Gehäuse - nur mit Vorteilen und ohne Nachteile - wohl zu teuer. Bauten lieber wieder weiter Netzwerk(funk)technik in Frühstückbrettchen ein.

Blauäugig erwartbar war das damals aber schon (Techstage). 1 Gbit ist eigentlich schon zu lahm (ja, netto) für Wifi6 und 2.5 Gbit ist zu lahm für Wifi7. Irgendwann fiel das jetzt den Volldeppen (nicht AVM, der Industrie an sich) auf die Füße.

Jetzt gibt es SoHo Wifi7 APs mit 10 Gbit die alleine soviel ziehen wie ein Router + Repeater aus der damaligen Zeit zusammen. Moderne Technologie...
Die 802er (Gruppe) des IEEE interessiert sich nunmal nen Shice für SoHo.

 

[Robocop1981]

Hallo, mir ist nach knapp 10 jahren meine mellanox con x2 mnpa19 xtr abgeraucht , nach ein neustart war plötzlich der link down und die Karte nicht mehr im Gerätemanager.
die Karte war im heim pc mit windows 11 und hatte ein link zu ein 10gbit switch mit sfp+ port
daran hängt dann genauso der "home server" mit selbiger karte.
daher glaube ich für mich es macht kein sinn auf 25 oder 40g zu wechseln da ich eh kein switch für habe

ich suche also eine neue 10g sfp+ karte, was kann man da so aktuell nehmen?
system jedenfalls win 11

con x3,
con x3 pro?

oder doch was ganz anderes mit sfp+?

es wäre tatsächlich schön wenn sie nicht so viel strom verbraucht und nicht so heis wird.

 

[sch4kal]

CX3, die kleine Singleportkarte wird auch so gut wie nicht warm und dürfte auch nicht die Welt an Strom brauchen. Alternativ CX4-Lx, die gibts hauptsächlich als 25G, kann aber auch 10G.

 

[Haldi]

es wäre tatsächlich schön wenn sie nicht so viel strom verbraucht und nicht so heis wird.

Die ConnectX 3 gibts richtig günstig gebraucht auf EBay.
Stromverbrauch dürfte ähnlich der X2 oder ein wenig tiefer sein. So 3-5W Karte alleine und ganzer PC ein wenig mehr da tiefere C-States verhindert werden.
Aber für die 20€ kann man damit leben.

Die cx4-lx hat übrigens so gut wie keinen Vorteil im Stromverbrauch.
Also schnapp dir die die günstiger ist. Sofern du nicht vor hast Direkt Verbindung mit 25gbit zu machen.

 

[Robocop1981]

Die ConnectX 3 gibts richtig günstig gebraucht auf EBay.
Stromverbrauch dürfte ähnlich der X2 oder ein wenig tiefer sein. So 3-5W Karte alleine und ganzer PC ein wenig mehr da tiefere C-States verhindert werden.
Aber für die 20€ kann man damit leben.

Die cx4-lx hat übrigens so gut wie keinen Vorteil im Stromverbrauch.
Also schnapp dir die die günstiger ist. Sofern du nicht vor hast Direkt Verbindung mit 25gbit zu machen.

hab da schonmal geschaut günstig hmm finde da eher so sachen für 59€ für ne cx311a ( wenn sie nicht aus china kommt )

 

[pwnbert]

Keine Angst vor Chinaware.

Hab zwar noch keine NICs aus China, dafür HBAs... alles 1A. Inspur kann man auch kaufen btw. (kA obs da NICs gibt)

 

[Steggi]

hab da schonmal geschaut günstig hmm finde da eher so sachen für 59€ für ne cx311a ( wenn sie nicht aus china kommt )

Ein Blick ins Nachbarland reicht oft schon, wenn du eh nicht mehr als 10G fährst, reicht auch ne Intel X520 für 13€--> https://www.ebay.de/itm/257020812666

Der Shop bietet auch eine Connect-X4 LX für 7€ an, allerdings als Mezzanine und Transceiver, die in beiden NICs funktioneren, werden einem da auch hinterhergeworfen.

 

[gCmxEygLqExC]

Schon jemand Erfahrungen mit 10 Gtek gemacht?
Insbesondere mit den 4x10g Karten?

https://www.amazon.de/gp/product/B07WFC25PT?smid=ADD8GDUWB40L7

Wie schauts da aus mit Stromverbrauch und aufteilen der einzelnen Ports unter Proxmox auf verschiedene Vms?

 

[sch4kal]

Würde ich lieber auf 25G gehen, alleine die Kühlkörper der Slots lässt tief blicken auf eine entsprechende Hitzeabgabe.
Ansonsten ist nicht der Hersteller der Karte für Durchreichespielereien entscheidend, sondern der PHY. Das ist ein Intel X(L)710, ziemlich geläufige RZ Hardware, dürfte keine Probleme machen, einzelne Ports zu VMs durchzureichen. SR-IOV wird auch unterstützt, da hatten die Intel Karten aber immer ein recht kleines Limit an maximalen VFs. (16 oder so)

 

[underclocker2k4]

Ne X710 würde ich nicht nehmen.
Und wenn, dann kann man das auch gebraucht haben.
Die HW ist auch entsprechend alt, so dass sich da was finden sollte.
Insbesondere LLDP war da ein Thema und ein paar andere Scherze.

Zum Spielen @home sicherlich OK, aber meiner Meinung nach geht das eben auch gebraucht ganz gut.
Ansonsten muss man schauen, was mit Aufteilung genau gemeint ist.
Ich kenne Proxmox nicht, aber letztendlich sind das einzelne NICs die man auf einzelne vSwitches zuordnet und daran dann die einzelnen VMs anbindet. Das ist der Standardaufbau.
Das geht eigentlich immer.
Ein direktes Durchreichen wird schwer, wegen der PCIe Root.
SR-IOV dürfte noch gehen, erhöht aber die Komplexität, genauso wie das Durchreichen.

 

[danielmayer]

10G NICs würde ich generell (nur) gebraucht nehmen, da man sie hinterhergeworfen bekommt.
PCIe-Passthrough bei quad-Karten kommt schwer darauf an, wie die Karte, Mainboard und CPU damit umgehen. Kann klappen, muss aber nicht - speziell in Consumer-Mainboards. Auch bei Enterprise-Hardware erlebt man da Überraschungen: 2x10G und 2x1G onboard, alle vier liegen unter Linux in der gleichen IOMMU-Gruppe (alles andere hat eigene ...). Damit sind auch nur alle vier entweder im Host oder alle in einer VM...
SRIOV ist zwar komplizierter mit der Einrichtung, kann dann aber eine Lösung sein. Oder die simple Methode: Brücke/Bridge...

 

[AliManali]

Wüsste ehrlich gesagt auch nicht wozu man eine NIC unbedingt durchreichen muss. Okay, für eine virtualisierte Firewall. Bin seit 2011 dabei mit ESXi, z.T. mit 2x Quad NIC. Da bin ich zum Glück auch weg von, fahre den grossen Teil getagged an. Hatte ich in meiner ganzen Laufbahn nicht einmal gemacht. Ah doch, wo ich verschiedene Firewalls getestet habe. Aber produktiv nie den Bedarf dazu gehabt.

 

[Weltherrscher]

Nicht geroutetes VLAN um wirespeed in ner ProxMox-VM zu erreichen, z.B..
Das Virtio-Gedöns in Software kommt gerade mal so auf 5..6 GBit...

 

[besterino]

Bei meinen Dual ConnectX-4 und -5 konnte ich die Ports unter ESXi immer problemlos einzeln per PCIe-passthrough durchreichen.

 

[sch4kal]

Nicht geroutetes VLAN um wirespeed in ner ProxMox-VM zu erreichen, z.B..
Das Virtio-Gedöns in Software kommt gerade mal so auf 5..6 GBit...

Dafür bietet sich eher eine openvswitch Lösung mit DPDK Unterstützung an.
Gibt zumindest auch für vSphere und HyperV entsprechende Beschleunigerkarten, geht aber auch mit aktuelleren NICs wie der X710 oder CX4 aufwärts.

 

[AliManali]

Das Virtio-Gedöns in Software kommt gerade mal so auf 5..6 GBit...

Würde meinen, dass hier der Provider zu macht. Hatte zumindest am Blech gemessen auch nicht mehr. Allerdings am ESXi mit vmx3 hier:

Hatte auch mit proxmox getestet, da hatte ich tatsächlich weniger Durchsatz als am ESXi. Auch wenn ich die NICs durchgereicht hatte. Schob es aber auf die Haswell CPU. Wollte die Firewall erst virtualisieren (auf einem separaten Gerät), aber bin nach wochenlangen Tests dann doch auf Blech gegangen. Konnte aber keinen Unterschied feststellen zwischen Blech als Client, oder vSwitch mit diversen Portgruppen und Gästen drauf.

 

[sch4kal]

Würde meinen, dass hier der Provider zu macht. Hatte zumindest am Blech gemessen auch nicht mehr. Allerdings am ESXi mit vmx3 hier:


Anhang anzeigen 1137606

Hatte auch mit proxmox getestet, da hatte ich tatsächlich weniger Durchsatz als am ESXi. Auch wenn ich die NICs durchgereicht hatte. Schob es aber auf die Haswell CPU. Wollte die Firewall erst virtualisieren (auf einem separaten Gerät), aber bin nach wochenlangen Tests dann doch auf Blech gegangen. Konnte aber keinen Unterschied feststellen zwischen Blech als Client, oder vSwitch mit diversen Portgruppen und Gästen drauf.

Da macht eher deine Hardware zu, hatte ich glaub damals schon zu dir gesagt. Mein Milan Epyc mit vSphere 8 schiebt VM mit vmxnet3->vSwitch->Mellanox CX4->Mellanox SN2010 Switch->Mellanox CX4-Lx im Windows 10 PC jedenfalls ~15,x Gbits. Mehr gibts dann natürlich mit SR-IOV und VFs in die VMs durchgereicht, da knack ich die 24,x Gbits, welche die NICs maximal her geben.

 

[Zeitmangel]

Gibt es denn SR-IOV ohne VF?