[Sammelthread] 10Gbit Homenetzwerk

[mrpasc]

Das liegt nicht am Board -Chipsatz sondern an den verfügbaren USB zu Ethernet Chipset. Da gibt es nur einen einzigen von ehemals Aquantia (jetzt Marvell) und der basiert auf USB3 Gen1, also 5GBit. Da kann effektiv nicht viel mehr als 3,3GBit mit all dem Overhead rauskommen.
Siehe auch https://www.servethehome.com/usb-3-1-gen1-to-5gbe-network-adapter-guide/

 

[AssassinWarlord]

Servus, vieleicht weiß einer hier weiter... hab in einem Windows 11 PC mit einem i5-12600 nonK eine Mellanox x3 Pro EN Karte drin, und in einem MS Server 2022 Std auf einem Fujitsu RX2560 M5 Server mit zwei Xeon Silver 4208 CPUs eine Delock 10G SFP+ karte mit Intel 82599 chip (x520). Beide systeme haben jeweils 4 NVMe SSDs 1TB (WD Red) im "Raid10" über Storage Space. zum testen erstmal eine Crossover verbindung aufgebaut mit einem 2m SFP+ DAC Kabel (Ubiquiti), JumboFrames sind aktiviert.
10G sind auch aktiv, mittels iPerf bekomme ich auch 9,9Gbits und manchmal sogar 10.1Gbs zustande - aber wenn ich jetzt ein 200GB Image über das Netzwerk kopiere erreiche ich über den Windows Explorer nur lausige 250-300MB/s. CPUs auf beiden Rechnern/Servern langweilen sich. Hab auch schon im Bios alle CPU C states deaktiviert und auf max turbo boost gestellt.

Am Storage wirds auch nicht liegen, da ich das 200GB Testfile mit etwas über 2GByte/s auf sich selbst schreiben lassen kann.
nur warum geht das über das Netzwerk so arsch lahm? Hab auch schon mit iSCSI rumprobiert - nix. bleibt langsam.

was limitiert hier?

 

[MisterY]

welches Protokoll? SMB? das ist single threaded. versuch mal NFS.

Wird geroutet?

 

[Trambahner]

Evtl. hilft das weiter:

- Check auf genutzte SMB-Protokollverison. SMB1 z.B. limitiert da in Windows (falls das aus welchen Gründen genützt würde) . was aber nicht
- Jumbopakete bei 10G anschalten wenn immer es geht. Sprich MTU auf 9000.
- Windows benötigt je nach Karte/Treiber teilw. Tweaks bei den Transfer/Receive-Puffern und RSS-Windows bei 10G.
- Storage Spaces wurde auch am Client getestet auf Durchsatz?
- Shared PCIe-Lines im Einsatz oder Engpass über den Chipsatz mit der 10G-Karte und Storage gleichzeitig?

 

[hominidae]

Jumbopakete bei 10G anschalten wenn immer es geht. Sprich MTU auf 9000.

Ich komme auf die 10Gbps auch ohne Jumbo Frames. Ich halte das für ein Märchen, das es bei 10G ein Muss sein soll.

 

[Donald24]

Ich komme auf die 10Gbps auch ohne Jumbo Frames. Ich halte das für ein Märchen, das es bei 10G ein Muss sein soll.

Und es ist Glückssache, ob die beiden Werte herstellerunabhängig korellieren.... Ich hatte da schon Engpässe, weil jeder Hersteller meint die Brutto/Netto-Frame-MTU im Treiber anders zu berechnen...

 

[oNyX`]

Servus, vieleicht weiß einer hier weiter... hab in einem Windows 11 PC mit einem i5-12600 nonK eine Mellanox x3 Pro EN Karte drin, und in einem MS Server 2022 Std auf einem Fujitsu RX2560 M5 Server mit zwei Xeon Silver 4208 CPUs eine Delock 10G SFP+ karte mit Intel 82599 chip (x520). Beide systeme haben jeweils 4 NVMe SSDs 1TB (WD Red) im "Raid10" über Storage Space. zum testen erstmal eine Crossover verbindung aufgebaut mit einem 2m SFP+ DAC Kabel (Ubiquiti), JumboFrames sind aktiviert.
10G sind auch aktiv, mittels iPerf bekomme ich auch 9,9Gbits und manchmal sogar 10.1Gbs zustande - aber wenn ich jetzt ein 200GB Image über das Netzwerk kopiere erreiche ich über den Windows Explorer nur lausige 250-300MB/s. CPUs auf beiden Rechnern/Servern langweilen sich. Hab auch schon im Bios alle CPU C states deaktiviert und auf max turbo boost gestellt.

Am Storage wirds auch nicht liegen, da ich das 200GB Testfile mit etwas über 2GByte/s auf sich selbst schreiben lassen kann.
nur warum geht das über das Netzwerk so arsch lahm? Hab auch schon mit iSCSI rumprobiert - nix. bleibt langsam.

was limitiert hier?

Da du Windows bei der Intel Nic einsetzt.

Erweiterte Treibereinstellungen für Intel®...

Beschreibt erweiterte Tab-Einstellungen für Intel® 10-Gigabit-Server-Adapter-Eigenschaften im Windows Geräte-Manager *.

www.intel.de

Check mal

Reduce Interrupt Moderation Rate to Low, Minimal, or Off: Also known as Interrupt Throttle Rate (ITR). The default is Adaptive for most roles. The low latency profile sets the rate to off. The storage profiles set the rate to medium.

Note	Decreasing Interrupt Moderation Rate increases CPU utilization.

Bei den Windows Treibern auf disabled stellen.

 

[AssassinWarlord]

Interruption deaktivieren hatte ich auch schon probiert - ohne erfolg.
Als Protokoll hatte ich SMB v3 genutzt, nix geroutet da in der Testumgebung ja mit einem DAC kabel eine Punkt zu Punkt verbindung aufgebaut wurde (Crossover sozusagen)
Jumboframes hatte ich auch schon probiert, erfolglos.
StorageSpace gebencht - ist mehr als Schnell. Wie gesagt, das Kopieren der Testdatei auf dem jeweiligen Server selbst geht sehr schnell (also vom Storage lesen und aufs selbe schreiben)
Mir scheint, als wenn der Windows Explorer damit nicht klar kommt, Robocopy mit dem /j befehl ändert aber auch nix, bleibt langsam

 

[MisterY]

Hast du Mal NFS oder FTP getestet? Oder rsync?

SMB und Windows macht manchmal komische Sachen...

 

[AssassinWarlord]

Es ist kein Linux drauf, beides sind Windows kisten und wird auch so bleiben wegen HyperV.
Ich könnte höhstens bei beiden mal ein Linux über eine andere SSD starten und damit versuchen zu kopieren - aber das nützt mir letztenendes recht wenig, da ich es ja unter Windows brauche

 

[BobbyD]

nur lausige 250-300MB/s.

Ist das gemittelt oder ist es ein Auf und Ab? Letzteres kenne ich nur zu gut.

 

[MisterY]

Was kann Hyper-V besser als Proxmox bzw. KVM, dass es sich lohnt €€€ an Lizenzgebühren zu zahlen, eine geringere Unterstützung zu haben, Konfigurationsprobleme zu schaffen und sich eine Datenkrake ins Haus zu holen?


Ich habe mit Proxmox Out of the Box über 950 MB/s pro Richtung.

 

[AssassinWarlord]

S2D, Failover Clustering, LiveMigration auf ein neuen Server welcher nicht im Cluster hängt, einfache aber dennoch sehr gute Backup Lösungen wie Altaro, VMs können notfalls auch auf einem x beliebigen Windows Rechner hochgefahren werden oder man kann in die VHDX Container out of the box reinschauen,...
Und Datenkrake - dafür gibts BlockAll regeln in der Firewall sowie nicht geroutete Management und Cluster VLANs.
Zumal HyperV kostenlos dabei ist bzw. genutzt werden kann wenn die Guest VMs eh alle Windows Server sind (Datacenter Lizenz)


die 250MB/s schwanken, mal langsamer also auf 100MB/s runter, mal etwas hoch auf ca 350MB/s

 

[BobbyD]

die 250MB/s schwanken, mal langsamer also auf 100MB/s runter, mal etwas hoch auf ca 350MB/s

Bei mir gab es immer die "Kinderschokolade":

Aber eine Lösung dafür habe ich nie gefunden.

 

[Shihatsu]

Öhm, mit Verlaub, das alles kann ein proxmox Cluster auch - manches besser, manches schlechter als die Windows Lösung. Aber Windows Server wenn man nicht MUSS? Urgs...

 

[Strikeeagle1977]

Ich könnte höhstens bei beiden mal ein Linux über eine andere SSD starten und damit versuchen zu kopieren - aber das nützt mir letztenendes recht wenig, da ich es ja unter Windows brauche

In der Praxis hilft es dir erst einmal nichts, aber du könntest damit schon mal die Hardware und ggf Karteninterne Einstellungen, Configs als Ursache ausschließen.
Das würde den Kreis der Möglichkeiten zumindest einschränken, wo man das Stellrad suchen muss.

Was kann Hyper-V besser als Proxmox bzw. KVM, dass es sich lohnt €€€ an Lizenzgebühren zu zahlen, eine geringere Unterstützung zu haben, Konfigurationsprobleme zu schaffen und sich eine Datenkrake ins Haus zu holen?
Ich habe mit Proxmox Out of the Box über 950 MB/s pro Richtung.

An sich gebe ich Dir Recht, aber bei Problem X und als Begründung für Zustand Y darauf zu verweisen, dass der User seine OS-Umgebung ändern soll, finde ich das jetzt nicht unbedingt eine hilfreiche Problemlösung.
Wenn ich mit nem Problem am BMW ins BMW Autohaus fahre, kann auch nicht die Lösung sein, sich nen VW, Opel, Kia, Hyundai, Toyota zu kaufen, egal ob der Wagen mehr fürs Geld bietet und/oder der weniger verbraucht.

 

[AssassinWarlord]

Spätestens bei den GuestVMs ist man bei vielen Maschinenherstellern "gezwungen" Windows OS einzusetzen weil auch die Serveranwendungen von denen nur auf MS Software programmiert ist...auch wenn man den Komfort von Outlook und Exchange haben möchte aber alles OnPrem betreibt.
Und da man halt schon einige Schulungen für MS Server mitgemacht hat, und eigentlich eh alle VMs Windows Server sind - kann man ja auch HyperV als hyperVisor nutzen...Letztenenedes muss es doch jeder selber für sich entscheiden was man als OS oder hypervisor nutzt, womit man halt am besten fährt, und womit die meisten Admins in der jeweiligen firma erfahrungen haben

 

[Shihatsu]

Ja, genau das ist halt das Problem: Man hat die Schulungen, man glaubt das das alles nur auf Windows läuft, und bleibt dann dabei. Kann ich verstehen. Woran ich mich gestoßen habe war halt eine ursprüngliche technische Begründung, die so einfach nicht richtig war bzw. ist. Auch der Hinweis von @Strikeeagle1977 ist natürlich richtig, will hier keine Problemstellung derailen - sorry dafür!

 

[AssassinWarlord]

Sicherlich würde einiges auch auf Linux laufen, aber gerade bei Produktionsmaschinen oder Wäägetechnik - die sind froh das ihre Software überhaupt auf Windows 7 läuft was frisch aus Dos zeiten portiert wurde...gibt leider viele solche Firmen die zwar gute Maschinen bauen, aber die Software dazu eben erhebliche mängel hat...nur gibts da keine konkurenz zu einigen Anlagen, oder die konkurenz hängt genauso hinterher. Und die meisten davon haben von Linux nie was gehört...in einigen Bereichen ist man also auf Windows angewiesen wenn man Support haben möchte

 

[besterino]

Nicht zu vergessen der ganze AD-Krempel, Rechtemanagement & Co. Da ist man im Zweifel froh, wenn das aus einem Guss ist.

 

[Strikeeagle1977]

die sind froh das ihre Software überhaupt auf Windows 7 läuft was frisch aus Dos zeiten portiert wurde

bei ner Dos Emulation unter Linux sehe ich aber noch weniger Probleme, außer eben Netzwerkunterstützung und Filesystemgrenzen ...
Aber klar, wenn Win die Vorgabe ist, dann geht an Win nichts vorbei. Punkt. Es gibt immer Besseres für jeden Anwendungsfall, aber Vieles drumherum lässt sich nur schwerlich ändern.

 

[pumuckel]

Servus, vieleicht weiß einer hier weiter... hab in einem Windows 11 PC mit einem i5-12600 nonK eine Mellanox x3 Pro EN Karte drin, und in einem MS Server 2022 Std auf einem Fujitsu RX2560 M5 Server mit zwei Xeon Silver 4208 CPUs eine Delock 10G SFP+ karte mit Intel 82599 chip (x520). Beide systeme haben jeweils 4 NVMe SSDs 1TB (WD Red) im "Raid10" über Storage Space.

sehe ich richtig das du die nic über den Chipsatz laufen lässt und bei storage spaces 1 cpu angebundene NVMe mit 3 per Chipsatz angebunden NVMe mischst beim Client (12600)?

Lass mal spaßeshalber iperf laufen während du innerhalb des storage space umkopierst

 

[plagestonecold]

Hallo Zusammen,


Ich würde evtl. gerne eine 10Gbit Verbindung vorerst nur zwischen meinem PC und meinem NAS herstellen.

Der PC steht im Dachgeschoss und das NAS (Synology DS1819+) im Keller (3 Stockwerke Unterschied).
Aktuell hätte ich als Switch mit 2 SFP+ Ports die UDM Pro (Unifi Dream Machine Pro).

Was ich bisher verstanden habe ist, dass es zwar am einfachsten wäre, das Ganze über Kupfer zu realisieren, was aber auch mehr Strom verbrauchen würde.
Zudem sind die Kupfer 10Gbit Karten und Transreceiver wohl auch nicht ganz billig, oder?


Evtl. wäre es dann besser, auf LwL zu setzen, sofern ich das umsetzen kann.
Aber hierbei ist auch die Frage, welche Komponenten ich dann brauche?

• am PC brauche ich eine entsprechende Netzwerkkarte inkl. Transreceiver
• das Kabel vom PC zum Switch muss dann ca. 30m - 40m lang sein
• am Switch werden zwei Module für die SFP+ Ports gebraucht
• für das Synology NAS brauche ich eine entsprechende Netzwerkkarte inkl. Transreceiver
• und das Kabel vom Switch zum NAS müsste dann so 2 - 3m lang sein

Ich steige bei verschiedenen Dingen noch nicht wirklich durch (welche Karte mit welchem Transreceiver harmoniert, worauf man beim Kabel achten muss, etc.), daher hoffe ich, dass mir hier jmd. weiterhelfen kann.



Vielen Dank und viele Grüße

 

[Strikeeagle1977]

nur kurz:

SFP+: Super!
Wenn Kabel neu gelegt werden muss, und LWL möglich ist, jederzeit gegenüber Kupfer vorzuziehen.
Für kurze Strecken benötigt man keine Transreciever im SFP+ port, sondern kann auch DAC Kabel nehmen (Switch - NAS in deinem Fall)
DAC (nur zur Vorstellung) ist wie LWL mit festverbundenem Transreciever auf beiden Seiten.

Transrecierver sind an sich recht günstig zu bekommen, wenn man auf LWL setzt, Transreciever, die auf Kupfer (RJ45Port) setzen, fressen recht viel Strom bei einer 24/7 Lösung.
... und man hat ja immer 2 Transreciever pro Verbindung zum Switch.

Ich hatte bei mir ähnliches Szenario.

PC, Switch mit 2x SFP+ und ein NAS

NAS liefert max Datenrate von ca 4-5Gbit/s
PC hat nur 2,5Gbit/s (Realtek) Anbindung onboard.

Aktuelle Lösung mit 1Gbit war mir zu langsam

PC-12m-Switch-2m-NAS.

 

[hominidae]

Aktuell hätte ich als Switch mit 2 SFP+ Ports die UDM Pro (Unifi Dream Machine Pro).

[...]

• am Switch werden zwei Module für die SFP+ Ports gebraucht

...soweit ich weiss ist ein SFP+ der UDM exklusiv für WAN und nur ein SFP+ für LAN....also brauchst Du noch nen "richtigen" Switch.

 

[underclocker2k4]

DAC (nur zur Vorstellung) ist wie LWL mit festverbundenem Transreciever auf beiden Seiten.

Das wäre ein AOC.

10G SFP+ AOC, SFP+ auf SFP+ AOC-Kabel | Active Optical Cable - FS Deutschland

FS 10G SFP+ auf SFP+ AOC-Kabel für 40G-Ethernet-Anwendungen. Erhältlich in Standardlängen von 1m bis 30m und kundenspezifischen Optionen, falls erforderlich. Es ist ein integriertes Kabel mit hoher Leistung und geringem Stromverbrauch, ideal für die Multi-Lane-Datenkommunikation über kurze...

www.fs.com

Die Analogie DAC wäre eher ein normales Kupferpatchkabel, wo man sich einfach die (Kupfer)SFPs spart.
Praktisch sind das twinaxiale Kabel, die eben el. anders funktionieren als die normalen twisted pair (aus z.B. den Patchkabeln) und damit ohne besondere Modulation die Verbindung ermöglich, aber eben mit der Längenbegrenzung.

Auch SATA oder SAS Kabel sind twinaxiale Kabel.

 

[plagestonecold]

...soweit ich weiss ist ein SFP+ der UDM exklusiv für WAN und nur ein SFP+ für LAN....also brauchst Du noch nen "richtigen" Switch.

Hi,


in der aktuellen Version 7.2.92 kann ich den 10. und 11. Port (die beiden SFP+ Ports) als LAN Ports konfigurieren:

Das wäre ein AOC.

10G SFP+ AOC, SFP+ auf SFP+ AOC-Kabel | Active Optical Cable - FS Deutschland

FS 10G SFP+ auf SFP+ AOC-Kabel für 40G-Ethernet-Anwendungen. Erhältlich in Standardlängen von 1m bis 30m und kundenspezifischen Optionen, falls erforderlich. Es ist ein integriertes Kabel mit hoher Leistung und geringem Stromverbrauch, ideal für die Multi-Lane-Datenkommunikation über kurze...

www.fs.com

Die Analogie DAC wäre eher ein normales Kupferpatchkabel, wo man sich einfach die (Kupfer)SFPs spart.
Praktisch sind das twinaxiale Kabel, die eben el. anders funktionieren als die normalen twisted pair (aus z.B. den Patchkabeln) und damit ohne besondere Modulation die Verbindung ermöglich, aber eben mit der Längenbegrenzung.

Auch SATA oder SAS Kabel sind twinaxiale Kabel.

Diese AOC Kabel sehen doch schon mal sehr gut aus.
Nun ist aber die Frage, auf welche Kompatiblität ich setzen soll?

Der Switch ist ja die UDM Pro und ich könnte bei den Kabeln auch Unifi auswählen, aber wie sieht es dann bei den Netzwerkkarten aus?
1) Welche sollte ich am besten nehmen für PC und Synology NAS und 2) wie sieht es da mit der Kompatiblität aus?

 

[Strikeeagle1977]

Die Analogie DAC wäre eher ein normales Kupferpatchkabel

Du hast sowas von Recht! DAC isz ein Kupferkabel für Direktverbindungen von 2 SFP+ Ports, umgeht aber dabei den Nachteil der Transreciever für Kupfer, die extrem Strom fresen

 

[freeman303]

Von Metz-Connect gibt es die Produktlinien: „C6Amodul“ und das „C6Amodul K“.

Beide sind zueinander nicht kompatibel.

Wer benutzt von Euch Metz-Connect Produkte für die Vernetzung und welche Produktlinie von den beiden oben genannten nutzt ihr?

 

[Strikeeagle1977]

Wer benutzt von Euch Metz-Connect Produkte für die Vernetzung

nutze nur deren RJ45 Patchkabel und bin vollkommen zufrieden seit Jahren.