[Sammelthread] 10Gbit Homenetzwerk

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

AssassinWarlord

Moderator
Hardwareluxx Team
Mitglied seit
28.08.2004
Beiträge
3.710
Ort
Radeberg (Bierstadt)
Servus, vieleicht weiß einer hier weiter... hab in einem Windows 11 PC mit einem i5-12600 nonK eine Mellanox x3 Pro EN Karte drin, und in einem MS Server 2022 Std auf einem Fujitsu RX2560 M5 Server mit zwei Xeon Silver 4208 CPUs eine Delock 10G SFP+ karte mit Intel 82599 chip (x520). Beide systeme haben jeweils 4 NVMe SSDs 1TB (WD Red) im "Raid10" über Storage Space. zum testen erstmal eine Crossover verbindung aufgebaut mit einem 2m SFP+ DAC Kabel (Ubiquiti), JumboFrames sind aktiviert.
10G sind auch aktiv, mittels iPerf bekomme ich auch 9,9Gbits und manchmal sogar 10.1Gbs zustande - aber wenn ich jetzt ein 200GB Image über das Netzwerk kopiere erreiche ich über den Windows Explorer nur lausige 250-300MB/s. CPUs auf beiden Rechnern/Servern langweilen sich. Hab auch schon im Bios alle CPU C states deaktiviert und auf max turbo boost gestellt.

Am Storage wirds auch nicht liegen, da ich das 200GB Testfile mit etwas über 2GByte/s auf sich selbst schreiben lassen kann.
nur warum geht das über das Netzwerk so arsch lahm? Hab auch schon mit iSCSI rumprobiert - nix. bleibt langsam.

was limitiert hier?
 

MisterY

Enthusiast
Mitglied seit
17.03.2007
Beiträge
2.456
welches Protokoll? SMB? das ist single threaded. versuch mal NFS.

Wird geroutet?
 

Trambahner

Experte
Mitglied seit
14.08.2014
Beiträge
2.474
Ort
Serverraum
Evtl. hilft das weiter:

- Check auf genutzte SMB-Protokollverison. SMB1 z.B. limitiert da in Windows (falls das aus welchen Gründen genützt würde) . was aber nicht
- Jumbopakete bei 10G anschalten wenn immer es geht. Sprich MTU auf 9000.
- Windows benötigt je nach Karte/Treiber teilw. Tweaks bei den Transfer/Receive-Puffern und RSS-Windows bei 10G.
- Storage Spaces wurde auch am Client getestet auf Durchsatz?
- Shared PCIe-Lines im Einsatz oder Engpass über den Chipsatz mit der 10G-Karte und Storage gleichzeitig?
 

oNyX`

Urgestein
Mitglied seit
21.06.2006
Beiträge
2.163
Servus, vieleicht weiß einer hier weiter... hab in einem Windows 11 PC mit einem i5-12600 nonK eine Mellanox x3 Pro EN Karte drin, und in einem MS Server 2022 Std auf einem Fujitsu RX2560 M5 Server mit zwei Xeon Silver 4208 CPUs eine Delock 10G SFP+ karte mit Intel 82599 chip (x520). Beide systeme haben jeweils 4 NVMe SSDs 1TB (WD Red) im "Raid10" über Storage Space. zum testen erstmal eine Crossover verbindung aufgebaut mit einem 2m SFP+ DAC Kabel (Ubiquiti), JumboFrames sind aktiviert.
10G sind auch aktiv, mittels iPerf bekomme ich auch 9,9Gbits und manchmal sogar 10.1Gbs zustande - aber wenn ich jetzt ein 200GB Image über das Netzwerk kopiere erreiche ich über den Windows Explorer nur lausige 250-300MB/s. CPUs auf beiden Rechnern/Servern langweilen sich. Hab auch schon im Bios alle CPU C states deaktiviert und auf max turbo boost gestellt.

Am Storage wirds auch nicht liegen, da ich das 200GB Testfile mit etwas über 2GByte/s auf sich selbst schreiben lassen kann.
nur warum geht das über das Netzwerk so arsch lahm? Hab auch schon mit iSCSI rumprobiert - nix. bleibt langsam.

was limitiert hier?
Da du Windows bei der Intel Nic einsetzt.


Check mal

Reduce Interrupt Moderation Rate to Low, Minimal, or Off: Also known as Interrupt Throttle Rate (ITR). The default is Adaptive for most roles. The low latency profile sets the rate to off. The storage profiles set the rate to medium.

NoteDecreasing Interrupt Moderation Rate increases CPU utilization.

Bei den Windows Treibern auf disabled stellen.
 

AssassinWarlord

Moderator
Hardwareluxx Team
Mitglied seit
28.08.2004
Beiträge
3.710
Ort
Radeberg (Bierstadt)
Interruption deaktivieren hatte ich auch schon probiert - ohne erfolg.
Als Protokoll hatte ich SMB v3 genutzt, nix geroutet da in der Testumgebung ja mit einem DAC kabel eine Punkt zu Punkt verbindung aufgebaut wurde (Crossover sozusagen)
Jumboframes hatte ich auch schon probiert, erfolglos.
StorageSpace gebencht - ist mehr als Schnell. Wie gesagt, das Kopieren der Testdatei auf dem jeweiligen Server selbst geht sehr schnell (also vom Storage lesen und aufs selbe schreiben)
Mir scheint, als wenn der Windows Explorer damit nicht klar kommt, Robocopy mit dem /j befehl ändert aber auch nix, bleibt langsam :(
 

MisterY

Enthusiast
Mitglied seit
17.03.2007
Beiträge
2.456
Hast du Mal NFS oder FTP getestet? Oder rsync?

SMB und Windows macht manchmal komische Sachen...
 

AssassinWarlord

Moderator
Hardwareluxx Team
Mitglied seit
28.08.2004
Beiträge
3.710
Ort
Radeberg (Bierstadt)
Es ist kein Linux drauf, beides sind Windows kisten und wird auch so bleiben wegen HyperV.
Ich könnte höhstens bei beiden mal ein Linux über eine andere SSD starten und damit versuchen zu kopieren - aber das nützt mir letztenendes recht wenig, da ich es ja unter Windows brauche
 

MisterY

Enthusiast
Mitglied seit
17.03.2007
Beiträge
2.456
Was kann Hyper-V besser als Proxmox bzw. KVM, dass es sich lohnt €€€ an Lizenzgebühren zu zahlen, eine geringere Unterstützung zu haben, Konfigurationsprobleme zu schaffen und sich eine Datenkrake ins Haus zu holen?


Ich habe mit Proxmox Out of the Box über 950 MB/s pro Richtung.
 

AssassinWarlord

Moderator
Hardwareluxx Team
Mitglied seit
28.08.2004
Beiträge
3.710
Ort
Radeberg (Bierstadt)
S2D, Failover Clustering, LiveMigration auf ein neuen Server welcher nicht im Cluster hängt, einfache aber dennoch sehr gute Backup Lösungen wie Altaro, VMs können notfalls auch auf einem x beliebigen Windows Rechner hochgefahren werden oder man kann in die VHDX Container out of the box reinschauen,...
Und Datenkrake - dafür gibts BlockAll regeln in der Firewall sowie nicht geroutete Management und Cluster VLANs.
Zumal HyperV kostenlos dabei ist bzw. genutzt werden kann wenn die Guest VMs eh alle Windows Server sind (Datacenter Lizenz)


die 250MB/s schwanken, mal langsamer also auf 100MB/s runter, mal etwas hoch auf ca 350MB/s
 
Zuletzt bearbeitet:

BobbyD

Einsteiger
Mitglied seit
31.07.2022
Beiträge
75
die 250MB/s schwanken, mal langsamer also auf 100MB/s runter, mal etwas hoch auf ca 350MB/s
Bei mir gab es immer die "Kinderschokolade":
fghfg.png

Aber eine Lösung dafür habe ich nie gefunden.
 

Shihatsu

Urgestein
Mitglied seit
16.08.2005
Beiträge
3.686
Öhm, mit Verlaub, das alles kann ein proxmox Cluster auch - manches besser, manches schlechter als die Windows Lösung. Aber Windows Server wenn man nicht MUSS? Urgs...
 

Strikeeagle1977

Experte
Mitglied seit
02.09.2019
Beiträge
2.983
Ort
42xxx, wo die U-Bahn an der Decke hängt
Ich könnte höhstens bei beiden mal ein Linux über eine andere SSD starten und damit versuchen zu kopieren - aber das nützt mir letztenendes recht wenig, da ich es ja unter Windows brauche
In der Praxis hilft es dir erst einmal nichts, aber du könntest damit schon mal die Hardware und ggf Karteninterne Einstellungen, Configs als Ursache ausschließen.
Das würde den Kreis der Möglichkeiten zumindest einschränken, wo man das Stellrad suchen muss.

Was kann Hyper-V besser als Proxmox bzw. KVM, dass es sich lohnt €€€ an Lizenzgebühren zu zahlen, eine geringere Unterstützung zu haben, Konfigurationsprobleme zu schaffen und sich eine Datenkrake ins Haus zu holen?
Ich habe mit Proxmox Out of the Box über 950 MB/s pro Richtung.

An sich gebe ich Dir Recht, aber bei Problem X und als Begründung für Zustand Y darauf zu verweisen, dass der User seine OS-Umgebung ändern soll, finde ich das jetzt nicht unbedingt eine hilfreiche Problemlösung.
Wenn ich mit nem Problem am BMW ins BMW Autohaus fahre, kann auch nicht die Lösung sein, sich nen VW, Opel, Kia, Hyundai, Toyota zu kaufen, egal ob der Wagen mehr fürs Geld bietet und/oder der weniger verbraucht.
 

AssassinWarlord

Moderator
Hardwareluxx Team
Mitglied seit
28.08.2004
Beiträge
3.710
Ort
Radeberg (Bierstadt)
Spätestens bei den GuestVMs ist man bei vielen Maschinenherstellern "gezwungen" Windows OS einzusetzen weil auch die Serveranwendungen von denen nur auf MS Software programmiert ist...auch wenn man den Komfort von Outlook und Exchange haben möchte aber alles OnPrem betreibt.
Und da man halt schon einige Schulungen für MS Server mitgemacht hat, und eigentlich eh alle VMs Windows Server sind - kann man ja auch HyperV als hyperVisor nutzen...Letztenenedes muss es doch jeder selber für sich entscheiden was man als OS oder hypervisor nutzt, womit man halt am besten fährt, und womit die meisten Admins in der jeweiligen firma erfahrungen haben
 

Shihatsu

Urgestein
Mitglied seit
16.08.2005
Beiträge
3.686
Ja, genau das ist halt das Problem: Man hat die Schulungen, man glaubt das das alles nur auf Windows läuft, und bleibt dann dabei. Kann ich verstehen. Woran ich mich gestoßen habe war halt eine ursprüngliche technische Begründung, die so einfach nicht richtig war bzw. ist. Auch der Hinweis von @Strikeeagle1977 ist natürlich richtig, will hier keine Problemstellung derailen - sorry dafür!
 

AssassinWarlord

Moderator
Hardwareluxx Team
Mitglied seit
28.08.2004
Beiträge
3.710
Ort
Radeberg (Bierstadt)
Sicherlich würde einiges auch auf Linux laufen, aber gerade bei Produktionsmaschinen oder Wäägetechnik - die sind froh das ihre Software überhaupt auf Windows 7 läuft was frisch aus Dos zeiten portiert wurde...gibt leider viele solche Firmen die zwar gute Maschinen bauen, aber die Software dazu eben erhebliche mängel hat...nur gibts da keine konkurenz zu einigen Anlagen, oder die konkurenz hängt genauso hinterher. Und die meisten davon haben von Linux nie was gehört...in einigen Bereichen ist man also auf Windows angewiesen wenn man Support haben möchte
 

besterino

Urgestein
Mitglied seit
31.05.2010
Beiträge
6.073
Ort
Wo mein Daddel-PC steht
Nicht zu vergessen der ganze AD-Krempel, Rechtemanagement & Co. Da ist man im Zweifel froh, wenn das aus einem Guss ist.
 

Strikeeagle1977

Experte
Mitglied seit
02.09.2019
Beiträge
2.983
Ort
42xxx, wo die U-Bahn an der Decke hängt
die sind froh das ihre Software überhaupt auf Windows 7 läuft was frisch aus Dos zeiten portiert wurde
bei ner Dos Emulation unter Linux sehe ich aber noch weniger Probleme, außer eben Netzwerkunterstützung und Filesystemgrenzen ...
Aber klar, wenn Win die Vorgabe ist, dann geht an Win nichts vorbei. Punkt. Es gibt immer Besseres für jeden Anwendungsfall, aber Vieles drumherum lässt sich nur schwerlich ändern.
 

pumuckel

Enthusiast
Mitglied seit
13.12.2002
Beiträge
7.703
Ort
Bayern
Servus, vieleicht weiß einer hier weiter... hab in einem Windows 11 PC mit einem i5-12600 nonK eine Mellanox x3 Pro EN Karte drin, und in einem MS Server 2022 Std auf einem Fujitsu RX2560 M5 Server mit zwei Xeon Silver 4208 CPUs eine Delock 10G SFP+ karte mit Intel 82599 chip (x520). Beide systeme haben jeweils 4 NVMe SSDs 1TB (WD Red) im "Raid10" über Storage Space.

sehe ich richtig das du die nic über den Chipsatz laufen lässt und bei storage spaces 1 cpu angebundene NVMe mit 3 per Chipsatz angebunden NVMe mischst beim Client (12600)?

Lass mal spaßeshalber iperf laufen während du innerhalb des storage space umkopierst
 
Zuletzt bearbeitet:

plagestonecold

Enthusiast
Mitglied seit
24.01.2006
Beiträge
4.600
Ort
Homburg
Hallo Zusammen,


Ich würde evtl. gerne eine 10Gbit Verbindung vorerst nur zwischen meinem PC und meinem NAS herstellen.

Der PC steht im Dachgeschoss und das NAS (Synology DS1819+) im Keller (3 Stockwerke Unterschied).
Aktuell hätte ich als Switch mit 2 SFP+ Ports die UDM Pro (Unifi Dream Machine Pro).

Was ich bisher verstanden habe ist, dass es zwar am einfachsten wäre, das Ganze über Kupfer zu realisieren, was aber auch mehr Strom verbrauchen würde.
Zudem sind die Kupfer 10Gbit Karten und Transreceiver wohl auch nicht ganz billig, oder?


Evtl. wäre es dann besser, auf LwL zu setzen, sofern ich das umsetzen kann.
Aber hierbei ist auch die Frage, welche Komponenten ich dann brauche?

  • am PC brauche ich eine entsprechende Netzwerkkarte inkl. Transreceiver
  • das Kabel vom PC zum Switch muss dann ca. 30m - 40m lang sein
  • am Switch werden zwei Module für die SFP+ Ports gebraucht
  • für das Synology NAS brauche ich eine entsprechende Netzwerkkarte inkl. Transreceiver
  • und das Kabel vom Switch zum NAS müsste dann so 2 - 3m lang sein
Ich steige bei verschiedenen Dingen noch nicht wirklich durch (welche Karte mit welchem Transreceiver harmoniert, worauf man beim Kabel achten muss, etc.), daher hoffe ich, dass mir hier jmd. weiterhelfen kann.



Vielen Dank und viele Grüße
 

Strikeeagle1977

Experte
Mitglied seit
02.09.2019
Beiträge
2.983
Ort
42xxx, wo die U-Bahn an der Decke hängt
nur kurz:

SFP+: Super!
Wenn Kabel neu gelegt werden muss, und LWL möglich ist, jederzeit gegenüber Kupfer vorzuziehen.
Für kurze Strecken benötigt man keine Transreciever im SFP+ port, sondern kann auch DAC Kabel nehmen (Switch - NAS in deinem Fall)
DAC (nur zur Vorstellung) ist wie LWL mit festverbundenem Transreciever auf beiden Seiten.

Transrecierver sind an sich recht günstig zu bekommen, wenn man auf LWL setzt, Transreciever, die auf Kupfer (RJ45Port) setzen, fressen recht viel Strom bei einer 24/7 Lösung.
... und man hat ja immer 2 Transreciever pro Verbindung zum Switch.

Ich hatte bei mir ähnliches Szenario.

PC, Switch mit 2x SFP+ und ein NAS

NAS liefert max Datenrate von ca 4-5Gbit/s
PC hat nur 2,5Gbit/s (Realtek) Anbindung onboard.

Aktuelle Lösung mit 1Gbit war mir zu langsam

PC-12m-Switch-2m-NAS.
 

hominidae

Urgestein
Mitglied seit
23.10.2011
Beiträge
3.814
Aktuell hätte ich als Switch mit 2 SFP+ Ports die UDM Pro (Unifi Dream Machine Pro).

[...]
  • am Switch werden zwei Module für die SFP+ Ports gebraucht
...soweit ich weiss ist ein SFP+ der UDM exklusiv für WAN und nur ein SFP+ für LAN....also brauchst Du noch nen "richtigen" Switch.
 

underclocker2k4

Mr. Alzheimer
Mitglied seit
01.11.2004
Beiträge
20.936
Ort
Bärlin
DAC (nur zur Vorstellung) ist wie LWL mit festverbundenem Transreciever auf beiden Seiten.
Das wäre ein AOC.

Die Analogie DAC wäre eher ein normales Kupferpatchkabel, wo man sich einfach die (Kupfer)SFPs spart.
Praktisch sind das twinaxiale Kabel, die eben el. anders funktionieren als die normalen twisted pair (aus z.B. den Patchkabeln) und damit ohne besondere Modulation die Verbindung ermöglich, aber eben mit der Längenbegrenzung.

Auch SATA oder SAS Kabel sind twinaxiale Kabel.
 

plagestonecold

Enthusiast
Mitglied seit
24.01.2006
Beiträge
4.600
Ort
Homburg
...soweit ich weiss ist ein SFP+ der UDM exklusiv für WAN und nur ein SFP+ für LAN....also brauchst Du noch nen "richtigen" Switch.

Hi,


in der aktuellen Version 7.2.92 kann ich den 10. und 11. Port (die beiden SFP+ Ports) als LAN Ports konfigurieren:


1660417480848.png





Das wäre ein AOC.

Die Analogie DAC wäre eher ein normales Kupferpatchkabel, wo man sich einfach die (Kupfer)SFPs spart.
Praktisch sind das twinaxiale Kabel, die eben el. anders funktionieren als die normalen twisted pair (aus z.B. den Patchkabeln) und damit ohne besondere Modulation die Verbindung ermöglich, aber eben mit der Längenbegrenzung.

Auch SATA oder SAS Kabel sind twinaxiale Kabel.

Diese AOC Kabel sehen doch schon mal sehr gut aus.
Nun ist aber die Frage, auf welche Kompatiblität ich setzen soll?

Der Switch ist ja die UDM Pro und ich könnte bei den Kabeln auch Unifi auswählen, aber wie sieht es dann bei den Netzwerkkarten aus?
1) Welche sollte ich am besten nehmen für PC und Synology NAS und 2) wie sieht es da mit der Kompatiblität aus?
 

Strikeeagle1977

Experte
Mitglied seit
02.09.2019
Beiträge
2.983
Ort
42xxx, wo die U-Bahn an der Decke hängt
Die Analogie DAC wäre eher ein normales Kupferpatchkabel
Du hast sowas von Recht! DAC isz ein Kupferkabel für Direktverbindungen von 2 SFP+ Ports, umgeht aber dabei den Nachteil der Transreciever für Kupfer, die extrem Strom fresen
 

Strikeeagle1977

Experte
Mitglied seit
02.09.2019
Beiträge
2.983
Ort
42xxx, wo die U-Bahn an der Decke hängt
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Oben Unten