[Sammelthread] 10Gbit Homenetzwerk

74181 · Gestern um 21:32

Eines ist jedenfalls klar. Wenn man die Vorteile eines 10 GBit/s Netzwerks nutzen möchte, braucht man wenige große Dateien. Und nicht Zillionen kleiner Dateien...

Bei Backups packe ich viele kleine Dateien in eine oder mehrere große Backup-Dateien. Dann kann man auch gut komprimieren. Da ich unter Linux arbeite, verwendet ich dafür tar. Solche Programme gibt es aber bestimmt auch unter Windows.

Auch unter Linux gibt es Backup-Programme, die für Backups Kopien von einzelnen Dateien erstellen, zumindest bei dem ersten Aufruf. Bei späteren Durchläufen werden nur Kopien von Dateien angelegt, die sich geändert haben. Diese Programme nutzt man aber typischerweise nichts übers Netzwerk. Und wenn doch, dann lässt man sie automatisch im Hintergrund laufen. Dann stören auch ein paar Stunden Zeitbedarf nicht.

Dwayne_Johnson · Gestern um 21:33

74181 schrieb:
Eines ist jedenfalls klar. Wenn man die Vorteile eines 10 GBit/s Netzwerks nutzen möchte, braucht man wenige große Dateien. Und nicht Zillionen kleiner Dateien...

Bei Backups packe ich viele kleine Dateien in eine oder mehrere große Backup-Dateien. Dann kann man auch gut komprimieren. Da ich unter Linux arbeite, verwendet ich dafür tar. Solche Programme gibt es aber bestimmt auch unter Windows.

Ja, leider...
Selbst die schnellste PCIe5.0-NVMe kann man stark in die Knie zwingen (unter 50MB/s)

Dass das über LAN so hart reinhaut, hab ich erst heute erfahren

besterino schrieb:
EDIT & Nachtrag: Du könntest mal schauen, wie die „snappiness“ von Deinem Client auf dem NAS aussieht, wenn Du mal ein iSCSI-Share benutzt. Das dürfte vom Protokoll dafür besser geeignet sein. Problem: das eignet sich aber nicht (ohne weiteres) für den Zugriff von mehreren Clients auf die Daten…

Das hab ich zur Auswahl...
Hab nicht geschaut, ob es iSCSI für UNRAID, TrueNAS, Proxmox etc gibt (auf dem NAS laufen quasi alle OS)

74181 · Gestern um 22:16

Dwayne_Johnson schrieb:
Ja, leider...
Selbst die schnellste PCIe5.0-NVMe kann man stark in die Knie zwingen (unter 50MB/s)

Dass das über LAN so hart reinhaut, hab ich erst heute erfahren

Ärgere Dich nicht. Das ist relativ normal. Man möchte sein System optimieren und ändert etwas. Aber das System wird dadurch nicht gleich besser. Weil jetzt irgendetwas anderes klemmt. Also muss man auch dieses Problem lösen. Woraufhin ein dritter Flaschenhals auftaucht.... Erfolg hat man erst, wenn man alle Probleme nacheinander gelöst hat.

iSCSI oder Raw Devices over Network würde ich an Deiner Stelle übrigens nicht verwenden. iSCSI wird im Profi-Bereich eingesetzt. Es funktioniert gut. Allerdings nur, wenn man sehr stabile und professionelle Hardware und Software hat. Ansonsten macht man mehr kaputt, als es hilft.

Schau, ein Vorteil eines NAS im Dateiserver-Modus ist, dass die gesamte Datei-Verwaltung auf dem NAS durchgeführt wird. Wenn Dein Netzwerk oder Dein PC abstürzt oder wenn es Betriebssystem-Fehler auf Deinem PC gibt, gefährdet das nicht die Konsistenz Deiner Dateien. Dafür sorgt das NAS.

Wenn Du iSCSI verwendest, ändert sich das, weil Deine Dateien dann von Deinem PC verwaltet werden. Dann kann es passieren, dass Du durch Computer-, Netzwerk- oder Betriebssystem-Fehler Deine Daten und Dateien verlierst.

Also, es ist sinnvoller, dass Du Deine Datenhaltung und Dein Backup-Verfahren umstellst. So, wie es vermutlich auch alle anderen machen, die Ihre Dateien im Netzwerk speichern. Es kostet etwas Zeit, bis man raushat, wie das geht. Aber Du bist auf dem besten Wege dorthin. Weil Du schon einen der Wege erkannt hast, wie man es besser nicht macht. Die Profis in diesem Bereich sind übrigens auch schon fast alle mal in diese Falle gelaufen. Willkommen im Club!

underclocker2k4 · Gestern um 22:32

Dwayne_Johnson schrieb:
Es heißt, dass DAC noch vor AOC die niedrigste Latenz hat. Aber ist das denn die Latenz, wie sie oben wegen den Explorer zum Tragen kommt?

Der Unterschied zwischen DAC und Fiber lieg im 1-2 stelligen ns-Bereich.
1.000.000ns = 1ms.
Jetzt kannst du dir ausrechnen, was das bringt.
Switche haben btw. Durchlaufzeiten im µs-Bereich, extrem schnelle Switche kommen in sub-µs.

Ansonsten hat das nichts mit NAS zu tun.
Es ist auch mit allen anderen Systemen das Gleiche, welche den selben Protokollstack nutzt.
Ethernet-SMB-Explorer
Das ist also nicht erst seit deinem NAS mit den 65TB so, das war schon vor 30 Jahren so, dass sowas eben gedauert hat.
Daher macht man das auch nicht.
Ich mache sowas, wenn dann, alle paar Monate mal. Meist stoße ich das an und gehen dann einkaufen oder mache irgendwelche anderen Erledigungen.
Mich davor setzen und der Eieruhr zuschauen würde mir nicht im Leben nicht einfallen, soviel Lebenszeit habe ich nicht.

Dwayne_Johnson · Heute um 00:44

underclocker2k4 schrieb:
Der Unterschied zwischen DAC und Fiber lieg im 1-2 stelligen ns-Bereich.
1.000.000ns = 1ms.
Jetzt kannst du dir ausrechnen, was das bringt.

Ähm, "nix" - gerade durchgerechnet :fresse:

Dwayne_Johnson · Heute um 03:58

2x 200Gb QSFP??? Geiler Shit :love:

Aber der Preis… :-[

Dell Pro Max Desktop with Nvidia Blackwell

Unlock new possibilities in AI development with Dell Pro Max desktop. Purpose-built for AI & data science with next-generation GPU architecture.

www.dell.com

AliManali · Heute um 06:35

Genau das richtige für @besterino.

besterino · Heute um 08:48

Entschuldigung? Ich bin doch gerade auf dem Stromspartrip…

EDIT: und außerdem ist es schon im Homelab sehr schwierig, überhaupt mal 1x100Gbit auszulasten…

Luckysh0t · Heute um 09:04

besterino schrieb:
und außerdem ist es schon im Homelab sehr schwierig, überhaupt mal 1x100Gbit auszulasten…

Als ob dich sowas aufhalten würde

AliManali · Heute um 09:12

RAM Disk regelt.

besterino · Heute um 09:35

Ist aber auch wieder knifflig bei Speicherplatz >2TB… been there, done that….

Braucht man bei 10Gbit aber auch nicht wirklich. Das hier war 2021 mal Client auf NVME-Raid0 SMB-Share:

Haldi · Heute um 10:20

Dwayne_Johnson schrieb:
Wie würdet ihr vorgehen?

Probier mal TreeSize.
Ich glaub das lief schneller durch als windows rechtsclick.

Bzw Frage an die Profis.
Würde kSMB in diesem falle weiterhelfen/besser performen?

NVME over Fabric hat dann wieder das gleiche Problem wie iSCSI oder? Dass das komplette management Lokal läuft und probleme verursachen kann.

Zeitmangel · Heute um 10:58

Neo52 schrieb:
Aktuell nutze ich nur Ubuntu zum Falten, die Produktivsysteme laufen noch @ Windows, daher kenn ich den Commander nicht wirklich.

Es gibt auch da einen. Nennt sich TotalCommander und ein Leben ohne macht irgendwie keinen Sinn

74181 schrieb:
(*) In Nachbar-Threads wird versucht, den Stromverbrauch von Servern zu reduzieren. Durch Einschalten aller möglichen Stromspar-Mechanismen (ASPM, Sleep states, usw.). Das ist interessant. Aber manche Stromspar-Mechanismen führen dazu, dass exakt diese Art von Operation (sehr viele Roundtrips) langsamer wird (weil ein Prozessor oder Bus sich zwischen zwei Anfragen schlafen legt und bei jeder Anfrage Zeit zum Aufwachen braucht. Vielleicht nur ein paar Millisekunden, aber bei Tausenden von Abfragen läppert sich das).

Eine Lösung die aus 8h, 6,5h macht, ist irgendwie...

Dwayne_Johnson · Heute um 14:54

Haldi schrieb:
Probier mal TreeSize.
Ich glaub das lief schneller durch als windows rechtsclick.

Bzw Frage an die Profis.
Würde kSMB in diesem falle weiterhelfen/besser performen?

NVME over Fabric hat dann wieder das gleiche Problem wie iSCSI oder? Dass das komplette management Lokal läuft und probleme verursachen kann.

Könnte ich mal probieren...
Trotzdem komme ich nicht um das Packen vieler, kleiner Files herum

btw:
Ich erinnere mich noch dunkel an "JDiskReport", aber "WizTree" könnte ich auch mal testen und gegen "Treesize" antreten lassen

Windows: Ordnergrößen auf einen Blick – Andy's Blog

www.andysblog.de

Beitrag automatisch zusammengeführt: Heute um 14:57

Zeitmangel schrieb:
Es gibt auch da einen. Nennt sich TotalCommander und ein Leben ohne macht irgendwie keinen Sinn

Aber auch nur, wenn richtig eingestellt (in Verbindung mit "Everything")
Also Ordnergröße instant anzeigen lassen, statt Leertaste drücken und ewig warten bzw Ordner nach Größe und Datum ordnen

Weltherrscher · Heute um 16:02

Neo52 schrieb:
Aktuell nutze ich nur Ubuntu zum Falten, die Produktivsysteme laufen noch @ Windows, daher kenn ich den Commander nicht wirklich.

Für Windoofs nimmt man natürlich den TotalCommander...

Total Commander - home

Homepage of Total Commander, a file manager replacement for Windows 95/98/NT/2000/XP/Vista/7/8/8.1/10/11

www.ghisler.com

Dwayne_Johnson · Heute um 19:03

Dwayne_Johnson schrieb:
btw:
Ich erinnere mich noch dunkel an "JDiskReport", aber "WizTree" könnte ich auch mal testen und gegen "Treesize" antreten lassen

Windows: Ordnergrößen auf einen Blick – Andy's Blog

www.andysblog.de

Ach du Scheiße… :-[

TreeSize hat gegen WizTree keine Chance. Das scannt via SMB brutal viel schneller (vs Total Commander)

Dann hab ich beide Apps beendet (wegen caching) und neugestartet. Da war TreeSize beim ersten Scan (nach dem App-Start) extrem zäh, während WizTree nach dem App-Start so schnell war, als hätte man es nicht neu gestartet

Fairerweise muss ich anfügen, dass ich "nur" 1 Mio. Files gescannt hab. Und ich weiß nicht, ob beide Apps jeweils andere Files gescannt haben
Ich lasse beide bei Gelegenheit komplett durchlaufen (7,5 Mio Files scannen) und melde mich noch mal

edit:
Holy shit !!! Erster WizTree-Run war nach nur 4:08 Minuten beendet

Total Commander "Eigenschaften" brauchte dafür Stunden. Ich arbeite seit vielen Jahren nur mit Total Commander, aber dafür ist er völlig ungeeignet (mal im TC-Forum anfragen, ob man da was machen kann)

edit2:
Ob mehrere Runs hintereinander oder mit App-Neustart - die Perf. via SMB war mit WizTree stets gleich (4:08 Minuten)
TreeSize brauchte 5:33 Minuten und beim 2. Run 5:25 Minunten. Bei App-Neustart wieder 5:33 Minuten

"WizTree" FTW!!!

(suche bei Gelegenheit nach weiteren Tools)

74181 · Heute um 19:58

Kannst Du herausfinden, warum die Programme unterschiedlich schnell sind? Ist eines vielleicht ungenauer als die anderen? Oder verwendet es Caches? Oder ist eines geschickter programmiert (für Netzwerk-Laufwerke)?

Dwayne_Johnson · Heute um 20:29

Noch nicht…
Hab an den Einstellungen, der Beiden nichts gemacht. Die Scans, der Apps waren nacheinander recht genau. Nur bei TreeSize nicht (dauerte nach einem App-Start etwas länger). Ob es was ändert, prüfe ich bei Gelegenheit

btw:
„WinDirStat“ (im 90er-Style) sieht lustig aus mit den „fressenden/schlafenden“ Pac-Männern

Ist etwas langsamer als WizTree, aber schneller als Treesize mit 4:45 Minuten (sieht im Übrigen am Ende, wie WizTree aus - also die Visualisierung unten)

Dwayne_Johnson · Vor 37 Minuten

74181 schrieb:
(*) In Nachbar-Threads wird versucht, den Stromverbrauch von Servern zu reduzieren. Durch Einschalten aller möglichen Stromspar-Mechanismen (ASPM, Sleep states, usw.). Das ist interessant. Aber manche Stromspar-Mechanismen führen dazu, dass exakt diese Art von Operation (sehr viele Roundtrips) langsamer wird (weil ein Prozessor oder Bus sich zwischen zwei Anfragen schlafen legt und bei jeder Anfrage Zeit zum Aufwachen braucht. Vielleicht nur ein paar Millisekunden, aber bei Tausenden von Abfragen läppert sich das). Mich wundert, dass solche Auswirkungen nicht mitgemessen werden - und warum nicht nur Optimierungen gemacht werden, die den Server nicht langsamer machen.

Mehr (auch im UEFI) geht nicht ...
Der Flaschenhals ist TC (via SMB). Aber ich bin dran eine Lösung zu finden/zu bekommen

[Sammelthread] 10Gbit Homenetzwerk

Einsteiger

Legende

Anhänge

Einsteiger

Mr. Alzheimer

Legende

Legende

Datenschutzhinweis für Youtube

cpt sunday flyer

Legende

Enthusiast

cpt sunday flyer

Legende

Enthusiast

Enthusiast

Legende

Anhänge

Enthusiast

Legende

Einsteiger

Legende

Datenschutzhinweis für Youtube

Legende

Anhänge

Ähnliche Themen