[Sammelthread] 10Gbit Homenetzwerk

[74181]

Eines ist jedenfalls klar. Wenn man die Vorteile eines 10 GBit/s Netzwerks nutzen möchte, braucht man wenige große Dateien. Und nicht Zillionen kleiner Dateien...

Bei Backups packe ich viele kleine Dateien in eine oder mehrere große Backup-Dateien. Dann kann man auch gut komprimieren. Da ich unter Linux arbeite, verwendet ich dafür tar. Solche Programme gibt es aber bestimmt auch unter Windows.

Auch unter Linux gibt es Backup-Programme, die für Backups Kopien von einzelnen Dateien erstellen, zumindest bei dem ersten Aufruf. Bei späteren Durchläufen werden nur Kopien von Dateien angelegt, die sich geändert haben. Diese Programme nutzt man aber typischerweise nichts übers Netzwerk. Und wenn doch, dann lässt man sie automatisch im Hintergrund laufen. Dann stören auch ein paar Stunden Zeitbedarf nicht.

 

[Dwayne_Johnson]

Eines ist jedenfalls klar. Wenn man die Vorteile eines 10 GBit/s Netzwerks nutzen möchte, braucht man wenige große Dateien. Und nicht Zillionen kleiner Dateien...

Bei Backups packe ich viele kleine Dateien in eine oder mehrere große Backup-Dateien. Dann kann man auch gut komprimieren. Da ich unter Linux arbeite, verwendet ich dafür tar. Solche Programme gibt es aber bestimmt auch unter Windows.

Ja, leider...
Selbst die schnellste PCIe5.0-NVMe kann man stark in die Knie zwingen (unter 50MB/s)

Dass das über LAN so hart reinhaut, hab ich erst heute erfahren

EDIT & Nachtrag: Du könntest mal schauen, wie die „snappiness“ von Deinem Client auf dem NAS aussieht, wenn Du mal ein iSCSI-Share benutzt. Das dürfte vom Protokoll dafür besser geeignet sein. Problem: das eignet sich aber nicht (ohne weiteres) für den Zugriff von mehreren Clients auf die Daten…

Das hab ich zur Auswahl...
Hab nicht geschaut, ob es iSCSI für UNRAID, TrueNAS, Proxmox etc gibt (auf dem NAS laufen quasi alle OS)

 

[74181]

Ja, leider...
Selbst die schnellste PCIe5.0-NVMe kann man stark in die Knie zwingen (unter 50MB/s)

Dass das über LAN so hart reinhaut, hab ich erst heute erfahren

Ärgere Dich nicht. Das ist relativ normal. Man möchte sein System optimieren und ändert etwas. Aber das System wird dadurch nicht gleich besser. Weil jetzt irgendetwas anderes klemmt. Also muss man auch dieses Problem lösen. Woraufhin ein dritter Flaschenhals auftaucht.... Erfolg hat man erst, wenn man alle Probleme nacheinander gelöst hat.

iSCSI oder Raw Devices over Network würde ich an Deiner Stelle übrigens nicht verwenden. iSCSI wird im Profi-Bereich eingesetzt. Es funktioniert gut. Allerdings nur, wenn man sehr stabile und professionelle Hardware und Software hat. Ansonsten macht man mehr kaputt, als es hilft.

Schau, ein Vorteil eines NAS im Dateiserver-Modus ist, dass die gesamte Datei-Verwaltung auf dem NAS durchgeführt wird. Wenn Dein Netzwerk oder Dein PC abstürzt oder wenn es Betriebssystem-Fehler auf Deinem PC gibt, gefährdet das nicht die Konsistenz Deiner Dateien. Dafür sorgt das NAS.

Wenn Du iSCSI verwendest, ändert sich das, weil Deine Dateien dann von Deinem PC verwaltet werden. Dann kann es passieren, dass Du durch Computer-, Netzwerk- oder Betriebssystem-Fehler Deine Daten und Dateien verlierst.

Also, es ist sinnvoller, dass Du Deine Datenhaltung und Dein Backup-Verfahren umstellst. So, wie es vermutlich auch alle anderen machen, die Ihre Dateien im Netzwerk speichern. Es kostet etwas Zeit, bis man raushat, wie das geht. Aber Du bist auf dem besten Wege dorthin. Weil Du schon einen der Wege erkannt hast, wie man es besser nicht macht. Die Profis in diesem Bereich sind übrigens auch schon fast alle mal in diese Falle gelaufen. Willkommen im Club!

 

[underclocker2k4]

Es heißt, dass DAC noch vor AOC die niedrigste Latenz hat. Aber ist das denn die Latenz, wie sie oben wegen den Explorer zum Tragen kommt?

Der Unterschied zwischen DAC und Fiber lieg im 1-2 stelligen ns-Bereich.
1.000.000ns = 1ms.
Jetzt kannst du dir ausrechnen, was das bringt.
Switche haben btw. Durchlaufzeiten im µs-Bereich, extrem schnelle Switche kommen in sub-µs.

Ansonsten hat das nichts mit NAS zu tun.
Es ist auch mit allen anderen Systemen das Gleiche, welche den selben Protokollstack nutzt.
Ethernet-SMB-Explorer
Das ist also nicht erst seit deinem NAS mit den 65TB so, das war schon vor 30 Jahren so, dass sowas eben gedauert hat.
Daher macht man das auch nicht.
Ich mache sowas, wenn dann, alle paar Monate mal. Meist stoße ich das an und gehen dann einkaufen oder mache irgendwelche anderen Erledigungen.
Mich davor setzen und der Eieruhr zuschauen würde mir nicht im Leben nicht einfallen, soviel Lebenszeit habe ich nicht.

 

[Dwayne_Johnson]

Der Unterschied zwischen DAC und Fiber lieg im 1-2 stelligen ns-Bereich.
1.000.000ns = 1ms.
Jetzt kannst du dir ausrechnen, was das bringt.

Ähm, "nix" - gerade durchgerechnet

 

[Dwayne_Johnson]

2x 200Gb QSFP??? Geiler Shit
Aber der Preis…

Spoiler

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Dell Pro Max Desktop with Nvidia Blackwell

Unlock new possibilities in AI development with Dell Pro Max desktop. Purpose-built for AI & data science with next-generation GPU architecture.

www.dell.com

 

[AliManali]

Genau das richtige für @besterino.

 

[besterino]

Entschuldigung? Ich bin doch gerade auf dem Stromspartrip…

EDIT: und außerdem ist es schon im Homelab sehr schwierig, überhaupt mal 1x100Gbit auszulasten…

 

[Luckysh0t]

und außerdem ist es schon im Homelab sehr schwierig, überhaupt mal 1x100Gbit auszulasten…

Als ob dich sowas aufhalten würde

 

[AliManali]

RAM Disk regelt.

 

[besterino]

Ist aber auch wieder knifflig bei Speicherplatz >2TB… been there, done that….

Braucht man bei 10Gbit aber auch nicht wirklich. Das hier war 2021 mal Client auf NVME-Raid0 SMB-Share:

 

[Haldi]

Wie würdet ihr vorgehen?

Probier mal TreeSize.
Ich glaub das lief schneller durch als windows rechtsclick.

Bzw Frage an die Profis.
Würde kSMB in diesem falle weiterhelfen/besser performen?

NVME over Fabric hat dann wieder das gleiche Problem wie iSCSI oder? Dass das komplette management Lokal läuft und probleme verursachen kann.