[Sammelthread] 10Gbit Homenetzwerk

Eines ist jedenfalls klar. Wenn man die Vorteile eines 10 GBit/s Netzwerks nutzen möchte, braucht man wenige große Dateien. Und nicht Zillionen kleiner Dateien...

Bei Backups packe ich viele kleine Dateien in eine oder mehrere große Backup-Dateien. Dann kann man auch gut komprimieren. Da ich unter Linux arbeite, verwendet ich dafür tar. Solche Programme gibt es aber bestimmt auch unter Windows.

Auch unter Linux gibt es Backup-Programme, die für Backups Kopien von einzelnen Dateien erstellen, zumindest bei dem ersten Aufruf. Bei späteren Durchläufen werden nur Kopien von Dateien angelegt, die sich geändert haben. Diese Programme nutzt man aber typischerweise nichts übers Netzwerk. Und wenn doch, dann lässt man sie automatisch im Hintergrund laufen. Dann stören auch ein paar Stunden Zeitbedarf nicht.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
74181 schrieb:
Eines ist jedenfalls klar. Wenn man die Vorteile eines 10 GBit/s Netzwerks nutzen möchte, braucht man wenige große Dateien. Und nicht Zillionen kleiner Dateien...

Bei Backups packe ich viele kleine Dateien in eine oder mehrere große Backup-Dateien. Dann kann man auch gut komprimieren. Da ich unter Linux arbeite, verwendet ich dafür tar. Solche Programme gibt es aber bestimmt auch unter Windows.
Zum Vergrößern anklicken....
Ja, leider...
Selbst die schnellste PCIe5.0-NVMe kann man stark in die Knie zwingen (unter 50MB/s)

Dass das über LAN so hart reinhaut, hab ich erst heute erfahren

besterino schrieb:
EDIT & Nachtrag: Du könntest mal schauen, wie die „snappiness“ von Deinem Client auf dem NAS aussieht, wenn Du mal ein iSCSI-Share benutzt. Das dürfte vom Protokoll dafür besser geeignet sein. Problem: das eignet sich aber nicht (ohne weiteres) für den Zugriff von mehreren Clients auf die Daten…
Zum Vergrößern anklicken....
Das hab ich zur Auswahl...
Hab nicht geschaut, ob es iSCSI für UNRAID, TrueNAS, Proxmox etc gibt (auf dem NAS laufen quasi alle OS)
 

Anhänge

  • Screenshot 2025-12-27 212804.png
    Screenshot 2025-12-27 212804.png
    65,2 KB · Aufrufe: 30
Zuletzt bearbeitet:
Dwayne_Johnson schrieb:
Ja, leider...
Selbst die schnellste PCIe5.0-NVMe kann man stark in die Knie zwingen (unter 50MB/s)

Dass das über LAN so hart reinhaut, hab ich erst heute erfahren
Zum Vergrößern anklicken....

Ärgere Dich nicht. Das ist relativ normal. Man möchte sein System optimieren und ändert etwas. Aber das System wird dadurch nicht gleich besser. Weil jetzt irgendetwas anderes klemmt. Also muss man auch dieses Problem lösen. Woraufhin ein dritter Flaschenhals auftaucht.... Erfolg hat man erst, wenn man alle Probleme nacheinander gelöst hat.

iSCSI oder Raw Devices over Network würde ich an Deiner Stelle übrigens nicht verwenden. iSCSI wird im Profi-Bereich eingesetzt. Es funktioniert gut. Allerdings nur, wenn man sehr stabile und professionelle Hardware und Software hat. Ansonsten macht man mehr kaputt, als es hilft.

Schau, ein Vorteil eines NAS im Dateiserver-Modus ist, dass die gesamte Datei-Verwaltung auf dem NAS durchgeführt wird. Wenn Dein Netzwerk oder Dein PC abstürzt oder wenn es Betriebssystem-Fehler auf Deinem PC gibt, gefährdet das nicht die Konsistenz Deiner Dateien. Dafür sorgt das NAS.

Wenn Du iSCSI verwendest, ändert sich das, weil Deine Dateien dann von Deinem PC verwaltet werden. Dann kann es passieren, dass Du durch Computer-, Netzwerk- oder Betriebssystem-Fehler Deine Daten und Dateien verlierst.

Also, es ist sinnvoller, dass Du Deine Datenhaltung und Dein Backup-Verfahren umstellst. So, wie es vermutlich auch alle anderen machen, die Ihre Dateien im Netzwerk speichern. Es kostet etwas Zeit, bis man raushat, wie das geht. Aber Du bist auf dem besten Wege dorthin. Weil Du schon einen der Wege erkannt hast, wie man es besser nicht macht. Die Profis in diesem Bereich sind übrigens auch schon fast alle mal in diese Falle gelaufen. Willkommen im Club! :-)
 
Zuletzt bearbeitet:
Dwayne_Johnson schrieb:
Es heißt, dass DAC noch vor AOC die niedrigste Latenz hat. Aber ist das denn die Latenz, wie sie oben wegen den Explorer zum Tragen kommt?
Zum Vergrößern anklicken....
Der Unterschied zwischen DAC und Fiber lieg im 1-2 stelligen ns-Bereich.
1.000.000ns = 1ms.
Jetzt kannst du dir ausrechnen, was das bringt.
Switche haben btw. Durchlaufzeiten im µs-Bereich, extrem schnelle Switche kommen in sub-µs.

Ansonsten hat das nichts mit NAS zu tun.
Es ist auch mit allen anderen Systemen das Gleiche, welche den selben Protokollstack nutzt.
Ethernet-SMB-Explorer
Das ist also nicht erst seit deinem NAS mit den 65TB so, das war schon vor 30 Jahren so, dass sowas eben gedauert hat.
Daher macht man das auch nicht.
Ich mache sowas, wenn dann, alle paar Monate mal. Meist stoße ich das an und gehen dann einkaufen oder mache irgendwelche anderen Erledigungen.
Mich davor setzen und der Eieruhr zuschauen würde mir nicht im Leben nicht einfallen, soviel Lebenszeit habe ich nicht.
 
2x 200Gb QSFP??? Geiler Shit :love:
Aber der Preis… :-[

Dell Pro Max Desktop with Nvidia Blackwell

Unlock new possibilities in AI development with Dell Pro Max desktop. Purpose-built for AI & data science with next-generation GPU architecture.
www.dell.com
 
Entschuldigung? Ich bin doch gerade auf dem Stromspartrip…

EDIT: und außerdem ist es schon im Homelab sehr schwierig, überhaupt mal 1x100Gbit auszulasten…
 
Zuletzt bearbeitet:
Ist aber auch wieder knifflig bei Speicherplatz >2TB… been there, done that….

Braucht man bei 10Gbit aber auch nicht wirklich. Das hier war 2021 mal Client auf NVME-Raid0 SMB-Share:

IMG_4118.png
 
Dwayne_Johnson schrieb:
Wie würdet ihr vorgehen?
Zum Vergrößern anklicken....
Probier mal TreeSize.
Ich glaub das lief schneller durch als windows rechtsclick.

Bzw Frage an die Profis.
Würde kSMB in diesem falle weiterhelfen/besser performen?

NVME over Fabric hat dann wieder das gleiche Problem wie iSCSI oder? Dass das komplette management Lokal läuft und probleme verursachen kann.
 
Neo52 schrieb:
Aktuell nutze ich nur Ubuntu zum Falten, die Produktivsysteme laufen noch @ Windows, daher kenn ich den Commander nicht wirklich.
Zum Vergrößern anklicken....
Es gibt auch da einen. Nennt sich TotalCommander und ein Leben ohne macht irgendwie keinen Sinn :p
74181 schrieb:
(*) In Nachbar-Threads wird versucht, den Stromverbrauch von Servern zu reduzieren. Durch Einschalten aller möglichen Stromspar-Mechanismen (ASPM, Sleep states, usw.). Das ist interessant. Aber manche Stromspar-Mechanismen führen dazu, dass exakt diese Art von Operation (sehr viele Roundtrips) langsamer wird (weil ein Prozessor oder Bus sich zwischen zwei Anfragen schlafen legt und bei jeder Anfrage Zeit zum Aufwachen braucht. Vielleicht nur ein paar Millisekunden, aber bei Tausenden von Abfragen läppert sich das).
Zum Vergrößern anklicken....
Eine Lösung die aus 8h, 6,5h macht, ist irgendwie...
 
Zuletzt bearbeitet:
Haldi schrieb:
Probier mal TreeSize.
Ich glaub das lief schneller durch als windows rechtsclick.

Bzw Frage an die Profis.
Würde kSMB in diesem falle weiterhelfen/besser performen?

NVME over Fabric hat dann wieder das gleiche Problem wie iSCSI oder? Dass das komplette management Lokal läuft und probleme verursachen kann.
Zum Vergrößern anklicken....
Könnte ich mal probieren...
Trotzdem komme ich nicht um das Packen vieler, kleiner Files herum

btw:
Ich erinnere mich noch dunkel an "JDiskReport", aber "WizTree" könnte ich auch mal testen und gegen "Treesize" antreten lassen

Windows: Ordnergrößen auf einen Blick – Andy's Blog

www.andysblog.de www.andysblog.de
Beitrag automatisch zusammengeführt:

Zeitmangel schrieb:
Es gibt auch da einen. Nennt sich TotalCommander und ein Leben ohne macht irgendwie keinen Sinn :p
Zum Vergrößern anklicken....
Aber auch nur, wenn richtig eingestellt (in Verbindung mit "Everything")
Also Ordnergröße instant anzeigen lassen, statt Leertaste drücken und ewig warten bzw Ordner nach Größe und Datum ordnen
 

Anhänge

  • Screenshot 2025-12-28 145937.png
    Screenshot 2025-12-28 145937.png
    52,8 KB · Aufrufe: 21
Zuletzt bearbeitet:
Dwayne_Johnson schrieb:
btw:
Ich erinnere mich noch dunkel an "JDiskReport", aber "WizTree" könnte ich auch mal testen und gegen "Treesize" antreten lassen

Windows: Ordnergrößen auf einen Blick – Andy's Blog

www.andysblog.de www.andysblog.de
Zum Vergrößern anklicken....
Ach du Scheiße…:-[
TreeSize hat gegen WizTree keine Chance. Das scannt via SMB brutal viel schneller (vs Total Commander) (y)

Dann hab ich beide Apps beendet (wegen caching) und neugestartet. Da war TreeSize beim ersten Scan (nach dem App-Start) extrem zäh, während WizTree nach dem App-Start so schnell war, als hätte man es nicht neu gestartet :)

Fairerweise muss ich anfügen, dass ich "nur" 1 Mio. Files gescannt hab. Und ich weiß nicht, ob beide Apps jeweils andere Files gescannt haben
Ich lasse beide bei Gelegenheit komplett durchlaufen (7,5 Mio Files scannen) und melde mich noch mal

edit:
Holy shit !!! Erster WizTree-Run war nach nur 4:08 Minuten beendet :oops: Total Commander "Eigenschaften" brauchte dafür Stunden. Ich arbeite seit vielen Jahren nur mit Total Commander, aber dafür ist er völlig ungeeignet (mal im TC-Forum anfragen, ob man da was machen kann)

edit2:
Ob mehrere Runs hintereinander oder mit App-Neustart - die Perf. via SMB war mit WizTree stets gleich (4:08 Minuten)
TreeSize brauchte 5:33 Minuten und beim 2. Run 5:25 Minunten. Bei App-Neustart wieder 5:33 Minuten
"WizTree" FTW!!!(y)
(suche bei Gelegenheit nach weiteren Tools)
 
Zuletzt bearbeitet:
Kannst Du herausfinden, warum die Programme unterschiedlich schnell sind? Ist eines vielleicht ungenauer als die anderen? Oder verwendet es Caches? Oder ist eines geschickter programmiert (für Netzwerk-Laufwerke)?
 
Zuletzt bearbeitet:
Noch nicht…
Hab an den Einstellungen, der Beiden nichts gemacht. Die Scans, der Apps waren nacheinander recht genau. Nur bei TreeSize nicht (dauerte nach einem App-Start etwas länger). Ob es was ändert, prüfe ich bei Gelegenheit

btw:
„WinDirStat“ (im 90er-Style) sieht lustig aus mit den „fressenden/schlafenden“ Pac-Männern :d
Ist etwas langsamer als WizTree, aber schneller als Treesize mit 4:45 Minuten (sieht im Übrigen am Ende, wie WizTree aus - also die Visualisierung unten)
 
Zuletzt bearbeitet:
74181 schrieb:
(*) In Nachbar-Threads wird versucht, den Stromverbrauch von Servern zu reduzieren. Durch Einschalten aller möglichen Stromspar-Mechanismen (ASPM, Sleep states, usw.). Das ist interessant. Aber manche Stromspar-Mechanismen führen dazu, dass exakt diese Art von Operation (sehr viele Roundtrips) langsamer wird (weil ein Prozessor oder Bus sich zwischen zwei Anfragen schlafen legt und bei jeder Anfrage Zeit zum Aufwachen braucht. Vielleicht nur ein paar Millisekunden, aber bei Tausenden von Abfragen läppert sich das). Mich wundert, dass solche Auswirkungen nicht mitgemessen werden - und warum nicht nur Optimierungen gemacht werden, die den Server nicht langsamer machen.
Zum Vergrößern anklicken....
Mehr (auch im UEFI) geht nicht ...
Der Flaschenhals ist TC (via SMB). Aber ich bin dran eine Lösung zu finden/zu bekommen
 

Anhänge

  • Screenshot 2025-12-28 214549.png
    Screenshot 2025-12-28 214549.png
    42,8 KB · Aufrufe: 34
Zuletzt bearbeitet:
Stromsparen auf echter Server-Hardware läuft halt quasi unter der Kategorie „Thema verfehlt“. Echte Server sollen möglich oft und lange idealerweise an der maximalen Leistungsgrenze (bzw. knapp drunter) laufen - sonst haste halt einfach den falschen Server für das Einsatzszenario gekauft.

Stromsparen kommt dann nur bei so Idioten wie mir auf, die quasi mit völlig überdimensionierter Enterprise Hardware zwei oder drei Textdateien hosten und das dumpfe Gefühl haben, dass dabei 150W Dauerstromverbrauch nicht ideal sind…
 
Total Commander hatte ich auch lange am Laufen, aber seit Win7 oder so aus den Augen verloren :hust:

Norton Commander hatte ich damals zu MS-DOS Zeiten ;)
 
besterino schrieb:
Stromsparen auf echter Server-Hardware läuft halt quasi unter der Kategorie „Thema verfehlt“. Echte Server sollen möglich oft und lange idealerweise an der maximalen Leistungsgrenze (bzw. knapp drunter) laufen - sonst haste halt einfach den falschen Server für das Einsatzszenario gekauft.
Zum Vergrößern anklicken....
Das ist halt kompletter Unsinn.
Das unterstellt, dass das Loadverhalten homogen ist.
Das ist es aber nicht.
Nehmen wir mal eine Firma.
Das hast du während der Arbeitszeit Load auf dem Server.
Nach der Arbeitszeit ist eigentlich nichts mehr los, eben weil keiner da ist, der Load erzeugt.
Während also während der Arbeitszeit ggf. etliche VDI Instanzen laufen, ist nach der Arbeitszeit nichts mehr an.
Datenbanken machen keine Abfragen usw. usf.

Willst du jetzt künstlich die Load hochhalten und Bitcoins minen, weil keiner da ist?
Nee, du willst, dass der Server dann entsprechend wenig Strom verbraucht.
Nicht umsonst hat VMware Mechaniken eingeführt, mit der man Server ausmachen (also wirklich power off) kann bzw. eben wieder starten.

Unsere Server sind z.B. auf max. 50% Load ausgelegt. Warum? Weil es redundant aufgebaut ist und eine fault domain ausfallen darf, ohne dass ein impact entsteht. (kurzfriste >50% sind irrelevant)

Strom sparen und Effizienz ist schon relevant, weil es viele Nebeneffekte abdeckt.
Dennoch sind unsere Server auf "full power" Leistungsprofil eingestellt, zumindest bei den relevanten Systemen.
 
Hatte keinen Anspruch auf Allgemeingültigkeit. Die Kernaussage sollte sein: Server werden primär auf ihre Last dimensioniert, nicht auf minimalen Stromverbrauch. Ja, Effizienz ist wichtig, und auch (bzw. gerade) bei den Hyperscalern hilft es, wenn jede einzelne Kiste etwas weniger verbraucht. Aber wie Du ja auch schon schreibst: eher abschalten als idlen lassen.
 
underclocker2k4 schrieb:
Dennoch sind unsere Server auf "full power" Leistungsprofil eingestellt, zumindest bei den relevanten Systemen.
Zum Vergrößern anklicken....

Ich weiß nicht, wie es heute ist. Aber vor 15 Jahren hat man bei HP- oder Dell-Servern mit dieser Einstellung gerade NICHT die maximale Performance herausgeholt, zumindest nicht bei Datenbank-Servern.

Warum? Weil Turbo Boost u.ä. nicht mehr funktioniert hat. Entweder wurde das gleich abgeschaltet - oder auf die CPUs wurden zu warm, um längere Zeit in die Turbo Boost Modes zu schalten.

Bessere Ergebnisse gab es mit Power Management vom Betriebssystem. Sleep States aktivieren und CPUFREQ Einstellungen so, dass die Kerne entweder geschlafen haben oder mit der maximalen Frequenz gelaufen sind. Mit den normalen CPU Governor Einstellungen gab es auch schlechte Ergebnisse, weil im schnellen Wechsel zwischen Last und Warten auf einem Datenbank-Server die CPU-Frequenz oft im mittleren Bereich gehalten wurde und nicht immer zu den höheren Frequenzen hochgeschaltet wurde. Also, zumindest damals war es so, dass man ziemlich viel testen und tunen musste, wenn man wirklich die maximale Leistung haben wollte.

Letzetendlich sind Stromspar-Techniken gut. Weil man die Performace erhöhen kann, die Hardware-Lebenszeit verlängern kann und auch noch etwas für die Umwelt und den Geldbeutel tut. Letzeters ist in den Firmen zwar nicht wichtig - aber man möchte ja trotzdem einen guten Job machen.
 
Hihi, mein neu erworbener Zyxel XS1930-10 bietet mir Möglichkeiten, da hätte ich im Traum nicht daran gedacht beim Kauf. Erst kam der Gedanke, dass ich den auch als WAN Mediaconverter brauchen kann zusätzlich. Was man alles mit L3 Funktionen machen kann, war mir auch nicht ganz klar.

Hatte ja ursprünglich mal geplant, bisschen was von meiner Anbindung zu vermieten. Mit einem /29er Subnet, oder so. Das ist dann aber darauf hinaus gelaufen, dasss ich da einen MikroTik CCR2004-1G-12S +2XS vorschalten hätte müssen. Dann hätte ich wieder mehrere Kunden gebraucht, und für jeden eine eigene Firewall. Da hätte ich dann eine Klima benötigt, was weiss ich. Aber heheheh, mit dem Switch kann ich das auch. Und mir reicht schon ein Kunde, um das /29er oder auch ein /28er Subnet und Stromverbrauch bisschen querzufinanzieren. Also steht das Thema housing wieder auf der Speisekarte...

Das Gerät lässt wirklich keine Wünsche offen. Ist zumindest mehr möglich als gedacht. Unglaublich was das Chistli alles kann.

Euch auch einen guten Rutsch!
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.

Ähnliche Themen

mtheis1987
  • Artikel
[User-Review] FRITZ!Box 5690 Pro
Antworten
7
Aufrufe
9K
Zeitmangel
Z
Nemetron
[User-Review] Lesertest zur AVM FRITZ!Box 5690 Pro
Antworten
3
Aufrufe
3K
Nemetron
Nemetron
M
[User-Review] Synology DP320 ActiveProtect
Antworten
1
Aufrufe
1K
maxblank
M
zitterhand
[User-Review] Lesertest AVM FRITZ!Box 5690 Pro
Antworten
9
Aufrufe
8K
Zeitmangel
Z
ApolloX
[Sammelthread] Offizieller AMD RX 9070 (XT) Overclocking und Modding Thread
59 60 61
Antworten
2K
Aufrufe
184K
Pyrocrack
Pyrocrack
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh