Cluster Size bei einem 2,6 TB Partition

[Feichti]

So nachdem ich jetzt alle platten zusammen schaut wie folgt aus

Promise ex8350 mit 8x400 GB Samsung 16 MB Cache und das ganze auf einer GPT Partition und jetzt ist die frage wie groß ich die Cluster Size vom NTFS einstellen soll.

Normal stellts einem ja die 4 kb ein ist die frage obs was bringt wenn ich es auf 8,16,32,64 einstelle. Eines von denen halt. Die files die drauf liegen sind im normal immer größer als 100 mb

wäre nice wenn jemand was dazu weiß

bringts mehr speed wenn ich es raufstelle oder hats sogar nachteile?

feichti

 

[HisN]

Gibt immer zwei Faktoren ... Verschnitt und Geschwindigkeit. So wie ich das verstanden habe hangelt sich das OS beim Lesen an den Clustern entlang, wenn Du weniger Cluster für ein File hast, dann sinkt der Verwaltungsaufwand, die Geschwindigkeit steigt (minimal)
Das andere ist der Verschnitt, wenn Du 1Byte in einem 32KB-Cluster belegst, dann ist der Cluster "voll". Du musst für Dich abwägen ob es für Dich Punkte bringt die Cluster-Size zu ändern.

Mir wäre das zu viel Aufwand, soll Windoof doch machen Vor allem kann ich mir keine Anwendung vorstellen die schneller als 100mb/sec auf ein File zugreifen muss.. und wenn mehrere Gleichzeitig zugreifen bricht der Controller ja sowieso ein .. also WAYNE

 

[Feichti]

ich werd das raid 5 jetzt nacher einfach mal mit 4 und mit 64 kb testen vom speed her und guggen was schneller ist der verschnitt ist mir fast egal da eh zu 99% nur große files drauf liegen

feichti

 

[drdope]

Gute Frage:

ist mMn leztlich ne Entscheidung zwischen Verwatungsaufwand (steigt mit höhere Clusterzahl) und Platzverlust durch "Verschnitt" (nimmt mit größeren Clustern zu).

Tröste dich ich stehe vor nem ähnlichen Prob...
ext3 vs xfs unter Berücksichtung diverser Formatierungs - und Mountoptionen
hinsichtlich Blocksize, Journalsize, Inodesize, AllocationGroups etc...
--> http://forums.gentoo.org/viewtopic-t-305871.html
--> http://forums.gentoo.org/viewtopic-t-488215.html
da wird wohl ne längere Benchmarksession fällig...

 

[Feichti]

also das mit dem benchmark hab ich fast hinter mir ich hab so alles druch getest mit den verscheiden platten was nur geht

werde später im promise controller thread auch einen liste dazu posten getest hab ich folgendes

Raid 0 mit 2,4,6,8 Disks
Raid 1 mit 2 Disks
Raid 5 mit 3,4,6,8 Disks
Raid 6 mit 4,8 Disks
Raid 10 mit 4,8 Disks
Raid 50 mit 4,8 Disks

hab jeweils HD Tach & HDTune & ATTO mit 1,4,32,64,128,256 MB getestet somit hab ich gesamt 120 Verschiedene Ergebnisse

feichti

 

[SilverWizard]

ich würde die maximale und mögliche Größe nehmen

bei soviel Speicherkapazität spielt der Verschnitt sicher keine Rolle mehr

 

[Feichti]

ich würde die maximale und mögliche Größe nehmen

bei soviel Speicherkapazität spielt der Verschnitt sicher keine Rolle mehr

genau das werde ich auch testen max ist 64 kb ich werd wohl 1x alle tests mit 4 und 64 kb fahren damit man einen vergleich hat

feichti

 

[SilverWizard]

ja das wäre interessant
64k ist leider bißchen wenig
ich habe für mein Raid0 128kb gewählt, was auch maximum ist

 

[Madnex]

@SilverWizard
Feichti geht es, soweit ich das verstanden habe, um die Cluster Size, also um die Blockgröße des Dateisystems und nicht um die Blockgröße eines RAID-Verbundes aka Stripe Size. Das sind zwei verschiedene paar Schuhe.

 

[ulukay]

Gute Frage:

ist mMn leztlich ne Entscheidung zwischen Verwatungsaufwand (steigt mit höhere Clusterzahl) und Platzverlust durch "Verschnitt" (nimmt mit größeren Clustern zu).

Tröste dich ich stehe vor nem ähnlichen Prob...
ext3 vs xfs unter Berücksichtung diverser Formatierungs - und Mountoptionen
hinsichtlich Blocksize, Journalsize, Inodesize, AllocationGroups etc...
--> http://forums.gentoo.org/viewtopic-t-305871.html
--> http://forums.gentoo.org/viewtopic-t-488215.html
da wird wohl ne längere Benchmarksession fällig...

bei xfs gegen ext3 ist gar keine benchmark session nötig :P

 

[drdope]

bei xfs gegen ext3 ist gar keine benchmark session nötig :P

Hab ich auch gedacht, bis ich beim recherchieren in den Gentoo-Foren rel. wiedersprüchliche Aussagen zu dieser Thematik gefunden habe, die mich zumindest so neugierig gemacht haben, das ich das selbst mal austesten möchte.

 

[ulukay]

inwiefern?
xfs sollte doch wohl in jedem teil ext3 überlegen sein - bei großen dateien oder wenn viel ram als filecache nutzbar ist sieht ext3 dann gar kein land mehr ... normalerweise

 

[moerph]

Moin,

ich weiss ja nicht, wie du deine Aussage begruendest, aber XFS bietet nur bei Dateien ueber 1GB Groesse Vorteile gegenueber EXT3 oder ReiserFS. Die Aussage, dass EXT2/3/4 XFS unterlegen ist, ist absoluter Nonsens. 1. ist das abhaengig vom Verwendungszweck und 2. hat XFS auch Nachteile gegenueber EXT3.

Damit du dich mal ordentlich informieren kannst:

http://linuxgazette.net/122/TWDT.html#piszcz

moerph

 

[ulukay]

arbeite mal mit xfs auf einem pc mit 2gb ram und dann mal mit ext3

 

[drdope]

inwiefern?
xfs sollte doch wohl in jedem teil ext3 überlegen sein - bei großen dateien oder wenn viel ram als filecache nutzbar ist sieht ext3 dann gar kein land mehr ... normalerweise

In dem "optimizing-ext3-Thread" aus den Gentoo Foren sind z.B. ein paar User, die lt ihrer Aussage von xfs nach "tunned_ext3" gewechselt sind und letzterem eine bessere Performance bescheinigen...

Moin,

ich weiss ja nicht, wie du deine Aussage begruendest, aber XFS bietet nur bei Dateien ueber 1GB Groesse Vorteile gegenueber EXT3 oder ReiserFS. Die Aussage, dass EXT2/3/4 XFS unterlegen ist, ist absoluter Nonsens. 1. ist das abhaengig vom Verwendungszweck und 2. hat XFS auch Nachteile gegenueber EXT3.

Damit du dich mal ordentlich informieren kannst:

http://linuxgazette.net/122/TWDT.html#piszcz

Danke für den Link, werd das Sonntag mal in Ruhe durchlesen...

Zum Einsatzzweck:
Hardware:
P4-2,6GHz/512kb/FSB800
1GB RAM
2x 3Ware 9500S-8 in 2 PCI-X 1.0 SLost mit 64bit/66MHz
4x RAID5 (600/750/900/960GB)
Software: Gentoo/i686 als NFS/Samba/FTP-Server, minimalSys ohne GUI
(Das Sys selbst zieht sich nach dem Start ~42MB RAM)

Soll mehrere AV-Streamingclients (max. 4 Gleichzeitig) lesend bedienen und wird lediglich über meine Workstation mit GBit-LAN befüllt.
Inhalt sind primär meine DVD-Sammlung als Images, TV-Aufnahmen (Xvid) und meine CD-Sammlung als Flac.

Meine Erwartung:
Er soll mind. per GB-LAN die Datenraten einer einzelnen HDD liefern, optimal wäre es, wenn das GB-LAN der Flaschenhals wäre um für die Zukunft nen bissl Luft nach oben zu haben.

==> Es geht primär um lineares Lesen/Schreiben von großen Files per GBit-LAN

@Feichti
Sorry fürs Thread-Hijacking!

 

[Feichti]

tzz

öhm nochmal back zu meinem prob

ich hab mal mit atto gemessen und da kommt das gleiche raus egal wie die cluster size ist ich werd später mal ein test machen mit so 1gb,5gb files wie lang diese jeweils zum verschieben bzw drauf kopieren brauchen

feichti

 

[jni]

Mit genügend schnellem Prozessor und genug Speicher wirst du den Unterschied zwischen großen und kleinen Clustern kaum messen können. Ist ja eher ne Frage des Speicherbedarfs vom Filesystemtreiber und etwas mehr CPU-Auslastung durch den Verwaltungsaufwand bei kleinen Clustern. Die Transferrate zur Platte und die Zugriffszeit dürfte sich praktisch nicht messbar ändern.

Du solltest aber vielleicht trotzdem die größtmögliche Clustersize wählen wenn du nur große Dateien drauf legst.