Performanceprobleme mit kleinem "Homeserver"

[Nighthawk1977]

Hallo zusammen,

ich habe bislang im Planet3DNow Forum in u.g. Beitrag mitgepostet, erhoffe mir aber hier im Unterforum Festplatten und Storage mehr konstruktive Beiträge als im dortigen Unterforum.

http://www.planet3dnow.de/vbulletin/showthread.php?t=362934&page=2

Mein kleiner Homeserver besteht aktuell aus folgender Hard- bzw. Software:

ASRock K10N78FullHD-hSLI R3.0
Athlon64 X2 4850e
1 x 2 GB DDR2 PC800 Modul von Geil
1 x 120 GB Hitachi 2,5" HDD am S-ATA, 5400 upm, 8 MB Cache
3 x 640 GB Samsung HD642JJ am Promise Ultra TX4 im PCI Slot
Windows 2003 mit aktuellem Servicepack und Liveupdates

Die beiden 640er laufen als Softwareraid, eingerichtet mit Windows 2003. Das die Performance grundsätzlich nicht weltbewegend ist, ist klar. Ich hatte vor kurzem aber für einen Bekannten eine 1,5 TB Platte gekauft und durfte die freundlicherweise dazu benutzen um meine Daten zu kopieren um dann über das Software RAID zumindest schon mal einen ersten Schritt in Richtung Homeserver zu gehen. Das ASRock habe ich mir unter der Prämisse gekauft, später einen Perc 5/i nutzen zu können, was laut Sammelthread funktioniert. Also quasi erst eine eigene 1,5 TB Platte anschaffen (zum Umziehen des RAIDs und dann als Backup).

Ich bin im Moment mit der Performance unzufrieden und glaube, dass da irgendetwas klemmt. Aus dem Planet3DNow Thread mal das aktuellste als Kopie, ergänzt um weitere Beobachtungen:

RAID 5 -> GBit Lan -> Hauptrechner: ca. 43 MB/s
---> klingt vernünftig
---> eingeschränkt, wenn man die gebenchten 110 MB/s weiter unten sieht

Hauptrechner -> GBit Lan -> RAID 5: ca. 20 MB/s
---> das erste GB wird auch so etwa mit ca. 43 MB/s kopiert
---> bei den letzten ca. 350 MB bricht das Kopiertempo auf unter < 5 MB/s zusammen
---> ab den letzten ca. 100 MB zieht es wieder auf vorherige Werte an
---> macht er mehrfach so wenn ich die Datei mehrmals kopiere

Klingt für mich so, als könnten irgendwo rund 1 GB Daten gehandelt werden und dann passiert irgendwas, was die Performance für eine gewisse Zeit tierisch in den Keller zieht.
Mal schauen, ob ich das noch von einem anderen Rechner aus nachvollziehen kann.

RAID 5 -> Systemplatte
---> 13,5 MB/s

Erscheint mir viel zu wenig. Ok, die 2,5" Platte macht nur 5400 Touren und hat 8 MB Cache, aber das sollte doch für mehr als 13,5 MB/s langen finde ich...

Systemplatte -> RAID 5
--> 16,7 MB/s

Erscheint mir auch zu wenig. Auffällig sind da schon mal die Schwankungen auf max. 64 MB/s (ok, Messausreißer nach oben) bis auf unter 10 MB/s.


Ergänzen dazu habe ich mir mal den Atto Disk Benchmark organisiert und mal ein paar Tests mit dem RAID Verbund und der Systemdisk gemacht. Screenshots und Kommentare anbei...

Die 2,5" Systemplatte

Die Schreibraten erscheinen mir deutlich zu langsam. Vergleich dazu mal die gleiche Platte einmal über USB, einmal über SATA an meinem Hauptrechner angeschlossen (E6600, P45 Mainboard, 6 GB RAM, Vista 64 bit):

via USB Adapter:

Habe noch eine weitere 2,5" USB Festplatte mit 5400 upm und 8 MB Cache, die erreicht nahezu identische Werte.

via S-ATA:

Ganz klar auffällig, dass die Lese- und Schreibraten wesentlich enger beisammen liegen als an dem ASRock.

Dazu mal noch nen Screen von dem RAID Verbund

Sofern ich diese gebenchten 110 MB/s auch nur annähernd erreichen würde, wäre ich sicher schon zufrieden.

Was glaubt ihr, wo könnte es klemmen? Ich vermute, dass die miesen Kopiergeschwindigkeiten die mir Directory Opus anzeigt, irgendwas mit dem miesen Schreibraten auf der Systemplatte zu tun haben. Erstaunlich auch, dass es via LAN zu meinem Hauptrechner schneller als lokal ist...

 

[HisN]

Mal nicht SMB als Transferprotokoll nutzen sondern FTP um den Netzwerkspeed zu beurteilen.

Das ein "Upload" an den Server einbricht nach ner Minute ist eigentlich "normal", spätestens dann ist nämlich der Datenträger-Cache voll. Schon mal auf die Speicherauslastung geschaut beim Server während Du von Deinem Rechner eine Datei draufkopierst?

 

[Nighthawk1977]

Die Info hab ich auch schon mal bekommen, bezieht sich der Datenträger Cache auf den System RAM? Hab das Modul im Moment nur aus meinem Hauptrechner geborgt, hätte später an 4 GB gedacht, bissel was geht für die Grafikkarte drauf. Außerdem müssen ja auch die RAID Berechnungen beim Schreiben irgendwann ausgeführt werden.

Wie meinste das mit dem FTP? Auf dem Server nen FTP Server einrichten und dann vom Hauprechner via FTP was laden? Werde ich mal ausprobieren! Bislang waren die Geschwindigkeitsangaben von Directory Opus immer recht zuverlässig.

 

[HisN]

Der Datenträgercache wird im Systemram angelegt. Wenns blöd läuft reserviert Windows so viel RAM dafür dass das System anfängt zu swappen, und dann bricht natürlich die Leistung zusammen.

Genau das meine ich mit FTP.

 

[Nighthawk1977]

Ok, ich werde mal die Speicherauslastung beobachten und ggfs. mal noch ein zweites Modul einsetzen (eigener Speicher für den Rechner kommt später).

FTP werde ich auch mal antesten.

Was sagst zu den Atto Benchmarks? Insbesondere die Schreibperformance der Systemplatte unter Windows 2003? In meinem Hauptrechner hab ich ein MSI P45 Neo3-FR. Ist ja jetzt auch nicht der neueste Schrei, aber das AsRock sollte jetzt auch nicht um Welten schlechter sein.

 

[BlackGhost]

Eventuell kann dir der Einsatz einer richtigen 1GBit Karte auch weiter helfen.

Intel Gigabit CT Desktop Adapter

Für schmales Geld kannst du so deinen NAS schon etwas fitter machen fürs Netzwerk

 

[Nighthawk1977]

Hallo BlackGhost,

ich glaube nicht, dass das Netzwerk im Moment mein Problem darstellt. Aktuell sieht es ja so aus, dass ich über LAN schneller Daten bewegen kann als lokal auf dem Server. Ich wäre bei dir wenn ich es lokal wesentlich schneller ginge als über LAN! Dann würde ich sicher drüber nachdenken!

Habe die SATA Platte gerade wieder rangehängt und für Spaß noch mal den Atto laufen lassen, die Schreibwerte auf die Systemplatte sind genau so bescheiden wie in dem Screenshot.

Ich versteh das nicht... Ich werd noch mal auf einer VM ausprobieren, ob ich das RAID 5, was ich erfolgreich von Windows Server 2003 in Windows Server 2008 eingebunden habe, auch wieder zurück in 2003 kriege. Dann könnte ich auf dem AsRock mal die 2008er Version ausprobieren. Im Moment ist mir das alles recht heikel da ich kein Backup habe, die Versuche mit Testdaten in einer VM waren bislang aber alle ohne Problem. Ein anderer User hat hier in einem Beitrag geschrieben, dass diese Windows Softwareraids schon recht robust sind und auch Controllerwechsel mitmachen etc. Gewisses Restunwohlsein bleibt aber dennoch...

 

[Elrond der 2te]

Ich würde eher das Windows Software RAID5 in Kombination mit den 3 über PCI angebundenen Platten alls Flaschenhals ansehen, wobei die von BlackGhost erwähnte Intel NIC auch nicht schaden kann... Und bei den heutigen Speicherpreisen würde ich noch ein 2tes 2GB Modul einbauen.. Solange du eine Anständige Backupstrategie hast, brauchst du dir keinen Kopf machen, ob nach einem Controllerwechsel noch alles da ist bzw. würde ich ohne Backup keine Experimente wagen.. FTP schon getestet??

 

[Nighthawk1977]

Soderle, gerade nach Hause gekommen und gleich mal weitergetestet.

habe meine 1,46 GB Datei noch mal ein wenig hin- und herkopiert...

Via LAN* vom Client auf den Server --> ca. 19,9 MB/s
--> Speicherbelastung max. 560 MB
--> auffällig ist, dass mit nahezu konstanter Geschwindigkeit kopiert wird
--> Freemeter zeigt mir eine Schreibquote von ca. 70 MB/s an, vermutlich addiert das Tool einfach die Werte der angesprochenen Platten

Via FTP** vom Client auf den Server --> 15,3 MB/s
--> Speicherbelastung max. 1200 MB
--> CPU Belastung anfänglich voll auf dem "rechten" Kern, etwa 30% auf dem linken, beim Einbruch dann jeweils noch etwa die Hälfte
--> wie bereits zuvor beschrieben fulminanter Start mit um 50 MB/s bis etwa 1 GB kopiert wurde, dann totaler Einbruch auf deutlich unter 10 MB/s, im Endeffekt wurden 15,3 MB/s erreicht

* einfache Netzwerkfreigabe
** Filezilla FTP Server, einfach nur installiert und ein Konto eingerichtet

Hier sieht man, dass via LAN bzw. FTP offensichtlich zwei verschiedene Herangehensweisen verwendet werden und der Speicher völlig unterschiedlich gehandhabt wird.


Via LAN vom Server zum Client --> 34,5 MB/s
--> Speicherbelastung max. 385 MB
--> CPU Auslastung bei 100% ein Kern (der "rechte" im Taskmanager), der andere dümpelt vor sich hin)

Via FTP vom Server zum Client --> 44,5 MB/s
--> Speicher- und CPU Belastung wie oben


Beim Kopieren via LAN hat sich ja schon herauskristallisiert, dass dort der Schreibcache irgendwann voll ist (es werden bis 1 GB RAM ausgenutzt, scheinbar wird der Rest dann "reserviert"), werde das auch mal mit mehr RAM testen. Das dort gemessene Maximum liegt mit etwa 45 MB/s genau in dem Bereich, was auch in dem Atto Benchmark für das RAID 5 bei der Schreibgeschwindigkeit rausgekommen ist. Dort ist dann sicherlich irgendwo Schluss beim PCI Bus. Da kann ich einen Haken dran machen.

Als nächstes das Sorgenkind Systemfestplatte, habe die Platte auch mal im FTP bzw. LAN freigeben (das Eigene Dateien Verzeichnis). Auch hier wieder die 1,46 GB Testdatei...

VIA LAN vom Client zum Server --> 8,8 MB/s
--> CPU Belastung absolut unauffällig
--> RAM bis ca. 1400 MB
--> wie auch beim Schreiben auf das RAID anfangs hohe Schreibraten bis an die 50 MB/s dann Einbruch
--> teilweise nur 50 kb/s !!!

Via FTP vom Client zum Server --> 6,26 MB/s
--> hier passiert teilweise 10 sekundenlang rein gar nichts
--> RAM und CPU Belastung auf dem Server sind unauffällig

Serverintern vom RAID 5 auf die Systemplatte --> 11,9 MB/s

Das spiegelt sich ja auch in dem Atto Benchmark der Systemplatte im Server wieder. Da die gleiche Platte aber über USB bzw. SATA an meinem Hauptrechner wesentlich flotter ist, schließe ich ein Problem mit der Platte aus. Selbst das SATA Kabel war das gleiche...

Ich bin mittlerweile ziemlich ratlos...

Das angesprochene PCI Bottleneck scheint mir bei ca. 110 MB/s beim lesen zu liegen, also den Wert den der Atto Benchmark auch angibt. Es stellt sich die Frage, was so eine richtige PCIe LAN Karte bringt. Zumal ich nur serverseitig eine einbauen kann. Auf meinem Hauptrechner verdeckt die Grafikkarte leider den PCIe x1 Slot.

Ich hab aktuell keine Idee, was ich sonst noch testen könnte bzw. woran es liegen könnte. Ich werd mal eine simple XP Installation versuchen und mal gucken, was ich dann für Schreibraten auf die Systemfestplatte bekomme. Das RAID 5 läuft dann zwar nicht, aber passieren kann auch nix wenn ich den Controllertreiber nicht installiere...

Vielleicht hat das Mainboard ja nen Schuss, keine Ahnung. Ich hatte bislang erst einmal nen Asrock. Und das nur ne Woche, dann hab ich es als defekt zurückgehen lassen weil der Onboard Sound total gesponnen hat.

---------- Beitrag hinzugefügt um 18:57 ---------- Vorheriger Beitrag war um 18:50 ----------

Was mir noch auffällt:

Der Server erscheint mir auch bei Steuerung über UltraVNC so lahmarschig zu sein. Es gibt deutliche Verzögerungen wenn ich z.B. eine Datei mit der rechten Maustaste anklicke.

Diese Phänomen hatte ich aber auch schon mit den vorherigen Testaufbauten (wie im P3DNow beschrieben erst einen Dual Pentium III, später den Athlon XP 1700+). Es ist sicher besser geworden, aber ich kenn es eigentlich so, dass es kaum spürbare Lags gibt wenn man über UltraVNC im LAN einen Rechner steuert. Es ist fast so, als würde ich über das Internet einen entfernten Rechner fernsteuern. Da sind gewisse Lags ja vollkommen normal wenn das Gegenüber z.B. nur nen DSL Upload von 192 kbit hat.

 

[HisN]

Wenn die Onboard-Nics auch über PCI angeschlossen sind kommst Du ja ziemlich genau hin.

45MB/sec das NIC, 45MB/sec der Raid-Adapter ... nähert sich dem theoretischen Maximum des PCI-Busses.

Hast Du mal geschaut ob Deine Systemplatte im PIO_Modus läuft? 16MB/sec deuten darauf hin.

 

[Nighthawk1977]

Hast Du mal geschaut ob Deine Systemplatte im PIO_Modus läuft? 16MB/sec deuten darauf hin.

Schau ich mir direkt an, gibts das in Zeiten von SATA noch
Hatte das auf dem Pentium III, zu dem Zeitpunkt hab ich da aber eine IDE Platte benutzt.

 

[_ice]

Naja bei Probleme mit Kabel / Port o.ä, fällt die Festplatte nach einer gewissen Anzahl von Fehlern automatisch in den PIO Modus zurück. Doof daran ist nur das sie nur automatisch zurückfällt aber nicht mehr automatisch UDMA 6 oder so switcht.

Gruß

h4wk

 

[Nighthawk1977]

Sowohl die Festplatte als auch das DVD Laufwerk laufen im UDMA 5 Modus. Was zunächst für die Systemplatte nicht aktiviert war, ist "Erhöhte Leistung aktivieren" in den Schreibcacheeinstellungen. Hab das mal aktiviert und neu gestartet, gebracht hat es nichts.

Das SATA Kabel habe ich für den Test an meinem Hauptrechner auch verwendet. Ich werd die Systemplatte mal an einen anderen Port anstecken und dann noch mal schauen.

 

[HisN]

SATA=PATA Die Grundlagen sind die gleichen geblieben auch wenn sich die Technik ein bisschen geändert hat
Aber wenn beide UDMA5 in Gerätemanager angezeigt werden ...

 

[Nighthawk1977]

Ok, wieder etwas dazu gelernt.

Habe die Systemplatte jetzt mal an einen anderen Port gehängt, gebracht hat es nichts.

Ich zieh jetzt mit True Image ne Kopie vom System und installiere dann mal Windows XP testweise ohne den Promise Treiber zu installieren. Muss ich dann halt mal über USB auf die Systemplatte kopieren. Wenn das da dann rennt, dann liegts wohl am Windows 2003 Server.

I'll be back...

 

[3V!L]

Hi,

glaub nicht das es am OS liegt...hau doch mal den Promise raus und teste dann nochmal.

Grüße

 

[Schlingel_INV]

tippe auf billig gigabit onboard-nic + PCI anbindung + PCI-softwareraid.

genau da liegt der hund begraben. durfte ich vor kurzem auch erst feststellen. 100mbit copy vom thinkpad mit intel NIC auf mein testsys mit nem E5300 und Via-onboard NIC ergab gerne mal 40-50% auslastung der cpu. der 4850er ist nochmal nen bissel schwächer. wenn dann noch die karten beide am PCI-Bus hängen haut dir das den speed nochmal runter. dann bei 50% CPU-Last noch den rest fürs raid und ne mistige cpu-nutzung ergibt dann gerne die 100% last auf einem kern. bissel komisch sind die schreibwerte der sys-platte. könnte an der SB oder an nem mistigem bios/treiber liegen. ist aber erstmal nur spekulatius.

was ich dir als erstes raten würde ist in ne richtige PCIe Intel NIC zu investieren sprich gleiches vorgehen wie oben vom schwarzen Geist angesprochen

Der Server erscheint mir auch bei Steuerung über UltraVNC so lahmarschig zu sein. Es gibt deutliche Verzögerungen wenn ich z.B. eine Datei mit der rechten Maustaste anklicke.

mistige NIC

 

[Nighthawk1977]

Hab mal ein Image gezogen und das mal auf eine 80er IDE Platte gespielt.
Bekomme dort schon bessere Werte(28,5 MB/s vom RAID 5 auf die Systemplatte (in dem Fall die IDE). Auch hier macht er beim kopieren immer mal kleine Denkpausen, aber lange nicht so extrem wie mit der SATA Platte.

Total verkorst würde ich mal sagen...

 

[starfighter1954]

habe gleiches Problem mit einem Asrock NF630 Board und Athlon X2 gehabt.
2 GB Ram haben die Zeit bis die kopierten Daten den Ram voll hatten leider nur verzögert.
Es war eine Nforce G-Lan Karte onboard.

Nun habe ich 2GB Ram und ein Intel G31 S775 System mit Realtel 811X Series und dieses Problem kommt nicht mehr.
Leider gibt es nun ein Problem mit Datenfehlern beim Schreiben von (kleineren) Daten von Clients auf den Server, bisher habe ich dies nicht gelöst.