Netzwerkdurchsatz am Server

[thb]

In einer Abteilung mit 8 Arbeitsplätzen (gelengendlich noch 2 Notebooks) diente bisher ein FSC Primergy E 100
(Pentium D 925, 2GB DDR2-RAM, Win2003 R2 Standard) als Datei- und Druckserver.
Es sind 4 Farbdrucker A4/A3, Inkjet/Laser per USB installiert und freigegeben.

Mittlerweile werden an den Arbeitsstationen (Grafikbereich) zunehmend Fotos bearbeitet und dann als
zusammenhängendes Projekt gedruckt. Dadurch entstehen Spoolgrößen pro Druckauftrag im Bereich
oberhalb 1GB. Da die Fotos vom Server zur Bearbeitung / Zusammenstellung zunächst an den Arbeitsplätzen
von den Serverfreigaben geladen werden und die Daten zum Spoolen wieder über das Netzwerk zurück
geschickt werden, kommt es insgesamt zu erheblichen Stockungen an den Arbeitsplätzen.

Als vorübergehende Abhilfe wurde zunächst einen zweiter Primergy E100 eingesetzt und dieser
als Dateiserver konfiguriert. Der erste E100 dient jetzt nur noch als Druckserver. Dadurch konnte
wieder eine zufriedenstellende Netzwerk- / Arbeitsgeschwindigkeit in der Abteilung erzielt werden.
Aus ökonomischer Sicht kann dieses aber nicht die Lösung sein, da insbesondere der Dateiserver
vor sich „hindümpelt“, sprich kaum Last hat.

Hat jemand eine Idee, wie man das „Problem“ mit nur einem Server bewältigen könnte?
Hardwareaufrüstung oder könnte man mit einer Virtualisierung einen der Server ersetzen?
Bei einer VMware Lösung könnte man ja die virtuelle Netzwerkkarte einer zweiten Karte im Server zuweisen.

Weitere Daten zum Netzwerk:
Arbeits-PC unter WinXP mit 100/1000MBit, Server onBoard 1000MBit, 2* D-Link 8-Port 1000MBit Switch

Noch etwas: Die digitalen Fotos sind pro Datei ca. 4 bis 6 MB groß. Eine Änderung (Größe) sollte nicht erfolgen.
Weiterhin soll der Datenbestand auf dem Server bleiben, da u.a. dort auch die Datensicherung erfolgt.

@Admin: Falls die Frage in einem anderen Unterforum besser aufgehoben ist, bitte verschieben

 

[underclocker2k4]

Du brauchst also eindeutig mehr netzwerkperformance am server?!

Einfachste lösung, mehr netzwerkkarten.
Vorzugsweise gbit Intelkarten evtl sogar dual gbit karten. (60-150EUR)

Wenn die switches porttrunking können, kannst du dir die karten als teaming einrichten und damit wirds einfach.

Wenn die es nicht können, dann mußt du die rechner auf die karten verteilen.

 

[blogscreen]

Oder noch besser Glasfaser Gbit ...

 

[jni]

Wenn der Fileserver jetzt kaum was zu tun hat, würde ich erstmal nicht unbedingt das Netzwerk als Bremse vermuten.

Ich weiß nicht, wie der Printspooler auf dem Server sich verhält bei Spool-Größen von 1 GByte und mehr. Speichert der das nur im RAM oder auf der Platte. Vielleicht ist ja der RAM voll (falls die Spooldaten im RAM gespeichert werden) - mal im Taskmanger beobachten . Oder die Bremse ist die Festplatte, weil Spooldaten und Anwendungsdaten auf der gleichen Platte liegen. Wieviel Festplatten hat das System denn und wie sind die aufgeteilt ?

Weiß jemand wo er Printspooler unter Windows die Spooldaten zwischenspeichert ?

@blogscreen

Was soll Glasfaser-GBit für ein Vorteil bringen gegenüber CAT-5-GBit ?

 

[underclocker2k4]

Gespeichert wird das ganze auf der HDD.
c:\windows\system32\spool\printers
zu ändern in
Drucker und Faxgeräte->Datei auf Servereigenschaften->Erweitert->Warteschlangen-Ordner

evtl ist auch das storagesystem überlastet? Evtl ein kleines RAID0(kleine platten, aber "viele") nur für den spooler?!

@blog, würde mich auch mal interessieren, was LWL gegenüber kupfer für nen vorteil hat(in bezug auf den datentransfer)

 

[jni]

Aha - danke.

Wenn auf der gleichen physikalischen Platte jetzt noch die Userdaten liegen, kann ich mir schon vorstellen wie langsam das wird, wenn jemand 1 GByte über den Spooler jagt.

 

[thb]

Wenn die switches porttrunking können, kannst du dir die karten als teaming einrichten und damit wirds einfach.

Die Switches unterstützen kein Teaming. Was ich dazu bisher gefunden habe, kann man zumindestens
preislich auch nicht gerade als Alternative zu einem zweiten (kleinen) Server bezeichnen.
Falls jemand einen empfelenswerten 1000MBit Switch mit Teaming in der Region deutlich unterhalb
1000€ kennt, bitte ich um einen Link.

Wenn die es nicht können, dann mußt du die rechner auf die karten verteilen.

Was meinst Du mit "die Rechner auf die Karten verteilen"?
Hinzugefügter Post:
@all
Hier noch zur Ergänzung: Die Daten auf dem Server liegen auf einem Raid 1 an einem 3WARE 9650SE-2LP.
Die Spooldateien kommen auf die System Platte (SATA) des Servers.

Die Netzwerkauslastung liegt beim Drucken bei ca. 30 bis 50%.
Deswegen bin ich mir auch nicht sicher, ob z.B. Teaming über zwei Netzwerkkarten etwas bringt.

Hat hier jemand mal getestet, ob das Spoolen auf ein Raid 0 oder eine Ramdisk
Vorteile bringt?

 

[underclocker2k4]

Jede NIC bekommt ihre eigene IP.(wie sollte es auch anders sein ^^)
192.168.0.1
192.168.0.2
192.168.0.3

Jetzt hast du 2 möglichkeiten.^
1. Du arbeitest im netzwerk nur auf IP basis und läßt die namen weg. Dh Rechner 1 und 2 haben ihren drucker nicht auf dem rechner "server" sondern auf IP 192.168.0.1. Rechner 3 und 4 haben dann ihren drucker auf IP 192.168.0.2. Rechner 5 und 6 dann auch 192.168.0.3.

Alternativ kannst du auch die hosts datei der clients umschreiben. Bei rechner 1 und 2 trägst du für den namen server die IP 192.168.0.1 ein. Rechner 3 und 4 192.168.0.2 und rechner 5 und 6 erhalten 192.168.0.3 als zuweisung.

IPs mal nur ersatzhalber genommen, mußt du anpassen an deine geschichte.
Die verteilung der rechner ist auch nun nen beispiel.

EDIT: Besorg dir mal nen netzwerkspeedchecker. Dann übertrage mal vom client(auch mehrere gleichzeitig) große datein zum server. Dann schau auf dem server, wo du mit dem eingangsspeed liegst. Solltest du unterhalb von 50MB sein, ist die festplatte weniger das übel. (aber zum test auch mal auf beide platten was schicken, gleichzeitig)

 

[fdsonne]

mhh also er schreibt ja das die Netzauslastung beim Drucken bei ca. 30-50% liegt, sprich da ist noch Luft nach oben, die Frage wäre jetzt ob der Switch bremst oder die NIC nicht mehr Durchsatz macht...

Aber mal ne andere Frage, wie verhält sich denn die Speichernutzung und die CPU Auslastung beim Drucken bzw. beim laden der Daten vom Server?

Ich glaube nämlich nicht das das Problem am Netz liegt, sondern das eher irgendwo anderst der Flaschenhals liegt.
Denn ich glaube das die Daten vorher bevor sie im im Spoolverzeichniss auf der Platte abgelegt werden im Speicher zwischengelagert werden...
Es kann also sein das durch Speicherknappheit ausgelagert wird und gleichzeitig die Daten in den Spooler kommen, was soviel heist das die Platte wo die Auslagerungsdatei und der Spooler drauf liegen, der Flaschenhals ist.
Da bin ich mir aber net ganz sicher, weil so wie du ja sagst, mit zwei Servern das Problem weg ist...

Ich würde vorschlagen du schaust erstmal wie die Auslastung bei Platte/RAM/CPU ist wenn du druckst (am besten von mehreren Plätzen gleichzeitig) und dann sehen wir weiter

 

[underclocker2k4]

Nunja, standardmäßig schaffen die standard gbit NICs 40-50MB/s(relativ guter wert). Und das sind eben diese 30-50%. Dh Entwerder richtige NICs verwenden oder mehrere.

Vom prinzip gibts nur 2 fehlerquellen für das problem.
1. NIC zu schwach
2. HDDs zu schwach

Und da die HDDs in etwa genauso leistungsfähig sind wie die NIC, dürfte mit dem beheben des einen gleich das 2 wieder begrenzen.

 

[fdsonne]

Was ich noch gerade sehe, er verwendet 2x8Port Switche...

Es wäre interessant zu wissen, wie es sich verhällt, wenn man von Clients welche am gleichen Switch hängen druckt und wie es ist, wenn man von Clients druckt welche am anderen Switch hängen.

Ich hab auch so ein DLink Teil Zuhause, das Ding schafft so ca. 50-60MB sec. von Raid0 zu Raid0 zwischen zwei verschiedenen Rechnern (NICs via PCIe angebunden)
könnte also auch der Switch sein der bei zu viel Belastung etwas einbricht...

 

[underclocker2k4]

Das problem ist im gbit netzwerk im allgemeinen die NIC. Egal wie diese angebunden sind. Es tritt ein extremer rechenaufwand auf.

Standard NICs erreichen nicht im entferntesten die 100MB/s.

Ich hatte mir gbit NICs(für den normalen anwender) gekauft, als die frisch auf dem markt waren. Ich kam auf 30MB/s. Bei den heutigen NICs liegt man so bei 40-50MB/s. Wesentlich mehr schaffen die teile einfach nicht.

Interessante Funktion wäre jumboframes. Das sorgt ja für DEN boost bei großen transfers.

 

[fdsonne]

Ja gut da hast du schon recht mit den "einfachen" NICs, aber ich habe meine Tests mit Intel Server NICs gemacht, mit verschiedenen Boards und verschiedenen NICs.
Sprich es waren NICs welche an großen dicken Switchen durchaus mit über 70MB/sec arbeiten können.

Ich weis aber net ob der Test so von mir objektiv war und generell sich verallgemeinern lässt, sprich es kann mit anderer Hardware ganz anderst aussehen. Vllt hab ich ja auch nur nen "schlechten" DLink Switch erwischt... Aber neja ist ja auch egal, lass mal abwarten was er für Messungen bei Platten/RAM/CPU Auslastung schreibt.

 

[underclocker2k4]

Auf jedenfall ist ne genau analyse der komponenten und er flaschenhälse erstmal das einzigste was sinnvoll ist.

 

[thb]

Es wäre interessant zu wissen, wie es sich verhällt, wenn man von Clients welche am gleichen Switch
hängen druckt und wie es ist, wenn man von Clients druckt welche am anderen Switch hängen.
...
könnte also auch der Switch sein der bei zu viel Belastung etwas einbricht...

Am Switch dürfte es nicht liegen, da es mit zwei Servern am gleichen Switch ja funktioniert.
Im Übrigen macht es keinen Unterschied an welchem Switch die Arbeitstationen sind. Die Probleme treten
an beiden auf.

Ich werde mal eine zweite Karte einbauen und den von underclocker2k4 genannten Hinweis mit den
IP Einträgen in der hosts Datei der Rechner testen.

 

[passat3233]

Schau einmal die Prozessorlast am Druckserver an.

Ich kenne den Effekt beim Firmenserver vor etwa 8-9 Jahren.
Damals wars nicht die NIC, Festplatte oder RAM; sondern der Prozessor, der nicht mit der Arbeit hinterher kam und das bei einem lahmen 10 MBit-Netz!
Jedes mal, wenn es viel Netzverkehr gab, machten die Drucker eine Pause.

Gerade wenn die Drucker direkt am Rechner hängen und nicht per Printserver im Netz, dann hat der Prozessor genug Arbeit, die Daten zu den Anschlüssen zu spoolen, gerade bei großen Bilddateien. Und dann bleibt kaum Prozessorzeit für den Netzverkehr übrig.

Bei einer solchen Druckernutzung würde ich immer Drucker per Printserver ins Netz einbinden und niemals direkt per USB oder gar LPT am Server anschließen.

 

[fdsonne]

@passat3233
hat nicht bei der Lösung mit diesen externen Printserverboxen trotzdem der Rechner die arbeit mit dehnen man den Drucker dann schlussendlich frei gibt?

Kenn mich da net so wirklich aus, hab hier nur so ne HP Jet Direkt Box rum liegen, womit man einen Drucker mit LPT Port auf ein 10MBit Lan Port schalten kann.
Freigegeben wird der Drucker dann aber noch net, klar kann man den Drucker dann direkt über die IP an den Clients anbinden, aber dann wird die komplette Rechenlast fürs Drucken am Client getätigt.
Wenn man hingegen den Drucker über die IP direkt am Server anbindet und dann frei gibt, ist das das gleiche in Bund wie wenn dieser direkt am Server angeschlossen ist. Die Last liegt komplett auf dem Server.
Einziger Vorteil, der Drucker muss nicht irgendwo in der nähe des Servers stehen, sondern kann irgendo stehen, wo ne LAN Strippe hingeht.

 

[jni]

Der USB-Datentransfer kann aber evtl. wesentlich aufwendiger sein je nach Chipsatz, Treiber ...

Deswegen schau mal nach der Prozessorlast auf dem Server während des Druckens! Und auch mal schauen welcher Prozeß das ist (vermutlich spoolsrv.exe) !

 

[James_br0wn]

Frage: das die Drucker per usb angebunden sind, stellt keinen Flaschenhals dar?

 

[thb]

Der USB-Datentransfer kann aber evtl. wesentlich aufwendiger sein je nach Chipsatz, Treiber ...

Die Drucker bieten leider nur die Möglichkeit zum USB- oder Parallelanschluß.
Alles, was einen Netzwerkanschluß hat, ist auch direkt ins Netz eingebunden.
Alledings handelt es sich hierbei um 2 HP SW-Laser, die sowieso nicht besonders ausgelastet sind.

Ansonsten wären wir ja bei den externen Printservern. Allerdings glaube ich kaum, dass dort die
relativ großen Spooldateien reibungslos durchlaufen. Wie oben bereits von fdsonne beschrieben
liegt die Last dann umsomehr bei den Clients und das "Gemaule" der Anwender geht wieder los.

Deswegen schau mal nach der Prozessorlast auf dem Server während des Druckens!
Und auch mal schauen welcher Prozeß das ist (vermutlich spoolsrv.exe) !

Die CPU Last ging auf ca. 70 bis 80% und ja, es war der Spoolerprozess.
Genaue Werte kann ich momentan nicht liefern, da ich, wie im Eingangspost genannt,
zwischenzeitlich einen zweiten Server eingebunden habe.

Wenn man dann alles hier im Thread zusammenfasst, kann man folgende Eingrenzung durchführen:
Das Problem tritt nur dann auf, wenn Druck- und Dateiserverfunktion auf einem Rechner liegt.
Und dann auch nur bei besonders großen Druckaufträgen.
Die Serverhardware reicht bei Trennung der Server-Funktionen problemlos aus.
Auch die Anbindung der Drucker per USB stellt dabei kein Problem dar.
Ein relevanter Einfluss des Switch liegt nicht vor.

Bleibt m.E. nur noch der Durchsatz an der Netzwerkkarte. Da auf dem Board (Intel E7230 Chipsatz)
eine Broadcom BCM5751 NIC verbaut ist, sollte es auch nicht an der Qualität liegen.
Somit dürfte eine zweite Karte Abhilfe schaffen. Test folgt...

 

[fdsonne]

Ansonsten wären wir ja bei den externen Printservern. Allerdings glaube ich kaum, dass dort die
relativ großen Spooldateien reibungslos durchlaufen. Wie oben bereits von fdsonne beschrieben
liegt die Last dann umsomehr bei den Clients und das "Gemaule" der Anwender geht wieder los.

Neja das ist ja nur dann so wenn du den Drucker direkt am Client über die IP anbindest, um dem Abhilfe zu schaffen, kannst die Drucker ja dann über die IP am Server anbinden und freigeben...
Dann hast die USB geschichte umgangen.

 

[NewUser]

In einer Abteilung mit 8 Arbeitsplätzen (gelengendlich noch 2 Notebooks) diente bisher ein FSC Primergy E 100
(Pentium D 925, 2GB DDR2-RAM, Win2003 R2 Standard) als Datei- und Druckserver.
Es sind 4 Farbdrucker A4/A3, Inkjet/Laser per USB installiert und freigegeben.

Sind das eventuell GDI-Drucker ohne eigene Druckaufbereitung?

Wir haben auf der Arbeit etliche OKI Farblaser mit PCL und PS, welche über mehrere virtuelle W2003R2 SP2 Printserver (dort sind jeweils über 300 Drucker gehostet ) angebunden sind. Selbst mehrere hundert Seiten umfassende Druckaufträge bringen das Teil nicht zum Schwitzen.

 

[thb]

Sind das eventuell GDI-Drucker ohne eigene Druckaufbereitung?

Nein. 2* Canon IP4300, 1* HP DJ1280C, 1*HP CLJ1600. Die relevanten Druckaufträge laufen
allerdings nur über die beiden Canon.

...welche über mehrere virtuelle W2003R2 SP2 Printserver (dort sind jeweils über 300 Drucker gehostet)...

Auf welcher Hardware laufen die VM? Wie ist der Hostrechner an das Netzwerk angebunden?
Wie werden die Drucker von den virtuellen W2003 Printservern angesprochen (USB)?

Selbst mehrere hundert Seiten umfassende Druckaufträge bringen das Teil nicht zum Schwitzen.

Wie groß sind die Spooldateien pro Druckauftrag? Die Seitenanzahl ist nicht entscheidend.

 

[jni]

Ähm - nur so ne Frage: Die Systemplatte läuft auch im Ultra-DMA-Modus und nicht evtl. nur im PIO-Modus ?

 

[thb]

Wie oben bereits genannt ist es keine IDE sondern eine SATA Platte.

 

[passat3233]

Nein. 2* Canon IP4300, 1* HP DJ1280C, 1*HP CLJ1600.

Der HP CLJ 1600 ist ein GDI-Drucker!
Ebenso der größere 2600.
Erst der 2605 kann PCL.

Und wenn ich mir die Systemanforderungen beim IP4300 anschaue, dann ist der rel. anspruchsvoll: Mind. 566 MHz-Prozessor, 128 MB RAM und 400 MB freier Platz auf der Platte sollte der Rechner haben.
Da frage ich mich doch, weshalb ein Druckertreiber 400 MB Plattenplatz braucht.

Übrigens noch etwas zum CLJ1600:
Der ist zwar billig in der Anschaffung, aber bei den Druckkosten sehr teuer.
Mit einem CLJ 3xxx ist man schon nach ca. 2 Jahren Nutzungsdauer deutlich billiger, obwohl der in den Anschaffungskosten mind. 3 mal so teuer ist.
Bei der Druckerauswahl sollte man gerade im Geschäftsumfeld nie nach den Anschaffungskosten gehen, sondern die Gesamtkosten über die vorrausichtliche Nutzungsdauer betrachten.

Grüsse
Roman

 

[NewUser]

Nein. 2* Canon IP4300, 1* HP DJ1280C, 1*HP CLJ1600. Die relevanten Druckaufträge laufen
allerdings nur über die beiden Canon.

Das sind leider alles Billigdrucker ohne eigenen Prozessor zur Druckaufbereitung. Bei diesen Dingern muss alles von der CPU des angeschlossenen PC aufbereitet und dann an den Drucker übertragen werden.

Bei unseren PCL/PS Druckern übernimmt der Drucker den Aufbau der Druckdaten und entlastet damit gewaltig den PC. Z. B. wenn ich 20 Kopien haben will sendet der PC einmal die Daten und der Drucker vervielfältigt dann. Bei einem normalen Tintenpisser hat der Drucker garnicht soviel internen Speicher für eine ganze Seite vorzuhalten und so muss jede Kopie nochmal komplett an den Drucker übertragen werden. Unsere OKI haben z. B. mindestens 256 MB und die A3 Modelle sogar eine interne Festplatte.

Auf welcher Hardware laufen die VM? Wie ist der Hostrechner an das Netzwerk angebunden?

VMware ESX 3.0.2 mit Dual Xeon 5160 und 16 GB RAM. Die virtuellen Printserver sehen aber nur einen Kern und 2 GB RAM. Angeschlossen ist das ganze per Broadcom 1000 Base-T.

Wie werden die Drucker von den virtuellen W2003 Printservern angesprochen (USB)?

Die Drucker hängen bei uns direkt per interner Netzwerkkarte am LAN oder werden falls an einem PC angeschlossen per UNIX TCP/IP Druckdienste auf Port 515 angesprochen.

Wie groß sind die Spooldateien pro Druckauftrag? Die Seitenanzahl ist nicht entscheidend.

Z. T. habe ich schon Druckaufträge um 2 GB gesehen. Habe aber nicht die Zeit um da jeden Druckauftrag zu kontrollieren - gab noch keine Performanceprobleme.

 

[Ruede]

Ja gut da hast du schon recht mit den "einfachen" NICs, aber ich habe meine Tests mit Intel Server NICs gemacht, mit verschiedenen Boards und verschiedenen NICs.
Sprich es waren NICs welche an großen dicken Switchen durchaus mit über 70MB/sec arbeiten können.

Ich weis aber net ob der Test so von mir objektiv war und generell sich verallgemeinern lässt, sprich es kann mit anderer Hardware ganz anderst aussehen. Vllt hab ich ja auch nur nen "schlechten" DLink Switch erwischt... Aber neja ist ja auch egal, lass mal abwarten was er für Messungen bei Platten/RAM/CPU Auslastung schreibt.

hmmm ich hab auch so nen ollen dlink switch.

wenn ich mit netio hieß das programm afaik einen test machen komme ich mit linux<->linux auf um die 100mbyte/s. (jeweils intel desktopadapter 1gbit)

bei windows<->linux ist es ein wenig langsamer.


zum thema: meine vermutung: die plattenbelastung in verbindung mit der cpu last die durch die nics kommt.


was für netzwerkkarten sind das denn im sever?

 

[jni]

Wie oben bereits genannt ist es keine IDE sondern eine SATA Platte.

Wenn die Platte nicht mit AHCI-Treiber arbeitet, läuft sie im IDE Modus (eigentlich ist das ne Emulation einer IDE-Platte). Dann kann sie evtl. auch nur im PIO-Modus laufen.

 

[thb]

So, hier noch mal nach einiger Zeit ein Feedback. Da zum Testen die User leider stören,
war ein ausgiebiger Test erst am Feiertag möglich ;-)

Die vorgeschlagene Lösung über den spezifischen Eintrag in der hosts Datei brachte keine wirliche Abhilfe.
Die Clients haben dann zwar die Druckaufträge über die beiden Netzwerkkarten an den Server gesendet,
allerdings kam es bereits bei einem einzelnen Auftrag zu Problemen, d.h. an den Clients konnte nur
stockend weitergearbeitet werden.
Nach einem weiteren Test war dann klar, dass offensichtlich ein Flaschenhals bei dem Spoolen der Dateien
auf die Serverplatte vorliegt. Nachdem der Spoolpfad auf eine zusätzliche SATA Platte „umgebogen“
wurde ging es schon etwas zügiger voran.

Ich habe dann einfach mal einen leistungsstärkeren Server (FJS TX300 S3, Xeon E5335) konfiguriert,
wobei die Spooldateien auf ein Raid 0 (zwei SAS Platten) geleitet werden. Damit lief/läuft es jetzt optimal.
Auch mit nur einer NIC kommt es jetzt zu keinen „Staus“ mehr, auch wenn von mehreren Clients große Daten
gedruckt werden.

Noch eins zu den Druckern. Normalerweise werden hier für den Farbdruck HP 2250TN eingesetzt.
In der speziellen Abteilung reicht die Druckqualität jedoch nicht aus. Die beiden Canon liefern
dagegen eine sehr gute Qualität bereits bei „Normal“ Einstellung auf beschichtetem Papier. Und hier bitte
keinen Hinweis auf OKI o.a. Farblaser. Bei der Quailtät der Canon Inkjets kommt ein bezahlbarer Farblaser
nicht mal ansatzweise in die Nähe. Der genannte HP Farblaser
wird übrigens nur für einzelne Kontaktabzüge benötigt und reicht dafür vollkommen aus.

Danke für alle Hinweise.