Rechner für Netzwerkrendering

[akiro]

Hi,

ich plane den Aufbau einer kleinen Renderfarm für V-Ray und Maxwell Render. Starten werde ich erstmal mit 4 oder 5 Rechnern (plus Workstation), im Laufe der nächsten Monate soll dann auf 10 - 15 Nodes aufgestockt werden - mal sehen, wie schnell die ganze Sache anläuft...

Die Frage ist jetzt, welcher Prozessor oder welches System hat das beste Preis-Leistungs-Verhältnis. Wobei die Software-Lizenzen und der Verbrauch zwei nicht zu vernachlässigende Faktoren sind. Es wäre daher in einem gewissen Rahmen also am günstigsten möglichst wenige aber dafür stärkere Systeme zu haben.

Ich kalkuliere außerdem in jedem Fall mit der Übertaktung der Systeme. Ich arbeite jetzt seit ca. 10 Jahren so ziemlich ausschließlich mit übertakteten Rendersystemen ohne irgendwelche Probleme. Daher kommt preis-leistungsmäßig nur Übertaktung in Frage.

Bisher war ich daher eigentlich von i7 920 @ 3,5-4GHz ausgegangen. Jetzt habe ich aber vermehrt gelesen, dass die neueren 920er nicht mehr so gut zu takten sind und ein xeon w3520 oder i7 930 aktuell besser sind.
Außerden hab ich jetzt ein paar Reviews zum Phenom x6 gesehen, wo dieser P/L-technisch und vom Verbrauch her ziemlich gut aussah. Betrachtet man das Komplettsystem kommt man mit nem AM3 ja schon um einiges billiger weg.
Bei nem AM3-System hab ich doch auch nur Dualchannel, oder? Da ich als Minimum 8GB pro Node benötige wäre das dann mit 4x2GB wohl auch günstiger als nen i7-System mit Triple Channel und 6x2GB.

Die Fragen wären jetzt:

- Welcher Prozessor besitzt momentan das beste Potenzial? i7, Xeon oder Phenom?!? (P/L und Übertaktung)

- welches Board, RAM und Luftkühler sind empfehlenswert und möglichst kostengünstig?

- Macht ein Board mit Onboard-Grafik Sinn oder ist eine billige PCIe Karte besser hinsichtlich Übertaktung und P/L?

- Gibt es eigentlich Probleme bei der Übertaktung mit 4 oder 6 Speichermodulen?

- gibt es aktuell bestimmte Batches die ein gutes Übertaktungspotenzial haben und gibt es Händler, die Batch-Nummern angeben oder auf Nachfrage mitteilen können? Oder anders gefragt: wie/wo kaufe ich am besten?

- Ich gehe von einem normalen Gbit-LAN aus. Alles andere (Infiniband & Co) wird zu teuer. Jetzt wäre die Frage, ob eine Bündelung von jeweils zwei 1Gbit Leitungen möglich ist. Und wenn ja, was muss die Hardware dafür erfüllen?


Eine Menge offener Fragen... Ich hoffe, hier kann mir jemand weiterhelfen. Wäre super, mal ein paar Einschätzungen zu hören...
Schon mal Danke im Voraus!

Gruß,
akiro

[underclocker2k4]

Es reicht eine Thread zu dem Thema. Für die Zukunft, einfach einen Mod ansprechen, damit er deinen Thread verschieben kann. Spart uns Arbeit(wir müssen jetzt auch aktiv werden) und dir "Ärger".

[biu]

Also vom Rendern sowie Renderfarmen habe ich recht wenig Ahnung, aber vielleicht hilft dir das weiter: Building home linux render cluster

lg

[akiro]

Es reicht eine Thread zu dem Thema. Für die Zukunft, einfach einen Mod ansprechen, damit er deinen Thread verschieben kann. Spart uns Arbeit(wir müssen jetzt auch aktiv werden) und dir "Ärger".

sorry... ich gelobe Besserung und werd's nicht wieder tun!
Ist die Anfrage hier denn nun richtig platziert oder wär sie im Übertakterforum doch besser aufgehoben?!?

@biu
Danke für den Link. Das Projekt kenn ich schon - nicht schlecht, aber die Komponenten sind mittlerweile etwas outdated, da schon 2 Jahre alt

[underclocker2k4]

Du bist hier, denke ich, schon besser dran.

Bei den OClern wird richtig übertaktet. Das solltest du vermeiden. Innerhalb gewisser Grenzen bleiben, dann ist die Welt OK.

[Fr@ddy]

Schonmal über dual Xeons 56xx nachgedacht?
Ich weiss nicht was deine Softwarelizenzen kosten, aber das kann sich rechnen.
Ich habe mal eine Renderfarm betreut, selbst arg überteuerte dual MAC Pros waren da Preis/leistungsmäßig dank lizenzgebühren nicht wesentlich teurer als übertaktete Core2 Quads.
Wie viel Platz steht denn zur verfügung und wie siehts mit kühlung aus?

[Vagabund]

Einfach mal die Softwaredoku konsultieren. Einige Programme können das Rendern beliebig outsourcen, wobei da auch ewig viele verschiedene PCs arbeiten können. Ich denke mal, du solltest von deinem Programm ausgehend mal schauen was sich lohnt (vlt. AMD optimiert?).

[H_M_Murdock]

V-Ray und Maxwell kenn ich leider nicht, kenn's aber vom Mental Ray mit dem verteilten Bucket-Rendering.

Ich geh mal davon aus, dass deine renderer ähnlich gut skalieren wie Mental Ray, du also bei der Kernzahl pro Node nicht wirklich ein allzu enges Limit nach oben hast.

Dann würde P/L - sofern pro System und nicht pro Socket oder gar Cores lizensiert wird - IMHO ein Dualsocket System mit 2 Hexacores am besten hinhauen.

Interessant wär zu wissen wie du die Systeme unterbringst.
Tower oder Rack? Lautstärke egal oder nicht?
Fürs Rack hat Supermicro recht interessante Lösungen bei denen du 2 Systeme auf 1 HE bzw. 4 Systeme auf 2 HE packen kannst die auch verhältnismäßig günstig sind.
Dabei hast du pro System 2 CPU Sockets, pro Einheit mit 2 bzw. 4 Systemen aber nur rel. wenig Platzbedarf und was die Stromversorgung betrifft einen recht anständigen Wirkungsgrad.

Das mit dem Übertakten ist so ne Sache.
Schlicht aus dem Grund weil da wohl mit 99,9% (wobei ich da jetzt auch nimmer auf dem aktuellsten Stand bin) nichts geht was erwähnenswert wäre.
Von EVGA gibts ein Board das gut zu übertakten ist, das kostet aber ne Menge Asche und braucht sehr große Gehäuse (XL-ATX).

[Fr@ddy]

Die Supermicro twin² (2he 4 dual-Xeon Systeme) nutze ich @work. Preis/Leistungsmäßig sind die sehr ordentlich und man kann (kühlung vorausgesetzt) sehr dicht packen.
Nebenbei gibts noch ein Redundantes Netzteil für wenig Aufpreis und mehrverbrauch. Dazu IPMI onboard als sehr nettes feature wenn du die Kisten remote verwalten möchtest.

Ich denke das Dual-lösungen momentan atraktiv sind weil die Boards nicht so viel mehr kosten und speicher verhältnismäßig teuer ist. Wenn du 8GB/System als minimum ansetzt machen sich die Speicherpreise stark bemerkbar.

Netzteil usw. muss man auch nciht doppelt kaufen. Sind schon einige Vorteile.

[MAFRI]

Bei dualsockel kann er nicht übertakten ....
Es sei denn er nimmt dieses EVGA SR2 - wobei sowas sinnlos ist.


Grüße
MAFRI

[Fr@ddy]

Warum sinnlos?
0815 X58 Bretter kosten schnell um die 300 Euro, Prozessoren kosten ähnlich viel und Speicher müsste er nur die hälfte kaufen. 2. Netzteil, 2.HD, evtl. Grafikkarte, Gehäuse und Betriebssystem/Renderclient-lizenz da lässt sich schon einiges wieder einsparen.

[MAFRI]

sinnlos - wenn übertaktet werden soll,
billiger wären allerdings besagte twin oder dual twin systems

[Fr@ddy]

Übertaktet werden soll doch nur wegen preis/leistung oder?
Wenn die dual-Systeme da mithalten können spricht doch nichts dagegen oder habe ich hier irgendwas nicht verstanden.

[fdsonne]

Neja ausgehend von aktuellen Desktop Systempreisen und dessen, was dort an Leistung durch OC drin ist, kommt man wohl auch mit Dual Sockel Systemen nicht wirklich auf einen grünen Zweig. Es sei denn, man bekommt Teile eventuell gebraucht.

Man müsste mal genauer untersuchen, wie gut die Software pro Renderknoten skalliert.
Ich könnte mir Vorstellen, der Leistungsunterschied zwischen zwei aktuellen Quadcore Systemen im Vergleich zu einem Dual Sockel Quadcore System mit sonst gleichem Restaufbau dürfte doch ziemlich groß zugunsten des Dual Sockel Systems sein...

Wenn die Skallierung brauchbar ist, dann würde ich hier vorerst zu vier AMD Hexacore AM3 Systemen raten. Das ganze auf 3,5-4GHz prügeln und schon rennt der Hase.
Für das Geld aller vier Systeme kommt man auf jedenfall keine aktuellen Dual/Multisockel Systeme mit gleicher/ähnlicher Leistung. Wenn natürlich die Skallierung äußerst schlecht übers Netz ist, dann machen wenige dicke Renderknoten hingegen wieder mehr Sinn.

Vllt sogar Dual 12 Core AMD Kisten

[Fr@ddy]

Ja beim AM3 sieht die Rechnung schon anders aus, da ist man nicht gezwungen eines von den für Desktops überteurten X58 Boards zu nehmen.

Ein Supermicro twin kostet z.B. mit 4x Xeon 5620 + 6x2GB RAM ca. 4k euro + MWst. Listenpreis. Da ist an Hardware alles dabei was man so braucht. Gehäuse, Netzteil, HD und der Rechner als kleinen Bonus gibts mit IPMI nette wartungsoptionen.

4 Systeme auf X58 basis sind nicht viel günstiger. Und dann kommts halt auf die Softwarekosten pro Rechner an, die 4 Desktops kosten da halt doppelt so viel.
OS setze ich mal mit ca. 100 Euro an, jetzt kommts drauf an was ihr an Plugins usw. lizensiert habt, kann je nach Lizenzmodell schnell ganzschön teuer werden.

Ich hab das ein paar Monate mitgemacht mit den übertakteten Desktops, dann geht mal da ein Netzteil kaputt, dann wieder hier der Speicher oder auch mal ne HD. Langweilig wirds nicht damit.
Jetzt kümmer ich mich um ein paar twin^2 Kisten und nach Strom/Kühlungsausfall muss ich an ca. 1% der Systeme den Speicher nochmal prüfen (nicht 1 und 2GB Module kombinieren das mögen die nicht so).
Nervig genug aber deutlich weniger Aufwand als mit Desktops.

[fdsonne]

S1366er SingleSockel Desktop Boards gibts ja auch ab 100€. Kein Plan ob das was taugt
Ansonsten halt aktuelle S1156er Systeme nehmen. Der Nachteil der wenigen PCIe Lanes sollte hier nicht ins Gewicht fellen...


Das mit den Lizenzen ist aber ein gutes Argument. Aber da habe ich keine Ahnung was die genannten Software da an Geld verschlingt.

[Fr@ddy]

Selbst mit 100 Euro Board ist man bei einem i930/Phenom X6 bei ca. 800 Euro ohne Software für ein System.
Lizenzen hängen meist davon ab was an Erweiterungen genutzt wird. Man kann module für fast alles zu den schon gekauften Lizenzen dazukaufen. Extra beleuchtung, charakter-animationen, Software zum generieren von Geländen usw. einige dieser Plugins kosten halt pro Rechenknoten. Da kann echt ganzschön was zusammenkommen. Nicht zu vergessen halt die Kosten für OS und das Renderprogramm/evtl. die software um verteilt zu rendern an sich. Ich glaube das sind üblicherweise ein paar hunderter pro Kiste. Die große Frage ist nur wie viele. Man kann mit 200 € hinkommen, es kann aber auch deutlich mehr werden. Richtig böse wirds wenn verschiedene Renderprogramme genutzt werden, denn dann darf man in der Regel auch wieder fleißig Erweiterungen dazukaufen. Bei 800€/System kann man schon für Hard und Software ähnlich viel ausgeben.

Mich interessiert noch wie du die Kühlung realisierst, die 4-5 Nodes werden noch keine Schwierigkeiten machen, aber bei 15 sieht das schon anders aus.
Spätestend nach 10 nodes solltest du auch mal drauf achten aus welchem Kreis die ihren Strom ziehen. Meist sind 230V leitungen mit 16A abgesichert, das sind knapp über 3.5kw die du da ziehen kannst bevor die Sicherung auslöst. Normalerweise bekommst du aber schon früher Probleme, da die Lastaufnahme nicht ganz gleichmäßig ist.

[wagich]

leicht OT, aber kennst du www.benchwell.com? Dort findest du Leistungsdaten von Maxwell mit sehr vielen verschiedenen Prozessoren. Damit solltest du dir zumindest ein gutes Bild der Prozessorleistungen (und auch den OC-Gewinnen) machen können.

P/L bei Maxwell zwischen mehr Nodes oder mehr Cores ist relativ simpel: wenn zwei Maschinen + 445€ + 1x Windows billiger sind als ein dual-node, dann nimmst du die ein-sockel-lösung.

Nicht vernachlässigen würde ich aber auch den Stromverbrauch und die zusätzliche Hitzeentwicklung (-> Stromverbrauch Kühlung) der single-nodes durch die doppelt vorhandene Infrastruktur (Festplatte, Board, Netzteil).

Ich gehe davon aus, dass das P/L der dual-systeme das der single-socket-systeme schlägt, sobald du sämtliche Kosten (eben auch versteckte und indirekte) mit einbeziehst. Besonders wenn dann Twin/Quad-Nodes zum Einsatz kommen, die dich nochmals deutlich am Gehäuse und an der Stromaufnahme sparen lassen.

[Edit]
Habe noch schnell Preise nachgeschaut: ein Supermicro Twin-Node mit 2x (2x 2.66 GHz Hexacore, 12GB RAM, HDD) kostet 6800€ + Software für 2 Nodes und ist 1U.

[akiro]

Hey, hier ist ja richtig was los! Cool, hatte schon gar nicht mehr damit gerechnet.

Erstmal ein riesen Dankeschön für alle Tipps!!!

Die Überlegungen decken sich im Großen und Ganzen auch mit meinen Erkenntnissen.

Zum Thema Softwarelizenzen:
Bei V-Ray gibt's mit einer Lizenz 10 Node-Lizenzen, also bis 10 Rechner wäre erstmal Ruhe, darüber müsste dann was drauf gerechnet werden pro zusätzlicher Box.
Für Maxwell hab ich momentan 5 aktuelle Lizenzen für Rechner, mit denen ich auch erstmal starten würde. Für den weiteren Ausbau stehen dann noch 6 weitere alte Lizenzen zur Verfügung, die ich für 200€ pro Lizenz updaten kann... also Summa Summarum 11 Rechner... danach wird's teurer (~500€ pro zusätzliche Node License)
Und dann kommt natürlich nicht Windws dazu... wobei ich gerade am überprüfen bin, ob die Linux-Version von Maxwell eine Alternative sein könnte. Muss mal sehen, ob das schon alle Funktionen voll unterstützt und wie der Speed so ist. Dann würde zumindest das BS weg fallen.
Generell skaliert Maxwell ziemlich gut im Netzwerk. Wenn man die verzögerungen für die Verteilung der Daten im Netz mal außen vor lässt, kann man von fast von einer Addition der Leistungen entsprechend der Rechner ausgehen. Bei V-Ray ist es glaub ich etwas schlechter...

Aber grundsätzlich denk ich auch, dass es gut wäre, die Rechneranzahl möglichst gering zu halten, da sich alles multipliziert (Speicher...) und der Verbrauch wahrscheinlich auch höher ist.
Diese Rechnung ist aber eben nicht mehr ganz so einfach, wenn man von übertakteten Systemen ausgeht, denn da wird's für die überproportional teureren Dual-Systeme schnell eng.
Das SR-2 hatte ich auch schon fest im Visier seit es Ende letzten Jahres angekündigt wurde - aber wann das hierzulande mal erhältlich sein wird, und ob überhaupt in angemessenen Stückzahlen, steht denk ich noch in den Sternen... wahrscheinlich wird's dann auch noch so unverschämt teuer, dass es sich eh nicht mehr lohnt - zumal ja wie schon erwähnt auch noch die Gehäuseproblematik dazu kommt...
Tja, nen einfaches, übertaktungsfähiges Dualboard, ohne diesen ganzen Zig-Grafikkarten-Schnickschnack das hätt schon was.

Meine Hoffnung war (ist) ja immer noch, dass was taktbares für die neuen Opterons rauskommt... oder jemand eine Lösung findet, wie's sonst gehen kann...
Ich glaube, dann wären so ein paar Dual 8cores und vielleicht ne Dual 12core Workstation schon was Feines.

@wagich: Ja benchwell kenn ich schon, damit hab ich auch schon gerechnet - ist leider noch nicht für Maxwell Render v2 aktualisiert, die Ergebnisse sollten sich aber prozentual gesehen in etwa decken.

@Fr@ddy: Danke für die Hinweis, die Stromversorgung muss ich noch überprüfen. Kühlung sollte zu Beginn noch kein Problem sein - wenn's dann mehr werden (>10) muss ich mir wohl was einfallen lassen...

[fdsonne]

Also aktuelle AMD Platformen im Dual Sockel Bereich kannst du zumindest etwas übertakten, erwarte aber da keine Wunder, denn es gibt soweit ich weis kein Board, was dir die VCore der CPUs einstellen lässt. Sprich du OCed nur mit Standard Spannung und da kann schnell ruhe sein...

Ob da was kommen wird, bleibt abzuwarten, ich denke aber mal eher nicht.

Das SR-2 von EVGA soll es wohl aktuell schon in Europa geben, in einem Französischen Shop habe ich es letzens für 699€ gesichtet, was aber gemessen am US Preis von 599$ erheblich mehr ist...

[Fr@ddy]

Wie läuft das übertakten bei den Multisockel AMDs?
Geht das über Software?

Vielleicht wird sowas dann ja doch noch interessant. Hat nur mehr als 8GB RAM sobald man alle Speicherkanäle bestückt ;-)
https://www.pyramid.de/shop/system.p...CPYSH1UASM0030

Ich teste die gerade mit 6174er CPUs. Leider nur über remote-Zugriff und unter linux, daher kann ich nicht für dich relevantes ausprobeiren.

[fdsonne]

Jupp, das geht idR mit einem Softwaretool, was den Ref. Takt der CPUs anhebt.

[arch3990]

...rendere recht viel mit Maxwell (1.71) - habe hier momentan insgesamt drei Knoten:

4x 8439SE 2.80 GHz - Benchwell: 3m23s - 3167.38
2x X5560 2.80 GHz - Benchwell: 4m58s - 2159.91
1x i7-980X @ 4600 (H20) - Benchwell: 4m14s - 2533.05

unter Luft läuft der 980X @ 4200 - Benchwell: 4m37s - 2318.00

Denke, dass die 980er vom Preis Leistungs-Verhältnis als Renderknoten sehr gut sind (was das Gesamtsystem anbelangt) Kostenpunkt so ca. 1400 -1600 Euro, je nach Grund-Konfiguration (wenn keine weiteren besonderen Ansprüche gestellt werden). Die CPU ist halt leider sehr teuer - beim Rest kann man für einen Renderknoten auf relativ günstige Standardkomponenten zurückgreifen,

Man sieht, dass ein 980er luftgekühlt mit boxed Kühler bei 4.20 GHz schon die DP-Xeon Systeme mit W5590 CPUs schlägt - bei deutlich geringerem Systempreis.

Wichtig bei Maxwell ist auch ein schnelles Netzwerk - nicht am Switch sparen! Am besten einen separaten "Server" mit sehr schnellen HDDs (Raid).

Erst seitdem ich den Maxwell Manager auf einem kleinen Fileserver mit E5200 und 6x HDD im Raid0 laufen lasse ist die Performance beim Netzwerk-Rendern einigermaßen in Ordnung, da ja die "Zwischenstände" nach jedem SL-Level erst zwischen gespeichert werden und die Dateien je nach Auflösung oder Verwendung von ML seeeehr groß werden - ein langsames Netzwerk oder langsame HDDs kosten dann richtig Zeit. Das Raid0 ist allerdings nur als schneller "Pufferspeicher" gedacht. Sicherung auf Raid 1 folgt nach Beendigung des Renderns.

[akiro]

Super! Danke für die Vergleichswerte - das hilft schon mal sehr! Hatte nen übertakteten i7 980 bisher nur schätzen können. Im Forum gab's nur Werte für Maxwell v2... Sieht ja doch ganz gut aus im Vergleich zu den Dual-Systemen.
Die Hinweise bzgl. Switch sind auch gut - kannst Du denn was empfehlen im Hinblick auf "nicht sparen"?!? Wie ist das denn mit Kanalbündelung bei Gbit-switches? Kann man das machen und vor allem, bringt's was?

Ich hatte eigentlich vor, die Workstation als "Server" zu nehmen. Kann man es nicht so einstellen, dass erst der fertige Job auf den Server zurück geschrieben wird?
Raid0 + 1 habe ich auch geplant.

Vielleicht warte ich doch noch auf das SR-2 zumindest für die Workstation... und pack dann erstmal zwei 32nm-Quads rein und später zwei Hexas.

[fdsonne]

Mit nicht sparen am Switch ist wohl eher eine Maschine gemeint, welche erstens ein echter Switch ist und nicht so ne Desktop Gurke und zweitens bisschen mehr Bumms unter der Abdeckung hat.
Wenn du da so nen günstig 24 Port GBit Switch hinstellst, der bei Volllast auf allen Ports intern aber diesen Speed gar nicht verarbeiten kann, hast du am falschen Ende gespart...

Trunken der Ports ist sicher eine Möglichkeit den direkten Datendurchsatz recht effizient und einfach zu erhöhen. Bedenke aber, das du eben idR bei nem Trunk auch zwei gleichzeitige Datentransfers in die selbe Richtung brauchst um 2xGBit Speed zubekommen...
Für die Renderknoten macht das wohl weniger Sinn. Aber für den Zentralen Server, von dem die Daten geholt werden, der die Daten verteilt und der das Ergebniss empfängt von allen Rechenknoten macht das hingegen wieder schon Sinn. Da dort dann theoretisch jeder Knoten seine eigene NIC nutzen könnte, sofern du so viele Ports trunken willst...
Ich denke mal das musst du dann selbst nachmessen, wie die Auslastung ist und wie es Sinn macht zu bauen.

Und wie arch sagte, ein schneller zwischenspeicher ist auch von Vorteil um anständigen Speed zu bekommen, gerade wenn es darum geht, gleichzeitige Zugriffe zu bewältigen.