AMD Interlagos oder Zambesi für C4D Renderworkstation?

[yukomono]

Hallo Zusammen,
ich arbeite mit Cinema 4d und möchte/muss meine Hardware den Möglichkeiten anpassen. Cinema rendert prozessorbasiert, was bedeutet, je mehr schnelle Prozessoren und je mehr Kerne desto schneller ist die Berechnung der einzelnen Renderpasses.

Meine Frage(n) an Euch: (btw. ich habe nur gegoogeltes Hardwarewissen und selber noch nie einen Rechner zusammengestellt, deshalb entschuldigt, wenn ich irgendwie "dumm-doof" frage)

Budget: so um 8000 Euro, soviel würde ein Powermac mit 12 Kernen kosten.

Also:

1. Macht es Sinn, eine serverbasierte Workstation mit 4 AMD Interlagos (Bulldozer) CPU's zusammen zu stellen, oder ist dies überhaupt möglich?
64 Cores mit ca. je 3 GHZ.

2. Gibt es auch Mainboards die 4 oder mehr Prozessoren aufnehmen können im PC Bereich? Dann wäre auch eine Lösung mit den neuen AMD FX Prozessoren (Zambesi 8Core) denkbar.

3. Hättet Ihr alternative Ideen um einen ultimativ-schnellen Renderrechner zu bauen? Budget um 8000 Euro.

Ich hoffe, Ihr könnt mit diesen Laienfragen was anfangen und mir bei der Entscheidungsfindung weiterhelfen. Vielen Dank für Euere Hilfe!!

[Mick_Foley]

Also unmöglich ist es nicht 4 Interlagos CPUs auf ein Board zu bekommen:

Hardwareluxx - Preisvergleich

Die AMD-FX CPUs sind die Desktop-Variante des Interlagos, allerdings ist hier generell das Problem, dass die ersten Interlagos CPUs geradde erst ausgeliefert werden und niemand offizielle wirklich was über Preis und Leistung weiß und wann sie wirklich verfügbar sind.

[Fr@ddy]

Das geht schon, aber skaliert Cinema4D noch mit 64Cores?

Wenn darauf nur gerendert werden soll und du etwas platz im Keller hast wären vielleicht 2 Renderkisten die bessere Wahl, für den Preis bekommt man schon 2 Kisten in der Leistungsklasse des MAC Pro.

Ich weiss ja nicht was an Lizenzkosten dazukommt, aber 2 sual Sockel 6 core Xeons könnten sich bei preis/leistung rechnen.

Ich persönlich mag die Supermicro twin Kisten, sind platzsparend und günstig. Nur eben auch laut.

Hab mal gerade eben bei Pyramid im Shop was zusammengeklickt,

Basissystem
SM Barebone 1U TWIN 2xXE55 SATA
Prozessor
4 x Intel Xeon X5675 Westmere-EP SC 3,067GHz
Hauptspeicher
12 x DDR3 4GB 1333 ECC registered ATP
Festplatte
2 x WD RE4 2503ABYX 250GB SATA2 64MB
Garantie
PYRAMID GARANTIE 36 MONATE

kostet ca. 7k ohne MWst.
Dazu kämen noch lizenzkosten für Software.
Bei kleineren CPUs geht der Preis nochmal deutlich runter. Aber auch so haben die im vergleich zum MacPro ein extrem gutes Preis/leistungsverhältnis.

[pajaa]

*verschoben in den Workstation/Server-Profibereich*

[fdsonne]

Im Moment gibts die neuen AMD CPUs noch nicht...

Ich kann dir aber wohl schonmal etwas Wind aus den Segeln nehmen. Es wird keine 16Core AMD CPUs mit 3GHz geben soweit mir bekannt. Die großen 16 Kerner werden wohl etwas über 2GHz takten zum Start.

Zum Thema Serverbasierte Workstation, ja das geht im allgemeinen absolut stressfrei. Aber es sind ein paar Randbedingungen einzuhalten.
- Quadsockel Boards haben idR einen größeren Formfaktor als eATX. Das heist, spezielle Cases müssen her.
- aktuelle AMD Sockel G34 basierte CPUs melden sich intern als zwei CPU Sockel beim System. Das wird beim BD nicht anders sein. Für eine Dual Sockel Maschine sieht das Betriebssystem schon 4 physische CPUs (somit geht schonmal kein Client Windows ala Windows 7 mehr)
Bei 4 Sockeln sieht das System 8 CPUs. Und man braucht ne Windows Server 2008 (R2) Enterprise Edition um alle CPUs nutzen zu können.
- du brauchst Reg. ECC RAM und jeder CPU muss mindestens ein RAM Riegel zugesteckt sein. Besser zwei, da G34 Quadchannel RAM Interface mitbringt, machen gar vier Riegel pro CPU Sinn. (wären also 4x4 RAM Riegel)
- du brauchst ein Netzteil, was genügend Bumms liefert und was nicht durch unnötige Aufteilung der Stromschienen auf PCIe Stromstecker Potential ungenutzt lässt. -> könnte schwerer werden, sowas zu finden.


Zu 2.
Es gibt nur die Serverboards mit vier und mehr Sockeln. Zambezi ist das Desktop Produkt und läuft allein nur auf Single Sockel Maschinen. Es müssen also Opterons der 62xxer Reine ran.

Zu 3.
Alternative Ideen, ja da gibts einige...
Wenn du es gleich brauchst, Intel S1366 Dual Hexacore Xeon System. -> Vorteil, du hast keine Beschränkung seitens Windows und CPU Sockelanzahl.
Nutzt man den Cinebench als Leistungsindikator bekommst du ca. 15-17 Punkte bei den schnellsten CPUs.
Alternative zwei wäre jetzt Dual C32 AMD System. Vorteil sehr günstig, gleichsam keine Beschränkungen seitens Windows und CPU Sockel. Leistungstechnisch aber wohl "nur" um die 12 Punkte.
Alternative drei wäre jetzt Dual G34 mit zwei 12 Kern Magny-Cours CPUs. Nachteil, mindestens 2008 (R2) Server Standard von nöten für die CPUs. Leistungstechnisch wohl ebenso um die 15 Punkte.


Achso eine Sache noch, Quad Sockel G34 AMD Boards sind per se schonmal schweine teuer, da legst du gut und gerne 700-1000€ allein fürs Board. Pro CPU könnte nochmal bei dicken CPUs um die 1000€ und mehr fällig werden. Mit 8000€ kommst du zwar weit, aber nicht das volle Programm
Das gleiche gilt für Intels Nehalem EX Plattform mit 6-8 Kerner Xeon CPUs und vier Sockeln+.

[yukomono]

Hallo Fr@ddy, hallo Mick,
danke für Eure schnelle Rückmeldung. Der Rechner nicht ausschließlich zu finalen Ausgabe benutzt werden, sondern vorallem die Arbeitszeit verkürzen. Ich glaube diesen Hingtergrund muss ich erläutern. Bei der erstellung von CGI Bildern oder Annimationen sind die korrekte Lichtstellung, Bewegungsunschärfe etc. von immenser visueller Bedeutung. Bei der Arbeit selber werden deshalb unzählige "Testrenderings" vorgenommen. (Zumindest arbeite ich so) Um hier nicht immer wertvolle Zeit auf ergebnisse zu warten um nachher Korrekturen vorzunehmen ist es wichtig dass schnell Ergebnisse der Einstellung wichtig sind.

Ich habe direkt keine Eile und kann auf das Release der CPU's warten, wenn diese nachher auch wirklich schnell sind und viele Kerne bzw Threads auswerfen. Eine Renderfarm macht insofern keinen Sinn, da ich momentan hauptsächlich mit CGI (Visualisierungen) zu tun habe und der Netrenderer einzelne Bilder auf unterschiedliche Rechner schickt. (dies macht Sinn beim Rendern von Annimationen.

C4d unterstützt bis zu 256 Threads was bei HT zumindest 128 Kerne bedeutet.

@ Fr@ddy: Was meinst Du mit Lizenzkosten? An was muss ich da denken?

[Mick_Foley]

Er mient mit Lizenzkosten, dass sein Beispielsystem nur die Hardware ist, du brauchst ja minimum noch ein Betriebssystem. Und vielleicht sonst noch Software, die ist in seinem Preis halt nicht mit drinne...

[yukomono]

Was haltet Ihr von HP Workstations?
z.B. die Z600 mit 4 Sockeln und 4 Xeon Westmare 3GHZ CPU's? Ist das eine Alternative? Vorteil wäre ein abgestimmtes Gesamtpaket, Gibt es hier nennenswerte Nachteile?

[fdsonne]

Wenn du noch warten kannst, wäre vllt sogar SandyBridge-E interessant. Soll wohl angeblich im November auf den Markt kommen. Ob die Serverversion gleichzeitig kommt, weis ich allerdings nicht.
Anfangs mit Hexacores und 3,3GHz oder sowas. Dürfte nochmal um die 15% zu nem aktuellen Dual Hexacore Xeon System drauflegen.

Was haltet Ihr von HP Workstations?
z.B. die Z600 mit 4 Sockeln und 4 Xeon Westmare 3GHZ CPU's? Ist das eine Alternative? Vorteil wäre ein abgestimmtes Gesamtpaket, Gibt es hier nennenswerte Nachteile?

Gute Wahl
Fertig PCs sind im allgemeinen eine gute Wahl wenn es um produktiv Umgebungen geht
Am besten kauft man dann noch ne Garantieerweiterung mit, weil man an die Teile sonst unter Umständen bei nem Defekt nicht mehr so ohne weiteres rankommt.

[pajaa]

Was haltet Ihr von HP Workstations?
z.B. die Z600 mit 4 Sockeln und 4 Xeon Westmare 3GHZ CPU's? Ist das eine Alternative? Vorteil wäre ein abgestimmtes Gesamtpaket, Gibt es hier nennenswerte Nachteile?

Wo gibt es die denn mit 4 Sockeln und Westmere? Die hat meines Wissens nur 2 Sockel, aber auch dann ist sie sicherlich eine gute Wahl.

[fdsonne]

Stimmt Z600 und Z800 sind Dual Sockel Maschinen...

[underclocker2k4]

- du brauchst Reg. ECC RAM und jeder CPU muss mindestens ein RAM Riegel zugesteckt sein. Besser zwei, da G34 Quadchannel RAM Interface mitbringt, machen gar vier Riegel pro CPU Sinn. (wären also 4x4 RAM Riegel)

Stimmt so nicht.

Server CPUs der aktuellen Generation unterstützen auch nonReg nonECC Module.
Beim G34 habe ich es explizit im Einsatz. Das spart man dann nochmal, gerade bei größeren Bestückungen, zusätzlich Geld.
Durch das QuadChan Interface kommt man nur in sehr speziellen Fällen auf 3 Riegel/pro Chan, was dann reg RAM vorraussetzt.

[fdsonne]

Ich dacht bei AMD muss es Reg. RAM sein!?
Na dann, um so besser...

[underclocker2k4]

Früher war das durchaus Pflicht, heute eben nicht mehr. Das ist ja das Gute an den Teilen.

Schnallste pro socket 8x4GB Module rein und hast 32GB/CPU, das ist doch was, und bei den aktuellen Preisen....

[Fr@ddy]

Was benutzt du denn jetzt für Hardware und um welchen Faktor solls schneller werden?

[josen]

Hallo,

wenn du auf Preis/Leistung achten willst, kann sich ein kleiner Cinema 4D Cluster mit DrQueue vielleicht lohnen. Schonmal darüber nachgedacht? Dann solltest du mit weniger monströsen Maschinen als Desktop wegkommen :-)

Grüße

[yukomono]

Hallo nochmals,
danke für die vielen Tipps. !!!

Eine Renderfarm macht wie gesagt nur bei Animationen Sinn. Für das Rendern und Arbeiten in Quasi Echtzeit leider nicht.

Welche Komponenten könnt Ihr mir empfehlen. (ich kenne leider keine davon und muss mich auf die Ratschläge von Euch verlassen). Natürlich sollten diese perfekt harmonieren. Z.B wie o.g. diese Ram-Riegel... habe es nicht wirklich verstanden was ich da jetzt bräuchte

Mein Plan:

- Motherboard mit entweder 2 oder 4 Sockeln
- 2 oder 4 Multicore Prozessoren (je mehr Kerne bzw. Ghz desto besser, zb. Interlagos, oder Xeon (gibt es xeon eigentlch auch mit mehr als 6 Kernen?)
- 32 Gig Ram
- Grafikkarte 2Gig
- SSD 500gig Festplatte für das System
-2X1 Terrabyte Festplatten für die Daten
- Netzteil mit genug Power
- Kühlung/Lüftung

und das ganze sollte unter windows 7 laufen.
Was meint ihr, kann man das machen???

grüße
yukomono

[Backbone]

Nein, so gehts nicht. Win7 unterstützt maximal 2 physische CPUs.

Backbone

[yukomono]

habe gerade nochmals mit maxon telefoniert. es muss nicht windows 7 sein. cinema läuft auch auf den windows server versionen ohne probleme.

dann nochmals :-) welche komponenten könnt ihr mir empfehlen?

grüße und danke!!!

[fdsonne]

Ich hab doch in Post 5 schon die Möglichkeiten geschrieben...
Du solltest dich erstmal entscheiden, welchen Weg du gehen willst und wir können dann schauen, was der Spaß im Detail kosten wird und welche Komponenten im Detail zusammen passen.

[Fr@ddy]

Kleine Anmerkung noch, wenn Cinema 4D bis 256 Threads unterstützt heisst das noch lange nicht, dass es mit 256 cores 256 mal so schnell läuft wie auf einem.
Oft skaliert software bis zu n kernen fast linear, danach flacht das aber teilweise ganschön heftig ab.
Hab schon oft genug Software gesehen, die auf 12core maschinen mit 10 Threads flotter fertig war als mit 12. Bei gleichen Takt ganz ohen turbo oder sowas.

Cinema 4D skaliert zwar soweit ich weiss ganz gut, aber sicher auch nicht unbegrenzt. Mit 4 Sockel Magny-cores /Buldozer könntest du da schon an die grenzen des Sinvollen kommen.

Wenns auf ein paar Wochen nicht ankommt würde ich Sandy EP und die Server Buldozer abwarten wenns mein Geld wäre. Ansonsten würde ich mir nen paar Cinebench werte von den Magny cores und 6core Xeons anschauen und kaufen was immer gerade flotter ist.

[jdl]

1. Macht es Sinn, eine serverbasierte Workstation mit 4 AMD Interlagos (Bulldozer) CPU's zusammen zu stellen, oder ist dies überhaupt möglich?
64 Cores mit ca. je 3 GHZ.

Wir haben in unserem HPC Cluster einige AMD Magny Cours Quad Socket Knoten, und eine deutlich größere Zahl an Dual Socket Knoten. Das Hauptproblem an diesen Knoten ist es, daß die Opteron 6100 effektiv aus zwei six Cores zusammengebaut sind, die sich einen Speichercontroller teilen. Wenn man normale SMP Software verwendet, dann skaliert diese nur auf 6 maximal 8 Cores (ausgetestet unter anderem mit Intels MKL), wobei der Zuwachs für Core 7 und 8 schon deutlich abfällt. Das Optimum ist es also bei solcher Software nur die Cores einer Magny Cours Hälfte zu nutzen. Wahrscheinlich läuft die Rendersoftware nicht sonderlich performant auf einem NUMA System.

Will man so einen Knoten optimal ausnutzen muß man unbedingt auf die NUMA Architektur des Knoten RÜcksicht nehmen. Das heißt man muß deutlich mehr Arbeitsspeicher einbauen als man das so naiv annimmt, da jeder Sockel sein eigenes RAM hat, wenn eine CPU auf den Arbeitsspeicher des Nachbarsockel zugreifen muß, geschieht dies deutlich langsamer und dabei wird die CPU des Nachbarsockels ausgebremst, da sie während des Zugriffs kein RAM Zugriff machen kann. Daher ist es notwendig vor einer längeren Berechnung die Daten auf jeden einzelnen NUMA-Knoten zu duplizieren und am Ende die Ergebnisse zurückzukopieren.

Ein Artikel von Kazushige Goto über den Aufwand eine simple Matrixmultiplikation auf einem NUMA System effektiv umzusetzen.

Ohne einen Test der Software auf so einem Rechner würde ich ihn auf gar keinen Fall kaufen. Wahrscheinlich ist ein Single Socket System am effektivsten mit C4D. Erst wenn C4D NUMA optimiert ist, wird sie auf einem modernen Multisockelsystem ordentlich skalieren. Dabei ist es egal, ob die CPU von AMD oder Intel ist, mittlerweile sind die Systeme von beiden Anbietern NUMA Architekturen.

---------- Beitrag hinzugefügt um 08:45 ---------- Vorheriger Beitrag war um 08:25 ----------

Was haltet Ihr von HP Workstations?
z.B. die Z600 mit 4 Sockeln und 4 Xeon Westmare 3GHZ CPU's? Ist das eine Alternative? Vorteil wäre ein abgestimmtes Gesamtpaket, Gibt es hier nennenswerte Nachteile?

Die Xeons in diesen HPs wird bald ersetzt, d.h. es wird bald Nachfolgemodelle dieser Workstations geben. Bei der kleinsten Z200 (Xeon 3400) ist schon der Nachfolger Z210 (Xeon E3) am Markt.

Ansonsten gibt das gleiche wie für die AMD Opterons, die Z600 und Z800 sind NUMA Maschinen. Software skaliert nur dann richtig gut, wenn sie auf diese Tatsache Rücksicht nimmt.

Ein einzelner Core eines Opteron 6100 ist beim HPC recht langsam, ein Xeon geht da deutlich flotter zu Werke. Vorteile hat man bei einem 6100 nur dann, wenn man wirklich alle Kerne nutzen kann, und das ist bei dem größten Teil der Standardsoftware nicht der Fall.

[Fr@ddy]

Naja Cinema4D zerlegt ja letzendlich die Bilder die man berechnet in kleine Stückchen. Da könnte man jedem Thread seinen eigenen Speicherbereich geben und die zu bearbeitenden Daten somit immer nah am Core speichern.
Matrix operationen setzen meist voraus, dass man auf den gleichen Speicherbereich zugreifen kann, kann also gut sein, dass Cinema4D deutlich besser skaliert.
Ist eine frage der Realisierung, aber ungeprüft würde ich so eine 64core Kiste definitiv nicht kaufen.

Im kleinen Bereich kann man bei Cinema4D aber schon sehen, dass Speicherbandbreite und latenz keine große Rolle spielt, mit 6 cores z.B. skaliert die Software noch fast linear. 12 Cores sind auch deutlich flotter als 6. Hab keine genauen Zahlen mehr im Kopf ist schon 3 Jahre her, das ich mit der Software zu tun hatte. Damals habe ich eine kleine Renderfarm mit ~150 Cores gebaut und betreut. Daher weiss ich noch, dass alles außer CPU-leistung vernachlässigbaren Einfluss auf die Geschwindigkeit hatte. Aber damals hatten wir auch maximal 2 Quadcores mit HT pro Kiste also max. 16 Threads.
Aus dem Bauch raus würde ich schätzen, dass man am besten damit fährt 2 8core Sandy EP CPUs zu verbauen sobald die verfügbar sind. Taktrate halt so hoch wie es bezahlbar bleibt und ruhig Modelle mit HT wählen.
Es sei denn die Buldozer Platform für 2-4 Sockel überrascht mich.

Hatte dieses Jahr leider keine Zeit für Messen und sonstige Veranstaltungen, hab auch keine Teststellungen für neue CPU-Gereationen beantragt daher hab ich nahezu 0 infos zu den neuen CPU-Generationen.
Nur auf eins ist eigentlich immer verlass: Langsamer als die alte Generation werden die schon nicht ;-)

[fdsonne]

@jdl
Irgendwie ergibt deine Aussage zum Speichercontroller keinen Sinn...
G34 nutzt Quadchannel, einfach aus dem Grund, weil intern zwei DIEs zu einer CPU zusammen gepackt sind. So nutzen die 12 Kerner zwei sechs Kern CPUs, mit jeweils einem Dual Channel Interface. Die acht Kerner nutzen zwei vier Kern CPUs (teildeaktivierte sechs Kerner) mit ebenso einem Dualchannel Interface pro DIE.
Wenn du probleme mit der Skallierung hast, kann das an vielem liegen, aber wohl zu 99% nicht am RAM Interface. Mal ganz davon ab, mehr Speicherbandbreite nutzt bei aktuellen CPUs nahezu gar nichts. Performancegewinn nahezu Null.

Ich könnte mir eher vorstellen, das bei ungünstiger Aufteilung der Rechenlast auf ner Magny-Cours CPUs eben ein Task mit mehreren Threads intern nicht auf einem der beiden DIEs gehändelt wird, sondern ungünstigerweise auf beiden. Das bringt den enormen Nachteil mit, Daten zwischen dem Interconnect der beiden DIEs schaufeln zu müssen. Je nach Bandbreitenbedarf ist da schnell Ende im Gelände.
Ansonsten limitiert das Speicherinterface der AMD CPUs normal gar nicht... Was man gut daran erkennen kann, das schnellerer RAM quasi Null Performanceplus bringt.

[Fr@ddy]

Ist nicht zwingen ein Bandbreiten sondern eher ein Latenzproblem. Wenn bei dualboards beide Speichercontroller genutzt werden, wird einer ja über den anderen CPU-sockel genutzt und über HT bzw. Quickpath oder wie intel das nennt kommuniziert.
Das kann gerade bei mit OpenMP paralelisierter Software, die größere Speicherbereiche liest und schreibt dazu führen, dass es flotter läuft wenn alle Threads auf der selben CPU laufen. Caching mechanismen habens ja auch nicht leicht, wenn der vom Thread angefasste Speicherbereich groß ist und jeder wert nur einmal gelesen/geschrieben wird.
Habe das auch schon beobachten können bei einigen Dual Xeon Maschinen mit in OpenMP geschriebener Software, die eine etwas abgedrehte Speicherverwaltung nutzt. Doppelt verkettete Listen von Pointern auf grob verteilte Speicherbereiche unterschiedlicher größe lassen es eben nicht zu, effizient zu cachen. Lesen/Schreiben am Stück geht super auf den Kisten mit mehreren Speichercontrollern, aber die Latenz kann ein Böser Gegner sein.

Aber all das hat man bei Cinema4D nicht. Da kommt keiner auf die Idee schwarze Pixel mit Nullpointern zu ersetzen weil dass bei Bildern mit >95% schwarzanteil massig speicher spart und sich so größere Bilder rechnen lassen.