[Kaufberatung] OpenFOAM Workstation

[Sir Diablo]

Es soll eine (private) potente Workstation für OpenFOAM aufgebaut werden. Gedacht hatte ich an folgende Konfiguration:

2 x Crucial MX200 250GB, SATA (CT250MX200SSD1)
1 x Intel Core i7-5930K, 6x 3.50GHz, boxed ohne Kühler (BX80648I75930K)
2 x Crucial DIMM Kit 16GB, DDR4-2133, CL15-15-15 (CT2K8G4DFD8213/CT2C8G4DFD8213)
1 x LSI MegaRAID SAS 9361-4i bulk, low profile, PCIe 3.0 x8 (LSI00415)
[ 2 x Gigabyte GeForce GTX Titan X, 12GB GDDR5, DVI, HDMI, 3x DisplayPort (GV-NTITANXD5-12GD-B) ]
1 x Gigabyte GA-X99-UD3
1 x Thermalright HR-02 Macho Rev. B (100700726)
1 x be quiet! Dark Power Pro 11 1000W ATX 2.4 (BN254)

Budget max. 5000€

- - - Updated - - -

Ich seh gerade, dass die alte Titan fast 10x so schnell ist wie die Titan X in DoublePrecision. Gab es die alte Titan auch in einer 12GB Variante?

 

[error274]

10x mal so schnell? Wo soll das denn stehen

 

[Sir Diablo]

Überall... Google ist dein Freund
~200 Gflop zu ~1700

Die alte Titan, sollte es ja für unter 500€ gebraucht geben. Da könnte man sich fast überlegen ne dritte zu nehmen.

Gesendet mit der A0001

 

[knusperfux]

Ob ne private OpenFoam WS Dp Power braucht darüber lässt sich bekanntlich gut streiten.
des weiteren ists auch stark abhängig vom eingesetzten solver.
Und die Vram groesse kann da schnell mal zur spass bremst werden .
Ich hab fuer mich gelernt bei cfd das es sehr auf sinnvolle meshgroessen in Abhängigkeit zur Komplexität des Projektes ankommt , aber das ist das Problem wenn man nich unbeschränkte Budget hat als privater
Mfg

 

[[W2k]Shadow]

auf welche Schnittstelle setzt denn OpenFOAM?
Ist da nicht ggf. was bei AMD dabei?

Edit:
Die AMD Fire Pro We 100 hat übrigens mehr als 2600 GFlops und 16gb VRAM, allerdings ist se auch recht teuer, und 2 Karten mit je 1700 GFlops dürften immer noch fixer sein, andrerseits, wenn den 6gb Karten vorher der VRAM aus geht, dann ists auch Käse.

 

[knusperfux]

Speedit unterstützt amd Karten jedoch ist die Multi gpu Skalierung mager . Habs selber mit 3 290x getestet.
Hab mir dann ein dual xeon SYS aufgebaut mit einer 290x drin.
Die beiden anderen werkeln im gaming SYS weiter.

 

[2k5lexi]

Die OpenFoam Berechnungen die ich gemacht habe sind in nem Cluster mit 256 Sandy-HT Kernen gerechnet worden. Bist du sicher dass du dir nicht lieber Rechenzeit auf nem Server kaufen willst? Mit 4000€ (abzüglich ner 1000€ Kiste für Rohmodelle) solltest du als Privatuser lang hinkmmen.

 

[[W2k]Shadow]

Speedit unterstützt amd Karten jedoch ist die Multi gpu Skalierung mager . Habs selber mit 3 290x getestet.
Hab mir dann ein dual xeon SYS aufgebaut mit einer 290x drin.
Die beiden anderen werkeln im gaming SYS weiter.

Das würde ja noch mehr für ne single Gpu wie ne 290 oder Titan (black) sprechen.
spart immerhin Budget

EDIT:
Sehe gerade erst was das ist, cool, damit kann man ja Füllsimulationen für Spritzguss berechnen.

 

[Sir Diablo]

Ja, ich hab dem Kollegen auch schon Amazon AWS o.ä. vorgeschlagen, allerdings soll das Ding gut und gerne 2 Jahre 24/7 rendern (mal abgesehen von vtl. Hardware Failure). Jedenfalls kommt man in so einem Zeitraum bei AWS auch locker auf >4000€ Kosten.
Höchstwahrscheinlich wird es daher auf folgendes System hinauslaufen:
2 x Western Digital WD Black 2TB, 4KB Sektoren, SATA 6Gb/s (WD2003FZEX)
2 x Crucial MX200 250GB, SATA (CT250MX200SSD1)
2 x Intel Xeon E5-2620 v3, 6x 2.40GHz, Sockel 2011-3, boxed (BX80644E52620V3)
8 x Samsung DIMM 8GB, DDR4-2133, CL15, reg ECC (M393A1G40DB0-CPB)
1 x ASUS Z10PE-D16 WS (90SB04L0-M0EAY0)
1 x Enermax Platimax 1500W ATX 2.4 (EPM1500EGT)

und 4 alte Titanen

 

[knusperfux]

Welcher solver soll da eingesetzt werden ?
Hab Grad gesehn speedit gebe es nun auch explizit als mgpu Edition Tja Preis auf Anfrage is mir zum testen wohl zu teuer *gg*
Mfg

 

[Sir Diablo]

SimpleFOAM SpeedIT

Gesendet mit der A0001

 

[Sir Diablo]

Ok jetzt stellt sich noch die Frage nach einem Passenden Gehäuse und vermutlich 2-3 PCI-E 16x Flachbandverlängerungen, sodass die Karten auch genug Luft zum atmen bekommen.
Für das Gehäuse und die Kabel, gibts da irgendwelche Empfehlungen bzw. Kleinigkeiten auf die man achten muss?

 

[thom_cat]

das platimax würde ich lieber gegen sowas tauschen: Corsair Professional Series Titanium AX1500i oder Super Flower Leadex Titanium 1600W
das enermax ist nicht mehr taufrisch... das corsair ist teuer, aber technisch schon sahne... auch das super flower ist ein tolles stück technik.

 

[Sir Diablo]

Bei dem Super Flower, wo ist denn da der Unterschied zwischen Platinum und Titanium (also mal abgesehen von den ~50€ Aufpreis)? Aber ja dieses NT gefällt mir auch besser.
Stellt sich noch die Frage zu Gehäuse und PCI-E Flachbandkabel. Auf Amazon habe ich bei einigen Verlängerungen von Problemen gelesen, daher bräuchte ich hier noch Beratung.

 

[knusperfux]

Von pci-e Verlängerungen wuerd ich Abstand halten , denn die Latenzen leiden erheblich darunter , bei mehr als einer Karte wuerd ich sowieso immer auf wakü setzen und das sollte bei dem Budget doch drin sein , weiß Grad nicht ob man bei Nv Karten als gpgpu Skaven ne SLI Brücke braucht , falls ja wuerde es die Verlängerungen ad absurdum führen.
NT bezüglich Waer das Corsair imho meine Wahl.
Mfg

 

[Sir Diablo]

Bei GPGPU braucht man natürlich keine SLI Brücke und die minimal höhere Latenz spielt auch absolut keine Rolle.
Das Anwendungsgebiet steht und fällt mit der Bandbreite und der rohen DP Leistung. Man könnte zwar noch von 8,0 auf 9,6 QPI hoch gehen, aber geplant ist sowieso auf NUMA zu verzichten.
So wie ich das auf Amazon lese muss man die Verlängerungskabel wohl ausprobieren.

Wasserkühlung kommt bei dem Projekt nicht in Frage.

Gesendet mit der A0001