EVGA Classified SR-2 + 2x X5680 + 4x Quadro 6000 = Protein Design?

[Yidaki]

Grüße euch,


Ich studiere Molekulare Biologie und komme bald Richtung Diplomarbeit. Spezialisiert habe ich mich auf Genetik, Biochemie und Strukturbiologie.


Diese Workstation sollte von mir als Zukunftsprojekt angesehn werden. Universitäten investieren schonmal Geld in die Forschung hier in Wien, vor allem wenn es sich um gute Projekte handelt.


Mein Vorhaben ist es, Proteininteraktionen zu analysieren (auf 3D-Ebene [graphische Leistung] und 2D Sequenzvergleiche/Analysen [system-lastig).


Die Hardware wäre wie folgt:

1x EVGA Classified SR-2, i5520 (dual Sockel-1366, triple PC3-10667R reg ECC DDR3)
2x Intel Xeon DP X5680, 6x 3.33GHz, Sockel-1366, boxed
2x Kingston ValueRAM DIMM Kit 24GB PC3-10667R reg ECC CL9 (DDR3-1333) 3x 8GB Module • dual rank • x4 • 1.5V • Intel verifiziert
4x PNY Quadro 6000, 6144MB GDDR5
1x Plextor PX-B940SA Bluray-Brenner
1x Enermax Revolution85+ 1250W ATX 2.3


Bei storage bin ich mir noch nicht sicher. Entweder Intel X25-E als Systemplatte und 3x2GB WD RE4 im RAID5, denn ich weiß nicht, ob bei Quad-SLI dann noch ein NAS-RAID-Controller reinpasst? Hier bräuchte ich Hilfe/Erfahrungsberichte.

Gekühl wird das ganze mit Wasser, sowohl Mainboard [NB, SB, mosfets], als auch CPU, Grafikkarten (hier eine weitere Frage: haben die Quadros ein anderes PCB-Design als die GTX Reihe? Denn dann ginge Wasser nicht ... oder ich bräuchte eine Spezialanfertigung) und HDDs.

Nun habe ich noch ein paar fragen, da ich mich Software-technisch nicht wirklich gut auskenne (in solchen Dingen eben).

Ist es prinzipiell möglich, die GPU Rechenleistung gut auf solche Strukturanalysen zu programmieren? An Programme wie folding@home denk ich jetzt nicht wirklich, sondern ein interaktives Programm wie pymol.


Danke

[Autokiller677]

Möglich ist es denk ich schon, aber solang du die Software nicht hast und nicht weißt, ob sie gut mit 4 Grakas skaliert, würde ich mir das Geld für die Quadros erstmal sparen, sind ja nicht grad billig die Dinger.

[Yidaki]

Das Department, wo ich hin will heißt "Research Programme Structural and Computational Biology - Computational biophysics of macromolecules – using high-performance computing to learn how biomolecules carry out their function"

Dort werden wie gesagt solche Interaktionen untersucht, da gibts auch Bioinformatiker. Ich glaube, man könnte denen schon beibringen, wie man zB pymol so erweitern bzw. anpassen könnte (ist ja open source), dass da sowas kalkuliert wird.

[daheym]

Entweder Intel X25-E als Systemplatte und 3x2GB WD RE4 im RAID5, denn ich weiß nicht, ob bei Quad-SLI dann noch ein NAS-RAID-Controller reinpasst?

Hier fehlt das "oder", oder
Oder soll das und ein oder sein? Falls ja, musst du deine "working-files" auf die Systemplatte packen, da das RAID5 lahm ist.

[Yidaki]

Ne, 1x Intel SSD als Systemplatte und als Datengrab 4xHDDs im RAID5 (ja hab mich doch zu 4 Entschieden, wird dann gleich mit einem Quad-Wassekühler mitgekühl, wozu dann einen Platz verschwenden) oder Intel SSD als Systemplatte und ein Datengrab über SAS und nicht SATA, da bräuchte ich aber einen Controller, nur weiß ich nicht, ob es sich nach den 4 Grakas noch ausgeht ...

[fdsonne]

Also ich würde von den 4 Grafikkarten erstmal Abstand nehmen... Im Höchstfall nimmst du erstmal eine der Karten und probierst, ob die Anwendung (die es mit Sicherheit wohl auch erst anzupassen gilt) überhaupt über Cuda bzw. der 3D Schnittstelle laufen...

Auch im 3D Bereich werden heutzutage oft noch die CPUs zur Berechnung rangezogen... Es kommt halt auf die Software drauf an, ob diese überhaupt auf die GPUs zugreifen können. Gerade bei "statischen" Berechnungen, wo quasi der Workarround vorgegeben ist und am Ende erst berechnet wird, läuft sowas oft über die CPUs.
Hingegen Echtzeicht 3D Berechnungen (beispielsweise Spiele oder 3D CAD Programme) berechnen in Echtzeit die 3D Inhalte auf der GPU.

[Backbone]

Jetzt mal im Ernst. Nirgendwo werden solche Boliden für ernsthafte Anwendungen selbst zusammen geschraubt. Das zeug ist so teuer, dass es einfach funktionieren muss. Deshalb kommt da praktisch nur Markenhardware mit entsprechenden Supportverträgen zum Einsatz.

Und 4 Grafikkarten für je rund 3500€ zu planen ohne die Software genau zu kennen ... ich weis nicht.

Mir fällt es im Moment schwer das alles hier ernst zu nehmen.

Backbone

[fdsonne]

Es klingt für mich eher nach privater Spielekiste für die Arbeit...
Ist im Privatbereich durchaus gangbar hier auf Selbstbaulösungen zu setzen. Mache ich zum Beispiel auch so...
Solange man sich halbwegs damit auskennt und auch im Fehlerfall nicht wie die Sau ins Uhrwerk guckt, so geht das schon.


Was mir aber auffällt. 4x GF100 GPU welche unter absoluter Volllast gut und gerne 300W pro Stück verbraten. Dann dazu noch zwei Hexacores im höchsten Ausbaustadium.
Mit dem 12xxW NT wird das problematisch...

[Backbone]

Ist im Privatbereich durchaus gangbar hier auf Selbstbaulösungen zu setzen.

DAS ist ja auch ok. :-)

Was mir aber auffällt. 4x GF100 GPU [...] Dann dazu noch zwei Hexacores im höchsten Ausbaustadium.

Das hat doch nix mehr mit einem privaten Rechner zu tun. Wir reden hier von locker 15.000€ und mehr. Wie soll ein Student das bezahlen....

Backbone

[daheym]

Das hat doch nix mehr mit einem privaten Rechner zu tun. Wir reden hier von locker 15.000€ und mehr. Wie soll ein Student das bezahlen....

Universitäten investieren schonmal Geld in die Forschung hier in Wien, vor allem wenn es sich um gute Projekte handelt.

[fdsonne]

Ansichtssache... Ich würde mir auch so ne Kiste hinstellen... Gut bei den 4 Quadros scheiden sich die Geister, weil die brauch ich selbst nicht, aber ein SLI oder CF mit dicken HighEnd Desktop Karten (für das Spielchen zwischendurch) + ein SR-2 Dual Hexacore System für Grafik/Video Bearbeitung, Encoding und Co. machen schon Sinn...

Wenn ich mal selbst von mir ausgehe, ich sitze oft Zuhause und denke über Probleme von Arbeit nach und wie man die am besten lösen kann usw.
Also habe ich mir Zuhause auf privat finanzierten Mitteln eine Windows Server 2003 R2 Farm mit AD, SQL, Sharepoint und Co. aufgesetzt. Ebenso einen halbwegs potenten ESXi Server um das ganze auch mit ausreichend Performance laufen zu lassen usw.
Im Grunde ist es alles auch nur privat. Aber ich nutze es teils stark für einen Erfahrungsgewinn in verschiedenen Problemen der Arbeit...

Nüchtern betrachtet müsste man mich auch schon für bekloppt halten wie ich tausende von Euros in Lizenzen verblasen kann (ich habe keinen Zugang zu MSDNAA und Co.) aber das ganze ist halt Hobby und Arbeit zu gleich. Und schließlich wird man auch noch kluger bei der ganzen Geschichte.

[Yidaki]

Danke erstmal für Vorschläge und Anregungen.

eine Quadro 6000 verbrät maximal knapp über 200W unter full load. Diese Option mit Quad-SLI ist ja auch nur der Maximalausbau, falls die Software gut skalieren sollte.

Nach etwas Sucherei hab ich mir gedacht, dass die TESLA Grafikkarte von nVidia für meinen Zweck eigentlich besser sein sollten, als Quadro (da Quadro eher Richtung Video geht).

Ich habe nächste Woche Freitag einen Termin beim Department, mal sehen was überhaupt Sache ist.

Im übrigen geht es hier nicht darum, ob ich mir das selber leiste, wie viel es kostet, ob man das gut bauen kann etc. Es geht mir um die Möglichkeiten. Und was man daraus macht.

[bol_999]

Netzteile wirst du 2 brauchen - wenn du die CPUs

hochziehst.

Das 1250er wird da schon knapp werden.

[Yidaki]

Ich hab so an 4Ghz gedacht, sollten ja mit den 6-Kernen durchaus leicht möglich sein wenn ich mich nicht irre (auch ohne exorbitante Spannungen). Ob es überhaupt diese Konfiguration wird, ist ja auch noch fraglich. Das war mal ein erster Entwurf.

Gibt ja auch noch stärkere Netzteile

[MAFRI]

und wenn du GGPU Calc machst... nimm die Teslas... C2070.....

Und nimm dafür 4 Systeme... oder so....

Grüße
MAFRI

[fdsonne]

Die Quadros dürften weit mehr wie 200W verbrauchen... Nicht von den Angaben bei NV verleiten lassen.
Das sind die gleichen GPUs wie auf den Desktop Karten, mit dem richtigen Workarround kommt man da schon für die 470GTX (welche ja die Quadro 6000 ist) schon auf 230W. Und die hat nur ein viertel des Speichers der Quadro... GDDR5 Speicher "säuft" unter Last auch gut was weg...
Mit 250-300W sollte man da schon rechnen... Absolute Volllast versteht sich. Aber gerade im Bereich GPGPU (wenn du über die Teslas nachdenkst) lässt sich wohl spielend die Auslastung quasi an ein Maximum bringen...

Es ist ja auch nicht so, das die Karte permanent so viel zieht... Je nach Anwendungsfall.
Aber selbst bei 230W pro Karte wirds mit dem Enermax und vier der Karten sehr Eng. CPUs und dessen Verbrauch sowie Mehrverbrauch durch OC nicht mit einberechnet.

[Yidaki]

Selbst bei den von nVidia zertifizierten Partnern findet man Quad-SLI und dual-Xeon (6-Kerner) Lösungen in Verbindung mit einem Enermax Revolution85+ 1250W.

[Backbone]

ICh würde generell erstmal mit den Leuten über die Software reden, bevor ich hier über Grafikkarten nachdenke. Für die CUDA-Schnittstelle zu programmieren muss eben auch erstmal gelernt sein und nein, ein großes bestehendes Softwarepaket das vielleicht in C vorliegt kann man da nicht so ohne weiteres umstricken.

Hinzu kommt, das die Berechnungen auf den massiv-parallelen Rechenwerken der Grafikkarten nur dann wirklich davon ziehen, wenn sie nicht über den externen BUS auf Daten zugreifen müssen. Nur wenn alles lokal in den Grafikspeicher passt und das Programm komplett dort drin läuft, wirds fix.

In der Praxis hört und liest man zwar viel davon, aber die große Technische Hochschule die ich etwa betreue (rund 35.000 Studenten) hat da außer ein paar Piloten bisher nicht allzuviel mit gemacht. Es eignet sich eben bei weitem nicht alles. Statt dessen freut man sich auf so leckere Sachen wie die neue Fujitsu BX400 wo man in gerade mal 6HE bis zu 8 Blades mit je 288GB RAM unterbringt. SOWAS kann man sofort nutzen.... :-)

Backbone

[Fr@ddy]

Ich sehe das mit den Grafikkarten ähnlich wie meine Vorposter.
Solange du nicht weisst, dass du sie auch gebrauchen kannst lohnt es nicht das Geld da zu versenken.

Grafikkarten bietet eine tolle Performance, solange die Probleme dafür tauglich sind. In Simulationen ist das typischerweise so, dass wenn überhaupt nur ein teil des Programms profitieren kann, weil da gerade operationen durchgeführt werden die Rechenintensiv sind, wenig Daten brauchen und sich eben gut parallelisieren lassen. Im optimalfall reicht sogar einfache Genauigkeit.

Es kann auch mal schnell passieren, dass es länger dauert seine Datenstrukturen so aufzubereiten, dass sie für die Grafikkarte passen als die eigentliche Berechnung.

Von den bis zu 20x schneller bleiben dann oft kümmerliche Performancesteigerungen übrig und die GPU wird teilweise ganze 20% der Laufzeit überhaupt genutzt, weil die nicht GPU-geeigneten Aufgaben doch länger brauchen, weil der Datentransfer dauert und und und.
Klar, das kann auch anders laufen, aber ich denke die meisten heute existierenden GPU-Anwendungen die wirklich Nutzen bringen sind entweder kleine Systeme die in den Speicher der Grafikkarten passen oder Anwendungen die >80% der Laufzeit das gleiche tun.

Ich höre bei uns auch ständig begeisterte Menschen, die mal gehört haben, dass Grafikkarten schnell rechnen können. Die Zeit investieren und was sinvolles draus machen können die wenigsten.
In der Regel bleiben die begeistert, die mit der implementierung nix zu tun haben. Die anderen passen kleine Teile aus bestehenden Programmen an und investieren ihre Zeit danach doch wieder woanders.

Preis-Leistungs tipp für CPU-performance meinerseits: Supermicro twin^2 4 Dual Xeon Rechner in 2HE und fast ohne Aufpreis für Infiniband. Ein bisschen Kühlkapazitäten sollten vorhanden sein bei 1-1.5kw Abwärme.
Bekommt man in der Regel für den Forschungsbereich mit netten Rabatten. Vor ca. 1 Jahr habe ich mal ein einzelnes bestellt. Waren ca. 25k Euro für 4*2*4*2,93GHz+4*48GB RAM. Gibts aber jetzt auch mit 6 Cores. Bis zu 3 HDs passen pro System rein. Hab mich damals für 1 Systemplatte+RAID1 entschieden.

Die gleichen Systeme bekommen wir nächste woche mit X5650(6*2,66GHz) und 48 bzw. 96 GB RAM.