Hardwareluxx Inside: GPU-Cluster in Bielefeld

[Don]

Die Leistung der Supercomputer richtet sich seit Jahren nach dem Moorschen-Gesetz. Alle 18 Monate verdoppelt sich die Anzahl der Transistoren pro Quadratmillimeter und somit steigt auch die Performance. Doch einen großen Sprung bei der Effizienz machten die Supercomputer erst mit dem Einsatz von GPUs, die auf paralleles Computing optimiert worden sind. Passend zum Start des neuen GPU-Clusters am Standort Bielefeld, bei dem wir mit dabei sein konnten, wollen wir einen Einblick auf die neue Technik bieten.

Zunächst aber ein Blick auf die bisherigen Systeme, die seit 1993 eingesetzt...

... weiterlesen

[Grav3]

Schöner Bericht. Nur das Video funktioniert nicht :(

[Don]

Hier einmal der Direktlink zum Video und ich versuche das embedded mal zu fixen: GPU-Cluster Bielefeld | HardwareClips - Dein Hardware Video-Portal

[Cloud Runner]

Das Cluster 24h für FAH missbrauchen.*träum*

[Don]

So, das Video sollte nun funktionieren.

[estros]

Hallo,
ich wohne zufällig in der Nähe, kann man sich den Standort als Normalo ansehen?

[Everest2000]

*G* sowas kenne ich von Pixar, war vor 2 Jahren bei den in den Studios und die haben so eine Renderfarm auch. Für Avatar und Co wurden solche Zentren extra aufgebaut. Geplannt sind noch mehr.

[Don]

Hallo,
ich wohne zufällig in der Nähe, kann man sich den Standort als Normalo ansehen?

Da müsste man einfach mal Kontakt mit der Uni aufnehmen und nachfragen.

[sapphire_fan]

Den ort gibt's also wirklich!!!

[scully1234]

Das Cluster 24h für FAH missbrauchen.*träum*

Kannst ihn ja versuchen zu hacken und ihn für die Zwecke zu missbrauchen

Wozu eigentlich das zweigleisige Geforce/Tesla?

Tesla only war wahrscheinlich zu kostspielig,das man sich noch für ein paar Geforce Knoten entschieden hat?

[Don]

Wozu eigentlich das zweigleisige Geforce/Tesla?

Tesla only war wahrscheinlich zu kostspielig,das man sich noch für ein paar Geforce Knoten entschieden hat?

Ich habe versucht das Artikel zu erklären:

Wie zu sehen ist, sind nicht alle GPUs auch direkt dem professionellen Umfeld zuzuordnen. In Bielefeld werden 192 GeForce GTX 580 eingesetzt, um Simulationen durchzuführen. Die GeForce GTX 580 eignet sich nicht nur durch die enorme Rechenleistung, sondern gerade durch ihren recht günstigen Preis. Das Fehlen der ECC-Fehlerkorrektur ist hier nicht ganz so wichtig, dafür kommen aber auch die Modelle mit 3 GB Grafikspeicher zum Einsatz.

Auf die verlässlichen Ergebnisse möchte man allerdings nur vertrauen, wenn sie durch die Tesla-GPUs gelaufen sind

[scully1234]

MMh also berechnen die Geforce Knoten mitunter die Ergebnisse SP/DP und die Teslas verifizieren zusätzlich die Richtigkeit dieser?

Ist das nicht ein klein wenig ineffizient,oder macht man das nur am Anfang,bis man sicher ist das die Geforce Modelle fehlerfrei rechnen?

Obwohl ohne ECC,und mit dem hohen Takt der Geforce,wird man da wohl immer ein ungutes Gefühl haben,bei wichtigen Dingen

[Don]

Bei den GeForce-Karten geht es, wenn ich das richtig verstanden habe, darum, dass hier bestimmte Berechnungen gemacht werden, die ohnehin mehrfach ausgeführt werden und deren Richtigkeit man auch nicht prüfen kann. Wenn du etwas simulierst, das Ergebnis aber nicht kennst, wie willst du das verifizieren? Oftmals geht man also her, macht die Berechnung mehrfach und nimmt z.B. einen Mittelwert davon. Dazu sind diese Karten geradezu prädestiniert.

Ich hoffe ich rede nicht allzu viel Blödsinn, aber das war schon etwas komplizierter wenn einem das ein theoretischer Physiker erzählt

[DonGeilo]

Das waere icb ja zugerne dabei gewesen....

Sehr interessanter Artikel... Danke....

[scully1234]

Bei den GeForce-Karten geht es, wenn ich das richtig verstanden habe, darum, dass hier bestimmte Berechnungen gemacht werden, die ohnehin mehrfach ausgeführt werden und deren Richtigkeit man auch nicht prüfen kann. Wenn du etwas simulierst, das Ergebnis aber nicht kennst, wie willst du das verifizieren? Oftmals geht man also her, macht die Berechnung mehrfach und nimmt z.B. einen Mittelwert davon. Dazu sind diese Karten geradezu prädestiniert.

Ich hoffe ich rede nicht allzu viel Blödsinn, aber das war schon etwas komplizierter wenn einem das ein theoretischer Physiker erzählt

Ich dachte die rechnen das Ergebnis nochmal gegen,mit den Teslaclustern zur Verifizierung.

So hatte ich das erst verstanden

Zugegeben das würde dann aber ja sinnlosen doppelten Rechenaufwand bedeuten,da man die ganzen Werte,ja gleich durch die Teslas hätte drücken können,ohne Gefahr zu laufen das das Endergebnis nicht stimmt

Trotzdem ein schönes Maschinchen was sie da oben in Bielefeld stehen haben

[Propella]

So muss Hardware aussehen. Aber da sind ja noch Plätze in der Racks frei...

[Nimrais]

Ich hab das so gelesen, dass auf den Geforce ausprobiert wird. Also etwas gerechnet wird wovon man nicht weiss, ob es ein Ergebnis gibt. Evt. verläuft sich eine Berechnung ja und wenn die GF schon verlaufen braucht man die "langsameren" Teslas ja nicht nutzen. Oder die GF rechnen alles in SP und die Teslas wenn das Eregnis ok ist nochmal in DP :)

[Mick_Foley]

Jo die überprüfen mit den Teslas die vorigen Ergebnisse.

Ach was wären wir ohne Physiker? Keine Atombomben und kein Internet...

Haben die eigentlich aus was zum Thema Stromrechnung bzw Verbrauch gesagt? Ich meine wenn die Uni schon auf 192 günstige GTX 580 3 GB zurück greifen muss, haben die bestimmt nicht viel Geld für Strom...

[Nimrais]

"...kommt das Cluster auf einen Verbrauch von etwa 140 kW."
Strom dürften die zwar Sonderkonditionen haben aber günstig wirds sicher nicht.

[Don]

Einen Anschaffungspreis hat man mir nicht genannt. Bei Volllast auf allen GPUs liegt der Verbrauch bei 140 kW. Innerhalb von drei Jahren wird soviel Strom verbraucht wie das gesamte System gekostet hat.

[scully1234]

Einen Anschaffungspreis hat man mir nicht genannt. Bei Volllast auf allen GPUs liegt der Verbrauch bei 140 kW. Innerhalb von drei Jahren wird soviel Strom verbraucht wie das gesamte System gekostet hat.

Na wer die ungefähren Strompreise im Kopf hat,kann sich jetzt ausmalen,was das Maschinchen gekostet hat in der Anschaffung,wenn es täglich und davon ist wohl auszugehen im Full Load arbeitet

[Mick_Foley]

Danke für die Info, das ist schon eine Hausnummer zum mal die ja im gewissen Sinne mit der Forschung nichts verdienen. Aber interessant Bericht, auch wenn ich nicht im Raum mit den Rechnern gewesen sein möchte, wenn ich das Video so höre...

---------- Post added at 12:13 ---------- Previous post was at 12:11 ----------

Scully, die bezahlen mit Garantie den Industrie-strompreis und der ist weit billiger als unserer. In Deutschland zahlt nämlich nicht der Hauptverbraucher wirklich den Strom...

[scully1234]

Scully, die bezahlen mit Garantie den Industrie-strompreis und der ist weit billiger als unserer. ...

Abweichungen im 20% Bereich sind denke ich vertretbar,um eine Vorstellung von den Anschaffungskosten zu haben,darum auch "ungefähren Strompreise"

Was jetzt Bielefeld genau bezahlt,müsste man mal recherchieren,dann könnte man sie auf ihre Aussage "3 Jahre equivalent zum Anschaffungspreis" festnageln

[J1nX3rS]

Schöner Artikel. Gefällt mir.

Habe mal eben bissl gerechnet. Ich komme auf 21€/Stunde (bei 15cent/KWh) ... sind auf 3 Jahre etwa 550000€ ... Schnäppchen. :D