> > > > Hardwareluxx Inside: GPU-Cluster in Bielefeld

Hardwareluxx Inside: GPU-Cluster in Bielefeld

DruckenE-Mail
Erstellt am: von

Seite 3: Das GPU-Cluster in Bielefeld

Der neue Supercomputer in Bielefeld besteht nicht nur aus einem Server, sondern aus einem Cluster mehreren Server, die sich wie folgt zusammensetzen:

Hybrid GPU - High Performance Cluster

  • Anzahl an Knoten: 152
  • Anzahl an GPUs: 400
  • Anzahl an CPUs: 304
  • Anzahl an CPU-Cores: 1216
  • Kapazität des CPU-Speichers: 7296 GB
  • Kapazität des GPU-Speichers: 1824 GB
  • Peak-Performance der CPUs: 11,7 TFlops
  • Peak-Performance der GPUs (Single-Precision): 518 TFlops
  • Peak-Performance der GPUs (Double-Precision): 145 TFlops

104 Tesla-Knoten:

  • 2x Quad-Core Xeon Prozessoren (E5620)
  • 48 GB Arbeitsspeicher
  • 2x NVIDIA Tesla M2075

Ein paar Daten zur Tesla M2075:

  • 515 Gigaflops (Double-Precision)
  • 1030 Gigaflops (Single-Precision)
  • 448 CUDA-Kerne (Shader-Prozessoren)
  • 6 GB Compute-Speicher
  • 150 GB/Sek. Speicherbandbreite

48 GeForce-GTX-580-Knoten:

  • 2x Quad-Core Xeon-Prozessoren (E5620)
  • 48 GB Arbeitsspeicher
  • 4x NVIDIA GTX 580

Ein paar Daten zur GeForce GTX 580:

  • 198 GFlops (Double-Precision)
  • 1581 GFlops (Single-Precision)
  • 3 GB Compute-Speicher
  • 192 GB/Sek. Speicherbandbreite

2 Head-Nodes:

  • 2x Quad-Core Xeon-Prozessoren (E5620)
  • 48 GB Arbeitsspeicher
  • HA-Cluster

7 Storage-Server:

  • 2x Quad-Core Xeon-Prozessoren (E5620)
  • 20 TB Speicher (Home)
  • 160 TB (Filesystem)

Das GPU-Cluster in Bielefeld hat nicht den Anspruch ein neuer Supercomputer der Top-Liste zu sein. Das wird alleine schon daran deutlich, dass hier "nur" 400 Grafikkarten zum Einsatz kommen, während der Tianhe-1A auf über 7000 Karten kommt.

Wie zu sehen ist, sind nicht alle GPUs auch direkt dem professionellen Umfeld zuzuordnen. In Bielefeld werden 192 GeForce GTX 580 eingesetzt, um Simulationen durchzuführen. Die GeForce GTX 580 eignet sich nicht nur durch die enorme Rechenleistung, sondern gerade durch ihren recht günstigen Preis. Das Fehlen der ECC-Fehlerkorrektur ist hier nicht ganz so wichtig, dafür kommen aber auch die Modelle mit 3 GB Grafikspeicher zum Einsatz.

Auf die verlässlichen Ergebnisse möchte man allerdings nur vertrauen, wenn sie durch die Tesla-GPUs gelaufen sind. Die 304 CPUs des Systems sind nicht nur dazu da, um die GPUs zu verwalten und mit Daten zu versorgen, sondern auch um ebenfalls Berechnungen durchzuführen. Sicher haben wir bislang nur davon gesprochen, dass GPUs die ideale Compute-Plattform sind, doch auch CPUs haben ihre Daseinsberechtigung. Zukünftig wird man auch auf den Intel-Xeon-Prozessoren bestimmte Berechnungen durchführen und die Effizienz des Supercomputers weiter steigern. Werden sowohl die GPUs als auch die CPUs belastet, kommt das Cluster auf einen Verbrauch von etwa 140 kW.

 Auch eine Erweiterung des GPU-Clusters in Bielefeld ist denkbar. Weitere Knoten können aus Platzgründen allerdings nicht installiert werden und so wäre nur ein Hardware-Upgrade denkbar. Mit den Tesla-GPUs der nächsten Generation dürfe auch die Rechenleistung steigen. Dann allerdings müssten die kompletten Knoten getauscht werden, sonst könnte die PCI-Express-2.0-Schnittstelle zum Flaschenhals werden. Denkbar ist vieles, was machbar sein wird, wird sich zeigen müssen, denn letztendlich ist dies vorrangig eine Geldfrage.

GPU-Computing ist und bleibt für NVIDIA ein wichtiges Thema. Am 15. Februar 2007 präsentierte man erstmals das CUDA-SDK. Offenbar traf man gleichzeitig auch den Nerv der (Compute)-Zeit. Ein entsprechender Support von Hard- und Software-Herstellern hat dazu geführt, dass eigentlich nur NVIDIA im Zusammenhang mit dem GPU-Computing genannt wird. Vom 14. bis 17. Mai wird in San Jose die GTC 2012 stattfinden. Dort werden wieder einmal zahlreiche Vorträge zum GPU-Computing und CUDA geboten und vielleicht werden auch wir wieder vor Ort sein. 

 

Social Links

Seitenübersicht

Ihre Bewertung

Ø Bewertungen: 5

Tags

es liegen noch keine Tags vor.

Kommentare (23)

#14
customavatars/avatar83107_1.gif
Registriert seit: 21.01.2008
Thüringen
Banned
Beiträge: 16333
Zitat Don;18297598
Bei den GeForce-Karten geht es, wenn ich das richtig verstanden habe, darum, dass hier bestimmte Berechnungen gemacht werden, die ohnehin mehrfach ausgeführt werden und deren Richtigkeit man auch nicht prüfen kann. Wenn du etwas simulierst, das Ergebnis aber nicht kennst, wie willst du das verifizieren? Oftmals geht man also her, macht die Berechnung mehrfach und nimmt z.B. einen Mittelwert davon. Dazu sind diese Karten geradezu prädestiniert.

Ich hoffe ich rede nicht allzu viel Blödsinn, aber das war schon etwas komplizierter wenn einem das ein theoretischer Physiker erzählt ;)


Ich dachte die rechnen das Ergebnis nochmal gegen,mit den Teslaclustern zur Verifizierung.

So hatte ich das erst verstanden:)

Zugegeben das würde dann aber ja sinnlosen doppelten Rechenaufwand bedeuten,da man die ganzen Werte,ja gleich durch die Teslas hätte drücken können,ohne Gefahr zu laufen das das Endergebnis nicht stimmt

Trotzdem ein schönes Maschinchen was sie da oben in Bielefeld stehen haben
#15
customavatars/avatar153094_1.gif
Registriert seit: 08.04.2011
Ruhrgebiet
Bootsmann
Beiträge: 624
So muss Hardware aussehen. Aber da sind ja noch Plätze in der Racks frei... ;)
#16
customavatars/avatar128299_1.gif
Registriert seit: 29.01.2010

Fregattenkapitän
Beiträge: 2628
Ich hab das so gelesen, dass auf den Geforce ausprobiert wird. Also etwas gerechnet wird wovon man nicht weiss, ob es ein Ergebnis gibt. Evt. verläuft sich eine Berechnung ja und wenn die GF schon verlaufen braucht man die "langsameren" Teslas ja nicht nutzen. Oder die GF rechnen alles in SP und die Teslas wenn das Eregnis ok ist nochmal in DP :)
#17
customavatars/avatar84710_1.gif
Registriert seit: 10.02.2008

Admiral
Beiträge: 15048
Jo die überprüfen mit den Teslas die vorigen Ergebnisse. ;)

Ach was wären wir ohne Physiker? Keine Atombomben und kein Internet... :D

Haben die eigentlich aus was zum Thema Stromrechnung bzw Verbrauch gesagt? Ich meine wenn die Uni schon auf 192 günstige GTX 580 3 GB zurück greifen muss, haben die bestimmt nicht viel Geld für Strom... :D
#18
customavatars/avatar128299_1.gif
Registriert seit: 29.01.2010

Fregattenkapitän
Beiträge: 2628
"...kommt das Cluster auf einen Verbrauch von etwa 140 kW."
Strom dürften die zwar Sonderkonditionen haben aber günstig wirds sicher nicht.
#19
customavatars/avatar3377_1.gif
Registriert seit: 15.11.2002
www.twitter.com/aschilling
[printed]-Redakteur
Tweety
Beiträge: 29105
Einen Anschaffungspreis hat man mir nicht genannt. Bei Volllast auf allen GPUs liegt der Verbrauch bei 140 kW. Innerhalb von drei Jahren wird soviel Strom verbraucht wie das gesamte System gekostet hat.
#20
customavatars/avatar83107_1.gif
Registriert seit: 21.01.2008
Thüringen
Banned
Beiträge: 16333
Zitat Don;18298548
Einen Anschaffungspreis hat man mir nicht genannt. Bei Volllast auf allen GPUs liegt der Verbrauch bei 140 kW. Innerhalb von drei Jahren wird soviel Strom verbraucht wie das gesamte System gekostet hat.


Na wer die ungefähren Strompreise im Kopf hat,kann sich jetzt ausmalen,was das Maschinchen gekostet hat in der Anschaffung,wenn es täglich und davon ist wohl auszugehen im Full Load arbeitet:p
#21
customavatars/avatar84710_1.gif
Registriert seit: 10.02.2008

Admiral
Beiträge: 15048
Danke für die Info, das ist schon eine Hausnummer zum mal die ja im gewissen Sinne mit der Forschung nichts verdienen. Aber interessant Bericht, auch wenn ich nicht im Raum mit den Rechnern gewesen sein möchte, wenn ich das Video so höre... :D[COLOR="red"]

---------- Post added at 12:13 ---------- Previous post was at 12:11 ----------

[/COLOR]Scully, die bezahlen mit Garantie den Industrie-strompreis und der ist weit billiger als unserer. ;) In Deutschland zahlt nämlich nicht der Hauptverbraucher wirklich den Strom...
#22
customavatars/avatar83107_1.gif
Registriert seit: 21.01.2008
Thüringen
Banned
Beiträge: 16333
Zitat Mick_Foley;18298587

Scully, die bezahlen mit Garantie den Industrie-strompreis und der ist weit billiger als unserer. ;) ...


Abweichungen im 20% Bereich sind denke ich vertretbar,um eine Vorstellung von den Anschaffungskosten zu haben,darum auch "ungefähren Strompreise":d

Was jetzt Bielefeld genau bezahlt,müsste man mal recherchieren,dann könnte man sie auf ihre Aussage "3 Jahre equivalent zum Anschaffungspreis" festnageln:asthanos:
#23
customavatars/avatar112369_1.gif
Registriert seit: 21.04.2009
hinterm Mond
Kapitän zur See
Beiträge: 3667
Schöner Artikel. Gefällt mir.

Habe mal eben bissl gerechnet. Ich komme auf 21€/Stunde (bei 15cent/KWh) ... sind auf 3 Jahre etwa 550000€ ... Schnäppchen. :D
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

Roundup: 5x GeForce GTX 1070 mit Custom-Design im Test

Logo von IMAGES/STORIES/GALLERIES/REVIEWS/2016/5X-GTX1070/GTX1070_CUSTOM_ROUNDUP-TEASER

Nachdem wir bereits eine Reihe von Boardpartner-Karten der NVIDIA GeForce GTX 1080 ausführlich getestet haben, holen wir gleiches nun für das kleinere Schwestermodell nach, denn auch von der NVIDIA GeForce GTX 1070 gibt es viele Custom-Modelle mit höheren Taktraten, eigenen Kühlsystemen und... [mehr]

Drei Custom-Modelle der GeForce GTX 1060 im Test

Logo von IMAGES/STORIES/GALLERIES/REVIEWS/2016/3X-GTX1060/GTX1060_ROUNDUP_TEST-TEASER

Anders als bei der GeForce GTX 1080 und GeForce GTX 1070 trudelten wenige Stunden nach unserem Test zur Founders Edition der NVIDIA GeForce GTX 1060 schon die ersten Boardpartner-Karten mit teils höheren Taktraten, eigenem Kühlsystem und überarbeitetem Platinenlayout ein. Sie dürften... [mehr]

NVIDIA GeForce GTX 1080 mit Pascal-Architektur im XXL-Test

Logo von IMAGES/STORIES/LOGOS-2016/GEFORCE-GTX-1080

Heute ist es soweit: NVIDIA läutet mit der GeForce GTX 1080 und GTX 1070 auf Basis der Pascal-Architektur den diesjährigen Neustart bei den Grafikkarten ein. In Kürze wird wohl auch AMD seinen Beitrag zu diesem Thema leisten. Vor zehn Tagen lud NVIDIA die gesammelte Fachpresse nach Austin ein... [mehr]

Roundup: 5x GeForce GTX 1080 im Custom-Design im Test

Logo von IMAGES/STORIES/LOGOS-2016/GEFORCE-GTX-1080

Nachdem wir uns die Founders Edition der GeForce GTX 1080 und GeForce GTX 1070 bereits angeschaut haben, folgen nun fünf Retail-Modelle, die wir in aller Ausführlichkeit unter die Lupe nehmen wollen. Aus den vielen Boardpartnern und unterschiedlichen Modellen haben wir uns solche von ASUS, EVGA,... [mehr]

AMD Radeon RX 480 im Test

Logo von IMAGES/STORIES/GALLERIES/REVIEWS/2016/RADEON-RX480/RADEON-RX480-REFERENCE-LOGO

Es ist also soweit: AMD startet die großangelegte Zurückeroberung des Grafikkartenmarktes mit der Radeon RX 480, die als erste Grafikkarte der Polaris-Generation mit gleichnamiger Architektur erscheint und die wir uns genauer anschauen können. Dabei versucht sich AMD an einem anderen Ansatz im... [mehr]

PowerColor Radeon RX 480 Red Devil im Test

Logo von IMAGES/STORIES/GALLERIES/REVIEWS/2016/POWERCOLOR-RX480/POWERCOLOR-RX480REDDEVIL-LOGO

Mit der Radeon RX 480 will AMD zurück zu alter Stärke und hat daher über Monate hinweg die PR-Trommel geschlagen. Letztendlich dabei herausgekommen ist eine sehr gute Karte für einen niedrigen Preis, die aber nicht in allen Bereichen zu überzeugen weiß. Wohl größtes Manko der Karte sollte... [mehr]