Aktuelles

HLRS Hawk: Supercomputer in Stuttgart springt auf Platz 5

Thread Starter
Mitglied seit
06.03.2017
Beiträge
24.185
supercomputer.png
Erst vor wenigen Tagen berichteten wir darüber, dass der Norddeutsche Verbund für Hoch- und Höchstleistungsrechner (HLRN) einen neuen Teil seiner Supercomputer-Infrastruktur in Betrieb genommen hat, die mit Intels Cascade-Lake-AP-Prozessoren ausgestattet ist. Heute wird in Stuttgart am HLRS (High-Performance Computing Center Stuttgart) ein neuer Supercomputer namens Hawk offiziell in Betrieb genommen.
... weiterlesen
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

Balle

Experte
Mitglied seit
04.09.2015
Beiträge
108
25 °C Vorlauftemperatur sind aber relativ wenig. Gibt es Gründe dafür weswegen hier auf eine echte Warmwasserkühlung verzichtet wird? Es muss doch sinnvolleres geben als knapp 4MW (über Verdunstung) in die Luft zu pusten.
 

Infi88

Enthusiast
Mitglied seit
09.09.2010
Beiträge
1.074
Ort
Köln
Sehr interessant.

26 PFLOPS bei 38 Mio. Euro Kosten mit AMD-Technik.

16 PFLOPS bei 30 Mio. Euro Kosten mit Intel-Technik.

Sehr geiler Fortschritt, der hier gerade stattfindet. Die News überschlagen sich ja teilweise mit neuen Superrechnern.
Immer dein peinliches ideologisches Gesülze, als wenn die erleuchtet wären weil sie jetzt AMD verwenden.
Emmy ist seit 2018 am laufen :fresse2: , und ein GPU Hybrid der sich ebenfalls sehen lassen kann, bzw. vom Kühlaufbau wirkt der auch etwas intelligenter.
 

Don

[printed]-Redakteur, Tweety
Mitglied seit
15.11.2002
Beiträge
33.653
25 °C Vorlauftemperatur sind aber relativ wenig. Gibt es Gründe dafür weswegen hier auf eine echte Warmwasserkühlung verzichtet wird? Es muss doch sinnvolleres geben als knapp 4MW (über Verdunstung) in die Luft zu pusten.

Heise hat mit dem Leiter des Höchstleistungsrechenzentrums Stuttgart, Prof. Dr. Michael Resch, ein Interview geführt und da war auch die Kühlung ein Thema: https://www.heise.de/newsticker/mel...startet-am-HLR-Stuttgart-4663692.html?seite=2

"Ja, wenn auch mit 25/35° nicht so warm wie bei anderen Warmwassersystemen, aber immerhin um 10 Grad wärmer als beim Vorgänger Hazel Hen. Wir erwarten, dass wir unsere Kühlaufwendungen monetär und energiemäßig substantiell reduzieren können. Dazu haben wir bereits vor fünf Jahren ein Programm gestartet, um eine maximale Optimierung für das Thema Stromversorgung und Kühlung zu erreichen."
 

DeckStein

Experte
Mitglied seit
08.05.2018
Beiträge
3.189
Ich kapiere immer noch nicht warum nicht normales kaltes wasser genommen wird. Nfetten radi dran und ab geht die kuhlung.
 

DeckStein

Experte
Mitglied seit
08.05.2018
Beiträge
3.189
Danke, aber der link ist dreck. 14 absätze vpn denen keiner erklärt wqrum warmwasser benutzt wird. Ich google es mal
 

Falo999

Enthusiast
Mitglied seit
08.08.2016
Beiträge
1.620
Natürlich kühlt Warmwasser nicht besser als Kaltwasser, es ist nur deutlich effizenter sowohl von dem Technischen Aufwand der Kühlung als auch von den Energiekosten.

Jeder der schon etwas mehr Overclockung gemacht hat weiß je Tiefer man man die temperaturen bekommt umso mehr kann man übertakten.
Aber der Energiebedarf steigt dabei aber deutlich schneller an als die Rechenleistung.

Und auch in den Rechenzentrum wirken sich die Energiekosten immer mehr aus.
Früher hat man halt lieber 1000 CPU mit 3 Ghz laufen lassen, heutzutage würde man halt eher 1500 CPU mit 2 GHZ laufen lassen um auf die selbe Rechenleistung bei weniger Stromverbrauch zu kommen .
 

hithunter

Profi
Mitglied seit
13.06.2017
Beiträge
542
Schon erstaunlich wie klein heute die Supercomputer sind. Für den Hawk reicht ein größerer Raum, anstatt eine große Halle.
 

Mo3Jo3

Experte
Mitglied seit
01.08.2017
Beiträge
2.861
Ort
ganz im Westen
Danke, aber der link ist dreck. 14 absätze vpn denen keiner erklärt wqrum warmwasser benutzt wird. Ich google es mal
Es dreht sich nur um die Effizienz. Einfach formuliert eine mehr oder weniger „passive“ Wasserkühlung, und weil das Wasser nicht aktiv gekühlt wird, ist es halt Warmwasser. In Regionen mit niedriger Temps, kann man evtl schon Warmwasserkühlungen mit der Umgebungsluft von draußen kühlen.
Die Betreiber freuen sich.......
 

weltirol

Enthusiast
Mitglied seit
01.04.2007
Beiträge
2.537
Ort
Niemandsland
Habe mich noch nie mit Supercomputern beschäftigt, bezogen auf den Preis für das Teil scheint es kräftige Rabatte zu geben in dieser Größenordnung bzw. im Umkehrschluss, kräftige Aufschläge wenn man als Einzelperson die selbe CPU verwenden will.

Preisvergleich Pi mal Daumen:

- um die 8000€ einzeln für den Epyc + etwa 600-1000€ für 128 GB RAM + ca. 50-60€ für 2TB HDD + Netzteil 100€ + 400-600€ fürs Board + Gehäuse und Kleinteile 200€ = untere Grenze ~9350€
- im HLRS HAWK pro Stück Epyc + anteilig 128GB RAM + ca. 2,2 TB HDD + ca. 450-500 Watt Netzteil/CPU + alles drumherum = ~3400€!

8-)
 

DeckStein

Experte
Mitglied seit
08.05.2018
Beiträge
3.189
Habe mich noch nie mit Supercomputern beschäftigt, bezogen auf den Preis für das Teil scheint es kräftige Rabatte zu geben in dieser Größenordnung bzw. im Umkehrschluss, kräftige Aufschläge wenn man als Einzelperson die selbe CPU verwenden will.

Preisvergleich Pi mal Daumen:

- um die 8000€ einzeln für den Epyc + etwa 600-1000€ für 128 GB RAM + ca. 50-60€ für 2TB HDD + Netzteil 100€ + 400-600€ fürs Board + Gehäuse und Kleinteile 200€ = untere Grenze ~9350€
- im HLRS HAWK pro Stück Epyc + anteilig 128GB RAM + ca. 2,2 TB HDD + ca. 450-500 Watt Netzteil/CPU + alles drumherum = ~3400€!

8-)
Das ist auch seit langem bekannt. In dem umfeld zahlt doch keiner listenpreise.
 

weltirol

Enthusiast
Mitglied seit
01.04.2007
Beiträge
2.537
Ort
Niemandsland
Das ist auch seit langem bekannt. In dem umfeld zahlt doch keiner listenpreise.

Naja klar, dachte aber nicht, dass sich dies im Rahmen von weit über 50% bewegt :d Aber das wird u.a. auch deswegen sein, weil dies eher spezielle Hardware darstellt und teilweise direkt beim Hersteller bezogen wird?
 

hithunter

Profi
Mitglied seit
13.06.2017
Beiträge
542
Rack inkl. Netzeil
1200 Euro

16x16 GB Ram
1600 Euro

2x Epyc 7742
15000 Euro

14 TB SAS
400 Euro

200 GB Infiniband Karte
1300 Euro

3 Meter QSFP28 Kabel
80 Euro

200 GB Infiniband 40 Port Switch
24000 Euro

-------------------------------------
140x Switches
3,36 Mio.

3000 Kabel
0,24 Mio.

2400x HDD
0,96 Mio.

5632x Racks (Je 19.100 Euro)
107,57 Mio
---------------------------------------
112,13 Mio. --> Kosten inkl. Installation nur 36 Mio, echter Schnapper.


Ich bin mir ziemlich sicher das man die CPUs fast geschenkt bekommen hat, denn das Preis-Leistungsverhältnis ist mehr als schlecht. Vor allem skaliert die CPU wegen den 8 Speicherkanälen nur sehr schlecht mit den 64 Kernen. Besser wäre es gewesen die doppelte Anzahl der Nodes zu nehmen.

2x Epyc 7452
4400 Euro

-->
280 Switches
6,72 Mio

6000 Kabel
0,48 Mio

2400x HDD
0,96 Mio

11264 Racks (Je 7.860 Euro), mit doppelten Ram (Je 8.500 Euro)
88,54 Mio // 95,74 Mio
---------------------------
96,7 Mio // 103,9 Mio

Die 11264 Racks hätten also entweder genauso viel RAM oder doppelt so viel, bei deutlich größerer Performance, Aufgrund doppelter Speicherbandbreite, zu deutlich besseren Konditionen.

Man hat die unnützen 64 Kerner für einen Schnapper bekommen, ansonsten hätte man diese nicht eingebaut. Im übrigen ist der 64 Kerner gerade mal nur um 40% schneller als der 32 Kerner, fehlt einfach die Speicherbandbreite.
 
Zuletzt bearbeitet:

hRy

Enthusiast
Mitglied seit
09.09.2011
Beiträge
453
@DeckStein
Wärme mit Hilfe von elektrischer Energie zu erzeugen (umzuwandeln) ist schon kostspielig.
Aber Wärme wieder abzuführen (bspw. Klimaanlage) ist mindestens doppelt so teuer in Bezug zur elektrischen Energie.

Einfach gesprochen. Kälte zu erzeugen ist viel kostspieliger als Wärme zu erzeugen.
 

DragonTear

Enthusiast
Mitglied seit
06.02.2014
Beiträge
14.959
Ort
Im sonnigen Süden
@hithunter Du machst dir das etwas einfach wenn du meinst da läuft normale Consumersoftware drauf.
Es gibt Supercomputer die mehr auf Speicherdurchsatz setzen und welche die das weniger tun. Wenn du algorithmen hast welche viel Numbercrunching auf Daten machen welche in die CPU caches passen, dann kann man trotzdem die volle Leistung abschöpfen und dann gibt es noch Wege Speicherbandbreite besser auszunutzen wie durch gezieltes Prefetching.
 

sch4kal

Enthusiast
Mitglied seit
18.07.2016
Beiträge
2.716
Naja klar, dachte aber nicht, dass sich dies im Rahmen von weit über 50% bewegt :d Aber das wird u.a. auch deswegen sein, weil dies eher spezielle Hardware darstellt und teilweise direkt beim Hersteller bezogen wird?
Weshalb ? Die Firma für die ich arbeite bekommt ua. bei Cisco z.B. >65 % Rabatt auf den Listenpreis für deren Gerätschaften, bei manchen speziellen Teilen wie Transceivern sind es sogar 80 %.
 

weltirol

Enthusiast
Mitglied seit
01.04.2007
Beiträge
2.537
Ort
Niemandsland
Weshalb ? Die Firma für die ich arbeite bekommt ua. bei Cisco z.B. >65 % Rabatt auf den Listenpreis für deren Gerätschaften, bei manchen speziellen Teilen wie Transceivern sind es sogar 80 %.

okay. Ich dachte in der (Online)Hardware-Branche sind die Margen eh schon so winzig, dass da nicht mehr geht.

Ich kenne hauptsächlich nur die Lebensmittelbranche von unternehmerischer Seite und weiß, dass dort die Einkaufspreise für Einzelhändler zwischen 50-30% des Verkaufspreises liegen.

Und dabei dachte ich mir das dies bei Hardware sicher wesentlich höher liegt, immerhin verdirbt Hardware nicht in 5 Tagen, braucht keine Kühlung usw.

Und in meiner Milchmädchenrechnung ist ja der Aufbau der Hardware und die ganze Netzwerktechnik usw. gar nicht berücksichtigt .. d.h. der CPU Preis lag vl. irgendwo zwischen 10-20% des Endkundenpreises.

EDIT: Vielleicht ist auch der kolportierte Preis des HLRS Hawk gar nicht "richtig" und ein Teil der Hardware ist bloß geleast ... gibts sowas? :fresse:
 

hithunter

Profi
Mitglied seit
13.06.2017
Beiträge
542
@hithunter Du machst dir das etwas einfach wenn du meinst da läuft normale Consumersoftware drauf.
Es gibt Supercomputer die mehr auf Speicherdurchsatz setzen und welche die das weniger tun. Wenn du algorithmen hast welche viel Numbercrunching auf Daten machen welche in die CPU caches passen, dann kann man trotzdem die volle Leistung abschöpfen und dann gibt es noch Wege Speicherbandbreite besser auszunutzen wie durch gezieltes Prefetching.

da läuft normale Consumersoftware:



Bezüglich Wissenschaft passt wegen der Modellgröße kein einziges zu lösendes Gleichungssystem in den Cache. Das ist auch der Grund warum in Clustern der 64 Kerner oder eine CPU mit sehr vielen Kernen kaum anzutreffen ist. Hier setzt man einfach auf mehr Knoten mit weniger Kernen, dafür mehr Speicherbandbreite.

Nachtrag:
Um mal bei CFD zu bleiben. Die Nodes mit 4x 32 wären deren mit 2x 64 um 40% überlegen.
 
Zuletzt bearbeitet:

n0dder

Experte
Mitglied seit
08.11.2015
Beiträge
1.180
@DeckStein
Wärme mit Hilfe von elektrischer Energie zu erzeugen (umzuwandeln) ist schon kostspielig.
Aber Wärme wieder abzuführen (bspw. Klimaanlage) ist mindestens doppelt so teuer in Bezug zur elektrischen Energie.

Einfach gesprochen. Kälte zu erzeugen ist viel kostspieliger als Wärme zu erzeugen.
eigentlich nicht.

um 1kwh waerme zu haben musst du 1kwh strom 'verbrauchen'.

kaelte kannst du dagegen nicht erzeugen. du kannst nur die waerme wo anders hin transportieren. und das ist guenstiger als waerme zu erzeugen.
sprich: um 1kwh waerme nach draussen zu schaffen brauchst du nicht zwangslaeufig >=1kwh strom. so kommen auch die klima hersteller auf eine effizienz von >100%

das problem bei rechenzentren ist: der energieverbrauch fuers kuehlen kommt on top.
und deshalb lohnt es sich hier moeglichst effizient zu agieren.
warum i.e. 0.3kwh aufwenden um 1kwh abwaerme raus zu schaffen, wenn es mit einer anderen kuehlung nur 0.1kwh bedarf?
 

hRy

Enthusiast
Mitglied seit
09.09.2011
Beiträge
453
kaelte kannst du dagegen nicht erzeugen. du kannst nur die waerme wo anders hin transportieren. und das ist guenstiger als waerme zu erzeugen.
sprich: um 1kwh waerme nach draussen zu schaffen brauchst du nicht zwangslaeufig >=1kwh strom. so kommen auch die klima hersteller auf eine effizienz von >100%
Ich möchte das nicht ausdiskutieren, deshalb hatte ich mich laienhaft ausgedrückt. Aber frag doch mal einen Kälteanlagenbauer.
 

n0dder

Experte
Mitglied seit
08.11.2015
Beiträge
1.180
auch der wird mir bestaetigen, dass ich eben nicht das doppelte der abtransportierten waerme in die transportmaschine stecken muss.
 

cunhell

Enthusiast
Mitglied seit
18.02.2007
Beiträge
201
eigentlich nicht.

um 1kwh waerme zu haben musst du 1kwh strom 'verbrauchen'.

kaelte kannst du dagegen nicht erzeugen. du kannst nur die waerme wo anders hin transportieren. und das ist guenstiger als waerme zu erzeugen.
sprich: um 1kwh waerme nach draussen zu schaffen brauchst du nicht zwangslaeufig >=1kwh strom. so kommen auch die klima hersteller auf eine effizienz von >100%

das problem bei rechenzentren ist: der energieverbrauch fuers kuehlen kommt on top.
und deshalb lohnt es sich hier moeglichst effizient zu agieren.
warum i.e. 0.3kwh aufwenden um 1kwh abwaerme raus zu schaffen, wenn es mit einer anderen kuehlung nur 0.1kwh bedarf?

Doch, natürlich kannst Du Kälte durch Aufwendung von Energie erzeugen. Klimaanlagen und Kühlschränke machen genau das.
Du wendest Energie auf, um ein Kältemedium (z.B. FCKW) zu komprimieren und zu verflüssigen und läßt es dann sich wieder ausdehnen und gasförmig werden.
Dabei entsteht Kälte. Kann man z.B. auch gut bei Druckluft-Sparydosen sehen.
Du kannst auch mit Peltier-Elementen durch Energieaufwand Sachen kühlen. Ist halt nur sehr ineffizient.
Ausserdem kannst Du nur Kühlen, wenn Du ein Medium hast, an das du die Wäremenergie abgeben kannst. Das funktioniert nur, wenn das Kühlmedium kühler ist, als das zu kühlende.
Daher sind auch Heisswasserkühlungen effizienter als Kaltwasserkühlungen. Bei einer Wassertemperatur von 50°C oder 60°C kann ich viel mehr freie Kühlung verwenden, als bei z.B. 35°C
da das Delta-T zur Umgebung höher ist.
Das erwärmte Kühlmedium nur irgendwo hinzupumpen bringt Dir gar nichts, wenn Du nichts hast, an das es seine Wärmeenergie abgeben kann.
Darum bauen einige ihr Rechnzentrum auch weit im Norden, da da die Umgebungstemperatur normalerweise viel niedriger ist, als weiter südlich.
Zumindest im Moment noch ;-)

Cunhell
 

Falo999

Enthusiast
Mitglied seit
08.08.2016
Beiträge
1.620
Selbst die billigsten 200€ Monoblock Klima haben eine Leistungszahl (EER) von 3 sprich mit 1 KW Elektrischer Leistung hat man dann 3 KW Kühlleistung.
Bessere Splittklimaanlagen kommen auf bis zu 8 .

Dann kann man sicherlich davon ausgehen das hocheffizente Großanlagen deutlich in zweistelligen beteich sind.
 
Oben Unten