Bis 256 Kerne, PCIe 6.0 und 16-Channel-RAM: AMD stellt Epyc 9006 mit Zen 6 vor

Consumerkrempel braucht mehr Strom/Kühlung und viel mehr Platz. Bei den Epycs bekommt man mal eben 256 "große" Kerne auf 1HE, mit AM5 Kisten liegst da Faktor 16 drüber.
Von so Sachen wie Support bei den OEMs mal ganz abgesehen.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Also mein PC ist zuletzt eigentlich kleiner geworden. ☺️
 
genau... wenn ich jetzt meine CPU anschaue, also meinen 9950X3d2. Der ist mit über 200W TDP angeben. Und der 256 Kern Epyc mit 600W. Da ist das System mit der 600W CPU mit großer Wahrscheinlichkeit sparsamer, als wenn ich 16 Systeme mit einem 9950x aufbauen müsste. Dann natürlich das Problem, diese Rechner müssten dann noch ordentlich vernetzt werden. Da gehen schon eine Menge der nicht verfügbaren PCIe Lanes drauf. Netzwerkkarten mit 100GBits auf jedem dieser 16 Rechner wird dann schon zum Flaschenhals. Storage und OS für jeden einzeln? OS-Lizenzen?
 
Meine Annahme muss ja nicht stimmen. Es kann auch sein, dass AMD den AM5-Launch anders plant. Gerade auch mit Hinblick auf Intels Nova-Lake-S-Prozessoren mit bLLC.
Wenn X3D nicht vor Venice-X kommt, dann haben sie da was schwer verka... Der Druck hinter den Stückzahlen für Epyc mit V-Cache ist kleiner als hinter Ryzen mit V-Cache.

Hast du mitbekommen ;) daß AMD sich noch nicht einig ist, ob sie das IOD in N6 oder N4 produzieren? :fresse:
Aber das was ein Rack-Cluster aus normaler Consumer Hardware mit 2x Ryzen 9 9900X als Controller Node und 10x Ryzen 9 9950X als Worker Nodes bietet wäre mit teurer Server-Hardware wie Epyc CPUs sehr viel teurer, und dabei weniger flexibel und ausfallsicherer.

Vorteil ist das man nicht die ganze Peak-Rechenleistung selbst bereitstellen muss, sondern Worker Kapaztität einfach bedarfsweise bei Amazon aws, Microsoft Azure, Yandex Cloud, VK Cloud, etc. zukauen kann.
Ich weiß nicht wo du nun was darüber gelesen hast... aber das scheint dich aus irgendeinem Grund grad zu verfolgen...

Wie groß ist die Mannschaft die das betreut? Zu wem gehört sie? Was ist mit dem externen Service? Welche Hardware (Boards + Kühlung) soll das sein? Wer baut das? Das wäre was für kleinere Buden, aber die sind widerum zu klein um sich auch noch jene Mitarbeiter oder solche Services zu leisten. Die Mieten kurz was an in der Cloud, wenn sie es brauchen. Kommt billiger als 24/7 zu gewährleisten.
Und 2-bit ECC wäre dabei imho auch nicht verkehrt ;)

Daraus kann man schöne Projekte an der Uni machen. Ggf. mit Eigennutz für das eine oder andere kleinere Labor was dann auf die Zuweisung von Rechenzeiten im RZ pfeifen kann. Wenns den eben reicht. MEHR NICHT ;)
 
Zuletzt bearbeitet:
Consumerkrempel braucht mehr Strom/Kühlung und viel mehr Platz. Bei den Epycs bekommt man mal eben 256 "große" Kerne auf 1HE, mit AM5 Kisten liegst da Faktor 16 drüber.
Von so Sachen wie Support bei den OEMs mal ganz abgesehen.
Das sind in der Tat Argumente über die man reden kann.

Allerding muss man auch Consumer-Ryzen nicht zwangsläufig mit der vorgesehenen TDP betreiben sodern kann sie problemlos unter geringen Leistungsverlust auf die gewünschte TDP eindrosseln.

Bei den Gehäuse kenne ich es so das für die einzelnen Consumer-Hardware Server sogar meistens 2 HE Gehäuse verwendet werden, so das man für einen für einen 2+10 Cluster dann 24 HE für die Server braucht, 1 HE für Health Monitor, 2x 1HE für jeweils einen Switch, 1 HE für ein Patchpanel macht 28 HE wobei man dann meist schon mindestens einen 37 HE Schrank mit 1,80m wie https://www.serverschrank24.de/37-he-19-serverschrank-mit-glastur-bxtxh-600-x-600-x-1800mm.html nimmt damit man etwas Lücken lassen kann.

1HE Patchfeld
1HE Switch
1HE Switch
1HE Health Monitor
4 HE Lücke
4HE für die beiden Controller Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
1 HE Lücke
4 HE für zwei Worker Nodes

Dann natürlich das Problem, diese Rechner müssten dann noch ordentlich vernetzt werden. Da gehen schon eine Menge der nicht verfügbaren PCIe Lanes drauf. Netzwerkkarten mit 100GBits auf jedem dieser 16 Rechner wird dann schon zum Flaschenhals.
Kenne es nur so das dafür nur das ganz normale 1 GBit/s OnBoard LAN genutzt wird, dann von den Switches 1-2x 10 GBit/s als Crossbar und 2-3x 10 GBit/s als Uplink.

Storage und OS für jeden einzeln? OS-Lizenzen?
Open-Source Distributionen brauchen keine Lizenzen.

Wie groß ist die Mannschaft die das betreut? Zu wem gehört sie? Was ist mit dem externen Service? Welche Hardware (Boards + Kühlung) soll das sein? Wer baut das? Das wäre was für kleinere Buden, aber die sind widerum zu klein um sich auch noch jene Mitarbeiter oder solche Services zu leisten. Die Mieten kurz was an in der Cloud, wenn sie es brauchen. Kommt billiger als 24/7 zu gewährleisten.
Ersteres kann total unterschiedlich sein weil es total unterschiedliche Unternehmen sind.

Aber die mittelgrossen IT-Unternehmen wurden ja von den ganz grossen Hyperscalern aud dem Markt gedränkt. Was es jetzt noch gibt sind die kleineren IT-Unternehmen, die ihren Kunden individuellere Lösungen bieten können. Und dann natürlich Non-IT Unternehmen die für ihre eigenen Prozesse eine IT-Plattform brauchen.

Komplett nur Cloud-Dienste nutzen will man oft auch nicht, erstens weil man die Kontrolle über deine Daten halten will, und das ist einfacher wenn die Daten und Controller Nodes an den eigenen Standorten behält, und nur bedarfsweise Worker Node Kapazität zukauft. Der zweite Grund ist das man viel Bandbreite und Traffic spart, wenn der Grossteil der Datenverarbeitung im eigenen Rechenzentrum erfolgt.
 
Stellt sich zumindest mir die Frage was so eine CPU mit 256 Kernen kosten wird.
Denke mal das wir hier im Fünfstelligen Bereich sein werden.
Ebenso stellt sich die Frage nach dem TDP
Bei 256 Kernen gehe ich mal aus das wir es mit Leistungen ähnlich einer Nvidia der 5090 Serie zu tun haben werden.
 
1HE Patchfeld
1HE Switch
1HE Switch
1HE Health Monitor
4 HE Lücke
4HE für die beiden Controller Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
1 HE Lücke
4 HE für zwei Worker Nodes
Niemand, aber auch wirklich niemand bei Verstand wird das mit Consumer Hardware in Produktivumgebungen tun.
 
können wir bitte bei bei den neuen epyc bleiben und sonstige möglichkeiten nicht hier diskutieren? danke!
 
Stellt sich zumindest mir die Frage was so eine CPU mit 256 Kernen kosten wird.
Denke mal das wir hier im Fünfstelligen Bereich sein werden.
Ebenso stellt sich die Frage nach dem TDP
Am Ende der News zu der dieser Thread gehört, steht doch eine unbestätigte Liste der Modelle und demnach sind es 14.904 US-Dollar und 600W.
 
Nur mal als Beispiel..
WENN der Chipsatz per PCIe 6.0 angebunden wäre, so könnte man mindestens ein oder 2 weitere M2.NVME PCIe 5.0 Steckplätze anbieten.
Alternativ wären auch mehrere PCIe Slots auf dem Board möglich. Seih es nun für zusätzliche SATA Karten oder sonstwas.
Man könnte das Lane Sharing reduzieren, ...
Auf einem Server oder WS Mainboard bin ich bei dir. Consumer (99.9%) brauchen so etwas nicht.
 
Open-Source Distributionen brauchen keine Lizenzen.
also niemand bastelt produktiv einen Cluster mit 16 PCs ohne Support vom Softwarehersteller. Zumindest nicht produktiv.
Da die CPU auch für KI-Anwendungen genutzt werden soll, bastelt das auch keiner mit nur einem Gbit einen 16x Cluster. Die interne Anbindung innerhalb der CPU zwischen den Kernen ist da deutlich schneller. Was sind da PCIe 5.0 mit 16 Lanes. Das ist für richtige Anwendungen viel zu langsam. Vor allem 16x 200W nur die Last der CPU. Das bekommt man auch deutlich günstiger hin. Von dem Dual-Channel Ram des Ryzen zu den 12 oder 16 Kanälen des Epyc braucht man da nicht reden. Weiterhin die Menge des Rams. 8TB pro CPUmit 8000MT/s? Das würde bedeuten, das der kleine Ryzen dann 512 GB mit 8000Mt/s schaffen müsste, nur um es mathematisch richtig aufzuteilen. Keine Ahnung, ob es für den schon 128 GB Module mit dieser Geschwindigkeit gibt, aber AMD schreibt vor, das beim Einsatz von 4 Modulen maximal 3600 MT/s stabil möglich sind. Von den Kosten braucht man nicht zu reden. Lass doch mal so ein kleines Gehäuse mit diesem Ryzen, 512 GB Ram und einer 10G Netzwerkarte mal 4000,00 EUR kosten. Das wären da bestimmt schon über 60.000 EUR. Zuzüglich kommt noch die gesamte Vernetzung dieses Clusters. Stromversorgung ist vielleicht auch nicht zu ignorieren. Ich komme bei mir mit dem 9950x3d2 mit reiner CPU-Last schnell mal auf 400W aus dem Netzteil. Da ist GPU oder was auch immer nicht mit drin. Gehen wir mal von 500W pro Rechner Peak aus. Da sind das schnell mal 8 KW. Der Epyc kann 600W an Wärme erzeugen. Mit Brett und Ram lass dass dann mal ganz großzügig gerechnet 3KW sein. Das bekommt man fast noch über eine Haushaltsübliche Steckdose hin.

Sorry für OT, aber das sind halt meine Gedanken zum Epyc im Vergleich zum Consumer Ryzen
 
Da die CPU auch für KI-Anwendungen genutzt werden soll, bastelt das auch keiner mit nur einem Gbit einen 16x Cluster.
KI ist natürlich ein ganz andere Thema.

Ich dachte jetzt eher an Apache, nginx, ProFTPD, Postfix, Dovecot und MySQL. Oder auch an propietäre Cloudanwendungen von z.B. Broadcom, Maniver, Amantya, Huawei und ZTE.

Von den Kosten braucht man nicht zu reden. Lass doch mal so ein kleines Gehäuse mit diesem Ryzen, 512 GB Ram und einer 10G Netzwerkarte mal 4000,00 EUR kosten.
Für de Anwendungen wo ich es mitbekommen habe reichen in der Regel 32-96 GB RAM und der ganz normale 1 GBit/s vom Consomer-Mainboard völlig aus. Da würde ich eher von 1.500€ pro Node ausgehen.

Die Gesamtkosten für so einen Cluser kann man dann etwa so abschätzen:
Nodes: 12x 1.500€
Health Monintor: 1.000€
Switches: 2x 500€
Patchpanel: 100€
Serverschrank: 700€
Patchkabel, Stromverteiler und Kleinteile: 800€
Montagekosten: 1.500€
Macht dann insgesamt ca. 23.000€ für den ganzen Cluster samt Serverschank
 
Ich dachte jetzt eher an Apache, nginx, ProFTPD, Postfix, Dovecot und MySQL.
Apache ist ein Webserver, MySQL eine Datenbank, etc., es kommt aber mehr als auf die konkreten Anwendungen auf die Größe der Systeme an, also wie groß die Datenbank ist und wie viele User man hat. Als eigene IT Lösung für eine kleines oder mittleres Unternehmen, mag so eine Lösung ja gehen, aber da ist die Datenbank dann wohl nicht so groß und die Zahl der Zugriffe überschaubar.
 
Für de Anwendungen wo ich es mitbekommen habe reichen in der Regel 32-96 GB RAM und der ganz normale 1 GBit/s vom Consomer-Mainboard völlig aus. Da würde ich eher von 1.500€ pro Node ausgehen.
Es gibt auch andere Anwendungen.. Virtualisierung als Beispiel. Warum 16 Rechner hinstellen und 8 HE vielleicht beanspruchen, wenn man das ganze auch mit 2 oder 3 HE schaff und unter Volllast weniger Energie verbraucht. Was ist mit PCIe Lanes? Eine Consumer CPU ist nicht wirklich in der Lage mal eine Datenrate von jenseits 100Gbits nach außen zu bringen und dann vielleicht noch einen ordentlichen Storage Controller eingebaut zu haben. Zu Hause setze ich auf die alten Intel X710. Mein Desktop hat eine billige Kupfer 10G onboard, die mit am Chipsatz angebunden ist. Der 870er von AMD ist da nicht ausreichend. Zusätzlich ist an diesem Chipsatz bei mir noch ein SAS Controller angebunden. Der leidet auch an die Performance. Der könnte eigentlich PCIe 4.0 x8. Aber durch die lahme Anbindung kann der seine Leistung nicht vollständig ausbauen. Mir reicht diese zwar aus, weil der nur mit mechanischen Platten angebunden ist, könnte aber deutlich mehr mit NVME Laufwerken bringen. Alleine für mich auf dem Desktop ist das schon eine Überlegung, auf Threadripper zu setzen. Hätte ich auch schon gemacht, wenn der Ram für mich als Consumer nicht so teuer wäre. Kann da leider meinen alten Ram nicht weiter verwenden.
 
Eine Consumer CPU ist nicht wirklich in der Lage mal eine Datenrate von jenseits 100Gbits nach außen zu bringen
Das stimmt, aber wenn man nur 1x 25 MBit/s und 2x 10 MBit/s nach aussen hat, ist das ja garnicht notwendig.

Warum 16 Rechner hinstellen und 8 HE vielleicht beanspruchen
Es erhöht eben die Ausfallsicherheit, weil wenn dann ein oder auch zwei aus irgendwelchen Gründen ausfallen, läuft der restliche Cluster trotzdem weiter.

Und man kann via K8s eben bedarfsweise Worker Node Rechenkapazität bei externen Anbietern zukaufen. Prinzipiell ginge es zwar auch mit einem teuren Server und Virtualisierung, aber mit einem einzigen System eben nicht unbedingt sinnvoll.
 
bitte komm mal von deinem so begrenzten Horizont weg. Wie binde ich beispielsweise 10 oder mehr NVME-Laufwerke dort an und möchte aber auch die Daten mit ausreichender Geschwindigkeit nach außen bringen? Erkläre mir bitte, wie man das mit einer Consumer-CPU egal ob Intel oder AMD macht. Vielleicht lerne ich da auch was dazu. Nach außen reichen mir 100Gbit mit Redundanz
 
Daten kommen natürlich seperat in ein NAS in einem Rack daneben. Der Zugriff ist dann natürlich auf 1 GBit/s wegen dem Ethernet-Port limitiert, aber das reicht ja völlig.
 
@RealMax123
Ich schätze die Zahl solcher System auf zig Tausende, weltweit. Zu 70% im privaten Umfeld (in nicht ganz so ausladend wie du vorschlägst). Und die Leute sind auch bestimmt zufrieden damit. Die Zahl auf der anderen Seite, sind zig über zig Millionen. Reicht dir das als Erklärung?

Wenn du Systemarchitekten für Blödmänner hälst, dann ist die Botschaft angekommen und muss nicht noch seitenlang dargelegt werden...
 
die diskussion ist jetzt an dieser stelle beendet, weitere beiträge werden verschoben.

das thema gibt der titel und der artikel vor, danke!
 
oder drossel seine Verbindung... Der Titel Experte da drunter passt absolut nicht. Selbst sogar im privatem Umfeld setze ich auf einen Epyc, weil ich da einfach vernünftig viele NVME SSDs anbinden kann
1785311274567.png


gerne mal die Frage dazu, wie man diese Hardware auf einem Consumer Board bereitstellt?
 
und wenn ich wollte, könnte ich da noch eine ordentliche GPU einsetzen
Beitrag automatisch zusammengeführt:

schon klar... fühle mich auf der professionellen Platform deutlich wohler und würde mich freuen, diesen Epyc bei mir zu begrüßen. Muss halt noch ein wenig mit den kleinen spielen
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh