[Sammelthread] 10Gbit Homenetzwerk

[Zeitmangel]

Anscheinend reicht die Unterstützung nicht nur alleine im Modul.

 

[bbott]

@Zeitmangel
„Ich denke, die Argumente sind ausgetauscht. Jeder kann sich selbst ein Bild machen, was langfristig sinnvoller ist. Für mich ist damit alles gesagt.“

 

[soisses77]

Anscheinend reicht die Unterstützung nicht nur alleine im Modul.

Ja, wenn ich mich richtig erinnere, dann muss nicht nur das Modul die Geschwindigkeiten unterstützen, sondern auch der SFP+ Port. Die können oft nur 1 oder 10 GBit. Hab da auch mal eine Zeitlang unterschiedliches getestet, auch die Verbindung eines 5 GBit USB-Adapters mit einen 1-10GBit Modul und nie eine Verbindung bekommen. Die Quintessenz für mich war: 5 Gbit funktioniert für mich nicht, die anderen Geschwindigkeiten ohne Probleme. Deshalb bin ich bei 10 Gbit dann gelandet.

 

[Zeitmangel]

@Zeitmangel
„Ich denke, die Argumente sind ausgetauscht. Jeder kann sich selbst ein Bild machen, was langfristig sinnvoller ist. Für mich ist damit alles gesagt.“

Natürlich. Dafür ist ein Thread auch da. Und natürlich auch für alle anderen, nicht nur für uns 2. Dafür schreibt man in einem Thread

@soisses77
So isses

 

[Techlogi]

Die X710 ? Bei 70€ gebraucht

Kann man die gefahrlos aus China bestellen?

 

[soisses77]

Wieso? Gibt genügend deutsche Shops

 

[Zeitmangel]

Bravo, Soho-Industrie. Es gibt jetzt schon Audiostreamer mit SFP

 

[Techlogi]

@soisses77 Schon den ein oder anderen schnapper gemacht. Mein Xeon für den Gen8 hatte ich auch von Ali.

 

[bbott]

Bravo, Soho-Industrie. Es gibt jetzt schon Audiostreamer mit SFP

Wart's nur, ab die Next Gen Audio Codecs braucht 10Gbit/s, mindestens

 

[Zeitmangel]

Wie steht es heutzutage (Treiber?) eigentlich um das Thema SFP+ und WoL?

 

[Weltherrscher]

SFP+ nix WoL.
Punkt.

 

[sch4kal]

SFP+ nix WoL.
Punkt.

Die CX3 im Windows Desktop unterstützt das, bei meinen anderen Mellanox müsste ich nachschauen.

 

[Weltherrscher]

Kann ich an der Sense gerade nicht testen, scheint kein mlxconfig installiert zu sein...
OOTB gehts außer bei Windoofs scheinbar nicht.

 

[sch4kal]

Das geht auch unter Linux (FreeBSD ka), benötigt aber die Aktuellste Nvidia/Mellanox Firmware. OEM NICs muss man erst per PSID Change zu Mellanox umflashen, um die aktuellste Firmware direkt von Mellanox zu bekommen, die unterstützt für die CX3 (und Späteren Generationen) WOL und auch Energiesparmaßnahmen wie ASPM.

 

[Zeitmangel]

Nebenbei, allgemein zum Thema (X3)

The Curse of ASPM

You either get to C8 or you die trying.

z8.re

 

[sch4kal]

Nebenbei, allgemein zum Thema (X3)

The Curse of ASPM

You either get to C8 or you die trying.

z8.re

Was wieder sehr schön zeigt: Consumerhardware für Serverzwecke kann funktionieren, muss aber nicht (oder erfordert offenbar sehr tiefgreifendes Patching). Hier wäre ich überrascht, wenn ASPM auf zB einem Supermicro oder Kontron Board ebenfalls „schlampig“ gepflegt wäre. Bei Gagabyte wundert mich indes gar nix.

 

[Da_Maddy]

Hät das jetzt eher anders rum interpretiert. Aber egal wie rum, es hat immer so seine Tücken.

 

[asm@s24]

ASPM mußt ich erst gemini-en. Witziger Artikel, aber was ist seine Lebenszeit für das Gefrickel wert im Vergleich zu gesparten Stromkosten?
Wir haben zu zweit so gegen 150.- im Monat. Aber locker 7000.- 8000.- im Jahr für Krankenkasse. Oder Miete... 🫨

 

[underclocker2k4]

Hät das jetzt eher anders rum interpretiert. Aber egal wie rum, es hat immer so seine Tücken.

Das Thema Effizienz ist im RZ eines der Themen überhaupt.
Man kann sich ja mal das EnEfG anschauen.
Jedes eingesparte Watt auf der Komponentenseite spart auch "Watt" in den nachgelagerten Baustellen.
Wichtig: Effizienz nicht mit Sparsamkeit verwechseln.

Früher hat man die (el.) Leistung eines RZ in Megawatt (1000kW) angegeben. Heute sind es Gigawatt.
Serverschränke werden auf 1 Megawatt ausgelegt (pro Rack). (GPU Workload)

Beitrag automatisch zusammengeführt: Gestern um 14:22

Witziger Artikel, aber was ist seine Lebenszeit für das Gefrickel wert

Ein Hobby hat garkeinen (monetären) Wert.
Welchen Wert hat es, mit einem Modelhelikopter rumzufliegen oder Landschaftsfotos mit Perfektionsanspruch zu machen?

 

[asm@s24]

Früher hat man die (el.) Leistung eines RZ in Megawatt (1000kW) angegeben. Heute sind es Gigawatt.

Aber der schreibt da nicht von einer "KI-Gigafactory" sondern von seinem Homelab.

Mir schon klar, daß er es mehr aus sportlichen Gründen macht. Und Ironie kann er auch: "Yet another problem that can be solved by throwing more money at it."

 

[underclocker2k4]

Klar macht er das @home.
Die Aussage ist aber, dass man mit ServerHW mitunter mehr erreicht.
Aber auch Business Office HW ist im rahmen auf sowas getrimmt. Denn die Energieaufnahme ist auch ein Kriterium ab man sich für Hersteller A oder B entscheidet.
Im Office Bereich kommt aber kein Gigabyte oder Asus zum Einsatz, sondern eben die üblichen Verdächtigen.

Und das mit dem Geld ist garnicht soviel Ironie, wie du glaubst.
Wenn man jemanden für 100k ein Jahr ransetzt, der das Thema beackert und man dann im Jahr, wegen der Skalierung, 100k Energie- und Investitionskosten spart, dann wird aus "mal sehen und rumspielen" plötzlich ein ernster Business Case. (für 100 Rechner lohnt sich das wohl eher nicht)

 

[Da_Maddy]

Das Thema Effizienz ist im RZ eines der Themen überhaupt.
Man kann sich ja mal das EnEfG anschauen.
Jedes eingesparte Watt auf der Komponentenseite spart auch "Watt" in den nachgelagerten Baustellen.
Wichtig: Effizienz nicht mit Sparsamkeit verwechseln.

Bin ich dabei. Gehe aber davon aus, das bei Effizienz im RZ eher der Last denn der Idle Fall das Thema ist. Im Gegensatz bei den meisten daheim, wo das Zeug mehr rumsteht als schafft.

Und: die Effizienz der Sache lässt sich steigern, nutzt man die ganze entstehende Abwärme auch noch sinnvoll...

Jetzt dreh ich das aber doch nochmal: wenn die Effizienz so nen Thema ist: warum hat man da nicht schon seit Langem enegiesparsamere Netzwerktechnik ?
Wieder Idle vs Full?

 

[Shihatsu]

Wieder Idle vs Full?

Dieses. Das Stichwort der Wahl heißt hier "Überprovisionierung". Jeder RZ-Betreiber versucht sein Zeug unter Volllast zu halten. Effizienz ab 80% Workload ist hier der Benchmark. Unter diesen 80%? Business Case verkackt!

 

[underclocker2k4]

Und: die Effizienz der Sache lässt sich steigern, nutzt man die ganze entstehende Abwärme auch noch sinnvoll...

Mal in das EnEfG geschaut?

Jetzt dreh ich das aber doch nochmal: wenn die Effizienz so nen Thema ist: warum hat man da nicht schon seit Langem enegiesparsamere Netzwerktechnik ?
Wieder Idle vs Full?

Hat man doch.
Was meinst du, was der Treiber hinter 400G, 800G usw. ist?
Was meinst du, ist der Treiber hinter den Substandards bei z.B. 100GBE ?
Was meinst du, ist der einer der Treiber hinter silicon photonics?
Was meinst du, warum niemand im RZ CU Verkabelung einsetzt? (ja, Bandbreite ist auch nen Thema)
Ich habe alle 10GBE CU Verbindungen verbannt, aus gutem Grund.

Die letzten dual 1GBE fiber NICs lagen bei 5W, also einem Wert für heutige 10GBE NICs. (die ersten lagen beim 2-4 fachen, sowohl 1GBE als auch 10GBE)
10GBE ist also 10x so effizient.
Und so geht das immer weiter.

Auch hier wieder, Effizienz hat nichts mit Sparsamkeit zu tun.
Ein Gerät mit 100kW kann sehr effizient sein... (es kommt darauf an, was es damit, im Vergleich zu anderem, schafft)

 

[soisses77]

Was wieder sehr schön zeigt: Consumerhardware für Serverzwecke kann funktionieren, muss aber nicht (oder erfordert offenbar sehr tiefgreifendes Patching). Hier wäre ich überrascht, wenn ASPM auf zB einem Supermicro oder Kontron Board ebenfalls „schlampig“ gepflegt wäre. Bei Gagabyte wundert mich indes gar nix.

Kontron ist eine Ausnahme, bei der meisten anderen Serverhardware spielt es keine Rolle und wird oft nicht unterstützt.
Beispiel: Datacenter SSDs haben meist kein ASPM. Wozu auch, im Idle verdient man kein Geld.

 

[asm@s24]

Klar macht er das @home.
Die Aussage ist aber, dass man mit ServerHW mitunter mehr erreicht.

Daheim lohnt halt der ganze (auch finanzielle) Aufwand nicht. Das ist zumindest für mich die wesentliche Aussage des Artikels, obwohl man sich das leicht vorher denken kann. Wieviel spar ich da, 150 im Jahr?
Die Proliant, welche Kunden von uns haben, ziehen so 170W. Und bei denen ist eigentlich immer Idle. Mit welchem Aufwand bekommt man die 170 runter und um wie viel (oder eher wenig)? Und zahlt uns den Aufwand irgendwer? Ganz klar nö. Da hat noch nie einer nach gefragt. Und nein, wir sind kein Ausrüster für 100.000 Server. Maximal drei, meisten zwei, oft nur einer, weil sonst "zu teuer".

Und dann hab ich in letzter Zeit noch überall das PM ganz abschalten müssen, weil die Server gecrasht sind. War die Lösung von HP. Wegen Strom hat sich noch nie einer beschwert, bei Servercrash dann schon. 😒

Man kann ja in der IT schon froh genug sein, wenn's überhaupt läuft, und auch länger als nur ein paar Tage. 🤪

 

[underclocker2k4]

Aufwand muss man für sich bewerten, sowohl privat als auch beruflich.
Privat kann manchmal auch der Weg das Ziel sein und nicht das Ziel selber.

Und auch beruflich kann das Sinn machen. Bei 1-2 Server evtl. nicht, da ist man besser dran, wenn man den Server von vorhinein passender auslegt.
Unsere RZs haben ne Anschlussleistung von 8MW und Gebäude so groß, da bringt man ganze Firmen unter. Und da relativiert sich der Aufwand sehr schnell. (siehe oben "Skalierung")
Unsere Server haben btw. 500W IDLE und die sind, in unserem Kontext, nicht besonders groß. Bei Quad Socket Maschinen oder Mainframes sieht das anders aus.
(8MW wäre btw. 16k, dieser IDLE Server, nur um mal die Größenordnung aufzuzeigen)

PS: Was für einen selber keinen Sinn macht (egal ob beruflich oder privat) bedeutet nicht, dass das/ein Thema grundsätzlich sinnlos wäre.
PPS: Und freilich gibt es Anwendungen, wo man mit dem PowerMGMT nicht so viel rumspielen sollte. Wir haben auch Host, das steht das Ding auf Vollgas.
vSphere z.B. kann Hosts runterfahren oder starten, um das Thema noch maximal zu stressen. Da braucht man natürlich nicht damit rechnen, dass man in 2 Sekunden irgendeine Reaktion auf den Bedarf hat, das dauert dann eben. (auch das muss man für sich bewerten, es gibt Use Cases, da mag das funktionieren)

 

[besterino]

@home mit RZ Vergleiche hinken in meinen Augen wirklich sehr, da passt doch fast keine Rahmenbedingung überein. Standard last idle vs. full load, Prio Zuverlässigkeit/Dauerlauf/Support vs. minimale Anschaffungskosten, Lautstärke egal vs. gerne lautlos, Räumlichkeiten klimatisiert vs. Dachgeschoss/Besenkammer/Wirtschaftsraum/Heizungskeller, Energieversorgung MW/GW vs Dach-PV, Budgetplanung durchkalkulierter Geldeinsatz zu „Ertrag“ vs „gönn Dir“ bei detailverliebter maximaler Zeitverbrennung usw.

Also jetzt nur mal von mir auf andere geschlossen.

Find das ja immer interessant und wer immer sich @home das Ziel setzt, möglichst wenig Energie zu verbrauchen, hat zumindest aus der Umwelt-Perspektive grds. Lob verdient.

 

[Zeitmangel]

Ich dachte bisher die grundlegende Botschaft und Mission des Threads ist 10Gbit weniger elitär und damit populärer zu machen.
So gibt ihr euch auf dieser Seite mit euren Plots aber irgendwie nicht.

10Gbit wird im Business, hinter dem Büro, so langsam zu einer Rarität. Falls es überhaupt noch da ist. Im SoHo hat es dagegen so einen Status noch nichtmal erreicht Die letzte Seite mit den was kostet die Welt O-Tons klingt ziemlich nach private-elite.
Wie falsch liege ich, wenn ich solche Denke für kontraproduktiv halte?

edit:
Auf einmal ist gar besterino auf meiner Seite (hat sich überschnitten). Fehlt jetzt nur noch, daß wir diesjahr in NRW weiße Weihnachten feiern

 

[Shihatsu]

Du gibst dir zwar ständig Mühe das so (in deinem Sinne) umzudeuten (siehe auch "Warum ist das Ding eigentlich nicht im Netzwerkforum?"), aber das ist und bleibt Schwachsinn:

Ziel und Thema dieses Threads:

Also hier ist er endlich: DER Thread für all die Leute, die sich einfach nicht mit 100 Mbyte/s zufrieden geben können oder wollen.
In diesem Thread geht es nicht darum, ob das sinnvoll ist oder nicht!
Es geht darum, wie man vorgeht wenn man nun einfach MEHR will.

Danke, Tschüss.