Der 10Gbit Homenetzwerk Thread

[underclocker2k4]

Haste sowas da game?

[gamefreaktegel]

ne, aber ich bin schon seit Langem am überlegen.... FC, 10Gb RJ45 oder Infiniband...

[Blacktron]

Oho, sowas hab ich mir auch schonmal überlegt. Also Netzwerk von Rechner zu Server via Infiniband... Hier hat man ja einige nette Anregungen gefunden.

[xymos]

würde das auch Nativ unter OSX laufen ?

[fdsonne]

Was mich beim Thema Infiniband auch interessiert, hat jemand Erfahrungen mit Clusterbildung unter Windows über Infiniband?
Das muss irgendwie gehen, aber ich hab so recht dazu noch nix gefunden

[H_M_Murdock]

@fdsonne
Du meinst so richtig mit gemeinsamem Hauptspeicher und alle CPUs = 1 System?
Tät mich so rein aus Prinzip auch mal reizen...für Linux hatte ich sowas mal wo gefunden.

Unter Windows kenn ich nur ganz rudimentär den Compute Cluster Server der im Prinzip Jobs über ne Warteschlange verteilt.

[fdsonne]

richtig genau das mein ich...

Ich habe damals im hwbot.org gesehen wie jemand den WPrime Rekord mit ner 32x Intel 7460 gebrochen hat. Mittlerweile ist das Clustering dort aber untersagt weil es um OC gehen soll und nicht wer Zugriff auf den größten Cluster hat...
Aber interessieren würde es mich trotzdem...

An ne Windows HPC Edition kommt man ja übers Technet ran... Selbst wenn nur als Testversion für 180Tage definitiv aber mal ne Probe wert

Ich glaube auch nichtmal das das zwingend an Infiniband gebunden ist...

[ulukay]

HPC?

scroll mal runter

Mellanox Products: Mellanox OFED for Windows (WinOF)

[fdsonne]

Die Frage ist, wie bekommt man das so hingebogen, das eben am "Schirm" beispielsweise ein Windows mit 32 CPUs zu sehen ist? So das eben quasi jegliche Windows Software drauf läuft? Geht sowas überhaupt?

Ich muss mal schauen, bei MS gibts den HPC Cluster in der 180Tage Trail. Damit könnte man ja schon erstmal testen...

[ulukay]

glaube ich nicht.
das ist eher ein computing cluster wo jeder node ein paar jobs bekommt.

so aehnlich wie openmosix bei linux damals.
da kannst am master zwar die ganzen prozesse starten, die werden aber dynamisch auf die nodes aufgeteilt.

[fdsonne]

Richtig, so kenn ich das ja auch... Die preisfrage ist aber, wie macht man das, das eben eine dicke Maschine zu sehen ist, wo alle CPU Cores quasi reingemappt wurden!?

Das es geht, zeigen die alten hwbot.org Ergebnisse mit 32 Intel Xeon CPUs. Das sind 192 Cores... Die Frage ist, wie macht man das!?
Ich glaube nicht, das sich WPrime so clustern lässt.

[H_M_Murdock]

@fdsonne
Das ist genau die Frage die ich mir auch schon gestellt hab.
Manchmal gibts aber auch von bestimmten Serverherstellern diverse proprietäre Lösungen, denkbar wäre z.B. ne Koppelung über (früher) den FSB oder HT (bei AMD Systemen).

[fdsonne]

Ja über den FSB schon machbar... Da dort theoretisch unbegrenzt Einheiten in den Busintegrierbar wären. Aber bei HT wirds wohl nix. Da Punkt zu Punkt.

Das Problem, in den größeren Kisten fällt beim Thema Clustering immer Infiniband... Das reine Verbinden denke ich ist auch nicht unbedingt der Punkt, an dem es scheitert. Das Problem scheint eher die Möglichkeit, das ganze in eine dicke virtuelle Maschine zu mappen!?

[mrlinux]

infiniband hat halt maximale kabellänge von 15m und die kabel sind sehr teuer
wenn jemand ne quelle für günstige cx4->fc medienkonverter hat immer her damit

[ulukay]

[  3] local 192.168.111.1 port 58553 connected with 192.168.111.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  7.44 GBytes  6.39 Gbits/sec

noch ein bisl rumgedoktort

[fdsonne]

Dafür das der mit 20GBit/sec connectet ist, ist das doch aber bissl mager, oder?
Oder ist hier IP over Infiniband das Problemkind?

[H_M_Murdock]

Zumindest die besseren Infiniband Adapter von Mellanox können auch IP Offloading.
Aber ich weiß natürlich nicht ob das Modell das ulukay einsetzt das auch kann.

[ulukay]

naja 20GBit/s ist brutto.
von 10 uebertragenen bits sind nur 8 datenbits. ergo schonmal nur 16GBit/s.
von den 16GBit/s muss man noch den protokolloverhead abziehen. sollten aber trotzdem locker 15GBit/s rausschaun. allerdings ist unter windows ein cpukern auf 80% wenn ich mit 800MB/s daten schauffel.
wird wohl kein offloading betrieben.

[fdsonne]

Das klingt nach ziemlich üblen Windows Treibern... Wie schaut die CPU Last unter Linux aus?

[ulukay]

zirka 50%
allerdings hab ich schon mit 2x debian versucht, kommt ~6,6GBit/s raus

edit: so nun im "connected" modus bekomm ich ne mtu size von 65520. mit 2x debian schaff ich dann 10.5 GBit/s

[PhreakShow]

Die etwas älteren, aber günstigeren Voltiare-Karten sind ja um 30€ erhältlich. Nur 10Gbit und PCIe x4, also dürfte die Karte den PCIe exakt auslasten.

Die machen mich grad ein wenig gierig. Hat die schon jmd getestet? Oder gibts einen Grund warum man die meiden sollte?

[ulukay]

mrlinux hat die imho?

[DunklerRabe]

In der Preisklasse bis ~100 Euro hat man sogar eine gewisse Auswahl an Karten bezüglich Single- und Dualport und SDR bzw. DDR.
Zumindest die Mellanox Karten sind auf der Website mal ganz gut dokumentiert und die Versorgung mit Software/Treibern sieht gut aus. Von IP Offloading sieht man dort aber nichts, vielleicht können die Karten das nicht.
Der wirklich offensichtlichste Nachteil ist der Preis der Kabel, die irgendwo bei 50 Euro für 1 Meter anfangen. Die Preise schwanken dort allerdings auch heftig, das günstigste was ich fand war ein 3.0 Meter langes für 82 Euro plus Versand bei eBay.
Trotzdem nicht uninteressant wie ich finde, vielleicht probier ich das einfach mal aus.

Da ergibt sich gerade aber noch eine Frage, sind überhaupt 1:1 Verbindungen zwischen Hosts bei IB vorgesehen oder muss man über einen Switch gehen?

[ulukay]

bei mellanox geht crossover. bei anderen fabrikaten ist das nicht soooo sicher.
was du dabei aber brauchst ist ein subnet manager der auf einem der beiden hosts rennt.

[DunklerRabe]

Verstehe, weisst du ob bei der Mellanox Software ein Subnet Manager dabei ist?
Wenn nein, gibts da eine empfehlenswerte, freie, Software von irgendeinem Drittanbieter?