Der 10Gbit Homenetzwerk Thread

[DunklerRabe]

Genau so siehts aus.
10 Meter sind ein Witz bei der Gebäudeverkabelung, damit kommst du gerade mal bis ins übernächste Rack. Stecker spielen dabei keine Rolle.
Für IB sind Kabellängen zwischen 50 cm und 3 Meter durchaus gängig, das wirst du auch feststellen, wenn du versuchst ein längeres Kabel zu besorgen. Das wird nämlich garnicht so einfach.

[dako]

Einen Anbieter für 10m Kabellänge (bereits konfektioniert halt) hab ich gefunden (der Preis ist zwar hoch aber tragbar, schließlich spare ich mir dadurch den 2. RAID Cotroller samt HDs, da ich dann direkt mit den Daten vom Server arbeiten kann), der Haken ist aber eben die Kabelführung, denn das Ding muss eben durch ein Kabelrohr durch, oder der Server steht weiterhin in meinem Arbeitszimmer, was ich aber eigentlich vermeiden wollte.

Ich benötige halt neben dem 1GBit LAN eine zusätzliche schnellere Direktverbindung zwischen Server und einem Arbeitsrechner mit (optimalerweise) 500mb/s oder mehr. Und die Karten (bzw. mindestens eine) muss mit elektrisch PCIe x4 (mechanisch x16) auskommen.



Die 10GBase Karten finde ich bei weitem nicht zu den Preisen, wie sie hier im ersten Post angegeben sind und einige davon brauchen ja anscheinend unbedingt elektrisch PCIe x8. Das wäre ansonsten sicherlich die einfachste Lösung fürs Kabelproblem

[DunklerRabe]

Bei mir ergibt sich grad die Frage der Performance.
Ich hab gerade mal meinen PC mit dem Server verkabelt und mehr als ~100 MB/s von meinem Rechner zum Server gehen da gerade nicht durch.
Auf der einen Seite ists ein W7 Pro x64, auf der anderen ein Server 2008 R2, verbunden durch die Voltaire HCA 410-4EX. Auf beiden Rechnern läuft die Software von Mellanox.
Das W7 System hat ein Raid 5 aus 8 Samsung HD154UI, der Server ein Raid 50 aus 16 Seagate ST31500341AS. Beide Raids sind 100% initialisiert und hängen an LSI 3Ware 9750-4i (Server, mit SAS Expander) bzw. -8i.
Ich ging eigentlich davon aus, dass das Raid 5 mit den Samsung Eco Platten der limitierende Faktor wird, aber hier scheints irgendwo anders noch zu klemmen.
Interessant finde ich auch, dass mein an meinem Rechner bei einem Phenom II X4 955 BE so ca. 25% CPU Last anfällt, während die beiden Xeon L5630 im Server absolut NICHTS machen.

Hat dazu jemand eine Idee oder ein paar Konfigurationstipps?

[xymos]

Jumbo Frames aktiv ?

[DunklerRabe]

Default Payload MTU Size ist 2044 Byte. Man kann es bis 40xx Byte hochstellen, aber dann kriegt man keine Verbindung mehr zustande.

[xymos]

Man lernt nie aus.
Hätte gedacht, dass wenn TCP/IP over IB läuft, dass dann auch Jumbo Frames gehen würden.

Habs aber eben mal nachgelesen:


Maximum Transmission Unit

The IB connection setup might be used for both IPv4 and IPv6 or it
could be used for only one of them while a different connection is
used for the other. The link MTU MUST be able to support the minimum
MTU required by the protocols.

The default MTU of the IPoIB-CM interface is 2044 octets, i.e.,
2048-octet IPoIB-link MTU minus the 4-octet encapsulation header.


Danke für die Info.

[Tiptop]

Interessant finde ich auch, dass mein an meinem Rechner bei einem Phenom II X4 955 BE so ca. 25% CPU Last anfällt, während die beiden Xeon L5630 im Server absolut NICHTS machen.

vielleicht ein Virenscanner/Firewall - 25% bedeutet ja gerne eine Auslastung eines Kerns und damit Limitierung
ich würde im Taskmanager mal nachsehen welche Anwendung da zum Flaschenhals wird

[DunklerRabe]

Die Last verteilt sich quer über alle Kerne. Etwas davon wird auch "Hintergrundrauschen" von anderen offenen Anwendungen sein, im Gegensatz zum Server läuft auf meinem Rechner natürlich noch der gängige Alltagskrempel.
Ich werd das nochmal genau analysieren, da hatte ich mit fortschreitender Zeit gestern kein Interesse mehr dran.
Allerdings ist es eben ziemlich sicher keine Limitierung durch einen Kern.

[oc_parts]

Wie siehts in die andere Richtung aus?
Eventuell zugriffe auf das Raid von Software auf deinem PC die zu "lags" führen?

[DunklerRabe]

Eigentlich nicht, es waren ja auch keine Lags, sondern es war durchgehend langsam.
Ich werde nachher nochmal in beide Richtungen testen.
Parallel dazu hab ich mir zwei Emulex OCe10102 10 GBit NICs mit SFP+ CU Kabeln besorgt, mit denen ich hoffe rausfinden zu können, ob das Problem bei den Raid Arrays oder beim IPoIB liegt.

[ulukay]

im "connected mode" solltest 65535 als mtu size einstellen koennen

[DunklerRabe]

So, hier mal die Ergebnisse. Irgendwas scheint gestern die Bandbreite negativ beeinflusst zu haben. Die Ergebnisse sind ganz ok, wenn auch mMn. noch nicht 100% plausibel.

Gearbeitet wird auf beiden Seiten mit normalen Windowsfreigaben und einer ca. 18 GB großen Zip Datei als Test. Die Transferraten sind die von Windows errechneten Mittelwerte.

Vom PC aus angestossen:

PC -> Server: 210 MB/s, 35% CPU Last am Phenom II X4 955
PC <- Server: 280 MB/s, 45% CPU Last am Phenom II X4 955

Vom Server aus angestossen:

PC -> Server: 380 MB/s, 10% Last an den Xeons L5630
PC <- Server: 215 MB/s, 7% Last an den Xeons L5630 (hier dauert es lange bis der Transfer mal in die Hufe kommt, startet mit ~1 MB/s für ca. 20 Sekunden)

@ulukay: 65535 lässt er garnicht zu. Der gültige Bereich liege zwischen 600 und 4092, sagt die Fehlermeldung.

[ulukay]

ich hab ja auch geschrieben dass es nur im connected mode geht!!

[DunklerRabe]

Dann hilf mir kurz auf die Sprünge, was genau meint "connected Mode"?

[ulukay]

vielleicht das da?

[DunklerRabe]

Jaha, so clever war ich auch
Den Punkt hab ich dort aber nicht. Hab mich in der Zwischenzeit versucht schlau zu machen, aber ich bin in IPoIB Community einfach noch nicht 100% drin. Aber wie es scheint, ist es eine Versionsfrage.
Ich hab die Software direkt von Mellanox installiert: Mellanox Products: Mellanox OFED for Windows (WinOF)

Bei openfabrics.org hab ich auch nur Versionen bis 2.3 gefunden, die laut Specs den CM noch nicht unterstützen, das sei erst vorgesehen in 3.0. Version 3.0 finde ich aber noch nirgends, laut Roadmap ist der Release für Q3/2011 geplant. Wie es scheint ist der aber noch nicht erfolgt.

[ulukay]

also wie du oben siehst hab ich den openfabrics drauf, mit CM

[DunklerRabe]

D.h. die Specs stimmen nicht und 2.3 unterstützt CM? Ich werds mal ausprobieren.

edit:
Ok, jetzt sinds 380 MB/s in alle Richtungen. Das dürfte die Grenze des Raid 5 mit den 5400er Platten sein.

[ulukay]

ja hab heute nochmal nachgesehen. 2.3 unterstuetzt CM.

[Schlingel_INV]

ich hab eben auch mal nen bissel gesucht und bin auf diesen IB-adapter aufmerksam geworden:

HP NC571C PCI Express Dual-port 4x Fabric Adapter

den gibts wohl recht günstig. nachteil: laut hp nur linux drivers. hat jemand irgendwelche infos zu diesem und ob es ggf auch windows treiber gibt?

HP InfiniBand Options - Worldwide QuickSpecs

http://bizsupport2.austin.hp.com/bc/.../c00292521.pdf

chip ist ebenfalls von mellanox. wenn ich bei denen schaue sieht das gute stück so aus wie hier:

http://www.mellanox.com/content/page...on=41#tab-four

dazu gibts auch "archived" 2008 R2 treiber

[DunklerRabe]

HP baut ja keine eigene Hardware in dem Sinne was das Zubehör usw. angeht, daher gehe ich auch davon aus, dass es sich um diese oder eine ähnliche Karte handelt.
Bei den Netzwerkkarten von HP hab ich jedoch die Erfahrung gemacht, dass die originalen Herstellertreiber (Intel) für das Basismodell nicht immer für HPs OEM Karten funktionieren. Inwiefern das für die IB Karten gilt kann ich nicht sagen.

[Sumatrabarbe]

Falls es jemanden interessiert, die Intel E10G42BT (10 GB für cat6 max 55m) soll bald im Preis fallen (ovp soll dann 799 USD sein)...

[DaReal]

Diese ganze 10GBit Geschichte verfolge ich schon ne weile ... aber für nen echtes 10GBit Netzwerk sind die Switches einfach noch zu teuer ...

Hat hier überhaupt jemand ein richtiges "Netzwerk" mit 10GBit Switch? Oder nutzt ihr alle nur die 10GBit zwischen zwei PCs?

[Ver]

10m sind keine Strecke die man Gebäuden verlegt, außer evtl in Barbihäusern.

Für richtig lange Strecken gibt es LWL.

Zeichnet sich im Moment eigentlich eine Kupfer basierende Lösung (Cat6, Cat7) für 10GBE ab, die sich in ähnlichem Maße einsetzen lässt wie 1GBE Ethernet heute? Also 100m Länge, "problemlose Verlegung im Sinne von praxistauglichen Anforderungen an die Leitungsführung" usw, wozu ja hier geschrieben wird

Bei diesem Aufwand erkennt man schnell, dass 10GBase-T nicht für die Arbeitsplatz-Vernetzung taugt.

Ist es abzusehen dass der 10GBase- T Standard sich "durchsetzt" oder wird das aus physikalischen Gründen vermutlich bei 10GBE eher im LWL Bereich, also 10GBase-SR usw. bleiben?

Also LWL für lange Strecken zwischen Serverräumen und Racks, Kurzstreckenlösungen innerhalb des Rack auf Kupfer und für die Anbindung der Clients bzw. im Bürobereich weiterhin kupferbasierendes 1GBE.

Hintergrund: es wird ja stets auf die Zukunfssicherkeit bei Cat6/ Cat7 Leitungsinstallationen hingewiesen.
Aus meiner Sicht zu allem was man im Netz dazu liest wird sich 10GBase- T aber kaum zur Arbeitsplatz/ Bürovernetzung auf Kupferbasis durchsetzen. (Somit auch entsprechende Hardware nicht bzw. teuer?)

Um die Brücke zurück zum Home- Einsatz zu schlagen: ich setze bei mir bei bestimmten Strecken mittlerweile LC-LC Kabel ein, und überlege ob es bei zukünftigen (Neubau Fest-) Installationen vielleicht nicht sogar klüger ist für das High- End Home Netzwerk LC Einbaubuchsen neben Cat6 Leitungen vorzusehen?

[underclocker2k4]

Ich sehe bei 10G base-t kein Problem.

Die angesprochenen Probleme rühren von Unkenntnis her, das gab es schon bei gigabit.

Der Wald- und Wieseelektriker kennt nunmal nicht die Gegebenheiten in der Fernmeldetechnik, entsprechend geht er unbedarft an die Sache ran und verlegt halt einfach mal so Leitungen. Dass das einem dann auf die Füße fällt dürfte klar sein.

Die aktuellen Probleme mit der 10G base-t Technik sind bekannte Sachen, wenn man neue Techniken einführt. Da gibt es eben Standards, die so eng bemessen sind, dass man hier extremst genau arbeiten muß.
Mittlerweile sind wir aber bei Bandbreiten auf TP-Leitungen die die GHz-Grenze weit überschreiten, damit einher geht eine entsprechende Güte der Leitungen die den einen oder anderen kleinen Fehler verzeiht.

Gepaart mit der Entwicklungen im DSP Bereich, die noch lange nicht am Ende ist, sehe ich den Einsatz von 10G base-t auch im Heimbereich unproblematisch.

Man darf auch nicht vergessen, bis wir 10G base-t in der Heimanwendung sehen, vergeht noch viel Zeit, da bleibt den Entwicklern noch einiges an Entwicklungen zu entdecken.