Der 10Gbit Homenetzwerk Thread

[underclocker2k4]

LACP ist quasi eine Unterart vom Trunk, wenn gleich die am häufigsten genutzt.

Trunk ist ja einfach die Bündelung von mehreren Verbindungen, wie das aussieht, muß man dann sehen.

802.3ad oder LACP ist eben eine (DIE) Unterart davon.

Empfehlen kann man eigentlich alle managebaren Switches, da gibt es sehr selten Müll.

zB nen HP 1810-24, Lüfterlos etc.
So richtig fette Switche sind da ja auch nicht immer Wohnzimmertauglich.

[Karbe]

Heartbeat eines Xen-Cluster..


@Sonne,
weitere Begriffe:
Etherchannel (früher bei Cisco)
Port-Aggregation (bei HP)
Bonding (in der Linux-Welt)

Aber, wie kommst Du an diese Preise, wenn ich die Karten Google, kommts mir vor als hättest Du überall ne Null vergessen.

Mittlerweile gibt es entsprechende Hardware auch neu zu halbwegs erträglichen Preisen..

Beispiel:
HP NC524SFP 2x 10Gbase (489892-B21) | Geizhals.at Deutschland
nur die dazugehörigen Kabel (C-Class 10Gb SFP+ Copper) sind wiederum recht teuer..

Grüße

[barnacle2k]

Mittlerweile gibt es entsprechende Hardware auch neu zu halbwegs erträglichen Preisen..

Beispiel:
HP NC524SFP 2x 10Gbase (489892-B21) | Geizhals.at Deutschland
nur die dazugehörigen Kabel (C-Class 10Gb SFP+ Copper) sind wiederum recht teuer..

Ich glaube für die karte muss ich wohl auch ein riesiges rotes ausrufezeichen in den startpost einfügen!

Das ist entgegen einiger händlerbeschreibungen nur ein interfacemodul.
man benötigt eine riserkarte mit einem NC375i.
Der Netzwerkcontroller sitzt auf dem riser, der nc524 sind nur die PHYs.

[Karbe]

Das ist richtig, mit Desktop-Systemen ist sowas nicht kompatibel.

Grüße

[jumas]

Dann lieber ne 1Gbit DualPort-Karte an jedem Client, Trunking fähiges Switch und so 2Gbit je Client.
=> Saubere Netzwerkstruktur & saubere Leistung am Ende.

Damit bekommst Du aber trotzdem keine 2Gbit übertragen.
Diese Erfahrung hat mich schon 300€ gekostet.

[special_fx]

Netter Thread.

Kann zu der Intelkarte im Startpost eine Kompatibilitätsbestätigung für das Asus Board M4A89GTD in Verbindung mit Debian 6.0 machen.

Vor knapp 2 Monaten hatte ich bei einem Bekannten mit einem Fotostudio zwei Systeme mit der oben genannten Konfiguration und je 18TB Brutto im Raid 0+1 zum Spiegel konfiguriert.

Dafür lohnt es sich schon auf 10Gbit Adapter zu setzten die Transferrate ist dabei um Faktor 3,5 höher als bei 1Gbit.

[xymos]

ich denke letztendlich muss jeder für sich selbst entscheiden, ob ihm der jetzige Kostenaufwand wert ist, für den spürbaren Mehrgewinn, wenn die Hardware mitspielt.

Mein RAID kann weit mehr als 1Gbit, aber die summierten kosten sind aktuell für mich nicht tragbar.
Von dem Stromverbrauch eines 10Gbit Switch mal ganz zu schweigen.
( über die kosten ..hehe, habe ich sowieso nicht )

Mich würde eine direkte SFP(+) Anbindung schon reizen, denn Datenvolumen wo sich die Geschwindigkeit lohnt, hätte ich zuhauf.

Mein Raid ist so aufgestellt, dass ich mit wachsen kann
Abwarten -und Tee trinken.

Aber interessantes Thema.

_xymos.

[gamefreaktegel]

woher stammt der Preis für die Intel Pro/10GBE XF SR ? Hast du da eine 1 vergessen?

[barnacle2k]

Es sind alles gebrauchtpreise bei Eb*y Auktionen die ich Beobachtet
oder selbst für diesen Preis gekauft habe.

(ich werde bald selbst wieder 2 verkaufen wenn ich die durchgebencht
habe, leider benötige ich noch SFP module für die Emulex)

[Hades42]

Hallo!

Meiner Meinung nach ist Infiniband etwas zu schnell abgetan - Durch die Ablösung "alter" 10G Karten sind diese im Moment preiswert gebraucht zu bekommen. Und es gibt erschwingliche Switches.

Wer sich dafür interessiert: Der entsprechende Hersteller heisst Mellanox.

Und über die Frage, wer so etwas zu Hause braucht, na ja, kann man geteilter Meinung sein.

Stellt euch eine Anzahl SSDs im iSCSI Server (oder iSER Server) vor, von dem alle Clients ihre LUNs beziehen... Mit Latenzen im Nanosekunden-Bereich und Bandbreiten um 700MB pro Sekunde. Mit Snapshots und Backup-Server mit Datengrab-Festplatten.

Ich hatte das letztes Jahr schon einmal angefangen, aber bislang nicht intensiv daran gebastelt.

Nur eine Warnung vorweg: ein 8-Port Infiniband-Switch, den ich für 150 Euro erstanden habe, ist Datacenter-Equipment und LAUT =)

[ulukay]

infiniband karten von mellanox kommen mit crossover zurecht

[ulukay]

und hier der beweis dafuer



hab 2 stueck mellanox MT25204. eine im debian fileserver, eine im win7 gamepc.

~# ibstat
CA 'mthca0'
        CA type: MT25204
        Number of ports: 1
        Firmware version: 1.2.917
        Hardware version: a0
        Node GUID: 0x0005ad00000bf2d4
        System image GUID: 0x0005ad000100d050
        Port 1:
                State: Active
                Physical state: LinkUp
                Rate: 20
                Base lid: 1
                LMC: 0
                SM lid: 1
                Capability mask: 0x02510a6a
                Port GUID: 0x0005ad00000bf2d5

netio:

TCP connection established.
Packet size  1k bytes:  482.30 MByte/s Tx,  345.77 MByte/s Rx.
Packet size  2k bytes:  492.21 MByte/s Tx,  355.79 MByte/s Rx.
Packet size  4k bytes:  518.59 MByte/s Tx,  461.18 MByte/s Rx.
Packet size  8k bytes:  515.79 MByte/s Tx,  555.62 MByte/s Rx.
Packet size 16k bytes:  554.43 MByte/s Tx,  600.20 MByte/s Rx.
Packet size 32k bytes:  536.83 MByte/s Tx,  629.66 MByte/s Rx.

sind wohl nich in echten 8x PCI-E Slots - aber wayne, mehr als 300MByte/s brauch ich derweilen nicht

atto vom gamepc aufs verschluesselte sw-raid6 (~300mb/s bekomme ich lokal am linux server vom array)



hier die netzwerklast bei ~200MByte/s -acronis backup, schneller duerften die ssds im gamepc ned sein



edit: achja, damn, das ist ja nur der 10Gbit Thread

[underclocker2k4]

Das sieht ja mal nach was aus. Was sind das für Karten genau?
128er?

[ulukay]

ne, sind die da
4x DDR
IBM Cisco Single-Port 4x DDR PCI-E Infiniband HCA 44E9033 Komponenten Peripherie

[underclocker2k4]

Jo, hab das reingecheatet Bild gesehn. ^^

MELLANOX MHXL-CF128-T Infiniband HCA 10 Gbit/s PCI-X Komponenten Controller Sonstige

Hast du dazu Infos, ob IPoIB geht?

[ulukay]

klar gehts, sonst haett ich ja keine netzwerkverbindung ueber samba

[underclocker2k4]

Dass es bei deinen geht seh ich ja ^^.

Meinte eher bei der PCI-X Karte. (128er)
Die haben halt 2x IB, da kann man dann eine "Ring" bauen.
(sofern man denn PCI-X hat, gibbet aber auch als PCIe)

[ulukay]

achso, ja denke schon.
fuer windows hab ich den generischen treiber von mellanox geladen. laut support gehn damit sogar die uralten 10gbit karten (Voltaire HCA 410-4EX).

Mellanox Products: Mellanox OFED for Windows (WinOF)

unter linux gehts sowieso. karte rein, ein paar module geladen, fertig.

wenn du crossover ohne switch betreiben willst muss auf einem der host ein subnet manager laufen. unter linux kein problem, ist sogar als package im debian repo.

[underclocker2k4]

Jo, aber nen SM ist mir für die Windows Welt nicht bekannt.

[ulukay]

klar, opensm
siehe auch den hinweis in der release notes: http://www.mellanox.com/related-docs...leaseNotes.txt

[underclocker2k4]

So, ulukay, jetzt hast du meinen Forscherdrang geweckt.

[ulukay]

wunderbar

[underclocker2k4]

Irgendwo nen günstigen Ship für IB Kabel?

[ulukay]

ich hab einfach beim selben shop um 60 euro eins mitbestellt.

viel guenstiger wirst da nichts bekommen: DeLOCK InfiniBand (SFF-8470) Kabel, 1m (83060) | Geizhals.at EU

[gamefreaktegel]

die Kabel sind natürlich recht dick
hmmm bohre ich noch nen größeres Loch?