Der 10Gbit Homenetzwerk Thread

[mrlinux]

ich hab den openipoib treiber installiert
der hat das dabei

[DunklerRabe]

Kannst du was zur Performance und CPU Last sagen?
Mellanox sagt die Karten können "Hardware Transport", aber ich bin mir nicht sicher ob das IP Offloading mit einschliesst. Ich vermute eher nicht, weil IB dafür ja eigentlich nicht unbedingt gedacht ist.

[mrlinux]

also mit netio hab ich um die 600mb/s
cpu ist nicht komplett ausgelastet, vllt 50% auf einem core

[ttom]

achso, ja denke schon.
fuer windows hab ich den generischen treiber von mellanox geladen. laut support gehn damit sogar die uralten 10gbit karten (Voltaire HCA 410-4EX).

Mellanox Products: Mellanox OFED for Windows (WinOF)

unter linux gehts sowieso. karte rein, ein paar module geladen, fertig.

wenn du crossover ohne switch betreiben willst muss auf einem der host ein subnet manager laufen. unter linux kein problem, ist sogar als package im debian repo.

Und unter Windows muss man noch was einstellen?
Der Treiber bietet doch noch an einige Protokolle mit zuinstallieren wenn ich das richtig ig in Errinerung habe. Sind die notwendig?

[ulukay]

IOB solltest schon mitinstalliern

bei den openipoib ist ein subnet manager ebenfalls dabei. also auch bei 2x windows kein problem

[DunklerRabe]

Mit dem Paket von Mellanox muss man eigentlich garnichts extra zu oder abwählen.
Der OpenSM Subnetmanager installiert sich als per default deaktivierter Dienst mit, den musst du auf einem Host nur anwerfen. IP zuweisen in den neu erstellten IPoIB Verbindungen und ab gehts.
In einem ersten Test hab ich jedoch "nur" 200 MB/s drüber bekommen, jeweils mit den Voltaire HCAs.

[ttom]

Ok danke soweit.
Hab die Software installiert, IP zugewiesen, OpenSM dingerns gestartet aber ich denk mal es wird nachwievor die GB NICs für die Verbindung genutzt.
Wie bringe ich jetzt die zwei Win7 Rechner dazu über IB zu kommunizieren?

[barnacle2k]

-anderes subnetz
-Dein normales netz in das IB netz routen

[ttom]

Beide Punkte oder einer von beiden?
Steht dazu auch was in der manual drin?

[DunklerRabe]

Wie machst du das denn fest, dass nach wie vor die onboard NICs für $irgendwas benutzt werden? Was genau willst du denn über IB laufen lassen?
Sobald du von Rechner A aus Rechner B über die IB IP ansprichst wird natürlich auch IB genutzt.

[oc_parts]

Ich habe bei mir die Voltair HCA 410 einfach nur als Datenverbindung von der Workstation zum Filserver eingesetzt. Per Netzlaufwerk einfach die IP der iob Verbindung eingegeben. Das reicht aus.

[ttom]

Sobald du von Rechner A aus Rechner B über die IB IP ansprichst wird natürlich auch IB genutzt.

Aha, und die andere IP gebe ich wo an? Sorry aber ich verstehe es nicht ganz.
Verbindung ist verfügbar im Netzwerkcenter. Hab die IPs eingetragen wie in der Manual verlangt. Jetzt will ich was auf den anderen Rechner kopieren. Aber irgendwas fehlt doch noch oder?

---------- Beitrag hinzugefügt um 14:54 ---------- Vorheriger Beitrag war um 14:49 ----------

Per Netzlaufwerk einfach die IP der iob Verbindung eingegeben. Das reicht aus.

Beim Netzlaufwerk kann man eine IP eingeben? ok das muss ich mal testen

[DunklerRabe]

Du gibst die IP immer da ein wo du sie brauchst.
Zum kopieren von Dateien wäre FTP eine beispielhafte Möglichkeit. Auf dem Fileserver läuft der FTP Server, auf deiner Workstation gibst du die IP im FTP Client ein.
Mit freigegebenen Ordnern funktioniert das nicht anders: //Server-IB-IP/Freigabename

[ttom]

Ja habs jetzt hinbekommen. Thx

Einfach bei Freefilesync die IP statt Pfad angeben.

Hab so 550MB/s Übertragungsrate. Ein Kern ist ziemlich ausgelastet @SB 3,4 GHz

Naja bin erstmal zufrieden

---------- Beitrag hinzugefügt um 20:05 ---------- Vorheriger Beitrag war um 19:32 ----------

da könnt sogar noch was gehen. Das Quelllaufwerk gibt nicht mehr her

[dako]

ich hab einfach beim selben shop um 60 euro eins mitbestellt.

viel guenstiger wirst da nichts bekommen: DeLOCK InfiniBand (SFF-8470) Kabel, 1m (83060) | Geizhals.at EU

Ein spezielles Crossoverkabel ist nicht nötig?

Und noch eine Ergänzende Frage: Wie ist denn die CPU Last auf Client und Server?

[ttom]

hast du schon Karten? Wenn nicht dann folge einfach dem link von ulukay. Passendes 3m Kabel gibts für 60€ dazu

ne, sind die da
4x DDR
IBM Cisco Single-Port 4x DDR PCI-E Infiniband HCA 44E9033 Komponenten Peripherie

[dako]

hast du schon Karten? Wenn nicht dann folge einfach dem link von ulukay. Passendes 3m Kabel gibts für 60€ dazu

Danke für den Hinweis ... nein, ich hab noch keine Karten, vorher interessiert mich noch die Belastung für die CPU. Wenn die stark belastet wird ist es nichts für mich.

.... und Kabel brauch ich 7-8m ... muss mir das vorher mal genauer anschauen, denn das muss ich selbst konfektionieren.

[ttom]

Ein Kern ist bei mir schon recht hoch ausgelastet

[dako]

Was für eine CPU hast du und wie hoch ist die Auslastung ungefähr (100% oder eher 70%)?

Bei mir gehts halt darum, ob ich mir ein Raid sparen kann und ich meine Videodaten ähnlich wie jetzt schon die Fotos nur noch auf dem Server halte. Wenn im gegenzug aber die CPU leistung zusammenbricht ist mir nicht geholfen.

[ttom]

Xeon 1275 baugleich mit i7 2600

Gesamtauslastung liegt bei 20-25%. Ein Kern (von 8) ist aber recht hoch ausgelastet. Bei einer Übertragungsrate von bis zu 650 MB/s.

[dako]

Danke! Das hört sich absolut ok an.

Weiß jemand, ob man ein Infiniband Kabel eigentlich mit erträglichem Aufwand selbst konfektionieren kann? Weder Kabel noch SFF-8470 Stecker konnte ich irgendwo einzeln finden. Das Kabel (7-8m) muss bei mir zwangsweise zunächst ohne Stecker verlegt werden (Kabeltunnel).

Und brauchen die Mellanox Karten zwangsweise einen elektrischen PCIe 8x Steckplatz oder reicht ihnen ein elektrischer PCIe x4?

[DunklerRabe]

Die einfachsten IB Karten haben sowieso einen x4 Anschluss.
x8 Karten sind kompatibel zu einem mit x4 angebundenen Slot, wenn sie physikalisch passen, d.h. entweder der x4 Slot hinten offen ist oder physikalisch als x16 ausgelegt ist.

Kabel selbst konfektionieren kannst du komplett vergessen. Wir reden hier nicht von einer Ethernet Strippe mit 8 Adern und RJ45 Steckern wo im Notfall auch mal "Ahjoa, das passt schon!" reicht
Wer schonmal ein IB Kabel in der Hand hatte kann das wohl auch nachvollziehen. Das ist ein bisschen wie mit VHDCI Kabel aus SCSI Zeiten, es ist kompaktes Kabel mit relativ hoher Aderndichte und auch entsprechenden Anforderungen an den Stecker.

[xymos]

Kennt jemand von euch eine funktionierende Lösung für OSX ?
Infiniband Over IP Treiber kann ich ums verrecken keine finden.

Danke und Gruß,

_xymos.

[dako]

Kabel selbst konfektionieren kannst du komplett vergessen. Wir reden hier nicht von einer Ethernet Strippe mit 8 Adern und RJ45 Steckern wo im Notfall auch mal "Ahjoa, das passt schon!" reicht
Wer schonmal ein IB Kabel in der Hand hatte kann das wohl auch nachvollziehen. Das ist ein bisschen wie mit VHDCI Kabel aus SCSI Zeiten, es ist kompaktes Kabel mit relativ hoher Aderndichte und auch entsprechenden Anforderungen an den Stecker.

Wie wird es dann gelöst, wenn z.B. ein 10m Kabel durch ein Gebäude verlegt werden muss? Es ist ja durchaus eine Lösung die im professionellen Bereich verwendet wird, und wo eben auch größere Strecken in Gebäuden zurückgelegt werden.

Die einfachsten IB Karten haben sowieso einen x4 Anschluss.
x8 Karten sind kompatibel zu einem mit x4 angebundenen Slot, wenn sie physikalisch passen, d.h. entweder der x4 Slot hinten offen ist oder physikalisch als x16 ausgelegt ist.

Sehr gut, denn es gibt ja durchaus Karten anderer Hersteller (wie hier im ersten posting vermerkt), die zwingen elektrisch PCIe x8 benötigen.

[underclocker2k4]

10m sind keine Strecke die man Gebäuden verlegt, außer evtl in Barbihäusern.

Für richtig lange Strecken gibt es LWL.

IB ist eigentlich auch keine Anwendung für die sie hier mißbraucht wird.

IB ist eine Breitbandverbindung INNERHALB eines Clusters und dieser Cluster ist im Normalfall auf einen Raum begrenzt. Daher sind die normalen Kabel auch im Schnitt 3m lang, nämlich vom Switch zum Rechner und net weiter.
http://www.cs.usfca.edu/facilities/cluster2.jpg
Mehr ist das nicht.