[Sammelthread] 10Gbit Homenetzwerk

[danielmayer]

doch. "Break Out" auf 4x10G funktioniert auf genau einem 10G-LC-Pärchen. Die anderen Kabel liegen halt brach, daher ist V2 sicherlich günstiger und hat weniger (= kein) Kabelmüll rumliegen.

 

[Xeroxxx]

Wieso resultiert Variante 1 in einem Breakout-Kabel, wenn ich einen QSFP auf SFP+ Adapter verwende?

Wie gesagt die Idee ist, die Karten erst mit einem QSFP Kabel (40Gb) zu verwenden, solange ich keinen (10Gb) Switch habe. Ist nun egal auf welcher Seite ich den Adapter verwende oder nicht? Sorry habs jetzt nicht eindeutig rauslesen können

 

[besterino]

Du kannst idR nur Transceiver gleichen Typs miteinander verbinden. Das Kabel ist da sekundär. Aber Versuch macht kluch. Oder es äußern sich Leute, die davon mehr Ahnung haben als ich. Ich dilettier' hier auch nur rum.

 

[danielmayer]

Variante 2: QSFP->SFP+ Adapter, dann mit SFP+Modul + LC-Kabel + SFP+-Modul an Switch weiter. Oder als DAC .
Variante 1: Wenn Du evtl. einen QSFP-SFP+ "inline"Adapter kennst? Nach Deiner Beschreibung willst Du eine MPT-Kabelbuchse als "in" zu SFP(+)-Stecker-"Out" als Adapter, den Du in den Switch steckst. Ich kenne keinen. Es gibt soweit ich weiß nur die MTP->SFP+-Kabellösung.

 

[Xeroxxx]

Variante 2: QSFP->SFP+ Adapter, dann mit SFP+Modul + LC-Kabel + SFP+-Modul an Switch weiter. Oder als DAC .
Variante 1: Wenn Du evtl. einen QSFP-SFP+ "inline"Adapter kennst? Nach Deiner Beschreibung willst Du eine MPT-Kabelbuchse als "in" zu SFP(+)-Stecker-"Out" als Adapter, den Du in den Switch steckst. Ich kenne keinen. Es gibt soweit ich weiß nur die MTP->SFP+-Kabellösung.

Ich denke bemerke gerade meinen Denkfehler. Ich möchte schon DAC Kabel verwenden. Es gibt allerdings die Richtung DAC -> QSFP -> SFP+ nicht wie ich bemerke.

Also muss ich 40Gbit Karte -> QSFP -> SFP+ -> DAC -> Switch.

Thx!

 

[danielmayer]

Also musst Du
a) 40Gbit Karte -> (QSFP -> SFP+ Adapter) -> DAC -> Switch
b) 40Gbit Karte -> QSFP-Transceiver ->MTP-Breakout zu LC -> SFP+Transceiver

 

[2Stoned]

Ich habe ne Asus C100C, wenn ich bei speedtest.net die Geschwindigkeit testen will, komme ich zwar auf nen Ping <1 und nen Download von 8000-9000 Mbps, aber der Upload klappt einfach nicht.
Surfen und onedrive synchronisieren klappt aber. Wo könnte da der Schuh drücken?
Mit anderen Netzwerkkarten klappt es.
Treiber habe ich direkt die von Aquantia, die neuer sind, als die von Asus angebotenen.
Hat da jemand Rat?

Der Support konnte mir weiterhelfen. Eine ältere Treiberversion ermöglicht auch den Upload. Nutze nun den Treiber 5.1.14. Nach aussen hin ist es nun aber schwer zu sagen, ob meine Karte limitiert oder der Server der Gegegenseite...

 

[Thor95]

Hallo 10Gler, ich bräucht mal die Hilfe von euch, bin jetzt seit zwei Wochen auf der Suche nach einer Erklärung und muss mir jetzt doch mal eure Hilfe holen.
Mein Setup sieht wie folgt aus, Workstation Win10 Ryzen2700 mit einer FS PCIe2.0 x8 Single Port 10 Gigabit SFP+ Ethernet Netzwerkkarte (Chipset Intel® 82599EN) einen Switch von FS: S3900-24T4
und einem Server ( Chenbro RM41824 4U) von Bargain Hardware auf dem FreeNas 11.3U1 läuft. Angebunden alles über SFP+ Glas OM3.
Ich verstehe meine Iperf3 Werte nicht :-( Wenn ich auf dem FreeNas einen Iperf Server starte und als Client meine Workstation nehme, bekomme ich einen Durchsatz von 4,7Gbs also netto 529mb.
Wenn meine Workstation der Server ist und FreeNas der Client erhalte ich flockige 9,7Gbs. Kann mir das jemand erklären? Ich verstehe den Grund nicht und langsam gehen mir die TroubleShooting tools aus.
Real World Transfers stimmen mit den Werten leider überein.

viele Grüße

Jens

 

[Firebl]

Hast du schon überprüft, ob die Netzwerkkarte in der Workstation auch @x8 läuft? Na gut sie müsste schon in einem x1 Port Stecken damit PCIe Gen2 der limitierende Faktor auf 0,5GB/s ist.

Welche Hardware steckt in dem Server? Du hast uns ja nur das Gehäuse gennant.

 

[Thor95]

Hallo,

danke fürs antworten, meine Netzwerkkarte im Client läuft auf Pci 2.0 4x da leider kein anderer Platz mehr frei war aber 4 Lanes sollten doch rechnerisch passen?
Im Server stecken, 2 x Intel Xeon E5-2650L V1 1.80Ghz Eight (8) Core CPU und 64GB Ram und 2 SFP+ Ports onboard.
Ich werde heute mal auf beiden eine Kali Live distro starten und nochmals eine Iperf Messung durchführen. Viellicht liegts ja am Windows :-/

viele Grüße

Jens

 

[besterino]

Iperf und Windows sind nach meiner Erfahrung keine besonders guten Freunde. Um da auf den maximalen Durchsatz zu kommen, muss man regelmäßig mehrere „Streams“ vom Client zum Server aufmachen. Hab grad den Befehl/Parameter nicht im Kopf. Aber selbst dann funzt das nicht immer gescheit bzw. zeigt nicht den real verfügbaren Durchsatz.

Du hast aber ja auch gesagt, dass deine „Real World Transfers“ hinter den Erwartungen zurück bleiben. Was heißt das denn genau? Da kann natürlich schnell das Storage limitieren (auf einer „Seite“
zu langsam reicht dann schon). Ich hab bei mir z.B. das Maximum dann auch nur bei nem Copyjob von RAM-Disk zu RAM-Disk sehen dürfen.

Die PCIE-Anbindung kann schon Auswirkungen haben. Ich hatte auch mal eine NIC im „falschen“ Slot und erst mit einem Wechsel ging’s dann gescheit.

Wir haben uns damals dazu insb. hier ausgetauscht, vielleicht hilft Dir das ja (zwar schon etwas her aber trotzdem noch „aktuell“ ): https://www.hardwareluxx.de/communi...sferoptimierung-win-linux-bsd-os-etc.1083637/

Gab noch ein zwei andere Threads, wo ich in meinem jugendlichen Forscherdrang das Forum malträtiert habe, aber der da oben gibt Dir glaub einen guten ersten Einstieg.

 

[tcg]

Hi,

Eine kurze Frage an die Experten hier...

Ich würde gerne einen HP-ML310e-G8-v1 mit ESXi 6.7.u3 mit einem HP-ML350p-G8 mit Windows Server 2016 schneller verbinden.
Ich hab bisher keine Ahnung von 10GBit Netzen, aber für den Preis fang ich doch mal an damit zu spielen ;-)
Befor ich aber umsonst kaufe, frag ich hier lieber mal.

Jetzt habe ich auf eBay gesehen dass z.b. die HP-NC523SFP (2*10Gbit) für <25€ gibt !
Was für ein Kabel bräuchte ich denn dazu ?
Ich habe auch SFP+ Kabel für 10€ gesehen !

Treiber für ESXi und Windows solle hoffentlich kein Problem sein, oder ?

Was mich noch zurückhält: der ML350p ist schön leise (bisher sind auch keine Karten eingebaut), aber hier steht "...sollten vor der Durchführung dieses Upgrades für die erhöhte Kühlung neu konfiguriert werden.".

 

[besterino]

Das Ding hat einen nicht so wirklich verbreiteten Qlogic Chip drauf (cLOM8214), der - nach einer kurzen Google Suche - auch recht warm laufen soll.

Ich würde persönlich eher nach einer NIC mit Broadcom (Emulex), Chelsio, Mellanox oder Intel Chip Ausschau halten.

Aber sonst einfach mal ausprobieren und im Zweifel hat HP bestimmt VMware Treiber dafür.

 

[tcg]

bin gerade bei eBay am stöbern...
eine HP 530FLR für17€ ;-)

Beitrag automatisch zusammengeführt: 29.03.2020

So, ich probiere es mal: 2*530FLR + 2*10GB-Kabel zusammen für 56€ ;-)
("QLogic 57810S" ??)

Treiber sind wohl kein Problem für ESXi und Windows.

 

[Stueckchen]

bin gerade bei eBay am stöbern...
eine HP 530FLR für17€ ;-)

Beitrag automatisch zusammengeführt: 29.03.2020

So, ich probiere es mal: 2*530FLR + 2*10GB-Kabel zusammen für 56€ ;-)
("QLogic 57810S" ??)

Treiber sind wohl kein Problem für ESXi und Windows.

Will jetzt hier nicht meckern, aber das ist aber du weist das es keine normale PCIe Karte ist. Aber vll können deine HP Server das ja.

 

[tcg]

Naja, hab ich eben auch realisiert. hmmm. "FLR" hab ich eben erste gelesen... mist...

 

[BazzT]

Hallo,

spricht was dagegen mir für 20 Taler eine HP 647579-001 mit BROADCOM BCM57810S für den Betrieb mit zwei Melanox ConnectX2 über Kupfer zu schießen? Die ist schon unverschämt günstig und dann wäre der 3. Rechner nun auch im 10Gbit Netz.

MfG Basti

 

[tcg]

hab inzwischen weitergesucht...
ConnectX2 geht nicht, da gibts wohl keine Treiber für ESXi 6.7.
HP 647579-001 ist wohl die 530FLR, geht auch nicht weil kein "FLOM" vorhanden.
Ich such noch ;-)

ich schau gerade NC523SFP vs NC552SFP an...

 

[besterino]

Willst Du unbedingt einen Mindestpreisrekord brechen und/oder unbedingt eine HP-gebrandete, oder warum tust Du Dich so schwer?

 

[tcg]

Weil ich sozusagen erst heute mit 10GBit angefangen habe und noch keine Ahnung habe was mit welchem OS läuft.
Und HP eigentlich am liebsten, das kann dann evtl. iLO und IP und sowas...

 

[besterino]

Verstehe.

 

[Stueckchen]

hab inzwischen weitergesucht...
ConnectX2 geht nicht, da gibts wohl keine Treiber für ESXi 6.7.
HP 647579-001 ist wohl die 530FLR, geht auch nicht weil kein "FLOM" vorhanden.
Ich such noch ;-)

ich schau gerade NC523SFP vs NC552SFP an...

Schau mal für kleinen Taler gibts noch NC550SFP Broadcom und NC560SFP Intel

 

[sch4kal]

Oder eine altbekannte Lösung nehmen wie eine Connect-X 3, Intel X520, Chelsio T420/T520,...

 

[tcg]

Ich habe gestern gelernt dass es nicht so einfach ist.
Z.B. für die Connect-X 3 gibts keine ESXi-6.7-Treiber. Muss ich erstmal überall checken...

 

[BazzT]

ConnectX2 geht nicht, da gibts wohl keine Treiber für ESXi 6.7.

Meine ConnectX2 lief aber ohne irgendwelche Zusatzeinstellungen unter ESXi 6.0? Wurden die Treiber rausgenommen?

Meine ConnectX-3 VPI (Ethernet Modus) läuft out of the Box mit 6.7u3.

So war das bei meiner Kombination auch, ich gehe davon aus die Treiber sind noch "in the Box" kann es aber nicht bestätigen. da der Bastelserver nicht mehr in Betrieb ist.

Möglicherweise kann mir noch jemand weiterhelfen.

spricht was dagegen mir für 20 Taler eine HP 647579-001 mit BROADCOM BCM57810S für den Betrieb mit zwei Melanox ConnectX2 über Kupfer zu schießen? Die ist schon unverschämt günstig und dann wäre der 3. Rechner nun auch im 10Gbit Netz.

EDIT: Ich probiere es einfach aus, bis in einem Monat...

 

[tcg]

hmmm, ok, zumindest steht das auf deren download seite ? evtl. gibts ja einen in ESXi eingebauten Treiber ?
Alles Neuland für mich ;-)

 

[sch4kal]

Ich habe gestern gelernt dass es nicht so einfach ist.
Z.B. für die Connect-X 3 gibts keine ESXi-6.7-Treiber. Muss ich erstmal überall checken...

Meine ConnectX-3 VPI (Ethernet Modus) läuft out of the Box mit 6.7u3.

 

[tcg]

Ich finde bei VMWare nur Treiber bis 6.5 (für die ConnectX-3)...
Hast du frisch installiert ? Oder ein Upgrade von <=6.5 gemacht ?
Kann man notfalls die 6.5 Treiber auf 6.7u3 installieren ?

 

[sch4kal]

Ich finde bei VMWare nur Treiber bis 6.5 (für die ConnectX-3)...
Hast du frisch installiert ? Oder ein Upgrade von <=6.5 gemacht ?
Kann man notfalls die 6.5 Treiber auf 6.7u3 installieren ?

Die nutzt den mlx4 Treiber in ESXi, ich hatte damals 6.7 direkt installiert.

 

[BazzT]

...Ich probiere es einfach aus, bis in einem Monat...

Besser nicht! Das ist eine FLR (FlexibleLOM) Karte, diese nutzt theoretisch einen PCIE x8 Slot der ist jedoch abweichend belegt, und es gibt keine frei zugängliche Dokumentation!
Achtung, der Versuch eines Anderen eine FLR Karten in einem PCIE Steckplatz zu betreiben hat anscheinend zum Tod des Mainboard geführt.
Aber anscheinend bastelt hier schon jemand einen Adapter!

Ich werde mir die Karte gut Ansehen wenn sie eintrifft, möglicherweise reicht es nur ein par Pins in einem einfachen PCIE Riser zu kappen.
Also wenn da nur auf einem falschen Pin Spannung oder Masse ist lässt sich das beheben solange es nicht um die Datenleitungen geht...

MfG Basti