[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Welchen? Ich glaube der, den du meinst, is schon ein bisschen älter. Ist von einem anderen Händler.

Ja, war zum Glück damals schon ausverkauft, für ~900 $ wäre ich schwach geworden.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn du wüsstest was ich gezahlt habe würdest du weinen 🙃
Wahrscheinlich ^^
Andererseits fliegen bei uns bald MPC7E Karten raus, und ein paar MX240er Chassis stehen schon im Keller....
So nen 16-Port QSFP28 Router hätte auch was :fresse:
 
1666366533199.png

🙃

Oh, Ergänzung: Ich mag SoNIC nicht.
 
Moin, Frage zur Verkabelung eines CRS326-24S+2Q+RM mit einer Intel XL710-QDA2 via beider QSFP+ ports. Als Transceiver möchte ich 2 mal den Mikrotik Q+85MP01D einsetzen, um am Switch höchstmögliche Kompatibilität zu haben. Nehme ich an der XL710er zwei weitere von diesen Schätzchens? Und wenn das soweit geklärt ist wäre noch die Frage nach der Verkabelung - 850nm Wellenlänge im Multimode-Verfahren sollte die größtmögliche Flexibilität bieten, oder? Also suche ich ein female-female Type B MTP/MPO OM4 MMF Kabel in 150m Länge. Genauer: Derer 2. Kann man sowas "fertig" kaufen? Erzähle ich Mist und das ist ganz anderster?

Falls von Interesse: Die 24S SFP+ ports werden mittels DACs auf Clients im Rack in dem auch der Switch hängt verteilt. Die clients ziehen Daten von einem Server. Der Server wird so zwischen 4-12 NVMe Drives als Quelle kriegen.
 
female-female Type B MTP/MPO OM4 MMF Kabel in 150m Länge.
Bloß nicht! Also ja, gibt es fertig. Aber mach's nicht. Das kostet RICHTIG Asche.

Zudem sind die MTP MMF Transceiver meistens auf 100m beschränkt.

Tu dir einen Gefallen, und nutze Singlemode + 40G-LR4 bzw. 40G-LR4L (LR4 Lite) Transceiver. Singlemode taugt auch für 100G
 
Was hast du denn genau vor? Wo kommen denn die 150m her (2 Rack sites?)? Ist der Server wirklich 150m weg und du willst den jetzt direkt anbinden?

MM ist mitnichten auf 100m beschränkt. 40GBASE-SR4 macht bei OM3 100m, mit OM4 aber 150m. Ob man das techn. max. machbare wirklich verwenden will...
Ansonsten zu den Kabeln:
150m MPO OM4 kosten beim billigheimer FS.com sagenhafte ~1000EUR, also ein echtes Schnäppchen.

SM macht da in der Tat finanziell mehr Sinn. Da kostet das Kabel nur 50EUR.
Die Frage ist eher, ob ein -LR4 grundsätzlich in der NIC läuft und wenn ja, das man einen passenden findet, mit der richtigen Kodierung, falls das notwendig sein sollte.

-LR4 bekommt man auch schon für einen schmalen Taler bei ebay. (neu ca. 300EUR)

Im Zweifel ggf. ein Switch nochmal davor schalten.
Oder man dreht den Spieß um und verlegt ein Bündel OS2 Leitungen mit -LR in den Client NICs und hat den Switch beim Server.
Oder man hängt beim Server noch einen CRS (z.B. auch den 504) und baut dann eine Switch-Switch Strecke auf, die man dann auch ggf. LACPn kann. (1-2x OS2 LC-D für schlappe <100EUR)
Beim 504 hätte man den Vorteil, dass man noch 1-2 weitere Server anschließen könnte, das sogar mit 100GBE und DAC. (letzteres macht es preislich wieder attaktiver)
Das wäre btw. auch standard DC Aufbau. Geräte an Switche, und Switche mit Switche...

Tu dir einen Gefallen, und nutze Singlemode + 40G-LR4 bzw. 40G-LR4L (LR4 Lite) Transceiver. Singlemode taugt auch für 100G
40G-LR4L würde ich nicht nehmen, da kein genormter Standard. Allenfalls in homogenen Umgebungen würde ich sowas einsetzen, wenn klar ist, dass der Einsatzraum überschaubar und klar definiert ist.
Ja, HP und Co. haben dafür Transceiver, ist dennoch kein Standard.
Außerdem ist der Preisunterschied jetzt nicht so das Thema, wenn man bei fs.com z.B. bleibt.

Ansonsten taug OS2 auch für 800GBE...
 
Zuletzt bearbeitet:
Also, ich möchte eine Umgebung die sauber läuft auf ein anderen Standort adaptieren. Einziger Utnerschied: Der Server ist nicht mehr im selben Rack wie die Clients, sondern 3 Räume weiter. Wie lang das Kabel genau sein soll werde ich noch anfragen, ~100m war mein Schätzwert. Bei uns hab ich die QSFP+ einfach mittels Mikrotik-DAC verbunden, das war... einfach.
Was meinst du mit "Switch davorschalten"? Spieß umdrehen geht leider nicht, da ich schon Probleme mit den beiden Kabeln kriege - Bündel fällt komplett aus.
Wie würdet ihr denn die 150m überbrücken auf QSFP?
 
Bei uns hab ich die QSFP+ einfach mittels Mikrotik-DAC verbunden, das war... einfach.
Was meinst du mit "Switch davorschalten"?
Wie würdet ihr denn die 150m überbrücken auf QSFP?
Switch davor wegen "SFP läuft nicht in NIC", NICs können sehr störrig sein, muss aber nicht. (Server-Switch-Switch-Clients)
Wenn DAC bereits "bekannt", dann siehe die Nachzüglerzeilen oben... (quasi auch Switch davor, aber StandardDC-Aufbau)
Alles was >50m ist, würde ich immer auf OS2 setzen.
MPO ist manchmal auch kacke, vor allem muss man ggf. auch mal Notfallmaterial dahaben, zur Not auch für Wurfleitungen.
Bei OS2 legste dir auch mal 200m hin, wenn es sein muss und dein Chef fragt nicht, warum du dir Goldbarren ins Lager legst.
 
Zuletzt bearbeitet:
-LR4 bekommt man auch schon für einen schmalen Taler bei ebay. (neu ca. 300EUR)
Richtige -LR4 (10km) waren bis vor kurzem selten, aktuell sind aber Juniper LR4 zu relativ attraktiven Preisen (50€) zu bekommen. Würde ich aber nicht empfehlen. Zu viel Stromverbrauch und unnötig viel Reichweite.

40G-LR4L würde ich nicht nehmen, da kein genormter Standard. Allenfalls in homogenen Umgebungen würde ich sowas einsetzen, wenn klar ist, dass der Einsatzraum überschaubar und klar definiert ist.
Ja, HP und Co. haben dafür Transceiver, ist dennoch kein Standard.
Joar - Das ist hier m.E. aber gegeben. Es geht ja nur um zwei Strecken für ein Homelab?

Außerdem ist der Preisunterschied jetzt nicht so das Thema, wenn man bei fs.com z.B. bleibt.
Naja, LR4L gibt's für 11$ auf ebay

Ich hatte übrigens mit LR4 in NICs keine Probleme. Die XL710 haben laut Datenblatt offiziellen LR4 support (dann erst recht LR4L), ggf. musst du einen Unlocker für Fremdoptiken nutzen, https://github.com/terpstra/xl710-unlocker


@Shihatsu ich importiere gerade wieder Kram aus den USA, wenn ich dir nen Schwung Transceiver (bspw. https://www.ebay.de/itm/333574101801) mitbestellen soll, sag Bescheid...
 
Neee, Homelab ist das nicht. Das ist schon für den Produktiv-Einsatz gedacht. Ja klar könnte ich jetzt mich selber mit "Geh zu nem NEtzwerkausrüster" kontern, aber das hat in der Vergangenheit eher so mässig gut geklappt und war sauteuer. Chef so: Bisher hast du das doch auch so hinbekommen, schau mal was geht, mach dich schlau. Joa...
 
Ich hatte übrigens mit LR4 in NICs keine Probleme. Die XL710 haben laut Datenblatt offiziellen LR4 support (dann erst recht LR4L),
Was in irgendwelchen offiziellen Datenblättern drin steht, ist schön und gut, bringt dir aber nichts, wenn du keine offizielle nonOEM Intel NIC verwendest.
(bzw. ist das sogar vom Firmwarestand abhängig)

Und die üblichen Verdächtigen kochen da gerne mal ihre eigene Suppe. Mal hardcore angepasst, mal nicht usw.

In dem Datenblatt steht ja drin, dass auch -LR unterstütz wird (bei den X710), nur doof, wenns dann doch nicht geht. (ich habe NICs, da ist das genauso)
Was macht man dann? Das Datenblatt verhaften lassen und beim Verfassungsgericht anzeigen. Zu Intel mit Fackeln und Mistgaben rennen und nen Aufstand anzetteln?

Und was machen wir jetzt? Du hast XL710, da geht -LR4 und ich habe X710, da gehen keine -LR und jetzt?
Ich habe auch X710, da geht -LR wieder. Und nun?
Wie wird da jetzt nen Schuh draus?
Genau, es gibt, wie so vieles in der IT, ein "kommt darauf an". Und was bringt das dem TE? Genau gar nichts!
Mal ein anderes Beispiel aus der Realität. HP X710 in einem DL385. Sollte man ja meinen, alles IO, Jahre erprobte Technik, QVL freigegeben usw.
Nur doof, wenn beim Reboot von 4 NICs mal alle da sind und mal nur einige.
Ist das ne Kombi aus den 4 NICs? Ist das irgend nen neues Feature?
Und da kannst du Stunden über Tage mit dem Support investieren, damit du das irgendwie hingefummelt bekommst. Ist ja nicht so, dass da sich einer ins Auto setzt und da Tage bei dir bastelt.
Will sagen, man sieht bei sowas öfter mal Pferde kotzen. Und ein "also bei mir geht das" hat keine oder nur bedingt Adaptierbarkeit.
Wenn alles tupfengleich (und da reden wir ggf. runter bis auf Firmware/Subfirmware, Patch- und Treiberstand) ist, evtl. noch, aber so ist das?

Die SFPs haben Kodierungen, diese Kodierungen müssen in der NIC, wie auch im Switch, entsprechend freigeschaltet sein, egal ob nun pauschal oder spezifisch,
Ist das nicht der Fall, kannst du da solange die falschen SFPs reinstecken wie du lustig bist, bringt dir nur nichts.
Und da eben -LR4L kein offizieller Standard ist, kommt es da eher zu Komplikationen, als wenn man einen offiziellen Standard verwendet.
Wo jetzt genau die Kodierunterschiede liegen, muss man sich anschauen. Es gibt sehr wahrscheinlich mehr als nur den Unterschied, dass der Laser etwas schwächer ist.
Ich weiß, dass auf den Transceivern auf jeden Fall Reichweitenangaben hinterlegt werden.

Jetzt könnte man sagen, ja hier bla blub, wir friemeln uns da was hin. Wir sind hier aber nicht bei einem zu Hause, wo die stabile Funktion ein nice to have ist, wir reden hier von Produktivumgebungen, wo Personen hinter sitzen, die, in aller Regel, Geld für ihre Zeit bekommen. Das Geld bekommen sie auch, wenn etwas nicht geht.
Und wann geht etwas nicht? Wenn man anfängt zu spielen.

Auch von dem umflashen der Firmware kann ich nur abraten.
Die Hardware hat, in aller Regel, Support beim Hersteller (hoffentlich). Ist die NIC kaputt, kommt der vorbei und wirft eine neue rein.
Und dann? Genau, die ist ja ungeflasht? Also fangen wir dann noch an da rumzuflashen und das alles im Eifer des Gefechtes.
Und was ist eigentlich, wenn der Kollege hier im Urlaub ist oder einen anderen Job? Hat der Leibeigenschaftsvertag mit der Firma hier abgeschlossen, bis an sein Sterbebett und nach dem Tod geht das an den 1. Geborenen über?

Betreibt man so IT? Interessant!

@home kann man jeden Scheiß machen, da bin ich dabei. Alles gut und schön.
Sobald wir aber das Büro aufgeschlossen haben, ändern sich die Spielregeln. Auch da kann man basteln, nur gehört dann für 1h basteln 10h Dokumente und Vorgehensweise verfassen dazu.
So und 10h kosten Pi*Daumen 500EUR. Und für 500EUR kaufe ich einfach StandardSFPs und gut ist.
Wie gesagt, wenn HP und Co in ihre Switches HP-SFP xyz freigeben, dann wird das auch laufen.
Wenn man aber, warum auch immer 10 Hersteller hat oder einen Schwenk beim Hersteller vollziehen will, dann fängt man entweder an, Hersteller nach diesen "Bastellösungen" hin auszuwählen, obwohl man das eigentlich nicht will oder man geht irgendwann doch hin und kauft Standardsachen, damit es interoperabel wird.
Bzw. wenn es kein Standard ist, sollte man zusehen, dass es in 90% der Hersteller läuft. bevor man sich entscheidet. Und das kann man bei den üblichen Verdächtigen am Datenblatt festmachen.

Bei 11$ @ebay
Ich hatte extra geschrieben, wenn man bei fs.com bleibt und fs.com != ebay, zumindest auf meinem DNS.

Und so ist es, dass man sich das genau überlegen sollte, was man da tut. Ich verabscheue -LR4L nicht.
Was ich sage ist, dass man sich um die Supportbarkeit des System Gedanken zu machen hat und man nicht das Bastelgehabe von @home mit in den Job nimmt.
Ja, das kostet mehr Geld, aber der Typ, das bastelt und dokumentiert kostet auch Geld. Genauso wie das eingesteuerte Risiko auch Geld kostet.
Und ich behaupte, dass man bei einem Standard weniger Gefahr läuft.
Das trifft insbesondere auf die Lösungen zu, die man nicht von der Wiege bis zur Bahre durchgängig betreut.
Ich persönloich z.B. kann es mir garnicht erlauben so ne Faxen zu machen. Ich habe, mehr oder weniger, meine Finger bei einer mittleren 6-stelligen Anzahl an Teilnehmern drin.
Wenn ich mir da für jedes Problem ne Bastellösung habe einfallen lassen, weil es irgendwie geht, führe das zu folgendem.
1. ich muss zu jeder Tag- und Nachzeit greifbar sein
2. ich kann mir direkt nen Haus in der Firma bauen
3. ich bekomme Personenschutz, damit ich ja nicht beim Scheißen vom Lokus falle
4. es würde eine Lebensversicherung auf meine Kopf abgeschlossen, die irgendwo knapp unter 10-stelligem Auszahlungsbetrag landet, damit man den Ganzen scheiß, den ich "verbockt" habe, wieder geradeziehen kann
(und das betrifft nicht nur mich, das betrifft auch meine Kollegen)

Von daher bleibe ich bei der Lösung:
Standardkomponenten oder besser
Switch-Switch und daran dann Server und Clients.
Auch das Thema mit den parallelen Netzen, Routing und ITsec ist dann auch so nen Thema, was man mit einer klassischen Infrastruktur besser gehändelt bekommt.
Denn am Ende ist das auch nur nen Server der mit einer dicken Leitung an einem Serverswitch hängt und der dann an der restlichen Infrastruktur und daran dann wieder die Clients.
"früher" hat man Server mit 10GBE ans Netzwerk angebunden und Clients mit 1GBE.
Jetzt ist es beim TE so, dass er 40GBE am Server braucht und die Clients mit 10GBE am Netzwerk hängen. Es ändern sich nur die Zahlen und evtl. die Kabel, weil einfacher, günstiger und/oder notwendig ist. (wobei ich meine Meinung zu DAC habe)
Kurz um, eigentlich alles wie immer. Da muss man das Rad nicht neu erfinden und vor allem auch kein Viereckiges.

Am Ende muss der TE wissen, was er da macht. Sein Job, sein System, sein Chef, "sein" Geld, seine Kollegen.

Wenn das bei dir @java4ever alles so klappt, dann ist das gut. Nur sollte man bei solchen Tipps auch vollumfänglich sein, damit das Gegenüber das Risiko für sich adaptieren und damit bewerten kann. Wenn er copy&paste macht OK, wenn nicht auch OK. Aber vorher gehört eben alles auf den Tisch.
 
Zuletzt bearbeitet:
Hui, heute in Schreiblaune? Nimms mir nicht übel, aber die Wall of Text lese ich mir ganz sicher nicht durch.

Ich bin zu anfangs übrigens von einer Heimumgebung ausgegangen, wo Budget üblicherweise über allem steht.
Wenn man ne Lösung will, die einfach funktioniert, dann kostet die schlicht mehr Geld. Wenn das in Ordnung ist, dann ist ja alles gut.

Thema fs.com:
Ja, wenn der Kram funktioniert ist alles gut. Aber wenn nicht bist du genau kein Stück besser dran, als mit einer Bastellösung.
Der Support ist eher inkompetent, wenn es um komplexere Probleme geht.

Ich habe mal mehrere custom Programmierungen für die fs.box angefordert, wo die Infiniband bits gesetzt sein sollten.
Hat nur knappe 7 Anläufe und > 20 E-Mails gebraucht.

Und versuch mal Kram zu RMAn, der ursprünglich an einen anderen Standort geliefert wurde... Viel Spaß.
 
Hui, heute in Schreiblaune? Nimms mir nicht übel, aber die Wall of Text lese ich mir ganz sicher nicht durch.

Ich bin zu anfangs übrigens von einer Heimumgebung ausgegangen, wo Budget üblicherweise über allem steht.
Wenn man ne Lösung will, die einfach funktioniert, dann kostet die schlicht mehr Geld. Wenn das in Ordnung ist, dann ist ja alles gut.

Thema fs.com:
Ja, wenn der Kram funktioniert ist alles gut. Aber wenn nicht bist du genau kein Stück besser dran, als mit einer Bastellösung.
Der Support ist eher inkompetent, wenn es um komplexere Probleme geht.

Ich habe mal mehrere custom Programmierungen für die fs.box angefordert, wo die Infiniband bits gesetzt sein sollten.
Hat nur knappe 7 Anläufe und > 20 E-Mails gebraucht.

Und versuch mal Kram zu RMAn, der ursprünglich an einen anderen Standort geliefert wurde... Viel Spaß.
Ich würde genau aus dem Grund FS nur privat verwenden wollen, für alles Andere OEM oder Flexoptix. Da ist der Business-Support erste Sahne und die Preise einigermaßen Human (sofern man nicht 95 % Discount bei Cisco und Co. bekommt).

@Shihatsu: Normale LR4 Transceiver und SM Kabel nehmen, wenn du auf ganz Nummer sichen gehen willst, nimmst nen 3 oder 5 dB Dämpfungsglied dazu (eins pro Richtung reicht), dann haut das locker hin. Habe selbst einige Server bei uns direkt mit SM ohne Dämpfungsglied mit 50m OS2 Kabel an unsere Aggregationsebene (Juniper MX960) angeschlossen, beide Seiten mit Flexoptix LR4 Transceivern, ohne Probleme oder Übersteuerung.
 
@java4ever
Das mit dem mehr Geld kosten ist alles relativ.
Bei fs.com (dazu gleich mehr) sind die Preisunterschiede zwischen -LR4 und nem -LR4L minimal. Ist ja nicht so, dass wir bei 50% oder 10% landen.
Solch marginalen Preisunterschiede werden dann relevant, wenn wir von einer wesentlich größeren Anzahl an Verbindungen ausgehen. Denn 2x 50EUR gespart ist was anders als 100x 50EUR gespart. Dabei erreicht man nämlich auch gewisse kritische Massen, die Aufwand rechtfertigen. Bei sowas kleinem -> Schuster bleib bei deinen Leisten...

@fs.com
Ich habe ja nicht gesagt, dass man da kaufen soll. Ich habe das nur mal Beispiel für geringe (wenn nicht geringste) Preise genommen. Wenn man so nen 150m MPO Kabel bei z.B. Telegärtner kauft... ich sag mal so, da macht es wohl eher Sinn nen 2. Server direkt in das Rack mit dem 10GBE Switch zu bauen. Um mal eine Relation zu nennen.

Wir können das Spiel mit den short range OS2 Transceivern auch bei flexoptix treiben.
-LR4 -> 400EUR
-IR4 -> 400EUR (2km Reichweite)
(Also rund 0,00EUR teurer)

Kurz um, ich sehe da keinen Effekt. Bei 100GBE sieht ähnlich aus. Preisunterschiede von 100-200EUR. Da sind dann auch IEEE konforme short range OS2 dabei. (wie gesagt, wir reden ja nicht davon, dass -LR4 um Faktoren teurer wäre, aber, wie gesagt, wenn das skaliert, dann wird es interessant)
-LRx wird als Schüttgut verkauft, daher kommen da Preise zusammen.

Bei fs.com würde ich nur relativ preisgünstige Sachen kaufen. Kabel (da eher LC-D) und ggf. noch SFPs fürs Spielen (ich habe bestimmt 100SFPs für nen schmalen Taler von denen, um Sachen ganz praktisch zu verproben, ohne die Guten dafür zu verhunzen, die liegen im Giftschrank...)
SFPs daher nur bedingt. Teure Kabel würde ich grundsätzlich vermeiden. Und irgendwelche riesigen Switche schon 3x nicht...

@Shihatsu
Streiten ist wichtig, sonst kommt man da nicht vorwärts. (gehen uns ja nicht an die Gurgel, aus meiner Sicht)

Was du nun machst, ist dein Thema und auch viel davon abhängig wie das sonst bei dir aussieht.
Ich persönlich würde es vermeiden eine parallele Netzinfrastruktur aufzubauen, wenn es irgendwie geht.
Man kann dieses high speed netz ja auch ganz normal in die Infrastruktur einbinden. Das ist, wie gesagt, nicht neues. Das macht man sein 30 Jahren so. Server high speed, clients, wenn es geht, low speed. Da muss man das Rad nicht neu erfinden.

Wenn die SFPs in den NICs aus dem Stand laufen, würde ich mir das dennoch überlegen.
Es ist jetzt nicht so unüblich, dass man Server mit 40 oder 100GBE an ein Servernetz anbindet und das wiederum über Verteilstrukturen von den Clients aus erreichbar macht. Und ob die Clients nun 0,1GBE/1GBE/10GBE oder 100GBE haben, ist am Ende auch egal, das sind am Ende nur andere Zahlen und ändert nichts an den Wegen, die die Pakete laufen.
Dazu muss es kein 20k Switch sein. Ich habe ja schon eine preisgünstige Variante genannt, die dennoch für dein Vorhaben reicht. Das Ding kann dann sicherlich auch breakout, so dass man auch da weiterkommt.

Wenn es ganz praktisch werden soll, würde ich die Transceiver bei Flexoptix (die sind gut dabei und persönlich auch nett) kaufen und die OS2 LC-D Kabel bei fs.com, da gleich ein "paar" mehr und die vorher testen, ob die auch gehen, bevor ich die durch die Bude werfe. (richtige Hersteller machen sowas bereits im Werk und liefern dafür dann Protokolle, für den Einwurf kleiner Münzen natürlich) (Krönung wäre eine klassische LWL Stammverkabelung, ist aber ne Frage, wie Nachhaltig dieser Infrastrukturaufbau sein kann.
Wie man das von der Topologie macht, hängt halt stark vom Rest ab. Ich würde, wie gesagt, Inselnetze vermeiden, wenn der Aufwand überschaubar ist und das ist er meiner Meinung nach.
 
Zuletzt bearbeitet:
Bei fs.com (dazu gleich mehr) sind die Preisunterschiede zwischen -LR4 und nem -LR4L minimal. Ist ja nicht so, dass wir bei 50% oder 10% landen.
Bei meiner LR4 vs LR4L ging es neben Preisen (wie gesagt, ursprüngliche Annahme: Homelab, und da waren richtige LR4 bis vor kurzem unobtanium zu gescheiten Preisen) auch um Kompatibilität, weil die LR4 (zumindest alle die ich in der Hand hatte), die höchste Leistungsklasse (elektrisch) in der Programmierung anfordern, was Probleme verursachen kann. Die LR4L machen das nicht.
 
Das "kann eigentlich" nicht sein. Intel ratet die Karten für -LR4 und die Intel -LR4 sind, normgerecht, mit <=3,5W geratet.
Und auch alle anderen -LR4 sind damit laut Datenblatt geratet. Was jetzt in den Registern steht, weiß ich so jetzt natürlich nicht.
Kann auch gut sein, dass Intel die mit dem -SR4 ratet obwohl es -LR4 sind.
Früher war auf jeden Fall die Aussage, dass man wegen der Power die -LR nicht zugelassen hat... (hat man das machen wollen, hat man einen -LR als -SR ausgegeben...)
 
Wow. Es spielt zwar keine Geige und auch mir wäre es völig schnuppe, aber ich wusste wirklich nicht, daß es Hersteller von Netzwerk-HW gibt die sich Mühe geben ihre Box cool aussehen zu lassen. Das war jetzt quasi ein Schocker o_O:sneaky:
 
Zuletzt bearbeitet:
Hab keinen Bedarf, aber bin auf der Mailingliste von iuppiter - die waren ja mal der Geheimtipp für 10GbE-Karten, nur kommt da nicht mehr viel.

100 units (New Sealed)

Mellanox
ConnectX-3 Pro Adapter
MCX314A-BCCT
40/56GbE
PCIe
(20 units in a box)

75€ / 79$ each exw

69€ / 73$ each exw for 20 units(box)

CKxx90_knprCa.jpg

Versand und 21% Holländer-Märchensteuer kommen drauf - sieht aber danach immer noch iO aus, oder?
 
Ich hole den Thread mal wieder vor:
In der Bucht gibt es gerade single-Port-CX455a-ecat für schmale ca 110€ zzgl Import. Ich war dann bei etwa 140€ brutto und musste zugreifen.
Aber was man da bekommt, startet auch erst einmal nicht: eine doofe clock-Meldung und abgebrochene Initialisierung beim Booten von Ubuntu.

Meine eigene Anleitung von Seite 3 habe ich nach der Zeit nicht wiedererkannt, aber wenn ein mlxfwmanager die Karte erkennt, mlxconfig aber "failed to open device" angibt...
FLASHEN :)

und das sagt dann flint:
flint -d /dev/mst/mt4115_pciconf0 -i fw-ConnectX4-rel-12_28_2006-MCX455A-ECA_Ax-UEFI-14.21.17-FlexBoot-3.6.102.bin burn
Done.
Current FW version on flash: 12.12.1240
New FW version: 12.28.2006
...
Eine "12.12.1240" zeigt NVIDIA nicht einmal unter "archive" mehr an ;)

Nach reboot mit neuer Firmware (ein mlxfwreset ging mit der alten auch nicht) ist die Karte in Ordnung.

Ich ergänze das dann morgen, ich will ja endlich den CWDM single fiber-single-mode (=simplex LC) 100G-Transceiver ausprobieren :) Hab ihn aber verlegt. Und es gibt viiele Kisten hier im Haus :/

Nachtrag: Im Server steckt der Transceiver aber schon drin, daher:
/usr/src/mft-4.23.0-104-x86_64-deb# ethtool -m enp65s0f1np1
Identifier : 0x11 (QSFP28)
Extended identifier : 0xcc
Extended identifier description : 3.5W max. Power consumption
Extended identifier description : CDR present in TX, CDR present in RX
Extended identifier description : High Power Class (> 3.5 W) not enabled
Power set : Off
Power override : On
Connector : 0x07 (LC)
Transceiver codes : 0x80 0x00 0x00 0x00 0x00 0x00 0x00 0x00
Transceiver type : 100G Ethernet: 100G CWDM4 MSA with FEC
Encoding : 0x03 (NRZ)
BR, Nominal : 25500Mbps
Rate identifier : 0x02
Length (SMF,km) : 2km
Length (OM3 50um) : 0m
Length (OM2 50um) : 0m
Length (OM1 62.5um) : 0m
Length (Copper or Active cable) : 0m
Transmitter technology : 0x40 (1310 nm DFB)
Laser wavelength : 1310.000nm
Laser wavelength tolerance : 6.500nm
Vendor name : INNOLIGHT
Vendor OUI : 44:7c:7f
Vendor PN : TR-BC13P-H00
Vendor rev : 1F
Vendor SN : INIAB7192210
Date code : 18012501
Revision Compliance : SFF-8636 Rev 2.5/2.6/2.7
Module temperature : 29.48 degrees C / 85.07 degrees F
Module voltage : 3.2470 V
Alarm/warning flags implemented : Yes
Laser tx bias current (Channel 1) : 33.684 mA
Laser tx bias current (Channel 2) : 34.034 mA
Laser tx bias current (Channel 3) : 32.304 mA
Laser tx bias current (Channel 4) : 36.424 mA
Transmit avg optical power (Channel 1) : 1.6101 mW / 2.07 dBm
Transmit avg optical power (Channel 2) : 1.0211 mW / 0.09 dBm
Transmit avg optical power (Channel 3) : 1.1892 mW / 0.75 dBm
Transmit avg optical power (Channel 4) : 1.3537 mW / 1.32 dBm
Rcvr signal avg optical power(Channel 1) : 0.0435 mW / -13.62 dBm
Rcvr signal avg optical power(Channel 2) : 0.0225 mW / -16.48 dBm
Rcvr signal avg optical power(Channel 3) : 0.0237 mW / -16.25 dBm
Rcvr signal avg optical power(Channel 4) : 0.0267 mW / -15.73 dBm
Laser bias current high alarm (Chan 1) : Off
Laser bias current low alarm (Chan 1) : On
Laser bias current high warning (Chan 1) : Off
Laser bias current low warning (Chan 1) : On
Laser bias current high alarm (Chan 2) : Off
Laser bias current low alarm (Chan 2) : On
Laser bias current high warning (Chan 2) : Off
Laser bias current low warning (Chan 2) : On
Laser bias current high alarm (Chan 3) : Off
Laser bias current low alarm (Chan 3) : On
Laser bias current high warning (Chan 3) : Off
Laser bias current low warning (Chan 3) : On
Laser bias current high alarm (Chan 4) : Off
Laser bias current low alarm (Chan 4) : On
Laser bias current high warning (Chan 4) : Off
Laser bias current low warning (Chan 4) : On
Module temperature high alarm : Off
Module temperature low alarm : On
Module temperature high warning : Off
Module temperature low warning : On
Module voltage high alarm : Off
Module voltage low alarm : Off
Module voltage high warning : Off
Module voltage low warning : Off
Laser tx power high alarm (Channel 1) : Off
Laser tx power low alarm (Channel 1) : On
Laser tx power high warning (Channel 1) : Off
Laser tx power low warning (Channel 1) : On
Laser tx power high alarm (Channel 2) : Off
Laser tx power low alarm (Channel 2) : On
Laser tx power high warning (Channel 2) : Off
Laser tx power low warning (Channel 2) : On
Laser tx power high alarm (Channel 3) : Off
Laser tx power low alarm (Channel 3) : On
Laser tx power high warning (Channel 3) : Off
Laser tx power low warning (Channel 3) : On
Laser tx power high alarm (Channel 4) : Off
Laser tx power low alarm (Channel 4) : On
Laser tx power high warning (Channel 4) : Off
Laser tx power low warning (Channel 4) : On
Laser rx power high alarm (Channel 1) : Off
Laser rx power low alarm (Channel 1) : On
Laser rx power high warning (Channel 1) : Off
Laser rx power low warning (Channel 1) : On
Laser rx power high alarm (Channel 2) : Off
Laser rx power low alarm (Channel 2) : On
Laser rx power high warning (Channel 2) : Off
Laser rx power low warning (Channel 2) : On
Laser rx power high alarm (Channel 3) : Off
Laser rx power low alarm (Channel 3) : On
Laser rx power high warning (Channel 3) : Off
Laser rx power low warning (Channel 3) : On
Laser rx power high alarm (Channel 4) : Off
Laser rx power low alarm (Channel 4) : On
Laser rx power high warning (Channel 4) : Off
Laser rx power low warning (Channel 4) : On
Laser bias current high alarm threshold : 80.000 mA
Laser bias current low alarm threshold : 10.000 mA
Laser bias current high warning threshold : 75.000 mA
Laser bias current low warning threshold : 15.000 mA
Laser output power high alarm threshold : 2.8184 mW / 4.50 dBm
Laser output power low alarm threshold : 0.5012 mW / -3.00 dBm
Laser output power high warning threshold : 2.5119 mW / 4.00 dBm
Laser output power low warning threshold : 0.6309 mW / -2.00 dBm
Module temperature high alarm threshold : 70.00 degrees C / 158.00 degrees F
Module temperature low alarm threshold : 10.00 degrees C / 50.00 degrees F
Module temperature high warning threshold : 60.00 degrees C / 140.00 degrees F
Module temperature low warning threshold : 20.00 degrees C / 68.00 degrees F
Module voltage high alarm threshold : 3.6300 V
Module voltage low alarm threshold : 2.9700 V
Module voltage high warning threshold : 3.4650 V
Module voltage low warning threshold : 3.1350 V
Laser rx power high alarm threshold : 2.8184 mW / 4.50 dBm
Laser rx power low alarm threshold : 0.0316 mW / -15.00 dBm
Laser rx power high warning threshold : 2.5119 mW / 4.00 dBm
Laser rx power low warning threshold : 0.1000 mW / -10.00 dBm
 
Zuletzt bearbeitet:
Großer Spaß!

Ich könnte mal nen bezahlbaren, lautlosen Switch gebrauchen… :d
 
100g & lautlos, na?
 
Ich glaub ich bin ungefähr bereit auszugeben, was ein Rack-Einbauset für das Ding kostet… :d

Wäre für einen Hinweis dankbar, falls Du mal wieder über einen Schnapper stolperst. Ansonsten grad sehr weit unten auf meiner Prio-Liste…
 
Falls jemand demnächst auf 100G aufrüsten möchte - Ich hab da evtl. zwei nette 32-Port 100G Switche für nen "schmalen" Taler abzugeben... Stay tuned ;)
 
Da melde mich mal ganz vorsichtig Interesse an! :d
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh