Aktuelles
  • Hallo Gast!
    Wir haben wieder unsere jährliche Umfrage zu dem IT-Kaufverhalten und den Meinungen unserer Leser zu aktuellen Trends. Als Gewinn wird dieses Mal unter allen Teilnehmern eine ZOTAC Magnus One im Wert von 1.599 Euro verlost. Über eine Teilnahme würden wir uns sehr freuen!

[Sammelthread] MikroTik Geräte

hominidae

Experte
Mitglied seit
23.10.2011
Beiträge
3.039
...aber dann liegt es nicht am Headroom des E5 gegenüber dem i3....doch ein Software-Thema? Firmware beider Karten gleich?...jetzt gehen mir die Ideen aus :unsure:
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

mbrhwl

Einsteiger
Mitglied seit
08.01.2021
Beiträge
63
Bash:
driver: cxgb3
version: 1.1.5-ko
firmware-version: T 7.12.0 TP 1.1.0
expansion-rom-version:
bus-info: 0000:82:00.0

Bash:
driver: cxgb3
version: 1.1.5-ko
firmware-version: T 7.12.0 TP 1.1.0
expansion-rom-version:
bus-info: 0000:02:00.0

Sieht identisch aus soweit.
 

hominidae

Experte
Mitglied seit
23.10.2011
Beiträge
3.039
...jo, hmpf.....irgendwelche Energiespar-Einstelliungen aufm PCIe im BIOS?.....wie gesagt, keine wirklichen, echten Ideen mehr :ROFLMAO:
 

mbrhwl

Einsteiger
Mitglied seit
08.01.2021
Beiträge
63
Stromspaar Modus habe ich alles mehr oder weniger deaktiviert, ich muss noch mal wegen flow control schauen, vielleicht ist da noch was aktiv, ich hab das i3 System im Verdacht weil den großen habe ich schon mit maximal speed performen gesehen -> reddit post
 

hominidae

Experte
Mitglied seit
23.10.2011
Beiträge
3.039
vielleicht wäre ne Gegenprobe angebracht, ohne Switrch mit Direktverbindung?
 

mbrhwl

Einsteiger
Mitglied seit
08.01.2021
Beiträge
63
Ich hab noch mal meinen HP 360e Gen8 flott gemacht mit einer Chelsio Karte

Bash:
root@hp03:/home/bodo# iperf3 -c 10.8.20.102
Connecting to host 10.8.20.102, port 5201
[  5] local 10.8.20.108 port 38820 connected to 10.8.20.102 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.10 GBytes  9.43 Gbits/sec    0   3.02 MBytes       
[  5]   1.00-2.00   sec  1.09 GBytes  9.39 Gbits/sec    0   3.02 MBytes       
[  5]   2.00-3.00   sec  1.10 GBytes  9.42 Gbits/sec    0   3.02 MBytes       
[  5]   3.00-4.00   sec  1.09 GBytes  9.41 Gbits/sec    0   3.02 MBytes       
[  5]   4.00-5.00   sec  1.10 GBytes  9.42 Gbits/sec  131   2.45 MBytes       
[  5]   5.00-6.00   sec  1.10 GBytes  9.42 Gbits/sec    0   2.75 MBytes       
[  5]   6.00-7.00   sec  1.10 GBytes  9.41 Gbits/sec    0   2.98 MBytes       
[  5]   7.00-8.00   sec  1.10 GBytes  9.42 Gbits/sec    7   1.16 MBytes       
[  5]   8.00-9.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.73 MBytes       
[  5]   9.00-10.00  sec  1.10 GBytes  9.41 Gbits/sec    3   1.29 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec  141             sender
[  5]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec                  receiver

iperf Done.
root@hp03:/home/bodo# iperf3 -c 10.8.20.102 -R
Connecting to host 10.8.20.102, port 5201
Reverse mode, remote host 10.8.20.102 is sending
[  5] local 10.8.20.108 port 38824 connected to 10.8.20.102 port 5201

[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  1.09 GBytes  9.40 Gbits/sec                 
[  5]   1.00-2.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   2.00-3.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   3.00-4.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   4.00-5.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   5.00-6.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   6.00-7.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   7.00-8.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   8.00-9.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   9.00-10.00  sec  1.10 GBytes  9.41 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  11.0 GBytes  9.42 Gbits/sec  296             sender
[  5]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec                  receiver

iperf Done.

Der i3 ist wohl nicht so stark.

Es gibt hier zwar auch ein paar retries, aber nicht so viele.
 

hominidae

Experte
Mitglied seit
23.10.2011
Beiträge
3.039
...dann liegt es auf jeden Fall nicht an den MT-Switches dazwischen, sondern am i3-System.
 

mbrhwl

Einsteiger
Mitglied seit
08.01.2021
Beiträge
63
Ich habe jetzt mal mit einem DAC den i3 an den hp angeschlossen und statische ips vergeben, siehe da, der speed wurde nicht besser aber es gibt auf dem Weg 0 retries, in keine Richtung... was wieder auf den MT deutet

Bash:
root@hp03:/home/bodo# iperf3 -c 172.16.2.6
Connecting to host 172.16.2.6, port 5201
[  5] local 172.16.2.5 port 52718 connected to 172.16.2.6 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   1.00-2.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   2.00-3.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   3.00-4.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   4.00-5.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   5.00-6.00   sec   776 MBytes  6.51 Gbits/sec    0   3.06 MBytes       
[  5]   6.00-7.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   7.00-8.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   8.00-9.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   9.00-10.00  sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  7.59 GBytes  6.52 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  7.59 GBytes  6.52 Gbits/sec                  receiver

iperf Done.
root@hp03:/home/bodo# iperf3 -c 172.16.2.6 -R
Connecting to host 172.16.2.6, port 5201
Reverse mode, remote host 172.16.2.6 is sending
[  5] local 172.16.2.5 port 52722 connected to 172.16.2.6 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   845 MBytes  7.08 Gbits/sec                 
[  5]   1.00-2.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   2.00-3.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   3.00-4.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   4.00-5.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   5.00-6.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   6.00-7.00   sec   846 MBytes  7.09 Gbits/sec                 
[  5]   7.00-8.00   sec   847 MBytes  7.11 Gbits/sec                 
[  5]   8.00-9.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   9.00-10.00  sec   848 MBytes  7.11 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  8.27 GBytes  7.10 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  8.27 GBytes  7.10 Gbits/sec                  receiver

iperf Done.
 

hominidae

Experte
Mitglied seit
23.10.2011
Beiträge
3.039
:oops:...warum dann weniger Retries beim HP 360e Gen8 ? ...gleicher Link/Port am MT und gleiches Kabel/DAC? ... sehr merktürlich :unsure:
 

mbrhwl

Einsteiger
Mitglied seit
08.01.2021
Beiträge
63
Das oben ist eine direkte Verbindung zum HP ohne über den Switch zu gehen. Wenn ich über den switch gehe vom i3 zum HP sieht es so aus:

Bash:
root@hp03:/home/bodo# iperf3 -c 10.8.20.100 -R
Connecting to host 10.8.20.100, port 5201
Reverse mode, remote host 10.8.20.100 is sending
[  5] local 10.8.20.108 port 47396 connected to 10.8.20.100 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   846 MBytes  7.10 Gbits/sec                 
[  5]   1.00-2.00   sec   847 MBytes  7.11 Gbits/sec                 
[  5]   2.00-3.00   sec   848 MBytes  7.11 Gbits/sec                 
[  5]   3.00-4.00   sec   845 MBytes  7.09 Gbits/sec                 
[  5]   4.00-5.00   sec   845 MBytes  7.09 Gbits/sec                 
[  5]   5.00-6.00   sec   846 MBytes  7.10 Gbits/sec                 
[  5]   6.00-7.00   sec   845 MBytes  7.09 Gbits/sec                 
[  5]   7.00-8.00   sec   836 MBytes  7.01 Gbits/sec                 
[  5]   8.00-9.00   sec   845 MBytes  7.09 Gbits/sec                 
[  5]   9.00-10.00  sec   845 MBytes  7.09 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  8.25 GBytes  7.09 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  8.25 GBytes  7.09 Gbits/sec                  receiver

iperf Done.
root@hp03:/home/bodo# iperf3 -c 10.8.20.100
Connecting to host 10.8.20.100, port 5201
[  5] local 10.8.20.108 port 47400 connected to 10.8.20.100 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   737 MBytes  6.18 Gbits/sec  2801    139 KBytes       
[  5]   1.00-2.00   sec   735 MBytes  6.17 Gbits/sec  3097    153 KBytes       
[  5]   2.00-3.00   sec   739 MBytes  6.20 Gbits/sec  2811    181 KBytes       
[  5]   3.00-4.00   sec   740 MBytes  6.20 Gbits/sec  2993    202 KBytes       
[  5]   4.00-5.00   sec   735 MBytes  6.16 Gbits/sec  2781    144 KBytes       
[  5]   5.00-6.00   sec   739 MBytes  6.20 Gbits/sec  2866    156 KBytes       
[  5]   6.00-7.00   sec   737 MBytes  6.19 Gbits/sec  2671    165 KBytes       
[  5]   7.00-8.00   sec   739 MBytes  6.20 Gbits/sec  2546    156 KBytes       
[  5]   8.00-9.00   sec   737 MBytes  6.18 Gbits/sec  2880    146 KBytes       
[  5]   9.00-10.00  sec   743 MBytes  6.23 Gbits/sec  2875    153 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  7.21 GBytes  6.19 Gbits/sec  28321             sender
[  5]   0.00-10.00  sec  7.21 GBytes  6.19 Gbits/sec                  receiver

iperf Done.

Das ist ähnlich wie es aussieht wenn ich vom anderen Server (E5 2637 v2) teste.
 

martingo

Semiprofi
Thread Starter
Mitglied seit
17.01.2017
Beiträge
1.291
Ich hätte dann auch mal ne Frage an die Netzwerk-Cracks bzgl. Inter-VLAN Routing:
Muss der Verkehr immer über die opnSense laufen oder kann ich das für bestimmte VLANs auf den Switch auslagern?
Ziel wäre die Erhöhung des iSCSI-Durchsatzes, da ich momentan nur eine Single-10GB-Melli in der opnSense drin hab.
Mit Rein-Raus hab ich nur noch 5 GBit...
Sprich statt: Rechner(V10)->SwitchOG(V10)->SwitchK(V10)->FW(V10)->FW(V30)->SwitchK(V30)->NAS(V30)
so: Rechner(V10)->SwitchOG(V10)->SwitchK(V10)->SwitchK(V30)->NAS(V30)

Geht das?
Was muss ich da wo im Switch eintragen?
Sind Probleme zu erwarten?
Ist das das berüchtigte "asymmetrische Routing"?

//Edith:
Switche sind 2x CRS328.
Das Hauptproblem hast Du schon selbst angesprochen: das "Inter-VLAN Routing". Zwischen zwei Subnetzen ist immer der Router gefragt, per best-practice sollte ein VLAN mindestens einem (eigenen) Subnetz entsprechen (oder besser 1 Subnet = 1 VLAN) und spätestens damit hat sich diese "Inter-Vlan-Kommunikation" die Switches meist anbieten, eigentlich erledigt. Mir fällt auch nichts sinnvolles ein, um das einzusetzen. Eine Variante wäre, dass man (z.B.) ein großes (z.B.) /21 Netz aufspannt und dann alles nur noch über VLANs versucht zu regeln. Kommt man halt schnell an die Grenzen.
Man kann auch auf dem CRS routen, aber wir @underclocker2k4 schon vermutet hat, wird die Performance dann schnell unterirdisch. MT bietet zu quasi allen Devices Schwitching- und Routing Benchmarks. Der CRS328 ist dafür einfach nicht geeignet: https://mikrotik.com/product/crs328_24p_4s_rm#fndtn-testresults
Die HomeOffice Schiene sind die hEX, dann kommen die RB (teils mit Überschneidungen) und dann die CCR. Die CRS sind deutlich unter den günstigen hEX bzgl. der Routing-Performance.
Ich persönlich greife schon relativ früh zum CCR1009, der z.B. bei Senetic auch oft richtig günstig zu haben ist und sehr gute Performance liefert.
Hier mal noch dessen Test-Tabelle: https://mikrotik.com/product/CCR1009-7G-1C-1Splus#fndtn-testresults
Natürlich ein finanzieller Unterschied, aber bei deren typischem Test und einer pre-Jumbo Übertragung von 1518B-Paketen und der 25-Ipfilter-Variante kommt der CRS (in Gesamtsumme) auf knapp 800Mbit, der CCR auf 9 GBit.

Asymetrisches Routing hat damit nichts zu tun, da geht geht es dann um kürzester-Weg-Algorithmen wie (Rapid)SpanningTreeProtocol (R)STP usw.
 

Weltherrscher

Experte
Mitglied seit
28.04.2008
Beiträge
359
Naa, ich bleib jetzt bei der opnSense als Router / Firewall.
Die lahme Performance und die Tabellen sind mir bekannt, insgeheim hatte ich tatsächlich gehofft, dass da auf L2 noch was geht.
Meine VLANs haben definitiv je ein /24er Netz.
Bin leider noch nicht dazu gekommen, ein eigenes iSCSI-VLAN mit statischen IPs ohne Routing für die bidirektionale Kommunikation NAS->PC aufzumachen (Serverschrank bauen ging vor).
Wenn der Traffic weg fällt, sollte die Performance ja schon mal hoch gehen.
Der olle Core i3-2100T in der opnSense hat bisher auch noch keine Vollast gesehen.

Muss ich am WE endlich mal probieren.

Ich bilde mir aber ein, typische asymetric routing Probleme zu haben (interne Verbindungen, die zufällig genau nach 2 Minuten verschwinden usw.).
Seitdem ich die VLAN-Prio aufm Desktop angepasst und das Verbindungsgeraffel in der Firewall der opnSense auf "sloppy" gestellt hab, gehts einigermaßen.
 

i-B4se

Enthusiast
Mitglied seit
30.07.2007
Beiträge
483
Moinsen,
ich benötige kurz eure Hilfe bzw. Erfahrung :)

Zum Anfang würde ich gerne meinen PC mit meinem Unraid-Server mittels 10Gbit verbinden.
Aktuell nutze ich einen Mikrotik CSS326-24G-2S+.
In meinem PC würde ich eine Mellanox SFP+ Karte (ebay etc.) verbauen und der Server (ASRock Rack X570D4U-2L2T) hat zwei RJ45 10 Gbit Ports.
Vom PC zum Switch:
Funktioniert diese Kabel ?
Vom Server zum Switch:
Normales RJ45-Cat inkl. Adapter für den Switch. Ich habe diesen Adapter von Mikrotik gefunden. Gibt es da günstigere alternativen?

Besten Dank vorab :)
 

martingo

Semiprofi
Thread Starter
Mitglied seit
17.01.2017
Beiträge
1.291
DAC Kabel passt, gibt es von Mikrotik in 1m und 3m. Andere gehen aber auch.

SFP+ Modul 10G passt auch. Liegt bei ungefähr 50€, deutlich günstiger wirst Du wohl nichts bekommen. Mikrotik frisst aber auch fast alles andere, wenn du was billigeres findest.
 

i-B4se

Enthusiast
Mitglied seit
30.07.2007
Beiträge
483
Ich habe leider keinen alternativen Adapter gefunden. Ich dachte da gibt es günstigere.
 

martingo

Semiprofi
Thread Starter
Mitglied seit
17.01.2017
Beiträge
1.291
Ne, Grad Mal geschaut - auch FS.com kostet so ein Ding ca 60€. Wenn MT und FS so liegen, wirst Du preislich kaum günstigeres finden.
 

hominidae

Experte
Mitglied seit
23.10.2011
Beiträge
3.039
@i-B4se ...wenn Du die Mellanox noch nicht hast, gibt es in der Bucht oft KIts welche mit DAC 1-3m und beiden Brackets daherkommen, da kommt das Kabel meist um 8-10EUR Mehrpreis weg.
 

i-B4se

Enthusiast
Mitglied seit
30.07.2007
Beiträge
483
Hab ich eben gesehen, danke.
Nur weiß ich nicht was ich aktuell mit der zweiten Karte anfangen soll.
 
Oben Unten