[gelöst] FreeNAS CIFS-Share Lese-Performance unter 10GBase-T

[smoothwater]

Hallo Leute,

Infos vorweg:
OS ist FreeNAS 11.1-U5, Rechnerbeschreibung ist in der Signatur.

Problem ist folgendes:
Beim Kopieren von Daten vom Server auf Clients sind maximal 260 MB/s AVG drin. Vom Client zum Server allerdings je nach Datum und Share 650-1200 MB/s.
Server-intern sind Kopien zwischen den Platten mit ebenso 650-1200 MB/s je nach Datum und Share kein Problem.
Iperf gibt mir ebenso 9,24 Gb/s zum Server und 2,15 Gb/s vom Server aus.
MTU 9000 ist gesetzt.

Im Urspruch dachte ich, dass ich für die HDDs aufgrund der geringen Raten keinen Nutzen aus ZIL und L2ARC ziehen kann (die Platten also zu langsam schienen) und habe die ursprünglich dafür genutzten SSDs als Gäste-Share entkoppelt und beide als Stripe zusammengefügt. Aber auch hier sind keine größeren Raten drin. Es bleibt bei 260 MB/s vom Server.

Das Ganze ist vom genutzten Client unabhängig. OpenSUSE, Windows7, Windows 10 und mein OMV-Server (HP Microserver Gen8) haben +/- 10 MB/s die selben Werte.
Ebenso ist das Protokoll scheinbar nicht das Problem, denn sowohl FTP, CIFS/SMB, wie auch NFS sind wie magisch an diesen Durchsatz gebunden.
Zu guter Letzt scheint auch der SATA-Port nicht das Problem zu sein, da sowohl über die HP H220-Karte, wie auch über interne SATA-Ports gleiche Raten zeigen.
TSO scheint keinen Einfluss zu haben.

Mein "alter" FreeNAS-Server (AMD TR 1950X, 128 GB RAM) hatte zwar "nur" ein RaidZ2 aus 6x 10TB Platten, aber eben genau die Intel X540-T, die jetzt im neuen Heimserver sitzt. Da gab es keine Probleme und ich konnte im Schnitt 500 MB/s lesend und 450 MB/s schreibend ohne Anpassungen jenseits von "Autotune" nutzen. Da dieser bereits verkauft ist, kann ich die smb4-conf nicht prüfen...


Bin also über jede Idee Dankbar.

Beste Grüße,
smoothwater

 

[smoothwater]

Habe jetzt etwas herum probiert und wollte die aktuelle Lösung nicht vorenthalten:

Datenkopie via rsync in beide Richtungen über ssh ging mit quasi voller Bandbreite und lieferte über 800 MB/s im Stoppuhrprinzip.

Ringtausch mit meiner zweiten Asus-XG-C100C. Asus-Karte in den PC aus der Systeminfo, die X540-T von dort in den FreeNAS-Server und die X540-T aus dem FreeNAS raus.

Ergebnis war etwas unsinnig: Ich konnte Daten jetzt mit 700 MB/s zum Server kopieren, kam vom Server aber jetzt wenigstens auf 350 MB/s. Witzigerweise zeigte mir Iperf dennoch maximal 2,15 Gb/s für die Verbindung an; zumindest wenn FreeNAS der Client und "-r" gesetzt war. Wenn FreeNAS der Server war und mein PC der Client, erhielt ich bei beiden Richtungen 9,9 Gb/s.

Nach händischem Update auf FreeNAS 11.2beta erhielt ich weitere 25 MB/s mehr in beide Richtungen.

Zur Komplettierung habe ich jetzt noch den neuesten Intel-Treiber direkt von der Intel-Seite ins FreeNAS eingebunden.
Jetzt schaffe ich im Durchschnitt zu der M.2-SSD 1,1 GB/s, wenn zusätzlich die Optionen "-lro" und "-tso" gesetzt sind (was vorher keinen Einfluss hatte...).

Bei dem 840 Evo-Stripe deckelt er noch bei 550 MB/s. Ist zwar eigentlich nur die Leistung einer 840 Evo, aber immer noch deutlich schneller wie vorher.
Da muss ich nochmal genauer suchen, wo da der Hase im Pfeffer liegt, aber das Netzwerkproblem an sich ist erstmal erledigt.

Edit: Nach dem Umstellen von SATA Mode auf "AMD AHCI Bios ROM" im UEFI, ist auch bei den Evos die Performance wie sie sein soll.

Hier kann also zu.