Wie sagte mein Messtechnik Prof:
Wer misst, misst Mist
oder
was ist schneller, ein Fahrrad oder ein Porsche
Antwort: Das Fahrrad ist schneller (im freien Fall vs dem Porsche auf der Straße)
Was ich damit sagen will, ist dass Messergebnisse immer nur für bestimmte Rahmenbedingungen bewertet werden können, meist sogar nur im direkten Vergleich zu anderem Gerät bei gleichen Einstellungen z.B. ssd vs hd, nie absolut. Die iops sagen ja nur output per second. Ist ein output nun ein random Byte, ein random 4K physical Disk Datenblock oder ein ZFS Block in recsize (128K bis 1M). Dadurch ergeben sich bei gleichen iops riesig unterschiedliche Datentransfers.
Wenn man absolute Werte sucht, landet man schnell bei den ca 100 physikalisch möglichen iops bei hd, 1000 bis 10000 bei ssd und >100000 bei NVMe wobei da nur Intel Optane das bei beliebigen Rahmenbedingungen erreichte, normale NVMe können bei steady write oder mixed read/write auch mal viel schlechter sein als eine gute ssd die laut Datenblatt eigentlich viel schlechter sein sollte,
Zu special vdev
Da zählt nur wie groß der ZFS Datenblock in recsize ist im Vergleich zur small blocksize, damit der Block auf hd statt ssd landet, hat nichts mit iops oder Testeinstellungen in Chrystal zu tun sondern da zählt nur die physikalische Datenstruktur.
Ansonst
Die Erfahrung lehrt, dass man schon 30% und mehr braucht, damit man eine schnellere IT Technik als solche "spürt". Etwas schneller ist ok wenn es nicht viel mehr kostet, sonst nicht.