[Sammelthread] OpenZFSonWindows: HowTos, Performance, wasauchimmer...

[besterino]

@Bccc1: Hättest Du netterweise mal einen Link zu einem tauglichen Benchmark dafür?

 

[Bccc1]

Direct Storage = Direct io?

Nein, dieses Direct Storage. Kurz, eine neue API für Dateizugriffe die NVMe SSDs besser auslasten kann und dabei weniger CPU Last erzeugt, als die gute alte Win32 API.
Wenn ich das normal Benche, ist DirectStorage beir mir ~138% schneller als Win32. Wenn ich das im Hintergrund Benche, während ich ein Spiel zocke, also die CPU eine recht hohe Grundlast hat, komme ich auf ~620% Gewinn.

Prüfen ob das System die grundsätzlich unterstützt kann man in der Windows Game Bar (Win+G):

@besterino Klar. Ich kenne zwei, den BulkLoadDemo Benchmark, auf CB und hier die eigentliche Quelle.
Das vergleicht aber nicht mit klassischem Durchsatz, ist also nur begrenzt interessant.
Und dann gibts gegen Geld im 3D Mark den DirectStorage feature test. Nicht mit dem Storage Benchmark verwechseln! Das ist zwar Teil des Storage Benchmark DLC, aber ein seperater Test:

 

[Trambahner]

Massiver Cache-Effekt. 13,33 GB/s kann eine gen4 SSD gar nicht liefern. Oder irgendwelche komprimierten Daten, wo nicht die tatsächliche Rate am Bus gemessen wird, sondern die entpackten Daten pro Zeit.
Solche Werte müffeln schon wieder, wenn ein Benchmark die gegen unkomprimierte vergleicht.... weil dann werden schon wieder Äpfel mit Birnen verglichen.

Man kann natürlich argumentieren: "was kommt bei der Applikation an", true, aber dann misst man auch Dekomprimierungsrate und nicht nur SSD-Performance.

 

[Bccc1]

Ne, kein Cache Effekt, DirectStorage + GDeflate Kompression. Allerdings stimme ich zu, das die große Plakative Prozentzahl irreführend ist. Wie man ganz unten im Screenshot auch sehen kann sinds für "Storage to VRAM" 5,59GB/s ohne Direct Storage, 5,9GB/s mit Direct Storage ohne Kompression und 13,33GB/s mit Direct Storage und Kompression.
Unter hoher CPU Last werden daraus
11.50 GB/s · Bandwidth (DirectStorage on, GDeflate Compression)
5.78 GB/s · Bandwidth (DirectStorage on, Uncompressed)
1.58 GB/s · Bandwidth (DirectStorage off, Uncompressed)

 

[besterino]

Ok, habe mal angefangen, Games zu testen. Bisher funktionieren 50% der ausprobierten Games nicht... ok, das ist vielleicht nicht ganz fair, weil ich genau 2 Spiele ausprobiert habe.

Konkret: Icarus (funktioniert) und Pax Dei (funktioniert nicht). Pax Dei ist allerdings auch erst Early Access und außerdem insgesamt noch recht buggy.

Es könnte auch an meiner Konfiguration liegen: habe einen Pool mit Laufwerksbuchstaben (F und darin ein Dataset, auf dem wiederum die Steam-Library sitzt, ohne eigenen Laufwerksbuchstaben. Evtl. klappt es, wenn man (nur?) dem Dataset einen Laufwerksbuchstaben zuweist.

Muss ich mir die Tage mal genauer anschauen.

 

[gea]

Geschachtelte Dateisysteme würde ich nach Möglichkeit meiden weil die immer eigene Properties haben können, sogar inkompatible, Besser mit einfachen Dateiordnern arbeiten statt Dateisystemen.

Es kann aber ein Bug sein. In der aktuellen rc6g gibt es einen Issuereport mit Problemen bei großen Dateien.

 

[BobbyD]

Am Ende hab ich mich so lange vor ZFS gedrückt, bis ich es auf Windows haben kann.

 

[besterino]

@gea: ich hab bisher nur ein Dateisystem. Direkt auf dem Pool will ich eigentlich keine Daten haben. Wie gesagt, vielleicht geht es, wenn man (auch) dem Dateisystem einen Laufwerksbuchstaben zuweist und es darüber anspricht und nicht "über den Laufwerksbuchstaben des Pools". Mounted man (nur) den Pool mit Laufwerksbuchstaben, erscheinen die Dateisysteme auch mit einem anderen Symbol als ein normaler Windows-Ordner.

Teste ich heute Abend mal.

Aktueller Eindruck:

Positiv 1:
Weiß nicht genau seit wann, aber inzwischen ist das ZFS-Dateisystem auch nach Reboot sofort wieder verfügbar (kein manuelles mounten/importen mehr nötig).

Positiv 2:
Weil ich leider zu blöd war, die Disks für den Pool über die Kommandozeile anzusprechen, habe ich spontan Napp-it CS ausprobiert. Das funktionierte auf Anhieb, auch wenn ich mich kurz über die ca. 5+ sich öffnenden Fenster erschrocken hatte. Habe noch nicht viel ausprobiert, aber Pool erstellen ging, Dataset erstellen ging, Kompression ausschalten ging, Möglichkeit für Setzen von Laufwerksbuchstaben vorhanden... gefällt soweit!

Zu untersuchen 1:
Potenzielle Inkompatibilität zu bisher einer Anwendung (s.o.).

Zu untersuchen 2:
Performance.

 

[gea]

Napp-it cs startet 4 Fenster (minimiert, Fenster kann man aber zur Kontrolle öffnen)
- Apache Webserver als Frontend, web-gui geht nicht ohne Webserver. Unter Linux kann das auch mini_httpd sein.

Backend Dienste. Benötigt, wenn der Server Teil einer Servergruppe ist und lokal/remote gemanagt werden soll
- server.pl als Backend, diesen Dienst kann man auch remote in einer Servergruppe ansprechen
- monitor.pl als Monitoring Dienst, auch zum Refreshen von cashbaren Daten

Jobverarbeitung (nur auf dem OpenZFS Server der Frontend/web-gui Dienste anbietet)
- auto.pl für geplante jobs

Teil von OpenZFS ist jetzt der Monitordienst zed.exe der den zuletzt geöffneten Pool importiert.
Beim Start von napp-it werden zudem alle .vhdx virtual harddisks gemounted die in c:\vhdx oder v:\vhdx liegen und auto im Namen haben (für Testpools oder Network Cluster/Raid on LAN mit v:\vhdx als SMB Share)

In der aktuellen rc6g sind einige Bugs entdeckt worden. Da Jorgen Lundman seit 5 Tagen keine neue Zwischenversionversion oder die rc7 gebracht hat, scheint deren Behebung mehr Arbeit zu verursachen. Entwicklung geht aber zügig. Immerhin ist es erst knapp 2 Jahre Jahr her seit OpenZFS on Windows eher ein proof of concept war und erst ein knappes Jahr seit der komplett überarbeiteten 2.2. mit der man erstmals ernsthafte Tests machen konnte.

Daten direkt auf dem Pool z.B. tank ist eine schlechte Idee, immer ein ZFS Sub-Dateisytem z.B. tank/data für die Daten nehmen. Lediglch weitere Schachelungen wie tank/data/video sollte man vermeiden. Einen Laufwerksbuchstaben kann man auf den Pool (ZFS Sub Dateisysteme erscheinen dann als Ordner darunter, ist der Normalfall) oder auf einzelne ZFS Dateisysteme (der Laufwerksbuchstabe zeigt dann auf dieses Dateisystem) setzen.

 

[besterino]

Update: das Spiel, das zunächst nicht wollte, läuft tatsächlich auch auf ZFS, wenn man dem Dataset einen eigenen Laufwerksbuchstaben gibt!

Zur Klarstellung: ich habe nichts am Setup/Pool-Dataset-Layout geändert, sondern lediglich dem Pool den Laufwerksbuchstaben "weggenommen" und dem Dataset einen eigenen zugewiesen.

Für mich also vorläufige ZFSonWindows Best Practice:

1. Minimiere Datasets (insb. wie @gea schon schrieb, nested datasets vermeiden - galt aber ja gewissermaßen auch so schon unter Solaris)
2. Gib' jedem Dataset einen (eigenen) Laufwerksbuchstaben

 

[gea]

Läßt darauf schließen, dass das Spiel einen Pfad wie y:\spiel fest kodiert hat und p:\dataset\spiel nicht mag.

 

[besterino]

Hmmm...

1. Nächstes Spiel was Ärger macht: Age of Empires IV startet schlicht nicht. Gegentest mit Installation auf einer Installation auf einem NTFS-Filesystem unproblematisch.

2. Wenn ich gleichzeitig ein Spiel update und ein anderes (Pax Dei) starte, gibt's einen Bluescreen mit "Unexepected Kernel Mode Trap". Gegentest mit Installation auf einem NTFS-Filesystem wieder ohne Probleme.

 

[gea]

Einiges an Arbeit für Jorgen Lundman.

ps
Es ist hilfreich ein memory.dmp zur Verfügung zu stellen.

 

[besterino]

Das fiese ist, dass bisweilen ja noch Anti-Cheat Programme mitlaufen, von denen kein Mensch genau weiß, was sie eigentlich machen bzw. „erwarten“. Mal schauen, was mich da noch erwartet.

 

[gea]

Erst müssen ein paar fiese Treiber Bugs unter Windows gefixt werden.
Ist aber gut dass immer mehr OpenZFS unter Windows testen und Fehler melden. Nur dadurch wird das final und man kann vorab im Issuereport sehen wo es noch hakt.

 

[besterino]

Puh, das macht so gerade wenig Freude. Wenn man in die minidumps reinschaut, liegt da wohl doch noch was im Argen:

*******************************************************************************
*                                                                             *
*                        Bugcheck Analysis                                    *
*                                                                             *
*******************************************************************************

UNEXPECTED_KERNEL_MODE_TRAP (7f)
This means a trap occurred in kernel mode, and it's a trap of a kind
that the kernel isn't allowed to have/catch (bound trap) or that
is always instant death (double fault).  The first number in the
BugCheck params is the number of the trap (8 = double fault, etc)
Consult an Intel x86 family manual to learn more about what these
traps are. Here is a *portion* of those codes:
If kv shows a taskGate
        use .tss on the part before the colon, then kv.
Else if kv shows a trapframe
        use .trap on that value
Else
        .trap on the appropriate frame will show where the trap was taken
        (on x86, this will be the ebp that goes with the procedure KiTrap)
Endif
kb will then show the corrected stack.
Arguments:
Arg1: 0000000000000008, EXCEPTION_DOUBLE_FAULT
Arg2: ffffe28032dfde70
Arg3: fffff40df9111000
Arg4: fffff806e3ebe164

Debugging Details:
------------------


// SCHNIPP SCHNAPP GERKÜRZT



DUMP_FILE_ATTRIBUTES: 0x1808
  Kernel Generated Triage Dump

FAULTING_THREAD:  ffffc00d430af340

STACK_OVERFLOW: Stack Limit: fffff40df9111000. Use (kF) and (!stackusage) to investigate stack usage.

BLACKBOXBSD: 1 (!blackboxbsd)


BLACKBOXNTFS: 1 (!blackboxntfs)


BLACKBOXPNP: 1 (!blackboxpnp)


BLACKBOXWINLOGON: 1

CUSTOMER_CRASH_COUNT:  1

PROCESS_NAME:  System

STACK_TEXT: 
fffff40d`f9111000 fffff806`e3eba979     : 00000000`00050005 00000000`00033411 fffff40d`f91113a0 fffff806`e3e1223c : nt!output_l+0x6c
fffff40d`f91112c0 fffff806`78aafba8     : 00000000`00000000 00000000`00007300 fffff806`78ab2a40 ffffc00d`430af340 : nt!snprintf+0x69
fffff40d`f9111350 00000000`00000000     : 00000000`00007300 fffff806`78ab2a40 ffffc00d`430af340 ffffc00d`5f200000 : OpenZFS+0x52fba8


SYMBOL_NAME:  OpenZFS+52fba8

MODULE_NAME: OpenZFS

IMAGE_NAME:  OpenZFS.sys

STACK_COMMAND:  .process /r /p 0xffffc00d1b572040; .thread 0xffffc00d430af340 ; kb

BUCKET_ID_FUNC_OFFSET:  52fba8

FAILURE_BUCKET_ID:  0x7f_8_OpenZFS!unknown_function

OSPLATFORM_TYPE:  x64

OSNAME:  Windows 10

FAILURE_ID_HASH:  {4fdb4ed0-b6d3-cb72-31fe-819f29cba343}

Followup:     MachineOwner
---------

 

[gea]

OpenZFS on Windows 2.3.1 rc

Release zfs-windows-2.3.1rc1 · openzfsonwindows/openzfs

Separate OpenZFS.sys and OpenZVOL.sys drivers Cleanup mount code Cleanup unmount code Fix hostid Set VolumeSerial per mount Check Disk / Partitions before wiping them Fix Vpb ReferenceCounts Have z...

github.com

• Separate OpenZFS.sys and OpenZVOL.sys drivers
• Cleanup mount code
• Cleanup unmount code
• Fix hostid
• Set VolumeSerial per mount
• Check Disk / Partitions before wiping them
• Fix Vpb ReferenceCounts
• Have zfsinstaller cleanup ghost installs.
• Supplied rocket launch code to Norway

What I saw:
Compatibility problems with Avast and Avira Antivir
Bsod after install (it worked then)

report and discuss issues

openzfsonwindows/openzfs

OpenZFS on Linux and FreeBSD. Contribute to openzfsonwindows/openzfs development by creating an account on GitHub.

github.com

openzfsonwindows openzfs · Discussions

Explore the GitHub Discussions forum for openzfsonwindows openzfs. Discuss code, ask questions & collaborate with the developer community.

github.com

 

[gea]

OpenZFS on Windows 2.3.1 rc2 ist verfügbar

Er behebt einen bisher unentdeckten Bug bei Driver Reload/Unload bei Updates.
Wenn der Installer beim Update crashed, neu installieren. Künftig wird dann kein Neustart benötigt.

Ein kleiner bug bei zpool status (id mismatch) ist bekannt.
https://github.com/openzfsonwindows/openzfs/discussions/461

 

[gea]

neuer Tag, neues Glück

rc3

• Fix BSOD running CrystalDiskMark
• Fix userland hostid mismatching
• Change mount code to only open mountmgr once

Jorgen Lundman (maintainer OpenZFS for Windows) gibt richtig Gas

 

[BobbyD]

@gea ZFS-Noob here. Ich nutze aktuell eine Caching-Software für Windows, die es mir erlaubt, für jedes (NTFS-)Volume einen RAM-Cache zu nutzen. Für eine HDD habe ich diesen auf 10 GB Write-Cache gestellt, d.h. ich kann 10 GB am Stück drauf schreiben, ohne dass der File-Copy irgendwie verlangsamt wird (in meinem Netzwerk).
Ich habe ein anderes Volume, bei dem ich ein Write-Cache von 30 GB eingestellt habe und zwar ohne Zeit-Limit. Bedeutet, dass Daten nicht auf das Volume geschrieben werden, es sei denn, der Cache ist voll oder der Rechner wird heruntergefahren.
Jetzt die eigentliche Frage, ließen sich meine Anwendungsfälle auch mit ZFS realisieren, und zwar genau so und ohne zusätzlichen Tiered-Storage und RAID-Z oder eher nicht.

 

[gea]

1. RAM Schreib Caches haben den Nachteil dass
- Inhalt ist bei Crash verloren
- verzögertes Schreiben auf HD kostet Performance
- bei konstantem Schreiben bringt es nichts

Bei ZFS kann man sync aktivieren um den Inhalt des Schreibcaches zu schützen, wirkt wie eine Batterie bei Hardwareraid.

2. Kommt auf die Software an

3. ZFS nutzt RAM als Schreibcache, Größe kann man einstellen
Default ist max 10% RAM/4GB

Man kann auch einen Hybrid Pool mit Special Vdev Mirror machen.
Das ist kein Cache sondern kleinere Daten z.B. bis 64K landen dauerhaft auf Flash, größere auf HD.
Hat nichts mit dem sonstigen Pool layout zu tun.

 

[BobbyD]

3. ZFS nutzt RAM als Schreibcache, Größe kann man einstellen
Default ist max 10% RAM/4GB

Das wäre dann in meinem Falle ZIL, der reine RAM-Cache? Und den könnte ich mit deiner Software konfigurieren?

Beitrag automatisch zusammengeführt: 07.04.2025

2. Kommt auf die Software an

Inwiefern?

Ich vermute mal meinen Fall 1 kann ich mit ZFS abhandeln, Fall 2 eher nicht.

 

[gea]

Ich kenne die Optionen deiner Cache Software nicht.

ZIL ist kein Cache. Das ist ein Bereich auf dem Pool auf dem ohne Fragmentierung ein Schreibprotokoll abgelegt wird. Ein Slog ist eine extra Platte für die schnellere Protokollierung statt ZIL.

Die Größe des rambasierten Schreib/Lesecaches kann man in den ZFS Tunings einstellen. Die Defaults sind allerdings so praxisgerecht dass es kaum lohnt. Man muss auch wissen dass die Aufgabe des RAM Schreibcaches darin liegt zu vermeiden dass kleine Datenpackete direkt geschrieben werden. Der Cache soll die sammeln dass große Packete geschrieben werden. Wenn man sich Benchmarks ansieht die unterschiedlich große Datenpackete schreiben, so sieht man dass unterhalb von ca 64K die Performance massiv einbricht. Bei großen Datenpacketen ist ein HD ZFS Pool meist schneller als das Netzwerk. Da ist ein Schreibcache wie ein Kropf (überflüssig).

 

[BobbyD]

Bei großen Datenpacketen ist ein HD ZFS Pool meist schneller als das Netzwerk.

Bei mir ist es kein Pool sondern eine einzelne HDD. Daher werden mir wohl die Defaults eher nichts bringen.

 

[gea]

Betrachten wir doch mal einen Atto Benchmark (einer einzelnen älteren 7200er Festplatte)
Ab ca 32K Datenblöcken ist man jenseits von 100 MB/s. Kleinere Datenpackete 4-16K gilt es unbedingt zu vermeiden. Wegen anderer Effekte wie Fragmentierung oder Multiuser/Multithreading hat man Probleme vor allem mit kleinen Files. Ein 4GB Schreibcache (wird auf Platte geschrieben wenn halb voll) ist daher praktisch immer ausreichend. Ein Videofile wird immer mit > 100GB/s geschrieben sofern die Platte nicht zu voll ist und man nicht gerade mehrere Nutzer hat die gleichzeitig schreiben/lesen.

Die besseren readwerte kommen vom ZFS RAM Lesecache.

 

[BobbyD]

Ein 4GB Schreibcache (wird auf Platte geschrieben wenn halb voll) ist daher praktisch immer ausreichend. Ein Videofile wird immer mit > 100GB/s geschrieben

Du meintest sicher MB/s. Bei mir ist es nun aber so, dass ich mit bis zu 10Gbit/s auf die Platte schreiben möchte, sagen wir mal 10 Gigs am Stück. Dafür brauche ich einen RAM-Cache von 10 Gigabyte, damit das ganze nicht verlangsamt wird. Und wenn das mit ZFS funktionierte, wäre das toll.
Wobei, ich werd jetzt meine riesen HDD nicht einfach umformatieren nur um das zu testen und mein anderer Anwendungsfall lässt sich vermutlich gar nicht realisieren.

 

[gea]

Klar, 100 MB/s bei 1G Netzwerk.

Mit 10G Netzwerk landet man ohne Tuning und Jumbo bei ca 500 MB/s mit SMB, mit Tuning ca 800-900 MB/s. Ein RAM Cache, besser noch ein NVMe Cache würde da schon was bringen. RAM Cache für Files bringt nur etwas bei Single User und Files < Cache sofern man bei vollem Cache nichts mehr schreibt bis der Cache auf Platte übertragen ist, recht praxisuntauglich. ZFS Schreibcache ist daher auf Datenblöcke, Multiuser und Vermeidung kleiner langsamer io ausgelegt.

Schnelle Raid Arrays aus mehreren Platten, 12G SAS oder Hybrid Pools wäre eher hilfreich also z.B. ZFS mit Special Vdev für ausgewählte schnelle Dateisysteme oder ein Storage Space und ntfs/ReFS mit aktiviertem Auto Tiering.

 

[gea]

OpenZFS 2.3.1 rc5 for Windows
Releases · openzfsonwindows/openzfs

With the help of many users evaluating and reporting issues, OpenZFS on Windows becomes better and better with very short cycles between release candidates on the way to a release

Issues · openzfsonwindows/openzfs
openzfsonwindows openzfs · Discussions

rc5

• Correct permissions of mount object (access_denied error with delete)
• Work on partitioning disks (incomplete)
• SecurityDescriptor work

rc4

• mountmgr would deadlock with Avast installed
• Change signal to userland to Windows API
• Additional mount/unmount changes.
• Fixed VSS blocker again

remainig but known problem for zpool import (pool not found)
In Windows 24H2 there seems to be some sort of partition background monitoring active that does an undo of "unknown" partition modifications. A current workaround is to use Active@disk editor (free) to modify sector 200.00 from value 45 to 15

2.3.1rc4 (usb disks) zpool import: no pool found · Issue #465 · openzfsonwindows/openzfs

 

[gea]

OpenZFS for Windows 2.3.1rc6
The best openzfs.sys on Windows ever

Releases · openzfsonwindows/openzfs

OpenZFS on Linux and FreeBSD. Contribute to openzfsonwindows/openzfs development by creating an account on GitHub.

github.com

zfs-windows-2.3.1rc6 · openzfsonwindows openzfs · Discussion #474

zfs-windows-2.3.1rc6

github.com

Only thing:
to run programs, from a ZFS pool you still need a
zfs set com.apple.mimic=ntfs poolname

 

[besterino]

to run programs, from a ZFS pool you still need a
zfs set com.apple.mimic=ntfs poolname

Huch, wo stand das denn vorher schonmal in der Docu? Ist völlig an mir vorbei gegangen…