[Sammelthread] ZFS Stammtisch

[andrer250282]

Wenn man unter Free-BSD oder Linux einen Pool mit ACL Rechten sichert und wiederherstellt, hat man nur die uid/gid als Datei ACL-Referenz. Windows (AD) Rechte erhält man erst durch ein Mapping der uid/gid Nummern z.B 101 auf eine Windows SID wie S-1-5-21-722635049-2797886035-3977363046-2147484648 bei dem die Domäne Teil ist und die daher weltweit eindeutig ist.

Okay, versteh ich. Aber ist das was tendenziell schlechtes? Also habe ich damit Probleme? Eigentlich doch nicht oder?
Wenn ich einen TrueNAS Pool exportiere und in einem anderen TrueNAS einbinde (natürlich beide müssen AD Clients sein!) dann müsste das so doch weiterlaufen oder?
Von TrueNAS exportieren und in System XY (nicht-TrueNAS) wird natürlich nicht laufen, das ist klar

 

[gea]

Okay, versteh ich. Aber ist das was tendenziell schlechtes? Also habe ich damit Probleme? Eigentlich doch nicht oder?
Wenn ich einen TrueNAS Pool exportiere und in einem anderen TrueNAS einbinde (natürlich beide müssen AD Clients sein!) dann müsste das so doch weiterlaufen oder?
Von TrueNAS exportieren und in System XY (nicht-TrueNAS) wird natürlich nicht laufen, das ist klar

Nicht ganz:
Unter Windows und Solaris/Illumos sind die ACL Referenzen in den Dateien (SID) gespeichert. Da muss man nichts beachten. Da reicht es in der Tat, dass die jeweiligen Rechner AD Mitglied sind um die SID aufzulösen.

Linux und Free-BSD können SID nicht, die verstehen ausschließlich uid/ gid als Dateireferenz und es ist eine Instanz zum übersetzen notwendig und die heißt SAMBA.

Damit da Rechte erhalten bleiben, muss SAMBA ein mapping durchführen, das quasi "faken damit eine uid 1234 auf dem einen Rechner auf die gleiche SID zeigt wie uid 1234 auf dem anderen. Da ist also die exakte SAMBA Konfiguration der Schlüssel. Einfach so gehts da nicht.

 

[sch4kal]

Diese zfs rewrite Funktionalität klingt sehr interessant 🧐

OpenZFS 2.3.4 Brings Linux 6.16 Kernel Compatibility, "zfs rewrite" Command - Phoronix

www.phoronix.com

 

[gea]

OmniOS r151054r (2025-09-04)

Weekly release for w/c 1st of September 2025

Release Notes

illumos based server OS with ZFS, Bhyve, DTrace, Crossbow, SMF and Linux zone support

omnios.org

This update requires a reboot

Changes

• SMB failed to authenticate to Windows Server 2025.
• Systems which map the linear framebuffer above 32-bits caused dboot tooverwrite arbitrary memory, often resulting in a system which did not boot.
• The rge driver could access device statistics before the chip was set up.
• The rge driver would mistakenly bind to a Realtek BMC device.

 

[Mac_leod]

hi,
ich würde gern meine truenas vm mit mehr Speicher versorgen, habe aber nur noch 2x PCIe 2.0 1x Slots auf dem Board.
Könnt ihr mir einen Raidcontroller empfehlen, den ich im esx7 per pathtrough durchreichen kann?
4 Sata Platten möchte ich verwenden.
Proxmox kompatibel sollte er auch sein, denn ich möchte den hypervisor tauschen.

hmm, maximal 500 mb/s sind echt wenig für einen 2.0 1x Slot, ich bin am überlegen ob ich das Board tauschen sollte.

 

[Trambahner]

Eher 400 bis max. 450. Denn du musst noch den Protokolloverhead abziehen . B450 ist halt extrem dünn was der Chipsatz kann.

Sprich 2 Sata HDDs kannst dranhängen, aber selbst da bist schon über der Grenze; moderne Sata-Disks haben teilw. bis knapp an die 300 mb/s sequentiell auf den äusseren Spuren. Ist es mehr Random I/O, dann reichts natürlich weit weit aus.
> Kann man für HDDs machen, ist aber nicht ideal.

Was hast Du im x16 Grafikslot für Controller oder SSDs drin? Und was für ne CPU?

 

[pwnbert]

Könnt ihr mir einen Raidcontroller empfehlen, den ich im esx7 per pathtrough durchreichen kann?

HBA oder Raidcontroller?
Inspur 9207-8i
Bekommst mit 8x SATA-Kabel um knappe 30€ inkl. Versand auf ebay (aus China) (schon mit IT Firmware, also HBA). Der Kühlkörper ist winzig und bekommt gefühlt 70°C, macht aber nix... kann PCIe 3.0, also auch auf PCIe 3.0x1 irgendwo halbwegs sinnvoll verwendbar. Stromverbrauch so lala, 8W +/-...
P/L der Hit.

Moderner gibts den 9400-16i zum vernünftigen Preis (Lenovo, ebay, auch aus China, ca.100€ mit SATA Kabeln), dicker Kühlkörper, recht sparsam (so 5-6W hätte ich gesagt), die nvme Funktion bekommt man privat damit wsl. eher nicht zum laufen (braucht spezielle Kabel, recht selten usw.).

 

[Mac_leod]

Natürlich ist ein HBA gemeint, sorry.
CPU ist ein Ryzen 7 5700G.
Auf dem 16x Slot steckt schon ein HBA der 2 SSDs und 2 HDDs an die Truenas VM durchreicht.
Auf dem zweiten 16er Slot steck eine 10G Karte.
Im NVMe Slot steckt eine optane Disk, für die zfs Cache Thematik.

Ich habe also nur noch die Wahl zwischen 2 Slots mit jeweils PCIe 2.0 1x.

Der zweite HBA, soll einfach nur ein großes Grab für Fotos werden, um Google und Apple Medien zu spiegeln.
Dafür sollte die Performance eigentlich reichen.

 

[Trambahner]

Ähm, seh ich das richtig das das ist ein Raidcontroller mit Cache und Akku lt Foto? Das ist schlecht für ZFS. Oder hast Du da irgendwie ne IT-Firmware drauf die den Cache umgeht?
Ich hoffe, Du reichst da keine vom Raidcontroller selber gebildeten raid-Volumes durch; das wäre völlig kontraproduktiv für ZFS.

Und warum sind da nur 2 SSDs und 2 HDDs dran? Das wirkt auf mich wie Verschwendung von Lanes.

Ein 9400-16i wie von @pwnbert vorgeschlagen wäre was: 8 Lanes gen3, mit dem Ding bekommst Du doch 7.5 Gbyte/s durch; das langt für jede Menge Sata-SSDs und HDDs.
Ein 9400-16i liegt bei mir im Schrank; der spielt derzeit Reservecontroller (wird nicht verkauft) wenn ich doch mal mehr Sata-Ports brauche.
Nen alten 9211 hab ich kürzlich erst verloren (warum auch immer rennt der nicht mehr). 😵 machs gut, alter umgeflashter M1015, mit dir hab ich ZFS, ESXI und Passthrough entdeckt.

Der zweite x16 ist eh nur ein x4 x gen2 => das passt für die 10G Karte.
Die Optane ist ne P1600 als Slog, oder? (Btw, als Hinweis, das ist funktional kein Cache).

 

[Mac_leod]

Ich such gerade weiter vorn den Beitrag von mir, wo es um genau den Controller ging, der mir für zfs empfohlen wurde.
IT Firmware ist drauf.
Ich reiche den kompletten Controller an die TruenasVM durch.
Diese erkennt die 4 Platten einzeln, woraus dann 2x ein RAIDZ1 gebaut wird.
Ein langsames und ein schnelles Tier.
SLOG und auch der Cache liegt auf der Optane.

Den aktuellen Controller zu tauschen bzw. zu prüfen, ob der mit den passenden Fan-out Kabeln pro minisas Port dann 4 SATA Disks anstatt nur 2 betreiben kann, auf die Idee bin ich noch gar nicht gekommen.
Im besten Fall müsste ich nur Kabel bestellen.
Das ist natürlich die bisher beste Idee!

Im ESX wird die Karte so angegeben:
"Avago (LSI) Logic Fusion-MPT 6GSAS SAS2308_2 PCI-Express"

 

[AliManali]

Kabel würde ich in der Bucht bestellen. Bzw. gleich nen HBA samt Kabel, die kriegst Du um die 35-50$. Das kosten bei uns die Kabel alleine schon um den Dreh, wenn nicht mehr.

 

[Mac_leod]

Da der verbaute Controller "SAS2308" intern PCIe 2.0 8x spricht, reichen wohl die Kabel denke ich.
Wenn ich das richtig rechne sind 4 GB/s theoretisch drin, was ca 3,5 GB/s sind.
Da werden 2 SATA SSDs und 6 HDDs gut funktionieren.

 

[pwnbert]

SAS2308 sollte PCIe 3.0 sein, SAS2008 war PCIe 2.0, wenn ich mich recht erinnere. Mitunter ein Grund, warum der Inspur 9207-8i ganz interessant ist, irgendwo fliegt son online-excel rum mit den Daten der verschiedenen LSI Chips.

Beitrag automatisch zusammengeführt: 15.09.2025

Nachtrag:
Zeit für den lustigen PCIe x16 auf 2x M.2 + PCIe x8 (x16 mech.) Riser-Adapter... da die Optane drauf, den HBA rein (was auch immer) und die NIC in den PCIe x4 Slot und gut?
5700G kann x8x4x4, das Board sollte das imho können, schau mal ins Bios.

Edit:
Achso, die Optane sitzt am Board...?
Magst du die neuen HDDs der gleichen VM geben wie die, die am vorhandenen HBA sind? Was ist das genau (wegen dem angesprochenen Akku)?

 

[Trambahner]

Ja der 2308 ist PCI 3.

Aber vorsicht, wenn Mac_Leon da ne APU bis Ryzen 3x00G drauf hat, dann hat die nur 8 GPU-Lanes; nicht 16. Dann is nix groß mit Bifurcation.
Nur die 4000G und 5000G haben 16 Lanes gen3 an GPU-Sockel, die man auch x8x8 oder x8x4x4 aufteilen kann.

 

[pwnbert]

CPU ist ein Ryzen 7 5700G.

miep

 

[Trambahner]

Punkt für Dich, hab ich grad überlesen. Da geht der x8x4x4 natürlich. Hab mich da etwas von B450 blenden lassen, die Cezanne liefen ursprünglich ja erst ab B550.

 

[pwnbert]

Ein stinknormaler 2308 sollte eigentlich für 8 SATA Ports reichen per Billig-Kabel.
Kein Plan was er da genau hat.
Also sowas wie diese Inspur 9207-8i (kann natürlich was anders auch sein, die Inspur gibts halt spottbillig mit Gratis-Versand, IT Firmware und Kabel auf ebay zu kaufen beim Chinamann, für unter 30€ bist dabei...).

Daher versteh ich das Problem nicht so ganz.

Beitrag automatisch zusammengeführt: 15.09.2025

Falls er 1x 4 SATA in VM1 braucht und 1x 4 SATA in VM2 oder Host, also zwingend 2 Controller, so könnte er aber per 2x M.2/PCIe8 Riser nen M.2 ASM1166 verbauen, ist zwar meh, aber wird schon laufen.

 

[Mac_leod]

Nein alle Platten werden immer an die selbe VM durchgereicht.
Also bestell ich mal die passenden Kabel, minis auf 4x sata pro Kabel. Muss man da auf was achten?

 

[layerbreak]

Ich bräuchte mal Hilfe.

Bin gerade dabei mein Datengrab-Server auf einen neuen Server die ganzen Daten rüber zu schaufeln.
Bisher war im Alten eine Intel 2x 1G Netzwerkkarte drinne, die ich vor Urzeiten aggregiert hatte. Da läuft es bisher auch geschmeidig.

Nur muss ich jetzt so einige Terrabyte Daten übertragen und habe hierzu eine 10G Intel Netzwerkkarte eingebaut. Das OmniOS erkennt die Karte auch gleich und zeigt sie mir als ixbe0 und igbe1 an. Mit napp-it pro habe ich ixbe1 auf DHCP gestellt und Diese hat jetzt auch eine IP.
So weit so gut.

Auf der iKVM Console habe ich jetzt ein zfs send/receive angestoßen und da teilt mir OmniOS mit, dass keine Verbindung bestehen würde.
Erst als ich die alte 2x1G IntelNetzwerkkarte wieder verbunden hatte ging sofort der Übertrag.
Daher vermute ich jetzt, dass ich beim Anschließen von der 10G Karte einen Fehler gemacht habe. Komme aber leider nicht darauf, was ich konfigurieren muss, damit dieser Netzpfad genommen wird.

Kann mir da jemand bitte weiterhelfen, was ich wo in welcher Datei ändern muss, damit alles nur noch über die 10G geht.
Btw, napp-it erreiche ich über den Browser, wenn ich die IP der 10G Karte eingebe.

 

[gea]

Ist Jumbo aktiviert (macht gerne Probleme, dann auf 1500 stellen)?
Haben 1 und 10G eine ip im gleichen Subnet (dann 1G deaktivieren)?

 

[layerbreak]

Ist Jumbo aktiviert (macht gerne Probleme, dann auf 1500 stellen)?
Haben 1 und 10G eine ip im gleichen Subnet (dann 1G deaktivieren)?

Du meinst MTU? Ja, steht bereits auf 1500
Die aggr 1G haben ip 192.168.2.210/static, die 10G 192.168.2.53/dhcp- also ja ist gleiches Supbnetz.

Was meinst mit deaktivieren?
Ich hatte beide Netzwerkkabel ausgesteckt und beide 1G standen im State auf down. State kann ich mit deinem napp-it auf disable oder delete_if umschalten.
aggr1 kann ich löschen - meintest das?

 

[gea]

Auch wenn man das Kabel aussteckt, behält es es die ip. Könnte eventuell Pobleme bereiten, besser Link disablen oder löschen.

 

[layerbreak]

@gea vielen Dank für deine erneute schnelle Hilfe.

Für die Nachwelt:
Kabel abstecken und Neustart hat nicht geholfen.
e1000g0 und e1000g1 über STATE delete_if ging nicht - ipadm sagt: Interface does nicht exist.
Also hab ich die Aggregation mal zuerst gelöscht und das ging, danach waren die beiden 1G Kartenanschlüsse im STATE unknown und danach funktionierte der 10G Anschluss ohne Serverneustart.

Jetzt flutscht das zfs send/receive mit 10G. Bin mal gespannt, wie lange er für ein FS mit 440G benötigt.

 

[gea]

Gilt eigentlich generell.
Zwei Netzwerkkarten die beide eine ip aus dem gleichen Subnet haben, ist immer problematisch.
Daher bei zwei Karten jeweils eine ip aus einem anderen Subnet einstellen.