Aktuelles
  • Hallo Gast!
    Wir haben wieder unsere jährliche Umfrage zu dem IT-Kaufverhalten und den Meinungen unserer Leser zu aktuellen Trends. Als Gewinn wird dieses Mal unter allen Teilnehmern ein MSI MEG Aegis TI5 im Wert von 4.000 Euro verlost. Über eine Teilnahme würden wir uns sehr freuen!

[Sammelthread] ZFS Stammtisch

Bzzz

Enthusiast
Mitglied seit
13.06.2006
Beiträge
3.519
Ort
Würzburg
Der Server läuft 24h.

Dann machen wirs kurz: Kauf dir zwei zusätzliche, große Platten für nen Mirror und zieh komplett um.
Den bisherigen Bestand verschepperst du meistbietend, und wenn das Ding wieder vollläuft, repeat. Mehrperformance durch größere vdevs ist dir wegen dem SSD-Pool egal, und der Mehrverbrauch frisst dir das günstige(re) Nachkaufen kleinerer Platten auf eher kurze Zeit wieder auf. Irgendwelche Z1-Miror-Kombis sind imho nicht zielführend in Sachen Ausfallsicherheit und auch nicht bei der effizienten Nutzung des Platzes.

Angebot: Da ich eh gerade bei iuppiter bestellen möchte, u.a. wegen meinem vermurksten Pool, kannst du dich gerne dranhängen und ich schick dir deine Einzelplatten zu. Spart mind. 10€ Porto und du hast auch Zugriff auf den nicht bei eBay gelisteten Bestand, aktuelle Liste schick ich gerne per PN oder du meldest dich dort einfach selbst an.

Noch eine Frage: Gibt es Probleme, wenn die zwei HDDs auf verschiedenen Controller liegen?
Ist ZFS, außer in virtualisierten Umgebungen mit Durchreichen des ganzen Controllers, völlig wurst.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

morumbinas

Enthusiast
Mitglied seit
01.12.2007
Beiträge
403
Vielen lieben Dank! Habe ich es richtig verstanden, dass ich dann ein RAID-Z1 mit 3x 4TB einsetzten soll (also mit der bereits vorhanden 4TB HDD + 2x Neukauf 4TB)?

Gruß
 

Bzzz

Enthusiast
Mitglied seit
13.06.2006
Beiträge
3.519
Ort
Würzburg
Das ginge auch, dann laufen halt drei Platten. In dem Fall könntest du auch reihum die Platten replacen und musst nicht alles neu erstellen, dauert aber länger und du brauchst genug Controllerplätze.

Ich dachte auch an 8TB (o.ä.) im Mirror.
 

morumbinas

Enthusiast
Mitglied seit
01.12.2007
Beiträge
403
Das ginge auch, dann laufen halt drei Platten. In dem Fall könntest du auch reihum die Platten replacen und musst nicht alles neu erstellen, dauert aber länger und du brauchst genug Controllerplätze.

Ich dachte auch an 8TB (o.ä.) im Mirror.

Ok, aber 2x 8TB fallen leider preislich recht ins Gewicht im Vergleich zu 3x 4TB.

Mit replacen meinst du das ich eine 2TB von meine RAID-Z1 Pool abziehe, dann die 4TB einsteckeund warte bis rebuild fertig und dies dann so lange wiederholen bis der Pool mit 4TB komplett ist?
 

asche77

Experte
Mitglied seit
22.07.2013
Beiträge
508
Ggfs nimm WD White aus den MyBook oder MyCloud externen Gehäusen. Etwas lauter ggfs, gehen aber auch.

Und 3x2tb sowie 1x4tb kannst Du ja auch verkaufen?
 

BazzT

Experte
Mitglied seit
16.06.2014
Beiträge
97
Basti, vergiss Partitionen - Du machst normalerweise einen zpool über alle Disks und erstellst dann ZFS Datasets statt Partitionen.
Ja ich weiß das es nicht empfohlen wird, aber im Privatgebrauch finde ich es schwachsinnig einen Mirror fürs OS und einen als Special Device für den Pool zu verwenden (6ssds?!)
Und die kleinen 250GB SSDs haben mehr als ausreichend Speicher, ich hätte noch viel knauseriger sein können mit den Special Devices, da gehen alle Daten bis 128kB drauf und die Recordsize ist auf 256kB eingestellt, wäre noch viel schöner könnte man das verstellen und die SSDs noch mehr für die kleinen Daten nutzen, denn die sind gerade richtig fix (y)

Hier mal Auszüge aus dem nun laufenden System:
1630883823256.png

Absolut unproblematisch als Fileserver und mit 2 Win10 VMs.
1630884085753.png
 

Bzzz

Enthusiast
Mitglied seit
13.06.2006
Beiträge
3.519
Ort
Würzburg
Öh, ja, ich darf dran erinnern dass momentan mein großer Pool zerschossen ist, weil Solaris wegen einem kaputtgenerierten Label eine scheinbar doch sehr wichtige Partition nicht mehr als Teil des Pools anerkennen will.
Je nachdem wie die Hardwarekäufe diese Woche ausgehen, zieh ich wohl mit größerer Hardware auf Illumos um. Mit verschwenderischer SSD-Nutzung, denn bei heutigen Preisen wiegt auch ein unnötiger Mirror von kleinen Enterpriselaufwerken kaum Zeit und Nerven auf, die diese bis Schße seit dem letzten erfolgreichen Runterfahren nun schon gekostet hat. So schade das mit dem einstaubenden Flash auch ist, aber das passiert halt nicht nochmal.
 

Knogle

Experte
Mitglied seit
03.05.2014
Beiträge
2.500
Ort
Aix-la-Chapelle
Was jemand wie das hier zu deuten ist? :)

Code:
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 65 10 00 00 01 00 00 00 length 131072 SMID 637 terminated ioc 804b loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 63 10 00 00 01 00 00 00 length 131072 SMID 180 terminated ioc 804b (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 65 10 00 00 01 00 00 00
loginfo 31120310 scsi 0 state c xfer 0
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0):     (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 61 10 00 00 01 00 00 00 length 131072 SMID 313 terminated ioc 804b Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 63 10 00 00 01 00 00 00
loginfo 31120310 scsi 0 state c xfer 0
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 67 10 00 00 01 00 00 00 length 131072 SMID 258 terminated ioc 804b (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 61 10 00 00 01 00 00 00
loginfo 31120310 scsi 0 state c xfer 0
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 5e 10 00 00 01 00 00 00 length 131072 SMID 242 terminated ioc 804b (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 67 10 00 00 01 00 00 00
loginfo 31120310 scsi 0 state c xfer 0
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 60 10 00 00 01 00 00 00 length 131072 SMID 251 terminated ioc 804b (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 5e 10 00 00 01 00 00 00
loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 5f 10 00 00 01 00 00 00 length 131072 SMID 648 terminated ioc 804b (da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 60 10 00 00 01 00 00 00
loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 66 10 00 00 01 00 00 00 length 131072 SMID 487 terminated ioc 804b (da8:mps0:0:16:0): CAM status: CCB request completed with an error
loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 64 10 00 00 01 00 00 00 length 131072 SMID 979 terminated ioc 804b (da8:mps0:0:loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 62 10 00 00 01 00 00 00 length 131072 SMID 724 terminated ioc 804b 16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 5f 10 00 00 01 00 00 00
loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 6b 10 00 00 01 00 00 00 length 131072 SMID 972 terminated ioc 804b loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 6a 10 00 00 01 00 00 00 length 131072 SMID 618 terminated ioc 804b (da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 66 10 00 00 01 00 00 00
loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 69 10 00 00 01 00 00 00 length 131072 SMID 147 terminated ioc 804b loginfo 31120310 scsi 0 state c xfer 0
    (da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 68 10 00 00 01 00 00 00 length 131072 SMID 193 terminated ioc 804b loginfo 31120310 scsi 0 state c xfer 0
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 64 10 00 00 01 00 00 00
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 62 10 00 00 01 00 00 00
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 6b 10 00 00 01 00 00 00
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 6a 10 00 00 01 00 00 00
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 69 10 00 00 01 00 00 00
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 68 10 00 00 01 00 00 00
(da8:mps0:0:16:0): CAM status: CCB request completed with an error
(da8:mps0:0:16:0): Retrying command
(da8:mps0:0:16:0): READ(16). CDB: 88 00 00 00 00 01 0d bb 6b 10 00 00 01 00 00 00
(da8:mps0:0:16:0): CAM status: SCSI Status Error
(da8:mps0:0:16:0): SCSI status: Check Condition
(da8:mps0:0:16:0): SCSI sense: UNIT ATTENTION asc:29,0 (Power on, reset, or bus device reset occurred)
(da8:mps0:0:16:0): Retrying command (per sense data)

Code:
root@freenas[~]# zpool status
  pool: data
 state: ONLINE
  scan: scrub repaired 0 in 0 days 06:32:04 with 0 errors on Sun Sep  5 06:32:05 2021
config:

    NAME                                            STATE     READ WRITE CKSUM
    data                                            ONLINE       0     0     0
      mirror-0                                      ONLINE       0     0     0
        gptid/3461ab67-d762-11eb-97aa-195ba518bfc5  ONLINE       0     0     0
        gptid/3835f0f0-d762-11eb-97aa-195ba518bfc5  ONLINE       0     0     0
      mirror-1                                      ONLINE       0     0     0
        gptid/49a89e55-d762-11eb-97aa-195ba518bfc5  ONLINE       0     0     0
        gptid/52af61ee-d762-11eb-97aa-195ba518bfc5  ONLINE       0     0     0
      mirror-2                                      ONLINE       0     0     0
        gptid/5a6a9134-d762-11eb-97aa-195ba518bfc5  ONLINE       0     0     0
        gptid/5fe7db8a-d762-11eb-97aa-195ba518bfc5  ONLINE       0     0     0
      mirror-3                                      ONLINE       0     0     0
        gptid/56890935-d762-11eb-97aa-195ba518bfc5  ONLINE       0     0     0
        gptid/5f9334ba-d762-11eb-97aa-195ba518bfc5  ONLINE       0     0     0
    spares
      da2p2                                         AVAIL  

errors: No known data errors

  pool: freenas-boot
 state: ONLINE
  scan: scrub repaired 0 in 0 days 00:00:05 with 0 errors on Mon Sep  6 03:45:05 2021
config:

    NAME        STATE     READ WRITE CKSUM
    freenas-boot  ONLINE       0     0     0
      vtbd0p2   ONLINE       0     0     0

errors: No known data errors

SMART Werte von /dev/da8

Code:
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   216   162   021    Pre-fail  Always       -       4191
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       258
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   094   094   000    Old_age   Always       -       5060
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       258
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       256
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       65
194 Temperature_Celsius     0x0022   115   097   000    Old_age   Always       -       35
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%      5058         -
# 2  Extended offline    Completed without error       00%      5034         -
# 3  Extended offline    Completed without error       00%      5010         -
# 4  Extended offline    Completed without error       00%      4988         -
# 5  Extended offline    Completed without error       00%      4962         -
# 6  Extended offline    Completed without error       00%      4938         -
# 7  Extended offline    Completed without error       00%      4914         -
# 8  Extended offline    Completed without error       00%      4890         -
# 9  Extended offline    Completed without error       00%      4866         -
#10  Extended offline    Completed without error       00%      4843         -
#11  Extended offline    Completed without error       00%      4819         -
#12  Extended offline    Completed without error       00%      4794         -
#13  Extended offline    Completed without error       00%      4771         -
#14  Extended offline    Completed without error       00%      4747         -
#15  Extended offline    Completed without error       00%      4723         -
#16  Extended offline    Completed without error       00%      4699         -
#17  Extended offline    Interrupted (host reset)      10%      4673         -
#18  Extended offline    Completed without error       00%      4651         -
#19  Extended offline    Completed without error       00%      4627         -
#20  Extended offline    Completed without error       00%      4603         -
#21  Extended offline    Completed without error       00%      4579         -
 
Zuletzt bearbeitet:

AliManali

cpt sunday flyer
Mitglied seit
07.03.2012
Beiträge
3.021
Hi

Angenommen mein Freund hat ein xigmanas mit einer Daten vmdk. Da drauf sollen per SMB Daten zwischen unsicheren Netzwerken hin und her geschoben werden. Quasi verlängerter USB Stick zwischen LAN, DMZ und Gästelan.

Die Daten da sind also ein per Boardmittel angehängter ZFS Storage; eine vmdk direkt auf dem ESXi.

Dazu habe ich ein paar Fragen:

  • kann man die Daten verschlüsseln, dass die wenigstens offline nicht mehr ausgelesen werden können? Also bei Verlust der SSD...
  • wenn die Storage Platte verschlüsselt wäre: kann man wenn was gelöscht worden wäre, und dann man wieder online gehen könnte auf dem Storage, die gelöschten Daten wiederherstellen?
  • Kann man den gesammten napp-it storage verschlüsseln? Wenn ja: Wie sieht das denn aus? Muss man beim Start vom Filer ein Passwort für die Platte eingeben, oder wie läuft das?
Danke
 
Zuletzt bearbeitet:

Luckysh0t

Enthusiast
Mitglied seit
08.11.2009
Beiträge
1.227
Ort
Unbekannt verzogen
Unter der Prämise dass ich es richtig verstanden habe (die zfs Platte ist in echt eine vmdk Datei)
kann man die Daten verschlüsseln, dass die wenigstens offline nicht mehr ausgelesen werden können? Also bei Verlust der SSD..
Mit der zfs encryption kannst du einzelne Datasets nach belieben Verschlüsseln - egal ob die zugrunde liegende SSD nun eine vmdk oder eine reale SSD ist.
  • wenn die Storage Platte verschlüsselt wäre: kann man wenn was gelöscht worden wäre, und dann man wieder online gehen könnte auf dem Storage, die gelöschten Daten wiederherstellen?
Also wenn du innerhalb des Datasets was gelöscht hast, helfen auch hier regelmäßige zfs Snapshots.
  • Kann man den gesammten napp-it storage verschlüsseln? Wenn ja: Wie sieht das denn aus? Muss man beim Start vom Filer ein Passwort für die Platte eingeben, oder wie läuft das?
Also du kannst in napp-it jedes zfs dataset einzeln verschlüsseln - hast du nur eines auf einem Pool dann ist das halt so.

Also automatisch kommt keine Abfrage nach dem PW.

Kennwort kannst du dann per Web gui eingeben oder über Shell - wobei ich gemerkt habe, dass ein mix Betrieb nicht immer gut klappt, weil napp it davon dann nicht immer was mit bekommt ( so zumindest bei mir..)

Oder über die Keydatei - aber den Mechanismus nutze ich nicht.
 

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.477
Mit replacen meinst du das ich eine 2TB von meine RAID-Z1 Pool abziehe, dann die 4TB einsteckeund warte bis rebuild fertig und dies dann so lange wiederholen bis der Pool mit 4TB komplett ist?
Wenn man Platten entfernt, leidet die Redundanz. Besser die neue Platte zusätzlich anstecken und Disk > Replace.
Beitrag automatisch zusammengeführt:

Kennwort kannst du dann per Web gui eingeben oder über Shell - wobei ich gemerkt habe, dass ein mix Betrieb nicht immer gut klappt, weil napp it davon dann nicht immer was mit bekommt ( so zumindest bei mir..)

Sollte kein Problem sein. Napp-it interagiert mit dem System auch über Shellkommandos und speichert Systemdaten nicht sondern liest die bei jedem Menüaufruf die aktuellen Einstellungen ein. Lediglich bei aktiviertem Acceleration werden Systemdaten im Hintergrund fortlaufend eingelesen unz zwischengespeichert um Wartezeiten zu vermeiden.

Ansonsten gibts bei napp-it folgende Möglichkeiten des lock/unlock (zusätzlich zu Konsolemöglichkeiten)
- prompt (Interaktive Eingabe)
- Keydatei (eine Keydatei oder gesplittet auf zwei an unterschiedlichen Orten)
- http(s) Keysever
- SMB lock/unlock (überwachter SMB Ordner)
- auto beim Start des Rechners (Keyserver oder Datei)
Beitrag automatisch zusammengeführt:

Es gibt ein neues OmniOS service release

mit Support für Windows 2022/ Windows 11
 
Zuletzt bearbeitet:

Luckysh0t

Enthusiast
Mitglied seit
08.11.2009
Beiträge
1.227
Ort
Unbekannt verzogen
Gude,

ich bin gerade dabei einen replication job von meinem VM Pool auf meinem HDD Pool einzurichten (gleicher Host) - soweit so gut, dass funktiert.
Da der VM Pool verschlüsselt ist, hätte ich auch gerne ein verschlüsseltes replica - und das klappt nicht. Ich gebe in napp-it als zfs send option -w oder --raw an.
Allerdings bricht dann der Job sofort ab.

Wo liegt hier der Fehler ?

OS: Solaris 11.4
Napp-it 19.12b.12 free/home
 

AnaxImperator

Neuling
Mitglied seit
08.08.2021
Beiträge
13
hallo. bin neu hier. fange klein an @home

habe einen hypervisor(ubuntu). virtualisiere mit kvm. virtualisiert wird windows 2022 datacenter als DC und fileserver.
der hypervisor ist gleichzeitig ein zfs storage server. der storage(volume) wird über virtuelles iscsi beim fileserver eingebunden.

1 ssd system
4 ssds storage pool raidz2

da die ssds vom pool sehr klein sind und ich keine anschlüsse mehr habe...

überlegt habe ich mir GlusterFS. Nur müsste ich ja dann um ausfallsicherheit zu haben mindestens 2 server noch dazu packen zwischen denen sowas wie raid5 statt findet.
also wieder verworfen. und hab nur 1 zusätzlichen.

getestet in VMs habe ich... die entfernten ssds einzeln über iscsi als 2. gruppe zu dem pool hinzufügen. also

pool1 =
gruppe 1 -> raidz2 4 disks
gruppe 2 -> raidz2 4 disks

pro gruppe können 2 ausfallen. und der pool1 ist erweitert.

ist das ne gute oder schlechte idee?
gibts besseres?
was wäre die beste idee einen 2. rechner/server dazu zu packen. mit einem eigenen pool und in den 1. pool zu integrieren?
 

Simplizist

Enthusiast
Mitglied seit
17.11.2005
Beiträge
1.294
Ort
desert... with some freakin' penguins
Habe festgestellt, dass ich seit Update napp-it 18 -> 21 keine Mails mehr bekomme, SMTP-Test schlägt auch fehl.

Edit: OmniOS Update und Reboot haben's gefixed
Finde in napp-it 21 den Menüpunkt TLS-Mail nicht mehr?
 
Zuletzt bearbeitet:

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.477
Gude,

ich bin gerade dabei einen replication job von meinem VM Pool auf meinem HDD Pool einzurichten (gleicher Host) - soweit so gut, dass funktiert.
Da der VM Pool verschlüsselt ist, hätte ich auch gerne ein verschlüsseltes replica - und das klappt nicht. Ich gebe in napp-it als zfs send option -w oder --raw an.
Allerdings bricht dann der Job sofort ab.

Wo liegt hier der Fehler ?

OS: Solaris 11.4
Napp-it 19.12b.12 free/home

Solaris kennt kein raw send. Das geht nur mit dem Solaris Fork OmniOS und Open-ZFS.
 

besterino

Urgestein
Mitglied seit
31.05.2010
Beiträge
5.607
Ort
Wo mein Daddel-PC steht
Hat evtl. mal jemand von Euch versucht, eine Consumer NVMe m.2 SSD unter ESXi an ein echtes Solaris (11.3 oder 11.4) per PCIe-Passthrough durchzureichen?

Bei mir bootet die Solaris-VM dann reproduzierbar nicht mehr (hängt ewig bei "Probing for device nodes ...").

Getestet sowohl mit einer PCIe 3 SSD (Adata SX8200 2TB) als auch mit einer PCIe 4 SSD (Samsung 980 Pro 1TB), sowohl jeweils einzeln als auch in einem 4er Verbund (in einer dieser 4x m.2 Steckkarten).

Getestet sowohl in einer VM mit bereits installiertem Solaris als auch versucht, ein Solaris frisch zu installieren (scheitert immer beim Bootvorgang).

Gegentest: In einer Microsoft Server 2019 VM (Hyper-V Core) werden die übrigens problemlos erkannt und können problemlos benutzt werden (selbst wenn ich alle 8 NVMe Drives durchreiche). An ESXi liegt's also eher nicht.

(Ich sach' mal: was'n Glück, dass ich mir noch keine Solaris-Lizenz für RDMA mit der ConnectX-4 für schnelles NVME-Storage übers Netz gekauft hab - das wäre ja schön in die Hose gegangen...)


ESXi_HypV_NVME_Passth.jpg
 
Zuletzt bearbeitet:

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.477
Ist die Device in der passthrough.map von ESXi eingetragen?
Das musste ich auch bei Optane Datacenter NVMe machen.
 

besterino

Urgestein
Mitglied seit
31.05.2010
Beiträge
5.607
Ort
Wo mein Daddel-PC steht
Öh, nein, die .map habe ich nicht manuell angepasst zu den SSDs. Aber mit Hyper-V geht's ja problemlos?

Was hast Du denn für Einträge in der passthru.map vorgenommen?
 

besterino

Urgestein
Mitglied seit
31.05.2010
Beiträge
5.607
Ort
Wo mein Daddel-PC steht
Merci, probiere ich die Tage mal aus!
 

besterino

Urgestein
Mitglied seit
31.05.2010
Beiträge
5.607
Ort
Wo mein Daddel-PC steht
Update: das Setzen von d3d0 für die SSDs hilft leider nicht. Hätte mich auch gewundert, da es ja mit Hyper-V problemlos läuft.

Vielleicht liegt's ja an der konkreten Kombination AMD-Plattform + Bifurcation (jeweils 4x4) + ESXi + Solaris. Hab aber wenig Lust, da jetzt tiefer einzusteigen - ich probiere ggf. noch mal weitere OS. Vielleicht finde ich ja eins mit Support sowohl für ZFS, die ConnectX als auch NVME-PCIe-Passthrough.
 

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.477
Oder die NVMe unter ESXi nutzen und per vdisk bereitstellen. Bringt Flexibilität was Partitionen angeht und kostet normalerweise kaum Performance. ZFS Trim gibts aber nicht und ESXi kann kein Trim. Das könnte etwas Performanance vor allem bei Desktop NVMe kosten.
 

besterino

Urgestein
Mitglied seit
31.05.2010
Beiträge
5.607
Ort
Wo mein Daddel-PC steht
Also für mich ist das alles etwas ernüchternd.

Hab mal TrueNAS installiert - da läuft zumindest gerade mal die ConnectX-4 nach Setzen ein paar loader Tunables - allerdings schmeisst DMESG da immer noch lustige Fehlermeldungen. Vertrauenserweckend für einen Filer ist das irgendwie nicht. Und ob da RDMA laufen wird... naja.

Code:
# dmesg | grep mlx
mlx5en: Mellanox Ethernet driver 3.5.2 (September 2019)
mlx5_core0: <mlx5_core> mem 0xe7800000-0xe79fffff at device 0.0 on pci5
mlx5_core0: ERR: mlx5_init_once:939:(pid 0): Unable to find vendor specific capabilities
mlx5_core0: WARN: mlx5_fwdump_prep:76:(pid 0): Failed to find vendor-specific capability, error 2

Immerhin sind die NVME-Disks in TrueNAS da, da spricht wirklich doch alles für ein "Solaris-Thema" mit den NVME-SSDs:
TrueNAS_NVME.jpg
Hab jetzt noch keinen Pool gebaut, aber bin da grds. zuversichtlich. Mich nervt aber schon kollossal, dass das mit Solaris (bei mir? noch?) nicht will.

Das Traurige ist, dass das alles mit Microsoft total easy geht. Aber wer überlässt MS schon seine Daten...?
 
Zuletzt bearbeitet:

AliManali

cpt sunday flyer
Mitglied seit
07.03.2012
Beiträge
3.021
Hi

Kann man da auf OmniOS/Solarish/napp-it Anwendungen installieren? Gibt es da einen Paketmanager? Allerdings hat mein napp-it kein Internet.

z.B. nano, XServer, baobab, oder so was.
 

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.477
OmniOS hat von Solaris den ips Packetmanager geerbt
Die OmniOS Repositories (pkg install "Applikation"). Die gibts je für jede OmniOS stable und bloody Version

weiteres ips Repository für OmniOS und Solaris:

Deneben gibt es pksrc:, https://napp-it.org/downloads/binaries.html mit den Anwendungen (Q4 ist immer LTS):


Dazu folgender netter Blog

Auch Oracle hat ein Repository
Das ist aber nur für zahlende Kunden zugänglich (ca 1000 Euro/Jahr)

Grafische Oberfläche:
Könnte man aus pksrc installieren. Ist aber mit etwas Aufwand verbunden.
Da wäre OpenIndiana GUI mit Mate einfacher.

Ohne Internet müsste man ein lokales Repository haben
oder die pksr Files lokal herunterladen
Beitrag automatisch zusammengeführt:

Also für mich ist das alles etwas ernüchternd.
Das Traurige ist, dass das alles mit Microsoft total easy geht. Aber wer überlässt MS schon seine Daten...?

Microsoft ist halt Mainstream und Windows das wichtigste OS für VMware. Die Performance von Windows unter ESXi ist auch im Vergleich immer führend. Vmware kümmert sich selber darum dass es geht. Bei Unix gab es in der Vergangenheit sowohl bei BSD wie bei Illumos immer wieder Treiberanpassungen um NVMe Passthrough an eine ESXi Version anzupassen oder workarounds wie die passthrough.map. Hält leider oft nur bis zum nächsten ESXi Update. Auch Oracle liefert Anpassungen (kostet und man kann es daher nicht vorab testen).

Im Einzelfall kann es hilfreich sein, eine Mail an Illumos-Discuss zu schicken. Manchmal gibt es da noch einen Tipp der Treiberentwickler oder eine Anpassung, https://illumos.topicbox.com/groups/discuss (da auch nach ESXi suchen)
 
Zuletzt bearbeitet:
Oben Unten