ZFS -> Device unavail -> cannot open

[Traviso]

Hallo,

bei mir ist mal wieder ein kleines Problem aufgetreten.

Nachdem ich in meinem Server Mainboard etc. getauscht habe und über napp-it die Pools importiert bzw. bei den neuen Laufwerken neu eingerichtet hatte, ist plötzlich das Problem aufgetreten, dass bei zwei Pools jeweils das "Spare Device" als Device UNAVAIL -> cannot open" aufgeführt ist.

Die beiden Laufwerke sind aber vorhanden, wie unter "Extend Pool" zu sehen ist:

Versuche ich nun eines der Laufwerke wieder als HotSpare zum entsprechenden Pool hinzuzufügen, so bekomme ich folgende Fehlermeldung:

Hat vielleicht jemand einen Tipp für mich, wie dieses Problem zu lösen ist ?

 

[gea]

Ich vermute dass sich durch den Mainboardwechsel die Controller Nummer der Platten geändert hat (z.B. c2) und die Platten daher nicht mehr gefunden werden. Entweden zuerst die Hotspare entfernen (Menü Disk > Remove) oder aber die "fehlenden" Hotspares per Disk > Replace ersetzen.

Neu als Hotspare hinzufügen geht nicht. ZFS merkt dann dass die Platten bereits einem Pool zugewiesen sind.

 

[Traviso]

Ich vermute dass sich durch den Mainboardwechsel die Controller Nummer der Platten geändert hat und die Platten daher nicht mehr gefunden werden. Entweden zuerst die Hotspare entfernen (Menü Disk > Remove)

Vielen Dank für die Rückmeldung. Per Disk > Remove werden die Laufwerke nicht gelistet und können deshalb nicht entfernt werden:

oder aber die "fehlenden" Hotspares per Disk > Replace ersetzen.

Hier tauchen die zu ersetzenden Laufwerke auch nicht auf.

 

[gea]

Den Fall dass die Platten sich nicht mehr unter ihrer Solaris ID melden (c..t..d.. ) hatte ich auch noch nicht.

Die möglichen Optionen zum Ausprobieren

Festplatten neu initialisieren, zumindest ZFS Label löschen.
In napp-it geht das im Menü Disk > Initialize.

Alternative:
Auf der Console oder im napp-it cmd Eingabefeld

zpool replace ssd /dev/da3p1 c0t55....

alternativ im Menü Pools auf ssd klicken.
Dann werden alle Pool Properties gelistet, inkl. guid der Festplatten. Diese Nummer kann man auch als Referenz nehmen

zpool replace ssd "guid" c0t55...

Alternative:
Platten Formatieren z.B. fat32 oder ntfs - zur Not mit einem anderen OS z.B. Hirens USB Bootstick
https://www.hirensbootcd.org/ damit wieder klare Verhältnisse entstehen.

 

[Traviso]

Nochmals vielen Dank für die Hilfe!

Die möglichen Optionen zum Ausprobieren

Festplatten neu initialisieren, zumindest ZFS Label löschen.
In napp-it geht das im Menü Disk > Initialize.

Ich habe beide Laufwerke per napp-it initialisiert.

Auf der Console oder im napp-it cmd Eingabefeld

zpool replace ssd /dev/da3p1 c0t55....

Dies ergibt folgende Fehlermeldung:

alternativ im Menü Pools auf ssd klicken.
Dann werden alle Pool Properties gelistet, inkl. guid der Festplatten. Diese Nummer kann man auch als Referenz nehmen

Hier findet sich folgende Ausgabe:

Spoiler: Pool details zdb -C SSD

MOS Configuration:
version: 5000
name: 'SSD'
state: 0
txg: 40467
pool_guid: 7012482059302170312
errata: 0
hostid: 1765619821
hostname: 'napp-it-034'
com.delphix:has_per_vdev_zaps
vdev_children: 2
vdev_tree:
type: 'root'
id: 0
guid: 7012482059302170312
create_txg: 4
children[0]:
type: 'raidz'
id: 0
guid: 6354048053681202336
nparity: 1
metaslab_array: 71
metaslab_shift: 34
ashift: 12
asize: 6401231421440
is_log: 0
create_txg: 4
com.delphix:vdev_zap_top: 66
children[0]:
type: 'disk'
id: 0
guid: 5310325724027707800
path: '/dev/dsk/c0t55CD2E404B79461Cd0s0'
devid: 'id1,sd@n55cd2e404b79461c/a'
phys_path: '/scsi_vhci/disk@g55cd2e404b79461c:a'
whole_disk: 1
DTL: 209
create_txg: 4
com.delphix:vdev_zap_leaf: 67
children[1]:
type: 'disk'
id: 1
guid: 8493986295620795637
path: '/dev/dsk/c0t55CD2E404B794637d0s0'
devid: 'id1,sd@n55cd2e404b794637/a'
phys_path: '/scsi_vhci/disk@g55cd2e404b794637:a'
whole_disk: 1
DTL: 207
create_txg: 4
com.delphix:vdev_zap_leaf: 68
children[2]:
type: 'disk'
id: 2
guid: 5037011177604250408
path: '/dev/dsk/c0t55CD2E404B7E0A48d0s0'
devid: 'id1,sd@n55cd2e404b7e0a48/a'
phys_path: '/scsi_vhci/disk@g55cd2e404b7e0a48:a'
whole_disk: 1
DTL: 205
create_txg: 4
com.delphix:vdev_zap_leaf: 69
children[3]:
type: 'disk'
id: 3
guid: 11669422706884213402
path: '/dev/dsk/c0t55CD2E404B7E0A72d0s0'
devid: 'id1,sd@n55cd2e404b7e0a72/a'
phys_path: '/scsi_vhci/disk@g55cd2e404b7e0a72:a'
whole_disk: 1
DTL: 203
create_txg: 4
com.delphix:vdev_zap_leaf: 70
children[1]:
type: 'mirror'
id: 1
guid: 14552007803453525632
metaslab_array: 73
metaslab_shift: 31
ashift: 12
asize: 240043950080
is_log: 1
create_txg: 1305
com.delphix:vdev_zap_top: 130
children[0]:
type: 'disk'
id: 0
guid: 9262255999435273561
path: '/dev/dsk/c0t55CD2E404C103EB6d0s0'
devid: 'id1,sd@n55cd2e404c103eb6/a'
phys_path: '/scsi_vhci/disk@g55cd2e404c103eb6:a'
whole_disk: 1
DTL: 201
create_txg: 1305
com.delphix:vdev_zap_leaf: 131
children[1]:
type: 'disk'
id: 1
guid: 11856804594924078389
path: '/dev/dsk/c0t55CD2E414D50690Fd0s0'
devid: 'id1,sd@n55cd2e414d50690f/a'
phys_path: '/scsi_vhci/disk@g55cd2e414d50690f:a'
whole_disk: 1
DTL: 199
create_txg: 1305

Hier taucht /dev/ds3p1 bzw. das zugehörige Hotspare Laufwerk nicht auf.

Platten Formatieren z.B. fat32 oder ntfs - zur Not mit einem anderen OS z.B. Hirens USB Bootstick
https://www.hirensbootcd.org/ damit wieder klare Verhältnisse entstehen.

Das kann ich natürlich final auch noch machen.

 

[gea]

Bleibt die Frage warum Solarish sowas seltsames wie /dev/da3p1 meldet?
Bleibt das so nach Pool Export + Pool Import

 

[Traviso]

Bleibt das so nach Pool Export + Pool Import

Ja, das bleibt so. Sowohl nach ein-/ausschalten als auch nach Pool Export/Pool Import.

 

[gea]

Beim Pool Import werden alle Platten gelesen und die ZFS Labels ausgewertet.
Bereits da scheint etwas schiefzulaufen. ZFS erkennt da normalerweise alle Platten die zu einem Pool gehören - selbst dann wenn sich der Kontroller/die id/der Treiber geändert hat.

Ich würde die Platten komplett als fat32 oder ntfs formatieren und dann schauen ob sie sich dann korrekt als c.t.d. mit ihrer WWN meldet - wenn möglich auch an einem anderen Sata/HBA Port oder Controller um ein Controller/Treiber Problem am neuen Mainboard auszuschließen.

 

[Traviso]

Ich würde die Platten komplett als fat32 oder ntfs formatieren und dann schauen ob sie sich dann korrekt als c.t.d. mit ihrer WWN meldet - wenn möglich auch an einem anderen Sata/HBA Port oder Controller um ein Controller/Treiber Problem am neuen Mainboard auszuschließen.

Alles klar. Da ich den Broadcom 9400-16i ohnehin durch zwei LSI 9211-8i testweise ersetzen wollte, da der 9400-16i Controller immer noch mehr Geräte zurückmeldet, als angeschlossen sind, kann ich die Platten auch gleich alle formatieren. Der Inhalt ist ohnehin auf dem Backupsystem gesichert.
Die Laufwerke hängen derzeit am 9400-16i und am bordeigenen LSI 3008 Controller.

 

[Traviso]

Beim Pool Import werden alle Platten gelesen und die ZFS Labels ausgewertet.
Bereits da scheint etwas schiefzulaufen. ZFS erkennt da normalerweise alle Platten die zu einem Pool gehören - selbst dann wenn sich der Kontroller/die id/der Treiber geändert hat.

Ich würde die Platten komplett als fat32 oder ntfs formatieren und dann schauen ob sie sich dann korrekt als c.t.d. mit ihrer WWN meldet - wenn möglich auch an einem anderen Sata/HBA Port oder Controller um ein Controller/Treiber Problem am neuen Mainboard auszuschließen.

Ich habe die SSD´s und die 8TB Platten jetzt neu formatiert und auch den 9400-16i HBA gegen zwei 9211-8i getauscht. Jetzt sieht alles wieder gut aus.

 

[gea]

War das Problem nach Neuformatieren auch am 9400 weg?

 

[Traviso]

War das Problem nach Neuformatieren auch am 9400 weg?

Das habe ich leider nicht getestet, da ich den 9400 gleich mit herausgenommen habe. Auf jeden Fall war durch den Austausch des 9400er die Warnung bezüglich eines PCI-Gerätes nach dem Booten verschwunden (siehe: HBA meldet mehr angeschlossene Geräte an OMNI-OS zurück als angeschlossen werden können).