[Megoldva] zfsonlinux scrub és közben lemezcsere furcsaság

Linux-kezdő

SZiasztok!
Tesztelgetek egy rendszert.
1. A lemezek a MEGA_RAID BIOS-ban JBOD ban vannak állitva. Ha kiszedek egy disket(fizikailag kihúzom) a zfs észre se veszi, hogy a raidz2 tömb DEGRADED, csak ha lefutatom a scrub -ot.
2. Ha scrub futása közben replace -lem a disket a spare diskre akkor az rpool alól kiszalad a tárterület,( / used 100%).Még nem próbáltam mi történik akkor ha közben szolgáltatások iscsi, nfs is futtatna a rendszeren. Gondolom nem igazán müködnének

Amig fut a scrub tilos lemezt cserélni?
És miért csak a scrub futásakor veszi észre a lemez hiányt,hibát?

[megoldás]
Mivel nem volt i/o esemény a poolon ezért nem jelzett semmit.
Rossz volt a teszt elgondolás.

Amint a poolon elinditottam egy másolást az zfs egyből jelezte, hogy:
zpool status -v teszt
pool: teszt
state: DEGRADED
status: One or more devices could not be used because the label is missing or
invalid. Sufficient replicas exist for the pool to continue
functioning in a degraded state.
action: Replace the device using 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-4J
scan: resilvered 1,58T in 5h44m with 0 errors on Thu Jan 26 23:02:09 2017
config:

NAME STATE READ WRITE CKSUM
teszt DEGRADED 0 0 0
raidz2-0 DEGRADED 0 0 0
ata-ST4000NM0033-9ZM170_Z1ZAN3CA UNAVAIL 3 600 0 corrupted data
ata-ST4000NM0033-9ZM170_Z1ZAN4WB ONLINE 0 0 0
ata-ST4000NM0033-9ZM170_Z1ZAN3WK ONLINE 0 0 0
ata-ST4000NM0033-9ZM170_Z1ZAN2Z6 ONLINE 0 0 0
spares
ata-ST4000NM0033-9ZM170_Z1ZAN2QF AVAIL

errors: No known data errors

Köszönöm a segitséget!!

1123 megtekintés

Picit konkretizaltabban ird a reszleteket pls.
Pl. johetne egy zpool status -v a "kiveszem a disket" allpotot megelozo idobol, hogy lassuk a teljes kepet.
Meg mondjuk, az utana levo idopontrol is, amikor "nem vette eszre".

(zpool list -v is erdekes lehet, kiegeszito infokent)

Tovabba:
* Hogy erted azt, hogy a "zfs eszre sem veszi", hogy a raidz2 tomb degraded?
* Hogyan replaceled? zpool replace? Tudod idezni a konkret parancsot, meg esetleg zpool status -v a megelozo, es az utana levo allapotrol?

1 szavazat

A hozzászóláshoz be kell jelentkezni

+1

Egyébként arra tippelek, hogy ZoL, innentől végtelenül soktényezős :)
------------------------
{0} ok boto
boto ?

0 szavazat

A hozzászóláshoz be kell jelentkezni

ZoL igen

0 szavazat

A hozzászóláshoz be kell jelentkezni

Jelenlegi állapota:
zpool status -v teszt
pool: teszt
state: ONLINE
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Thu Jan 26 17:17:22 2017
4,52T scanned out of 6,34T at 327M/s, 1h37m to go
1,13T resilvered, 71,20% done
config:

NAME STATE READ WRITE CKSUM
teszt ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ata-ST4000NM0033-9ZM170_Z1ZAN3CA ONLINE 0 0 0
ata-ST4000NM0033-9ZM170_Z1ZAN4WB ONLINE 0 0 0 (resilvering)
ata-ST4000NM0033-9ZM170_Z1ZAN3WK ONLINE 0 0 0
ata-ST4000NM0033-9ZM170_Z1ZAN2Z6 ONLINE 0 0 0
spares
ata-ST4000NM0033-9ZM170_Z1ZAN2QF AVAIL

errors: No known data errors

zpool list -v
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
rpool 278G 195G 83,1G - 47% 70% 1.00x ONLINE -
mirror 278G 195G 83,1G - 47% 70%
ata-INTEL_SSDSC2BB300G4_PHWL525500J4300PGN-part1 - - - - - -
ata-INTEL_SSDSC2BB300G4_PHWL525501KK300PGN-part1 - - - - - -
teszt 14,5T 6,34T 8,16T - 24% 43% 1.00x ONLINE -
raidz2 14,5T 6,34T 8,16T - 24% 43%
ata-ST4000NM0033-9ZM170_Z1ZAN3CA - - - - - -
ata-ST4000NM0033-9ZM170_Z1ZAN4WB - - - - - -
ata-ST4000NM0033-9ZM170_Z1ZAN3WK - - - - - -
ata-ST4000NM0033-9ZM170_Z1ZAN2Z6 - - - - - -
spare - - - - - -
ata-ST4000NM0033-9ZM170_Z1ZAN2QF - - - - - -

0 szavazat

A hozzászóláshoz be kell jelentkezni

ii zfs-dkms 0.6.5.8-2~bpo8+1 all OpenZFS filesystem kernel modules for Linux
ii zfs-initramfs 0.6.5.8-2~bpo8+1 all OpenZFS root filesystem capabilities for Linux - init
ii zfs-zed 0.6.5.8-2~bpo8+1 amd64 OpenZFS Event Daemon
ii zfsutils-linux 0.6.5.8-2~bpo8+1 amd64 command-line tools to manage OpenZFS filesystems
ii zlib1g:amd64 1:1.2.8.dfsg-2+b1 amd64 compression library - runtime

ii spl 0.6.5.8-3~bpo8+1 amd64 Solaris Porting Layer user-space utilities for Linux
ii spl-dkms 0.6.5.8-3~bpo8+1 all Solaris Porting Layer kernel modules for Linux

Ugyéretem azt hogy észre se veszi,
1. kérek egy zpool status teszt
state: ONLINE , összes disk online READ WRITE CKSUM 0 0 0
2. oda megyek a géphez kihuzok egy diszket ami 100% hogy a raidz2 tömben van
3. kérek egy zpool status teszt
state: ONLINE , összes disk online READ WRITE CKSUM 0 0 0
ezt bármennyiszer meg ismételhete : eredmény:
state: ONLINE , összes disk online READ WRITE CKSUM 0 0 0

4. futtatom a scrubot
zpool scrub teszt
és ahogy a scrub elinul egyből kérek egy
zpool status teszt

Na ezután írja azt végre, hogy
state: DEGRADED az a disk amit kihuztam UNAV

0 szavazat

A hozzászóláshoz be kell jelentkezni

A syslogban van nyoma annak, hogy kihúztad a lemezt?

0 szavazat

A hozzászóláshoz be kell jelentkezni

dmesg -T
.....
[cs jan 26 17:17:09 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:09 2017] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
[cs jan 26 17:17:09 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Sense Key : Aborted Command [current]
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Add. Sense: No additional sense information
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 4b 7d 00 00 01 00 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126569341
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 4d 7e 00 00 01 00 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126569854
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 4e 7e 00 00 00 80 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126570110
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 4e fe 00 00 00 80 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126570238
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 4f 7f 00 00 01 00 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126570367
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] READ CAPACITY(16) failed
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Sense not available.
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 50 7f 00 00 01 00 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126570623
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 51 80 00 00 01 00 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126570880
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] READ CAPACITY(16) failed
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Sense not available.
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 52 80 00 00 01 00 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126571136
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] READ CAPACITY(16) failed
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Sense not available.
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] READ CAPACITY(16) failed
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Sense not available.
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] READ CAPACITY failed
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Sense not available.
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 53 81 00 00 01 00 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126571393
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] READ CAPACITY(16) failed
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] READ CAPACITY failed
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Unhandled error code
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Sense not available.
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] Sense not available.
[cs jan 26 17:17:10 2017] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] CDB:
[cs jan 26 17:17:10 2017] Read(16): 88 00 00 00 00 00 07 8b 54 81 00 00 01 00 00 00
[cs jan 26 17:17:10 2017] end_request: I/O error, dev sdn, sector 126571649
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn] READ CAPACITY(16) failed
[cs jan 26 17:17:10 2017] sd 0:0:15:0: [sdn]
....

0 szavazat

A hozzászóláshoz be kell jelentkezni

Off: segítenél a probléma megértésében, ha több írásjelet (pont, vessző) használnál a megfelelő helyeken, és nem nekünk kellene találgatni, hogy mire gondolt a költő.

0 szavazat

A hozzászóláshoz be kell jelentkezni

Javitva, mikor ideg vagyok nem igazán figyelek ilyenekre.

0 szavazat

A hozzászóláshoz be kell jelentkezni

Ezt nem forditottam be szarul ugye?
https://en.wikipedia.org/wiki/ZFS#RAID

Kell a JBOD igaz?

0 szavazat

A hozzászóláshoz be kell jelentkezni

Úgy van, mert a ZFS-nek tudnia kell a hardware problémáiról, amit a RAID vezérlők elfedhetnek. Továbbá az is fontos, hogy az írás sorrendjét is a ZFS legyen képes meghatározni, ne az I/O vezérlő.

0 szavazat

A hozzászóláshoz be kell jelentkezni

De ez őrjit meg!! ZFS-nek tudnia kell a hardware problémáiról, és még se vesszi észre?
Ma megtesztelem úgy, hogy elinditok nagy rakás írás,olvasás folyamatot.És mikozbe ezek futnak,éa akkor veszem ki a diszket.
Lehet az a baj, hogy a"üres" járatban nem tüink vagy nem foglalkozik vele.

0 szavazat

A hozzászóláshoz be kell jelentkezni

Van olyan hardware, amely - bár támogatja a hot swapet - nem küld a kernelnek eseményt arról, hogy a lemez el lett távolítva. Tehát nem biztos, hogy a ZFS a hibás. Milyen vasról van szó?

0 szavazat