Raid 1 swap

"Hamarabb akar bootolni a rendszer, mint mielőtt felépülne a virtuális RAID."

Oké.

Ubuntu 8.04, 4 darab 1 TB-s SATA diszk, RAID5-ben.
RAID tömbön xfs fájlrendszer.
Bővíteni akartam a RAID tömböt 5 darab új diszkkel, mert betelt a rendelkezésre álló hely.
Mindenek előtt szabályosan, shutdown -h now -val leállítottam a gépet.
Beszereltem az új 5-ös merevlemez-keretet, beraktam az új diszkeket, bekötöttem a SATA csatlakozókat.
Újraindításkor a /storage mountpoint (ez a RAID tömb-ön levő xfs fálrendszer) nem volt sehol. Agyvérzés, némi idegrángás, átmeneti homályos látás.
mount.xfs azt mondta, hogy Superblock not found, sorry.
Hűha, anyád.
cat /proc/mdstat -ban pedig azt látom, hogy a RAID5 tömböt resynceli éppen.
Hogy a szabályos leállítástól mitől, hogyan borult meg, az rejtély.
Na mindegy. (agyam 100-on természetesen).
xfs_repair /dev/md0 azt mondta, hogy a RAID-en levő xfs -en megsérült a log. az xfs_reapir -L opciójával kinullázhatom, ám lesz némi adatvesztés. Fasza. Mondom mégegyszer, szabályos shutdown volt, mégis megborult a RAID5 tömb, meg az xfs is.
mount.xfs -o ro,norecovery kapcsolókkal sikerült read-only -ként mountolni az éppen syncelő tömbön levő xfs -t, igaz, így a log nem lett replay-elve.
Az új diszkeken létrehoztam gyorsan egy új tömböt (/dev/md1), hogy legyen hová backupolni az adatokat (2.6 tera adatról beszélünk).
Miután ez megvolt, átmásoltam mindent a readonly xfs-ről az újra, aztán az eredetin futtattam az xfs_repair -L -t.
Kb. 1000 hibás inode -ot talált, meg istentudja mit. Rakott ezt-azt a lost+found-ba is, persze név nélkül, sorszámmal. Mondom szabályos leállítás volt, xfs borult, mdadm szétesett.
Valószínűnek tartom, hogy a raid szétesése miatt borult az xfs egyébként.
Szóval az új tömbön megvannak az adatok. Hála istennek, a nagyon fontos 3-400 gigából (látszólag) semmi sem sérült, a maradék cuccból viszont sérültek fájlok.
Az régi tömb ezután nem kellett, mdadm --stop -pal leállítottam.
Egy darab diszket a régi tömbből áttettem az új tömbbe, mert a helyhiány még mindig fennált, és az egész lényege a tárhelybővítés lett volna. Gondoltam egyesével adom hozzá a diszkeket az új tömbhöz,tutira megyek.
cat /proc/mdstat szerint a reshape folyamat valami 35000 percig fog tartani. Fasza.
Úgy 2%-nál (kb. 2 óra futás után) egyéb okbol shutdown -r now parancscsal újra kellett indítanom a gépet - a reshape folyamatnak elvileg onnan kellett volna folytatni, ahol tartott.
Természetesen ez NEM történt meg.
Azt mondta az mdadm, hogy a /dev/md1 tömb superblockja nem volt meg, sorry, minden elveszett.
Hm. Nyekk, fejem asztalon kopp.
Pár óra google túrás, fórum olvasás eredményeképp rájöttem, hogy nem az a 2.6.3 -as mdadm a legfrissebb, ami az ubuntu 8.04 -ben van, sőt mi több, tele van buggal, sőt, egy marék, rakás bug, és már sokan szívtak vele.
Javasolták valakinek egy eldugott, noname fórumon, aki hasonlóba futott, hogy forrásból tegye fel a 2.6.8 -as verziót.
Levadásztam, hozzá az ubuntu patchet, dpkg-buildpackage -vel .deb csomagot csináltam belőle, dpkg -i -vel telepítettem.
Ez így egyszerűnek hangzik utólag, de még sohasem csináltam ilyet, úgyhogy némi időbe tellt. :)
Ok, 2.6.8 -as általam fordított, általam készített csomagból felkerült úgy hétfő hajnali 1-re, nézzük, reboot után mi történik!
mdadm : Segfault.
Fasza.
A 2.6.3.akármi verzíótól a 2.6.8 összes alverziójáig végigpróbálgattam, a 2.6.4 -es nem segfaultolt el egyedül.
reboot után ez már látta is a tömböt, ami a reshape közben megakadt, igen ám, de az összes benne levő diszket spare -nak mutatta.
Innen már kis man olvasgatással mdadm --assemble segítségével kézzel összeraktam a tömböt, és láss csodát:
folyatatta a reshape -t.
Ezekkel a műveletettkel úgy hétfő hajnali 5-re lettem meg (péntek este 7-8 körül kezdődött az egész egyébként :) ),
pár tuning-opcióval tudtam gyorsítani is a reshape folyamatot, így 35000 perc helyett ma estére kész lett.
Az adatok megvannak, bár elég sok sérült.
De hurrá, kislányomról készült .dv anyagok sértetlenek, meg úgy az elmúlt pár évnyi családi képek is sértetlennek tűnnek, egyedül a hd filmek sérültek, de sebaj, beszerzem újból.

Na szóval, összegezve, egy egyszerű mdadm tömb bővítéssel elb*sztam egy hétvégét, hétfőn kialvatlanul mentem dolgozni pedig 2 húzós megbeszélésem is volt, a 2.6 TB adatból 2-2.2 Tb sérült valamilyen szinten, mindez csak azért, mert a 8.04 -es ubuntu server -be egy alig két éves, 2.6.3 -as verziójú, bugokkal teli mdadm az elérhető legfrissebb, ami egy szabályos shutdown -nál valamiért tökön szúrta magát, és rántotta magával az xfs -t is.
(Ja, az összes diszken természetesen a írási cache hdparm -W0 -val ki van kapcsolva, tehát az nem lehet a hibás.)

Tehát ubuntu 8.04 + software RAID(mdadm) == para.
Én inkább újrahúzom az egészet FreeBSD + zfs, vagy méginkább OpenSolaris + zfs alapokra, csak OpenSolaris-hoz nem értek eléggé, és pár program, amit használok, nem elérhető.