A lerobbant RAID és az összekuszálódott FS esete

Pénteken felhívott egy számomra ismeretlen cég rendszergazdája, hogy lenne egy kis linuxos gondja. Az Oracle szervere alatt összekuszálódott az FS, nem tudja mount-olni a filerendszereket, áll a cég és katasztrófa van. Megpróbáltam távolról irányítni, de "vakon" elég nehéz. Egy kis küzdés után nem mentünk sokra (a rendszergazda nem volt egy Linux virtuóz). Annyit kinyomoztattam vele, hogy a szoftveres RAID1 tömb egyik diszkje badblock-os. Mondtam neki, hogy hétfőn (ma) hozza be a gépet, megnézem, hogy mit lehet vele kezdeni.

Ma behozta. A RAID1 tömb épnek látszó lábát szemügyre véve kiderült, hogy több probléma is van vele. Első körben nyomtam rá egy reiserfsck-t. Az /home partíciónak nem volt baja. Nem így a / -nek. Nos, "reiserfsck --fix-fixable" rendbetette. Ezen kívül a / filerendszer kajakra tele volt (0 byte szabad). Ebből kifolyólag ha valamit alá akartam mount-olni, exotikus hibaüzenetet kaptam. Egy kis szabad helyet "készítettem" rajta. Mivel a /etc/fstab eltűnt, rögtönöztem egyet.
Ezután kiderül, hogy a grub is rosszul volt telepítve. Egy "setup (hd0)" után az is szuperálni kezdett. A reboot után már volt egy majdnem teljesértékű Oracle szerver. Még ki kellett pótolni a RAID1 hiányzó tagját. Szerencsére volt raktáron 73 GB-os, 10K rpm-es, 68 pines, Ultra320-as SCSI lemezünk. Belepattintottam, partícionálás, majd egy "mdadm /dev/md0 --add /dev/sdb2" és egy "mdadm /dev/md1 --add /dev/sdb3" után a rendszer összeállt.

Miután a rendszer összeállt, a logokból kiderült, hogy fél hónapot ment a szerver úgy, hogy sírt a bad block-ok miatt...

A cég vezetője pénteken állítólag egy parában volt, hogy mi lesz a céges adatokkal. Az utolsó backup hónapokkal korábban készült. Azt hiszem, hogy sikerült őket megmenteni. :)

( Huncraft v | 2008. 04. 07., h – 21:24 )

"Holott minden informatika tankönyv 4 oldalának 2. bejegyzésében ott van, hogy készítsünk biztonsági mentést! Ám ha ezt mindenki megfogadta volna nem láttam volna olyan sok síró rendszergazdát.. köztük magamat is.." - Kovács Zsolt
____________________________________
Az embert 2 éven át arra tanítják hogyan álljon meg a 2 lábán, és hogyan beszéljen... Aztán azt mondják neki: -"Üllj le és kuss legyen!"..

( evone | 2008. 04. 07., h – 21:51 )

nice, milyen jo erzes mikor segitesz valakin :)

( sj | 2008. 04. 07., h – 22:03 )

eladhattal volna nekik meg egy raid kartyat is ... :-)

ASK Me No Questions, I'll Tell You No Lies

( BaT | 2008. 04. 07., h – 22:03 )

Azért majd a munkadíjat igényeld meg barnasörben... :)

( hop1 v | 2008. 04. 08., k – 13:42 )

csak nem az ő webstore-jük állt tegnap egész nap. :)