[megoldva] RAID segítség kellene

 ( zolej | 2018. június 13., szerda - 22:50 )

Csináltam egy kis kalamajkát!

Adott egy 3 éve telepített HP ProLiant szerver, 2 db 1 TB winchesterrel.
Ment minden szépen, de kezdett elfogyni a hely rajta.
RAID1-ben voltak kötve a hdd-k, azon belül kb ~300G / és ~700G /home.
Ez a kezdetekkor bőven elég volt, de változott a szoftverarzenál és elfogyott időközben a / helye.

Gondoltam, lecsípünk a /home-ból és kész.
Nos, nem vagyok szakértője ennek a szoftveres RAID-nek, így csináltam egy jó galibát!
A /home tartalmát eltettem backupba, az rendben van.
Kivettel a md2-es tömbből a /dev/sda3 és /dev/sdb3 partíciókat, etávolítottam a tömböt.
A partíciókat töröltem gparteddel.

Majd fdisk-kel töröltem az sda2-es és sda3-as partíciókat, újra létrehoztam őket, így az md0 swap-on kívül
teljes egészében foglaltam az 1TB-ot. Az fdisk kérdezte, hogy linux_raid_xy -t talált, törölje-e? [Nem.]
Idáig, gondolom, oké.
Majd megpróbáltam növelni a kiterjesztést, átméretezni a fájlrendszert és azt hiszem, itt követtem el a legnagyobb hibát,
kivettem a / alól (md1) az sda2-őt és az sda3-at is (már talán nem is így volt, passz, össze vagyok kavarodva),
de visszapakoltam (hibás!!!) paranccsal raid1-be a két partíciót!
Mindezt SysRescueCD-vel!
Egyszer indítottam rá a rendszerre, akkor ment, de szomorúan láttam, hogy a ~300G még mindig ugyanakkora.
Újraindítás.

Eztán már csak a grub_rescue jön be, s ijedtségemben kiszedtem az egyik winyót, ne csináljak több kárt.
Azóta INACTIVE-ARRAY állapotban van (persze, hát nincsen bent a "pája") Ki sem tudom venni az md1-ből, hogy újra beletegyem pl raid1-be.

Kérdésem: lehetett-e baj abból, raid1 -> raid0-ra állítottam?? Mármint, hogy szétdarabolta nekem a fájlokat a két partícióra?
Meg tudom-e menteni a helyzetet?
Köszönöm előre is, ha valaki tud segíteni!

update: köszönöm srácok az ötleteket, zeller, gabrielakos és a többieknek!
Köszönöm, hogy nem hurrogtatok le, a tanulópénz - maga a meló - így is megvolt! Az anyázást elvégeztem magam is!
Sikerült mindent helyére állítani, minden megvan, adatbázis, levelek, egyebek!
Dobtam a swraid-et, nem kívánok vele szívni, mert nem értek hozzá megfelelően... anno jó ötletnek tűnt (majd kitanulom valamikor)
Itt nem fizetnek meg, valóban! Egy peták sem üti a markomat általában, szóval, könnyen bolond is lehetek!
Személyes bajom, hogy általában nem adom fel, és ha anyagi hasznot sem látok, akkor is megcsinálom. Talán csak a tanulás,
az ismeretlen megismerése hajt, nem tudom. Sokmindent lehet mondani a helyzetre, a lényeg, hogy én győztesen kerültem ki, és másnak is mindig ezt kívánom, amikor kutyaszorítóban van! Még egyszer, köszönöm (inkább) az intelmeket, a támogatást!

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Szerintem te a jelenlegi tudásoddal nem tudod megmenteni a helyzetet.
Keress valakit a közelben aki ért hozzá, valószínűleg menthető a dolog, én biztosan úgy kezdeném, hogy külön-külön megnézném mik vannak a diszkeken.
És esetleg dd-vel csinálnék róluk 1:1 másolatot.

Mindenesetre most csináltál egy pici munkából egy jó nagyot - és szerencséd lesz ha adatvesztés nélkül megúszod.

Két további javaslat:

- raid-es varázslásokat kiválóan le lehet próbálni virtualboxos virtuális gépeken
- ismerkedj meg az LVM-el, megfelelő tervezés mellett a hasonló problémák 2 paranccsal menet közben másodpercek alatt megoldhatóak.

--
Gábriel Ákos

Illetve itt jön, hogy mentésből vissza lehetne most állni szépen.

Hát igen, a home megvan, a root nincs :)
--
Gábriel Ákos

Mondjuk három év után egy friss, ropogós OS-sel újratelaptés sem ördögtől való, bár gondolom/tippelem, hogy azért azon a 300GiB-on nem csak rendszer és alkalmazásfájlok voltak, hanem jó esetben :) adatbázisok is...

Az adatbázis a legfájóbb pont. A többit visszacsinálom.

Akkor minimum a /var is mars külön kötetre :-) de ésszerű keretek között a /var, /var/log, /var/log/audit /var/lib/mysql/ is átlapátolható, valamint a telepített alkalmazások (illendően /opt vagy /srv, esetleg /var/www) is átgondolásra érdemesek ilyenkor, hogy mi maradjon az OS mellett (nálam CentOS7-en a / 4, azaz négy GiB, és lötyög benne az OS), és mi menjen külön maszírozható méretű kötetre.
Sajnos a Windows-os szokás, a "mindenacére" az "adatokadére" kiegészítéssel tud ott is kellemetlen helyzetet teremteni, a tanulság az, hogy nem jó így csinálni.

Nem nagyon látszik érdemesnek 300GB-t tovább szabdalni, ha egyszer elfogyott akkor elfogyott.
Nem is tudunk részleteket, ezer oka lehet a betelésnek.

Root-ot és a legnagyobb fogyasztókat érdemes külön LV-re rakni és ha egyszer betelt a diszk 75%-a akkor szólni kell h kell új diszk.

--
Gábriel Ákos

Azért vitatkoznék: nagyon nem mindegy, hogy a / alatt fogy el teljesen a hely (DB és log megette), vagy "csak" a három küzül az egyikkel van gond. Mondjuk a jelen helyzetben már lehet(ne) tudni, hogy mi mennyit eszik, és annak fényében újratervezni az lvm-et, de ugye még ott tartunk, hogy a / alatt volt DB, meg alkalmazás saját adatai, meg a jó-ég-tudja-hogy-micsoda: na ez utóbbiakat kell előbb visszavarázsolni. Ehhez meg a nulaldik lépés egy nagyobbacska diszk, amire dd-vel lehet egy mentést rittyenteni a feltehetőleg kevésbé szétcseszett diszkről, és utána ízlés szerint lehet az image-et maszírozni.

Nekem ez a kialakítás tetszik, köszönöm, zeller!

Használnak egy java-alapú programot, ami eszi a tárhelyet rendesen. Tavaly valamikor 120GB-nál tartottunk, idén 269-et számoltam. Miközben a hasznos asatok kb 2 (igen 2!) GB körül van a rendszerben. Körbejártam már 1000 oldalról a programot, ajánlottam helyette alternatívát is, mindhiába! Nagy úr a pénz(adó)!

Sajnálják a pénzt két db 2TB-s diszkre. Vagy hogy megnézzék mi eszi a helyet és törölgessék.
(logok, gondolom).

Mennyi lehet a két diszk? 60ezer? Hát akkor fogalmazd meg úgy a dolgot, hogy ennyit (se) ér nekik az, hogy menjen a szerver. Ígyjárás.

Persze te is béna voltál valahol, hogy nem csináltál teljes mentést...

--
Gábriel Ákos

Így van! Béna voltam, hogy nem backupoltam. Meg azt számoljátok hozzá, hogy soha egy darab garast nem adtak azért, hogy a rendszert karban tartsam! 0. Nyista. Nuku. Közben az éves bevételük (legjobb tudomásom szerint) 120 millió felett van.

Most inkább a restore-ra koncentrálnék.

Sajnálom az ügyet, de ez egy jó tanulság volt, mert legközelebb emlékezni fogsz rá és időben passzolod azokat a kínos melókat, amikkel csak a szívás van, de pénz nincs érte.

--
"Nem akkor van baj amikor nincs baj, hanem amikor van!"
Népi bölcsesség

Abszolút egyet értek! Köszi!
update: épp másolom az adatbázist .. .. .

ha windowsra sikerül kimenteni akkor majd a jogosultságokra, tulajdonosokra figyelni kell (nem minden root-é...)
ilyen balhé után ha elindul az adatbázis akkor lehet h dumpolnám, reinstall és import, hogy tutira minden egyenes legyen.

--
Gábriel Ákos

+1, vagy inkább +sok

ilyen összeomlás esetén kell felállni és új állást keresni. Gondolom a szerződésed sem volt a "megfelelő"...

Ez a fenti cégtörténet tipikus példája annak hogy ezzel a mondattal kell felmondani: "na akkor b.sszatok egyedül"...

Nem értek feltétlenül egyet.
Egyrészt legalább részben a kolléga is hibás (1. nem volt full mentés, 2. nem próbálta le máshol amit csinál, 3. ha nincsenek meg a feltételek nem kezdem el...)
Szóval neki ez jó tanulság lehet.
Másrészt vidéken elég hamar rossz híred tud kerekedni aztán a környéken senki nem bízik benned, nincs meló az nem túl jó.

Pesten persze több idő kell h utolérjen a híred, de itt is utolér előbb-utóbb...

--
Gábriel Ákos

Oké, kell kompromisszum, hogy néha el kell tűrni a "sz.rt" is. Néha.

De lehet hogy itt félreértés van és a topic kezdő emberünk nincs is alkalmazásban az adott céggel.

1. Ingyen dolgozik ,mert lelkes, fiatal, tanulni akarja a szakmát, nincs ezzel gond
2. Ingyen dolgozik, mert valaki beajánlotta hogy "ő bizony mindent tud" szegény elvállalta és rálőcsölték a sz.r melót.
3. Ingyen dolgozik, mert . pont.

Félreértés ne essék én is "dolgoztam ingyen" úgymond, mikor a tapasztalatszerzés volt a cél. Na de az ilyen rendszerekre alapból mondtam nemet. Mmint amit nem ismertem.

Egy kivétellel, ami még az ősidőkbe volt, amikor még létezett az Externet.. Elémkerült egy FreeBSD + azon webszerver. Mögöttem állt a "kedves" főnök aki valakinek a valakijének a valakije volt, hogy "mér nem megy az ő weboldala!!!!" ... Miért nem megy b+ mert most látok először BSD-t. Megkaptam ott helyben hogy már pedig ha nem megy fél óra múlva akkor ő be fog engem perelni és millllliós kártérítés lesz a vége!!! ... aha. Megcsináltam és tűrtem a sz.rságot.

Következő ilyen helyzetben már azt mondtam hogy igen? Akkor perelj be és b.sszál egyedül. 2 hét múlva felhívtak hogy "ú meg kéne csinálni a pénz nem számít, de menjen már"...

Köszönjük Emese :)

Kicsit off lesz, de én az ilyen szarrágó céggel nem foglalkoznék a helyedben, a jövőben. Eleve úgy indítanék, hogy törölgessen a tököm, vegyenek plusz lemezeket az adatoknak, jobb is lenne a teljesítmény. Plusz valamilyen automatikus backup megoldás. Ha erre nincs pénz, akkor az óradíjamat sem fizetnék ki, úgyhogy keressenek mást.
Tudod, aki majmot akar tartani, annak legyen pénze banánra.
Közben meg gondolom a cégvezetőnek a 10+ millás kocsi az azért ott van. Na, hagyjuk. Olcsójánosok, és mennyi ilyen van. Amikor meg beüt a baj, akkor csak pislognak, mint hal a szatyorban.

Úgy látom, nem kell részleteznem a cég hozzáállását és ti már mindent láttok! Amit leírtál, 98.9%-ban tükrözi a valóságot. [szomorú]

Hát igen, van akinek a logrotate meg a cronjobok írása már legalja... (vagy túl magas tudomány?)

--
Gábriel Ákos

+1
minden este 8-kor megy a "targézé" (zfs és egyéb nyalánkságok híjján) a frissen beiktatott NAS-ra, heti, havi forgóban, amitől a tulaj is (rögeszmésen) nyugodtabbnak érzi magát, persze, visszaállítani belőle semmit nem tudna. Nekem is jobb így - persze.

"Szerintem te a jelenlegi tudásoddal nem tudod megmenteni a helyzetet."
Ja, kösz! Ezért írtam ide!

De ha segítesz, megköszönöm!

"..és szerencséd lesz ha adatvesztés nélkül megúszod."

Igen, de a szííívatást nem én rendeltem el. Van az a vezetőség, aki nem hajlandó megfogadni a tanácsokat.

LVM-et kiválóan használok, szeretem, tudom is. Már amikor raid-et parancsoltak, borsóztam tőle.
Kösz a segítséget!

Az LVM és a dmraid nem zárja ki egymást - mondjuk ilyen vason bűn szoftos raidet csinálni, de mindegy. A home megvan, bár ha a 300GiB / elfogyott, akkor ott azért telepített motyó is bőven volt/van, bár ha a / meg a /home volt külön, és mondjuk MySQL vagy más DB futott a szerveren, akkor az pont azt a 300GiB-ot ette...

Mivel csak a metaadatokat, illetve azok egy részét maszíroztad szét pépes trutymóvá, így azért van esély, hogy egy hozzáértő keze alatt visszakapod az adatokat, de... mondjuk úgy, el fog tartani egy ideig.
És egy javaslat a jövőre, de akár ennek a visszaállításnak a folyamatára is: tessen LVM-et csinálni, akár úgy, hogy egy darab 1TiB méretű pv-t raksz be alá (lecsípve a boot-hoz szükséges partíciókat a tömb elejéről), és nem kettő lv-be rakni a motyót (/ és /home) hanem ésszel szétkapni a rendszert és az adatokat több lv-re, hogy szökség szerint lehessen növelni az egyes köteteket az 1TiB-en belül.

Köszi, zeller, így lesz!
És még egy: általában, mások kérdésénél azt látom a válaszokban, hogy "ne keress embert, inkább írdd le, hogy mi a bajod, s majd segítünk". Nos, többször is így jártam magam is: kerestem embert, de inkább tanítottak. A mostani alkalommal azt gondoltam elsőre: kellene keresnem valakit, mert ez nekem még nem világos! Lehet, hogy meg kellene kérdeznem, ki vállalja?

Az a baj, hogy a leírásodból nem derül ki, hogy mi történt pontosan. Pl. leírsz a végére egy ilyet, hogy "lehetett-e baj abból, raid1 -> raid0-ra állítottam", de fentebb semmi szó nem volt erről. Eléggé érthetetlen az egész. Vakon tényleg csak az a jó tanács létezik, hogy inkább ne piszkáld tovább.

Ha valaki ezt meg akarja csinálni, akkor első lépés, hogy mindkét diszkről DD-s mentés máshova, aztán meg kell nézni, mi maradt rajtuk pontosan (milyen partíciók, milyen fájlrendszerek), és utána kiderül, hogyan tovább. Az is lehet, hogy metaadat szintén semmi nem maradt a RAID tömbödből, de a RAID1 miatt mégis vissza lehet hozni egy testdisk vagy hasonló cuccal. Persze te is nekiállhatsz próbálkozni, de ehhez elég mély ismeretek kellenek.

Igen, nem voltam pontos. Mérges és ideges voltam, amikor kiírtam ezt! Bocsi!
Nos, a raid átállítása után egyszer kapcsoltam be a gépet saját rendszerével,
és figyeltem, nem kezdett el tekerni, semmi. Azonnal kilistáztam a szabad helyet, ami
még mindig 300 GB-ot mutatott a /dev/md1-en. Elkeseredésemben kikapcsoltam a gépet,
s következő bekapcsnál (sysrescuecd) vettem észre a baklövést!

Most éppen ott tartok, hogy látom a fájlrendszert, tudok olvasni róla, (de csak win alól... pff) linuxon még nem sikerült.
Egyzser próbáltam a grub_rescue alól bootolni, megtalálta a /boot-ot, a kernelt, behúztam, elindult,
de még az elején elakadt
"create user root not found"
"incrementally starting raid arrays"
hibaüzenetnél megáll, s itt újraindítottam, leállítottam

LVM kellett volna arra a raid-re, simán lehet.
Azt még nem is tisztáztuk: voltak md device-ok?

--
Gábriel Ákos

Mdadm raid, és az lvm kiváló, jó barátok.

Amúgy egy "more .bash_history" sokat segítene, hogy össze lehessen rakni a történetet.

Sysrescue-ból nemigen lesz .bash_history :)

--
Gábriel Ákos

Jogos. :)

Hogy sikerült prolianton szoftveres raidet csinálni?
Én próbáltam, de nem tudtam kikapcsolni a hw raid-et, aztán valami fórumban olvastam, hogy nem is lehet és akkor ráhagytam.

Ezt én is olvastam, hogy nem tudtak csinálni, s én értetlenkedtem, hogy mi ebben a nehéz? :)
A server telepítője elintézte. Miután visszahozom az élő állapotot, szívesen leírom, mit csináltam,
3,5 évvel ezelőtt leírtam lépésről-lépésre, a dokumentáció kedvéért.

Hát azt megköszönném, mert első olvasatra vagy egy nagy csíkozott kötetet láthatott az a telepítő, vagy egy tükröt.
Emiatt az a gyanúm, hogy 1 hw raid kötetet osztottál több partícióra és azokat adtad hozzá a sw tömbhöz.
szerk

Prolianton a sw raid a "hw" raid, nem?

Én egyszer úgy hittem, hogy csak szoftverest csináltam így szépen áttettem minden disket egy új gépbe. Az pedig egy fsck kíséretében bedózerolta az összes lemezt az első indításkor.
Ilyenkor döntöttem úgy, hogy nem hiányzik az én egészségemnek ezek a mágiák és inkább hideg/melegmentést tartok fenn...

Erről pedig annyi meggyőződni amúgy hogy megnézed milyen device-ok keletkeztek illetve milyen driver modulok vannak betöltve.
Amúgy igen, úgy van hogy az alsó kategóriás vezérlők cpu-ból (driverből) csinálják a raidet, nem pedig odaadnak a kernelnek egy szép nagy device-t és minden mást eltakarnak.
Ettől persze ha átrakod valami másba az nem fogja tudni meghajtani (a minimál hardware híján).
Az hogy ledózerolta az furcsa, szerintem ott valami más is játszott...

Ezért jó az md raid, az mindenhol megy.

--
Gábriel Ákos

A HP Proliant """""raidekről""""" ne beszéljünk ... hpvsa és társai .. Katasztrófa. Inkább mdadm SW raiddel .

Hát nekem is megvolt a tanulópénz. De szerencsére volt biztonsági mentésem mindenről ami amúgy raid-ben odaveszett..

Újraolvasva azt gondolom, hogy:

- ha nem indult el a raid0 megcsinálása akkor van elég jó esélyed arra, hogy megtaláld a régi partíció határokat és visszaállítsd. (én ezeket le szoktam menteni textfileba minden változtatás előtt)
- ha visszaállítod a partíció határokat - elég akár egy diszken - akkor ami raid1 lenne azt simán single-disk -ként fel tudod mountolni és meg tudod menteni
- ha elindult a raid0 megcsinálása akkor a jóég tudja mennyit radírozott le (valszeg mindkét diszken) az elejéből. Amit leradírozott azt nyilván nem tudod megmenteni. Elvileg az n-edik superblockot meg tudod találni, azután lehet fsck-t futtatni és reménykedni hogy sok minden meglegyen.

--
Gábriel Ákos

... az összes varázslást amit írtam mind ki tudod próbálni egy virtuális gépen (virtualboxban)

--
Gábriel Ákos

Sőt ha van egy megfelelően nagy diszked akkor a dd-vel előállított image-t is oda tudod adni a virtualboxnak és lehet vele próbálkozni.

--
Gábriel Ákos

Így nehéz lesz :D

krix: A HP Proliant """""raidekről""""" ne beszéljünk ... hpvsa és társai .. Katasztrófa. Inkább mdadm SW raiddel .
zeller: - mondjuk ilyen vason bűn szoftos raidet csinálni,

sub - tanulás/tanulság céljából

nem sikerült végignyálazni az összes hozzászólást, de úgy látom, hogy félrement az egész történet, és csak a debug lehetőségek maradtak ki.
Ha jól olvastam, akkor gyakorlatilag most ott álsz, hogy a /home-ot eltávlolítottad, és rescue módban indul el a rendszer.
Csak ellenőrző kérdésként, ugye az fstab nem próbálja felcsatolni a /home-ot, és ugye a grub konfigja sem tartalmaz utalást a /home-ra?!

Szia zolej! Megkérdezhetem, hogy hogy sikerült [nagy vonalakban] mindent helyreállítani? Tanulás és okulás céljából! [Csak most ismerkedem a linux-al és minden info, hasznos info! :)] Előre is köszönöm. Ja és gratulálok hozzá, minden problémád így oldódjon meg, vagy inkább könnyebben. :)

+1

egy rövid összefoglaló jó lenne hogyan sikerült sikeresre (brr) a projekt :)