FSCKin' cloud

Címkék

Volt az az incidens hétvégén, és többen kérdezték, hogy mi történt, így gondoltam leírom itt, talán egyszerűbb. :)

A hosting szerződések átalakulása miatt el kellett költöztetni a gépet a korábbi helyéről. Ez is megérne egy misét, majdnem pontosan nyolc évig voltak ott a gépek, előtte a Petőfi Sándor utcai Adatparkban pedig közel 11-et. Minden elődjével együtt 22 éve üzemeltetem a site-ot...
Ennyi (mármint a 8 év) idő alatt persze jól bele is kötöttek a rackbe, pár dolgot alig bírtunk kiszedni, volt olyan sín, ami annyira bele is ragadt, hogy ottmaradt. (időközben azért sikerült kiszabadítaniuk a srácoknak, YAY!)
Szóval nyolc év után ismét költözni kellett, amit július 27-én, szombaton le is tudtam. De ahogy ez lenni szokott a nem túl fiatalos gépeknél, a fizikai mozgatással meghibásodások is járnak.
Halt meg diszk, meg teljes gép is, de ezek közül szerencsére egyik sem érintette az ftp.fsn.hu-t, a hibák a költözéssel együtt megszüntetett legacy cuccoknál jöttek elő.
Örültem is, mint majom a farkának, hogy ennyivel megúsztam, aztán este jött a riasztás, ami után már az újraindulás sem ment, a gépre belépve a ZFS-vallásúak instant kiábrándulását okozó Guru Meditation^w^w I/O error hiba fogadott:

cannot import 'data': I/O error
Destroy and re-create the pool from
a backup source.

HAHAHA, LOL, meg ROTFLMAOPIMP, az internet az én backupom. Csak hát sok idő, míg lejön...

Na mit szokás ilyenkor csinálni? Végigpróbálni a zpool import erre az esetre szóló dokumentált, és nem dokumentált kapcsolóit, hátha vissza tud állni egy olyan tranzakcióra, ami még jó.
A gyors megoldás sajnos nem tudott mit kezdeni a helyzettel, de a lassú -ami egyben egy scrubot is csinál, azaz végigolvas mindent- ígéretes módon elindult, és nem dobta ki a fenti hibát újra.
Mivel ez egy elég időigényes folyamat, és már bőven hajnal volt, mire idáig eljutottam, energiatakarékos üzemmódba váltottam, abban a reményben, hogy aznap (vasárnap) estére, vagy legkésőbb hétfő reggelre már újból lesz egy működő gépem.
Reggel sajnos nem a várt eredmény, hanem egy elérhetetlen gép fogadott.

Kicsit jobban utánanézve kiderült, hogy a zpool import közben megette az összes RAM-ot. Sajnos a ZFS tud ilyet (állítólag idővel majd jobb lesz, a Delphixnél dolgoznak rajta, egyelőre az az ígéret, hogy a mostani 1/5-ére csökken majd a memóriaigény -hozzáteszem ez óriásinak tűnik, de még mindig karcsú :( ).
A probléma tehát az, hogy az agyhalott fájlrendszer helyreállítási kísérletéhez (mert ez akkor nem volt több) több memória kell, mint amennyi a gépben van. Hogyan kerül RAM egy tőlem több tíz km-re lévő gépbe (úgy, hogy nincs is RAM-om hozzá :)?
Ezen gondolkoztam kicsit, aztán előjöttek a nosztalgikus emlékek a korábbi munkahelyről, ahol ezt lazán megoldottam volna azzal, hogy felmarkolok a fiókomból egy csokor modult, tangapapucsban (nem, nem, soha!) lecsoszogok a gépterembe, majd egy elegáns, félköríves mozdulattal beleszórom a gépbe, aztán e örö s bódottá!
De sajnos ezek az idők elmúltak, itthon már nincs egy rendes SCSI kábelem sem, szinte minden alkatrésztől megszabadultam, talán csak egy tálcányi K6 processzorom maradt még valahol elveszve. :)
Viszont miközben ezen méláztam, végigpörgött a fejemben, hogy hol is van a gép...

CityReach. Izé, nem. Dataplex. Nem, már nem ez a neve. Hogy a fenébe is hívják most? Rákerestem. T-Systems Cloud & Data Center.
Nocsak. Megvilágosodtam. Hát akkor ez a gép a felhőben van. A FELHŐBEN!

És mit tud a felhő? Már persze azt leszámítva, hogy mindig akkor jön belőle változó halmazállapotú istenverése, amikor a leginkább nem kéne!
Hát absztrakt módon működni, mint a viccben!

-Mit teszel ha a sivatagban vagy, a zsebedbe van varrva egy alma, és egy oroszlán jön feléd?
-???
-Vársz türelmesen, mert a türelem rózsát terem, és mivel nincsen rózsa tövis nélkül letöröd a tövist és kivágod vele az almát a zsebedből.
Ezután eldobod az almát, persze az alma nem esik messze a fájától, megkeresed a fát, felmászol rá és így lóvá tetted az oroszlánt. Ezután kilovagolsz a sivatagból.

Na, hát ez tök egyszerű volt. A probléma megoldása megvolt: már csak türelem kell.

Tehát lassan kell megoldani, nem gyorsan. Ha ott nincs memória, a diszkeket kell idehozni. Lassan, hogy türelem kelljen hozzá.
Hm. Floppyn? Nem, az nem jó...
Áh, megvan! Türelem, a felhőben van minden. Akkor a felhőben csinálunk egy gépet, amiben van memória, meg hálózat. De nincs diszk. De hálózat ott is van. Nosza, kössük őket össze. Erre van az iSCSI, a nevében is benne van: internet SCSI!
Pár perc reszelés, és már el is indult minden idők(?) legerőforráspazarlóbb felhőszolgáltatása, az:

FSCKin' cloud

Most már nem is voltam ideges. Mert hát mi baj lehet? Legfeljebb áttalicskázom az interneten jópár TB-ot, kivárom azt a jópár napot, míg ez megtörténik, csak hogy aztán a végén ugyanott tartsak, mint ahol elkezdtem:

cannot import 'data': I/O error

Nem, ez nem lehet. Nosza, hadd fusson:

Pár nappal, 23 TB adat elküldésével és 49 GB megevésével később megállt az adatmozgás, így én izgatottan nézhettem be a felhő egy másik szegletébe. Ott pedig egy szépen csillogó délibáb fogadott: ott volt minden adat, holott nem volt ott semmi. :)

Gyorsan lemountoltam, majd felhúztam az ftp.fsn.hu-n, és elindítottam a kimaradt cuccok letöltését, amelyek időközben meg is érkeztek, így újra működik minden...

... a következő jégesőig...

Hozzászólások

Meg is hozta a kedvem a ZFS-hez :D

Amúgy szép munka!

A felhős erőforrások mennyibe kerültek?

--
trey @ gépház

Ahogy azt faluhelyen mondják: szép ez, mint egy traktor!

Azt lehet tudni, hogy az I/O error-t mi okozta? Ha jól értem, hardver csere nem történt, csak szoftveres beavatkozás.

Mivel a FSCKin' cloud ilyen jól működött, érdemes lenne szolgáltatást csinálni belőle. Ez lenne a FSCK as a Service, röviden FSCKasS.

azért jó ilyet olvasni, mert itthon ez nem divat, hogy valami elcsesződik, és le is írják mi volt, mit csináltak, és mi lett :D

Ez a bra nem normális szerintem. :)
Igaz, 22 év alatt bőven volt ideje megzakkanni. Vicces belegondolni, hogy régebb óta létezik ez a hely, mint a ma használt cuccok nagy része (google, facebook stb).
Csak a freemail előzi meg... :)

Kíváncsi vagyok meddig fog még ketyegni, nagy hecc lenne 40 év múlva bra-val együtt eltemetni :D

Ismeritek azt az örökbecsű képet, aminek a címe "Olyan nincs, hogy nem kompatibilis" - na, ezt érzem a cikk olvasása után! :)
Nosztalgikus érzés, mit ne mondjak! :)

--
Where do you want to go today?
[nobody@salcay:~]$_

A hülyét pont most adod, mert nem az a téma, hogy a ZFS a normál működéskor mennyi RAM-ot eszik, hanem az, hogy az FS recovery toolok mennyit esznek.
Ha nem adnád a hülyét, tájékoztatnál röviden a helyzetről az általad komált, és alaposan értett fájlrendszerek tekintetében.
Ha kellően részletes vagy, még le is borulnék a szaktudásod előtt!

"A hülyét pont most adod, mert nem az a téma, hogy a ZFS a normál működéskor mennyi RAM-ot eszik, hanem az, hogy az FS recovery toolok mennyit esznek."

Teljesen jó! Megállapíthatjuk akkor, hogy ez az a fájlrendszer, ami nem csak a normál működéskor, hanem a recovery toolok használatakor _IS_ szarul kezeli a memóriát.

"röviden a helyzetről az általad komált, és alaposan értett fájlrendszerek tekintetében."

Nem kell itt borulgatni sehova. VMFS felett használok standard fájlrendszereket, nem futottam még bele ilyen problémába.

Életemben nem tároltam 1 byte nem sok, annyit ZFS-en. Nem érzem, hogy bármiről is lemaradtam volna.

--
trey @ gépház

Vallasos utalat akkor lenne ha azert utalna mert oracle (korabban sun) termek, vagy bejelentenek teszem azt a zfs lite-ot (par feature-el kevesebb de joval kevesebb eroforassal is beeri) es egybol elitelne hogy ugyis szar lesz mert zfs.
Ha azert iteli el mert rengeteg memoriat zabal, amit egyszeruen meg lehet merni de egyebkent is tele van vele a net akkor az sokkal inkabb tenymegallapitas mint vallasos utalat.

Ebben teljesen egyetértünk. Más kérdés, hogy vannak olyan problémák, amiket máshogy nem tudsz megoldani, minthogy betöltöd memóriába az adatot.
Ettől még az, hogy egy (nem tudom mekkora, de a leírás alapján gyanítom 20T alatti) FS "fsck"-zásához 50G memória kell, annyira nem jó.

offtopic: mi a neve az első terminálba futó toolnak?