LustreFS tapasztalatok

Linux-haladó

Sziasztok,

van valakinek tapasztalata a LustreFS-sel Linux alatt? Vagy úgy általában? Mennyire stabil/gyors?

Köszi

  • 4020 megtekintés

( hrgy84 | 2012. 04. 24., k – 16:51 )

Kicsit felhoznam ezt a temat, ugy nez ki, kozelebbi kapcsolatba kell kerulnom a cuccal. Barmilyen tapasztalat erdekel.
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

Hasznaltuk, majd valtottunk distributed glusterfs-re.
Egyaltalan nem volt mindig stabil, mondjuk ugy, hogy altalaban igen, de aztan neha elojott megmagyarazhatatlan errorokkal. Olyankor altalaban segitett a teljes cluster restart.

Beszelgettem massal is rola, olyannal, aki szerintem nalam hozzaertobb. Neki is az volt a velemenye, hogy inkabb from scratch FS-nek valo.

Nalunk 'legnagyobb' kiszerelesben 5 OSS-sel ment, ami mikronak nevezheto az egyebkent a nagyvilagban fellelheto rendszerekhez kepest. Nyilvan support neelkul, CentOS-en.

Mit szeretnel konkretan tudni?

tompos

Korvonalazodik egy terv, van egy hely, ahol szukseg lenne baromi nagy fajlok baromi gyors irasara (rendering/encoding) erre keresnek megoldast. Lustre okesnak tunik a celra, csak nincs vele effektiv tapasztalatom.
Ilyen kerdesek erdekelnek:

- Mennyire bonyolult a telepites/beallitas
- Vannak-e ismert buktatok
- Mire kell figyelni az alaprendszer kivalasztasanal
- Mire kell figyelni a konfigolas soran

Meg ilyenek.
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

- Kozepes de pilota vizsga nem kell hozza.
- Nem tudok rola nem talalkoztam vele.
- Ubuntu,CentOS tesztelve elesben is megy. Redhat megvette szoval azokon a rendszereken jobban tamogatott lesz a kesobbiek soran.
- Arra ,hogy amit meg kell valtoztatni mindketton az meg legyen :) debugoltam 3 oran keresztul 1 ertek miatt :).

--
1 leszel vagy 0 élő vagy hulla!

A glusterfs-t konnyi configolni, cserebe vannak azert betegsegei. Ha nem akarsz replikalni, akkor sok bajnak elejet veszed. Persze vannak sokan, akiknek mukodik replikacioval is, meg sokan, akik nyavajognak miatta.

Annyira hatalmas nagy sebessege szerintem sosem lesz, cserebe nem kell bajlodni/aggodni a meta szerver(ek), ill. adatok miatt.

tompos

Nem akarok mindenkinek egyesevel valaszolni, mert flood lenne. Koszonom az eddigi tippeket a glusterfs-hez is. Mindenkeppen atnezem, atbeszelem ezt a megoldast is. Illetve hat ha esetleg nem ertek valamit, vagy gond van, kerdezek.
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

A telepites viszonylag bonyolult, de ami igazan fajdalmas, az az azutani config modositas.

Van sajat known bugs sectionje emlekeim szerint a release notes-ban.
Ha sok file lenne, akkor fontos lenne a gyors metadata szerver. Amikor felveszed a node-okat eloszor (betoltod a modult + mount), akkor ne felejtsd el explicit megadni az interface-t. Igy force-olja es nem akarja maga kitalalni. En szivtam anno sokat emiatt. Utolag nehez az ilyesmit config-olni.

Mit ertesz alaprendszernel? Legyen gyors backbone.

Ne szurd el:) Figyeld a log-okat. A loggolast allitsd minimal-ra. Egyszer pl. volt vmi bug, ami miatt akkor haltak meg az OSS-sek, mert tul sokat loggoltak. A workaround az volt, h minimalra kellett allitani. A pontos modjara mar nem emlekszem.

Viszont, ha baromi nagy file-okat akarsz irni gyorsan, akkor a moosefs-t ajanlom. A lustret nem a baromi gyors, hanem az elkepzelhetetlenul gyors ((c) Urgolyhok) irasra talaltak ki.

tompos

Koszonom a tippeket.

Az alaprendszernel elsosorban oprendszert ertettem, a gepek (sajnos) adottak, ha jo jo, ha nem jo hat nem jo. Viszont nem szeretnek:
- Kernel - tools inkompatibilitasokat (ha ennek van ertelme)
- Konstans kernelpanikokat
- Konstans szopasokat

Szoval olyan mondatra gondolok, hogy pl. Ubuntu ala ne telepitsd, mert az altala szallitott kernelben pl. lassu. Vagy ne tedd Fedorara, mert kevesse tamogatott rajta, es regi verzio van benne. Szoval, valami hasonlo mondatokat varok.
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

Kiadjak 1 bizonyos kernelhez a release-t es ahhoz hasznalhatod. Vagy forgathatsz ujat, de azt inkabb nem akarod, mert vagy mukodik, vagy nem.

A kliens mar erdekesebb. A kernelt nem kell patch-elni, de ez nem is azt jelenti, hogy minden passzol egybol. Altalaban a 2-3 verzioval lemaradt FC-vel hasznaltuk. Kb. ott tartott a kernel, amit hasznaltak.

Azt tapasztaltam, h a nagyoknal a kliens is inkabb volt RedHat, mint vmi ujabb, patchless kerneles kliens.

tompos

Egy kulon szalat nyitok a kerdesnek, mert ez hihetetlen szamomra: tenyleg egy modulbetoltes+mount a lustre beallitasa? Mennyire konfigolhato ez a cucc, es hogyan? Mount opciokkal?

Megmondom oszinten, olvasgattam rola doksikat, de mivel konkret implementacios (step-by-step) leirast meg csak egyet talaltam, es az akar hianyos is lehetett, ugy gondolom, inkabb rakerdezek...
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

Nem annyi a beallitasa, hanem annal a resznel kell vigyazni, amire mondtam.

Egesz pontosan nem emlekszem, viszonylag mar reg volt.
Megneztem, mar nincsenek meg a regi step-by-step howto-im/scriptjeim.

Amennyire emlekszem arrol van szo, hogy mkfs.lustre-val megcsinalja az FS alrendszer a meta es a storage node-okon is, majd mount.
Ekkor a meta szerverre bekerul a az adat es onnantol van clustered.

Allitgatni ilyen ertelemben nemsokat lehet rajta, mit lehetne? Vannak kernel parameterek, ill. a modulok-nak parameterei, azokon tudsz allitani szukseg eseten.

tompos