ocfs2 vs. gfs2 (alternatívák)

Naplózó filerendszerek (journaling)

Sziasztok,

Olyanban kérném a véleményeteket, hogy web kiszolgálásra melyik a megfelelőbb fájlrendszer. Jelenleg ocfs2 (1.5.0) van a szervereken. Sajnos a ocfs nem egészen úgy működik ahogy kellene, vannak gyermek betegségei. Illetve a teljesítményével, se vagyunk megelégedve. Egyik nagyon zavaró hibája, hogy a nodeok közötti lockolások folyamatosan hibát dobálnak (DLM_BADARGS). Ezt a hibát elvileg javították a 2.6.29 kernelben, de kipróbálva ezt a szériát a teljesítménye majdnem a felére esett (hibás kernelel (2.6.28) 6 load a szervereken, javított kernelel 12-15 load + nagyobb i/o wait). A hibás kernel stabilitásban se a legjobb! A szervereken ubuntu van. A kérdésem az lenne, hogy ocfsnek milyen alternatívái vannak, amely produktív környezetbe használható. Én gfs/gfs2 néztem ki, de véleményt szeretnék kérni, hogy milyen alternatívák vannak, illetve ki milyen fájlrendszert javasol. A clusterben 5 node van és egy SAN tömbbe csatlakoznak FC-vel.

Válaszokat előre is köszönöm.

  • 7089 megtekintés

( uid_228 | 2009. 05. 27., sze – 09:00 )

RHEL4 alatt (régi!) GFS-sel nagyon, hm, érdekes tapasztalatok gyűltek itt föl. Nem tudom, hogy azóta javult-e, de én inkább javasolnék egy áttérést Solarisra. :))

--
"How do you work in a team situation when all the other team members are fools and idiots?"

solarison teljesen elosztott fájlrendszerek:

- sun qfs (ez emlékeim szerint pénzes)
- veritas cfs (ez biztosan pénzes, vxfs-alapú)

nem teljesen elosztott fájlrendszerek:

- suncluster pxfs (ez logikai szempontból elosztott, gyakorlatilag viszont nem az, mert egy fájlrendszer i/o-ját mindig csak egy node bonyolítja, a többi gép egy interconnect hálózaton tolja át oda az összes i/o műveletet; ez csak performancia szempontból izgalmas, mert egyébként elfedi a suncluster) - rdbms alá nem raknám, fájlos cuccokra viszont jó lehet (pl. mail szerver)

van még a lustre nevű sunos cucc, ami olyan kb. mint a qfs, opensource, viszont csak linuxon és csak meghatározott kernelekkel megy.

ízlések és pofonok.

nekem meg a power és ilo alapú fencingek tűnnek gyermetegnek (nem is üzembiztos és nem is biztonságos - ki engedi meg szívesen, hogy a menedzsment interfészt el lehessen érni host sw-éből?).

a scsi3 azt tudja, hogy akinek nem szabad, az adatokat nem tudja elérni. cserébe pl. lehet single-userben a clusteren kívül renoválni a node-ot, ami mondjuk sw upgrade/patchelésnél sokszor 'must have'.

a scsi3 nélkül semmi garancia nincs arra, hogy valaki egy jólirányzott paranccsal ne mountolja fel ugyanazokat a diszkeket egy másik gépen.

( egeresz | 2010. 02. 24., sze – 15:50 )

egy clustered filesystem irasra (metaadat, es adat update) soha nem lesz gyors. Soha nem lesz annyira gyors, mint egy lokalis rendszer. Bizonyos lockokat szinkron kell vegezni, es ez jelentos lassito tenyezo.

Ez a '5 node symmetric cluster - shared disk with cluster fs' elkepzeles egy nagyon szep koncepcio, es tokeletesen illik a magas rendelkezesreallasu tranzakcioalapu szerverekhez. Kevesse a nagy terhelhetosegu asszinkron szerverekhez.

Nem tudom a node-ok terheltseget, hogy van-e feladat szerint szeparalas. Egy altalanos szeparalas olyan kicsit osszevissza kinezetu, de altalaban nagyobb teljesitmenyu. (webszerver, az latja a LUN-t, static webet kiad es NFS-en a backendszervernek ezt a LUN-t; egy backend szerver, ami az update-t meg a backupot vegzi (az nfs-en), kulon db szerver; az egesz magas rendelkezesreallasa hideg (kikapcsolt/unmountolt) gepekkel tortenik stb)

( suckit | 2010. 02. 24., sze – 16:49 )

Mit takar az a "web kiszolgálás"? Ennek ismerete nélkül elég nehéz bármit is javasolni, a "web kiszolgálás" alapján még az is bőven elképzelhető, hogy jobban járnál helyi fájlrendszerrel, és alkalmazásszintű replikációval.

suckIT szopás minden nap! Solaris Itaniumon

Mi is teszteltük a GFS2-őt sajnos az se igazán vált be nekünk, a fencing valahogyan nem úgy működött ahogy mi szerettük volna. Az ocfs2vel a legnagyobb probléma az volt, hogy nem igazán volt gyors és ezt akkor vettük észre amikor lecseréltük.:) A választásunk NFS-re esett, ami jelenleg is fut, és lekopogom semmi gond nincsen vele.

Mivel, hogy teszt környezeten próbáltuk, így csak a fence_manual-t tudtuk tesztelni. Azóta mondjuk dobtuk az ubuntut, a gfs-t még ubuntun teszteltük. Most, hogy jól megy az nfs nem nagyon akarjuk bolygatni. Jelenleg centos-t használunk. Amint lesz olyan gép amin tudok virtuálisan tesztelni a gfs-t is meg fogom próbálni, hogy centosel mit produkál.

Ez mind szép és jó, de az NFS != gfs v. ocfs v. más clustered fs. Nyilvánvalóan azt csináltátok, hogy van egy node ami a többinek nfs-en kiszolgáltja az fs-t, de ez közel sem clustered megoldás. Pláne mi lesz akkor ha elfüstöl az a node.
GFS/GFS2 default konfigban kb. egy rakás szar, viszont be lehet állítani egész jól, ennek ellenére ilyesmi feladatokra én saját tapasztalatból az ibm gpfs-t tudom a leginkább javasolni. A cluster wide lock kezelése, a fencing, minden nagyon jól működik benne. Természetesen a feladattól függ, hogy mit is használjatok, pusztán az nfs-re reagáltam, hogy az nem biztos h. valós magas rendelkezésreállást tud produkálni. (hacsak nem HA a _két_ nfs szervered :))

Üdv,
Zoli

Ez is vallashaboru. 2 eve egy eleg nagy ugyfelunk vagy 5-6 kulonfele cluster filerendszert vegigprobalt, a vegen a GFS-nel maradt, amely stabilitas es performancia teren egyarant porba alazta az osszes tobbit.

En GFS/GFS2-t hasznalok, ha csak lehet, Solarison meg QFS-t. Utobbi eleg jo, de nagyon draga.

--
SELinux, Xen, RHEL, Fedora: http://sys-admin.hu

Inkább felhasználási terület függő.
Nálunk pl. elvérzett a gfs, főleg azért mert szerettük volna, ha az fs nem csak clustered, de mirrored is. Tudom, a clvm-el ezt is meg lehet csinálni, de a gpfs mirrorjához képest elég játékszer a clvm még. Amiben nálam nagyon alulteljesített a GFS, viszont amire webes alkalmazásnál általában nincsen szükség az a posix fcntl() locking. Ezért is írtam h. erősen felhasználásfüggő. A GFS2 és a GPFS között döntenék, ha ilyesmire lenne szükség valahol. OCFS szép és jó, de még eléggé gyerekcipőben jár a posix kompatibilitást illetően, a Lustre jó, de nem erre, a GlusterFS megint másra jó :) Shared storage (SAN) esetében mindenképp a GFS és a GPFS jön szóba. Solarist meg nem tudom, mert sosem voltam oda érte (persze a sun cluster az barommi jó), most meg h. Oracle... így még "büdösebb" :)

@djsmiley:
Ahogy mondod, SPOF az nfs. A valós rendelkezésre állás meg nézőpont kérdése, az ocfs2-nél amikor azt használtuk a tömb volt az SPOF. Az ibm gpfs-ről én is sok jót hallottam, de sajnos a mai világban mindig az a cél, hogy ingyen oldjunk meg mindent ha lehet.