Clustered LVM CEPH felett

Linux-haladó

Helló,

Az alábbit szeretném megvalósítani:
CEPH clusterbe létrehozva egy block volume, amit rendben fel is lehet mountolni több gépen is, ez eddig tiszta sor.

Viszont erre a blokk eszközre szeretnék clustered LVM-et létrehozni a gépek között. Normál esetben ha egy iscsi tároló lenne, akkor iscsi fencinggel beállítva simán megy, azonban ilyen esetben mit kéne beállítani? Van valami direkt ceph rdb-hez való fencing, vagy valami más általános dolgot kéne használni?

(azért kell ez az egész, mert CentOS 7-be, a peacemaker részeként lehet használni CLVM-et)

  • 1055 megtekintés

( blackluck v | 2016. 11. 09., sze – 19:36 )

"azért kell ez az egész, mert CentOS 7-be, a peacemaker részeként lehet használni CLVM-et"

Inkabb oknak erzem amiert ezt akarod, mi a celod clvm-el, miert kell az neked, egyaltalan lvm miert kellene neked?

Már hogy lenne az OK? Nem én találtam ki, hogy az egész CLVM-et beépítik a pacemaker alá, hanem RedHat-ék: https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/…
(6-osba még külön lehetett használni)

Az LVM megléte nem léte teljesen irreleváns, kell és kész.

Valamit kitalaltal ami szerint neked clvm kell es "azért kell ez az egész, mert ...", erre gondoltam hogy ennyibol ez csak egy ok. Ami helyett lehet hogy van jobb megoldas is, csak ahhoz latni kellene az igazi igenyt, hogy mit szeretnel ezzel.
Ha ragaszkodsz a clvm-hez szived joga, csak segiteni akartam volna esetleges egyeb megoldasokkal.

Az a program tudja kezelni a clvm-et, avagy mit szol hozza ha lock-ra kell varnia mert masik gepen fut eppen, egyaltalan egyszerre tobb geprol is hasznalja a program?

Amugy hirtelen keresve rbd resource akad pacemakerhez:
https://github.com/ceph/ceph/blob/master/src/ocf/rbd.in

Fencing-et en nem erzem hogy kellene konfiguralnod vagy ugyanazokon a gepen fut a ceph is es pacemaker-el akarod vezerelni/segiteni?

Igen, normál ISCSI storage esetén rendbe megy. Nem egy LVM volumot használ, hanem VG-ben lévő LVM-eket (egy időbe egy helyen egy-egy lvm-et).

A ceph teljesen máshol megy és függetlenül megy.

Én nem akarom pacemakerrel vezérelni, de sajnos CentOS / Red Hat 7-en más lehetőség már nincs, mert a clvm-et is beépítették a pacemaker alá, annak meg kell a fencing.

Ha esetleg nem kell hogy ugyanazokat az lvm-eket tudja hasznalni amit masik gepen is hasznalhat, akkor talan az is megoldas hogy gepenkent csinalni kulon rbd-ket es azokon fuggetlen vg.

Amugy igy mar ertem mit akartal az eredeti kerdessel, tehat mivel neked clvm kell ahhoz kell pacemaker, ahhoz meg fencing es ezt hogy oldd meg.
Egyreszt lehet manual/dummy fencinget beallitani ami nem csinal semmit ha bevallalod hogy annelkul is jo, masreszt szerintem ilyen esetben nem a tarhely (ceph) elereshez kellene fencing, hanem azoknak a gepeknek amiken fut az alkalmazas. Azokhoz a node-okhoz beallitani hogy pl ipmi-n, ilo-n, pdu-val stb leallitsa a gepet ha ugy erzekeli nem reagal rendesen.

A vg-nek közösnek kell lennie, mert ha jelleggel mozgatódhatnak az erőforrások (ha minden igaz konténerbe futó valamik) a gépek között.

Ha ez egy tök szabvány ISCSI storage lenne, akkor iscsi fencinf elég lenne és már szalad is a clustered LVM és öröm és bodottá (mondjuk nem nagoyn értem itt mire kell egyáltalán a fencing, egy storageot vagy elér vagy nem, és akkor vagy elindul a clvm daemon vagy sem). Az alkalmazásnak saját megoldása van erre a dologra, az teljesen független a pacemakertől, ami csak a CLVM miatt kell, semmi másra nem is lesz használva, más erőforrás nem lesz definiálva benne.

A dummy fencinget megnézem, végülis siman magába clvm-et használva (ahogy a 6-os CentOS ig volt) sem kellett ilyesmi, itt csak metaadat szinkronizáció van, a clvm daemonok között nincs is "aktív" kommunikáció.

( csardij v | 2016. 12. 04., v – 11:16 )

Arra juttottam,hogy a legegyszerűbb az lenne, ha simán ISCSI-t kiajánlok és azt kötöm be a szerverekbe, lrbd-vel.