moosefs master HA

Szegeny ember vizzel foz. Kepbejon a drbd.
A net teli van leirasokkal hogy kell egy nfs servert drbd-vel osszehazasitani. Ez nekunk jo is, csak nfs helyett egy mfs masterunk van.
Hat elso korben kellett egy drbd, ez sima ugy. Ket dolog fontos benne:

handlers {
    ...
    fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
    split-brain "/usr/lib/drbd/notify-split-brain.sh root";
    after-resync-target "/usr/lib/drbd/crm-unfence-peer.sh";
}

disk {
    fencing resource-only;
}

Osszesynceltek, majd kerult ra egy ext4 fs.

A moosefs master masik problemaja, hogy a chunkszervereket nemlehet csoportokba szervezni (pl hw felepites szerint), hogy adott fajlokat adott csoport taroljon. pl /x tartalma az A-B-C gepeken van, mig a /y tartalma a D-E-F gepeken. Ez megoldhato ha tobb fuggetlen master fut, es ehhez kapcsolonak a fuggetlen chunkszerverek.
A debian csomagolt moosefs ezt nem tamogatja, de szerencsere a master processt el lehet inditani fuggetlen beallitasokkal, amik nem zavarjak egymast.
A beallitasok a /etc/mfs/foo konyvtarba kerul, a data fajlokat az /srv/mfs/foo konyvtarba teheti, es kapott egy sajat init.d-t is mfs-master-foo neven. (a fenti drbd a /srv/mfs-re lett csatolva)
Az /etc/rc*-kbe nemkell linkelni, hiszen ezek nem indulaskor fognak elindulni, hanem a pacemaker inditja oket.

A corosync + pacemaker telepites utan itt a teljes crm config:

node mfs-master1
node mfs-master2
primitive drbd_moosefs ocf:linbit:drbd \
        op monitor interval="10s" \
        params drbd_resource="mfs"
primitive fs_moosefs ocf:heartbeat:Filesystem \
        op start interval="0" timeout="60" \
        op monitor interval="10" \
        op stop interval="0" timeout="120" \
        params device="/dev/drbd/by-res/mfs" directory="/srv/mfs" fstype="ext4" options="noatime,nodiratime" \
        meta target-role="Started"
primitive lsb_moosefs_foo lsb:mfs-master-foo \
        op monitor interval="5s"
primitive lsb_moosefs_bar lsb:mfs-master-bar \
        op monitor interval="5s"
primitive vip_moosefs ocf:heartbeat:IPaddr \
        op monitor interval="5s" \
        params ip="1.2.3.4" cidr_netmask="26"
group lsb_group lsb_moosefs_foo lsb_moosefs_bar
ms ms_drbd_moosefs drbd_moosefs \
        meta master-max="1" clone-max="2" master-node-max="1" clone-node-max="1" notify="true"
colocation fs-moosefs-with-ip inf: fs_moosefs vip_moosefs
colocation fs-moosefs-with-lsb inf: fs_moosefs lsb_group
colocation ms-drbd-moosefs-with-fs-moosefs inf: fs_moosefs ms_drbd_moosefs:Master
order fs-moosefs-before-lsb inf: fs_moosefs:start lsb_group:start
order ip-before-lsb inf: vip_moosefs:start lsb_group:start
order ms-drbd-moosefs-before-fs-moosefs inf: ms_drbd_moosefs:promote fs_moosefs:start
property  stonith-enabled="false" \
        no-quorum-policy="ignore" \
        stop-all-resources="false"

Miutan minden jol megy, akkor elindulnak valamielyik node-on a master-ek, a virtualis ipn el lehet oket erni (itt most 1.2.3.4)

Online: [ mfs-master1 mfs-master2 ]

fs_moosefs     (ocf::heartbeat:Filesystem):    Started mfs-master1
vip_moosefs    (ocf::heartbeat:IPaddr):        Started mfs-master1
Master/Slave Set: ms_drbd_moosefs
     Masters: [ mfs-master1 ]
     Slaves: [ mfs-master2 ]
Resource Group: lsb_group
     lsb_moosefs_foo (lsb:mfs-master-foo):        Started mfs-master1
     lsb_moosefs_bar (lsb:mfs-master-bar):        Started mfs-master1

TODO:
tovabbi corosync node-ok beallitasa, hogy meglegyen a szavazasos moka, de ilyenkor be kell allitani hogy a drbd csak adott ket node-on futhasson:
location ms-drbd-placement ms_drbd_moosefs rule -inf: \#uname ne mfs-master1 and \#uname ne mfs-master2