Proxmox New node ZFS poolba

Szerverek

Sziasztok,

Adott egy minimalista Proxmox cluster, benne 2 gép, 1-1 ZFS storage, ami cluster szinten össze van fogva ZFS poolba. 
Tegnap elkezdtem clusterbe tenni még egy gépet, sikerült is, localban megvan a ZFS storage, viszont ezt is be kéne tennem a poolba.

A datacenter/storage menüben van a ZFS pool, itt lehet editet nyomni a poolra és látszólag ott engedné is az új node-t is betenni a többibe. Normál esetben így kell hozzáadni ,és simán látszani fog, vagy ebből így adatvesztés lesz? Esetleg más módon kell? Elméletileg van mindenről proxmoxon belüli backup, de inkább elkerülném, hogy hozzá kelljen nyúlni

  • 287 megtekintés

( ggallo | 2022. 10. 27., cs – 10:05 )

Nem igazán értem, amit írsz. Olyan nincs, hogy több különböző fizikai gépen lévő meghajtót egy ZFS pool-ba összefogj (vagy bármilyen egyéb szerveződésbe, amit a ZFS natívan kezel), ilyent nem tud az OpenZFS, és a Proxmox-ban lévő verzió sem különbözik ebben.

Még az ehhez legközelebb jutott TrueNAS Scale is úgy oldja meg a ZFS alapú klaszter építést, hogy az egyes fizikai szervereken lévő ZFS pool fölé tesz egy GlusterFS-t, amivel a klaszter szintű osztott tárhely megvalósul. A Proxmox gyári telepítője/kezelő felülete ilyent nem tud létrehozni, de kézzel lehet GlusterFS-t telepíteni a Proxmox node-okra.

Ha nincs osztott tárhelyed, de ZFS van az egyes fizikai szervereken, akkor ZFS replikációt állíthatsz be, VM-enként akár, így tudod a legjobban megközelíteni a nagy(obb) rendelkezésre állású üzemet. Persze ez nem lesz olyan, mint az osztott tároló, mert a replikáció aszinkron, és túl rövidre sem érdemes venni a két szinkronizálás közötti időt.

Oké, de akkor mit szeretnél csinálni, mi a kérdés?

Simán állíthatsz be újabb replikációt a harmadik, klaszter tag felé bármelyik eddigi szerver felől (és vica versa). A Datacenter szinten lévő Storage pontban ezzel semmi teendő nincs, ott az olyan osztott tárolókat lehet és kell kezelni, amelyek minden node-on egyformán elérhetőek. A node-ok lokális tárolóit nem kell (és igazából érdemben nem is lehet) a Datacenter "szinten" kezelni.

Direktben nem engedi a replikációt, mert nem létezik az a zfs storage, amit használni szeretne. Ha jól emlékszem, az volt a megoldás, hogy a datacenter/storage menüben hozzá kellett adni ZFS-t és oda berendelni a local zfs-eket. 
Most itt a kérdés az, hogy ha datacenter/storage alatti meglévő zfs-re nyomok egy editet, és plusz egy node-ot megpróbálok hozzárakni, akkor ez-e a módja ennek, hogy a meglévő adatok elvesztése nélkül működjön a replikáció

( gyuri23 | 2022. 10. 27., cs – 10:40 )

Nekem úgy tűnik félreérted a datacenter/storage funkcióját. Az nem hoz létre semmit, csak megmondja a cluster-nek, hogy milyen területet használhat és mire. Itt nem hoz létre semmit, csak kiválaszthatsz. Ha olyan kötetet próbálsz beállítani egy node-ra, ami ott nincs, az nem fog működni. 
Először neked kell létrehozni amit akarsz, zfs pool, nfs megosztás, lvm kötet stb. és utána tudod beállítani. Ha HA-t akarsz, neked kell megoldani és utána megadni, hogy hol van.
A CEPH valamennyire kivétel, mert az létrehozza a GUI-n, meg a ZFS-hez is van külön a node-on tool.

A tömegek sohasem szomjúhozták az igazságot. A nekik nem tetsző bizonyságok elől elfordulnak és inkább a tévedést istenítik, ha ez őket elkápráztatja. Aki illúzióba ringatja őket, úr lesz fölöttük, de áldozatuk az, aki megpróbálja őket kiábrándítani.

 Az nem hoz létre semmit, csak megmondja a cluster-nek, hogy milyen területet használhat és mire.

Így értem én is, csak azt nem szeretném, hogy esetleg hozzárakok plusz node-ot aztán leküldi a kérést, hogy localban jöjjön létre, ezzel esetleg kimosva a meglévőt.

Megpróbálom máshogyan kérdzeni:
Mindhárom szerveren van 1-1 local zfs, ebből 2-n vannak már dolgok, replikáció aktív, és jött egy 3. ami most lett létrehozva az "add storage" pipa nélkül.

https://thevault.i234.me:52022/sharing/I0CKsCH3W

Ezen a képen ha a nodes listát lenyitom, beteszem az új szervert is, és nyomok egy okét, akkor csak annyi történik, hogy látni fogja az új szerver local zfs-ét is replikáláskor, vagy pedig a meglévőeket is boríthatja? Esetleg ha itt nagyon elrontok valamit, akkor a local zfs-ek sértetlenül megmaradnak? 

Itt nem nyúl fizikailag hozzá, nem tudod itt "tönkrevágni" a meglevő adatokat. Annyi lesz, hogy nem tudja használni, ha nincs olyan, ha van akkor meg minden ok.

Itt egy kép, hozzáadtam egy zfs dataset-et egy olyan node-hoz amin még zfs sincs. Ennyi történik:

https://i.imgur.com/dh5jHg8.png

Ha ezek után mégis használni akarod, hibaüzenetet kapsz.

A tömegek sohasem szomjúhozták az igazságot. A nekik nem tetsző bizonyságok elől elfordulnak és inkább a tévedést istenítik, ha ez őket elkápráztatja. Aki illúzióba ringatja őket, úr lesz fölöttük, de áldozatuk az, aki megpróbálja őket kiábrándítani.

Ez a menüpont gyakorlatilag az /etc/pve/storage.cfg -t módosítja (minden nodeon ami a cluster-ben van). Ha itt hozzáadod a 3. node-ot akkor az a (helyi, nodeon lévő) storage annál a nodenál is elérhető lesz. Ahogy gyuri23 hozzászólásban írta, ha nem létezik a nodeon az a storage akkor megjelenik de nem tudod használni, ha létezik akkor probléma nélkül használni is tudod. Ettől még a Replication beállítás nem módosul. Épp az új node kapja meg a clusterben lévő konfigot és nem fordítva. De úgy gondolom egy kis fogalomzavar van itt: (VM) Replication nem ZFS pool-t replikál hanem VM-et (pontosabban a diszkeket), azok között a node-ok között ahol ez be lett állítva. Mivel új node-ról beszélünk így erre nem is kerül semmi, mivel a Replication-ben nincs beállítva.  A ZFS pool az pedig csak helyi storage-t jelent.

( b10up | 2022. 10. 27., cs – 12:56 )

Köszönöm az ötleteket, éjjel megpróbálkozok vele

( quash | 2022. 10. 27., cs – 18:43 )

Alapvetően neked csak egy node cluster-ed van, ami arra jó, hogy egy helyen tudod őket managelni.
Illetve bizonyos műveleteket végezhetsz a member-ek között, pl. VM mozgatás, replikáció, etc ...

Ettől még minden node-nak saját, local storage-van, ami lehet akár ZFS alapú is.
Amúgy ZFS storage-ot csak akkor érdemes használni, ha ténylegesen használsz is valamit ZFS-ből!

Neked a problémád valószínűleg abból fakad, hogy eltérően nevezted el az egyes node-okon a ZFS pool-okat!
A cluster-ben lévő "közös" storage-ek, ahogy már fent is írták /etc/pve/storage.cfg-ben vannak definiálva, ezeknek minden node-on azonos nevűnek kell lennie.
kb. biztos hogy azért nem megy pl. replikáció, mert A,B régi node-on pl. local-zfs-nek hívod, C új node-on pedig zfs-pool-nak pl.