Több node-os Proxmox VE mögé kellene valamilyen cluster FS.
Vagy beszéljetek le róla, és használjak csak nyugodtan NFS-t, mert jó az nekem(?).Ami számításba jöhet:
OCFS2
Régen használtam (még 1.4.x-et), az 1.6-tal nincs tapasztalatom. Az 1.4 volt, hogy elesett, és a hostokat rebootolni kellett, de adatvesztésem nem volt. Ha ez még mindig ilyen, azért futó VM-eket nem tennék rá, jó lenne, ha a HA működne.
Egy ideig nem volt a PVE alatt engedélyezve a kernelben, nem tudom, hogy ez változott-e azóta.
GFS2
Sosem használtam, nem ismerem, ahogy olvastam, nagyjából azt nyújtja, mint az OCFS2. Proxmox fórumban van róla szó, van, aki dicséri, van, aki nem, de azt nem néztem, hogy a postok mikoriak.
Nem tudom, hogy érdemes-e belevágni?
Mi lehet még opció?
Ami biztos, hogy csak egy olyan host lesz, ami iSCSI-t ad, és a PVE-ken erre kerülne a cluster FS, tehát CEPH kiesik élből, és DRBD sem játszik.
Egyéb ötlet vagy tapasztalat érdekelne.
Előre is THX.
--
PtY
www.onlinedemo.hu
Hozzászólások
pve-ben van par storage tamogatas. pl ceph, Sheepdog, GlusterFS, Nexenta, drbd.
kedvedre valogathatsz.
--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!
Mint írtam:
DRBD nem játszik, egyetlen iSCSI storage van, arra kell valamilyen fájlrendszer.
GlusterFS tekintetében nem vagyok túlzottan képben, de az nem arra való, hogy több gép tárterületét fürtözzem? Ma jól tévedek, akkor ez sem opció.
Nexenta támogatása béta - nem is néztem tovább.
Sheepdog első ránézésre GlusterFS, így ez is kiesett.
CEPH és DRBD ki lett zárva a nyitó posztban.
Semmi sem maradt :(
--
PtY - www.onlinedemo.hu
glusterfs-t hasznalok
A es B gep egy-egy konyvtarat (tarteruletet) szinkronizalom vele es azt osztom meg tobb masik gep kozott.
Nekem egy gépem van arra, hogy tárterületet osszak meg rajta több gép között.
Működik a GlusterFS egyetlen egy node-dal is?
--
PtY - www.onlinedemo.hu
igen
a glusterfs egy kicsit modositott nfs.
igy kesobb amikor mar szukseged lesz a storage magas rendelkezesre allitasara gyorsan meg fogod tudod tenni.
Ok, akkor tovább kérdezek, mert nem ismerem a GlusterFS-t. :)
A kliensen a kiosztott tárterület egy share, vagy egy lun?
--
PtY - www.onlinedemo.hu
a kliensen kiosztott terulet van. nem egy lun-t osztasz meg. pont ugy mint egy sima nfs-nel.
egyetlen iscsi storagera minek clusterfs ?
Vagy
Fedora 19, Thinkpad x61s
amiert mondjuk az nfs lett kitalalva.
egy kozpontot megosztani tobb kliens kozott, mikozben ugyan azt a tarteruletet latjak.
Már megválaszolták, de igen, azért, mert több host fogja aktívan használni ugyanaz(oka)t a lun(oka)t.
--
PtY - www.onlinedemo.hu
Hát, akkor valamit kvára félrekonfiguráltál :)
Ugyanaz a gép több hoston tuti nem fog egyszerre futni. Elég neked egy LVM.
Bocs, a lentebbi hszt nem olvastam, de akkor sem erőltetném a cluster fst. PVE-ben az LVM kezelés korrekten meg van csinálva, nem kell érteni hozzá. Elég a VG-ig létrehozni, usereid pötyöghetik maguknak a többit (LV)
Semmi sincs még konfigurálva. Ugyanaz a VM nem fog futni több példányban, ellenben, ha a hostot leállítják, szépen átmegy a másik hostra. Ez a cél, ezért kell több hostnak ugyanazt a lunt látni.
Ha nincs cluster FS, nem fogja szimultán írni olvasni két host ugynazt a lunt - illetve fogja, csak széthullik majd az egész.
Mégegyszer leírom, mert látom, hogy valamit még mindig nem értetek.
Adott 1 NAS, benne 2db shared lun. VM: 10T Backup: 10T - mindez iSCSI-n.
Mindkét lun mindkét VHostba fixen bemontolva, az adott könyvtár bekonfigurálva a PVE-nek, mint storage - egyik a VM-eknek, másik a backupnak.
Userek létrehoznak/törölnek/bővítenek/etc. VM-eket anélkül, hogy kellene nekik bármi mással foglalkozni.
HA kell, live migration kell.
--
PtY - www.onlinedemo.hu
Xenserver alatt nekunk 3 hypervisor van, mindhárom gépen ott van az iSCSI felcsatolva. Viszont a VPS lun ja csak ott aktív amelyik hoston fut. Ha migrálom a másikra akkor szépen átpakolja, nem kell semmi cluster fs.
Gondolom proxmoxban is hasonlóan kell működnie.
LVM kötet is simán növelhető csökkenthető.
Mivel proxmox eleve webes az LVM növelés gondolom pár kattintás, utána viszont a VPS ben lévő fs-t hozzáigazítani már más tészta.
Fedora 19, Thinkpad x61s
A proxmox oldalan azt se lenne nehez implementalni, van ra lehetoseg. A file parancs pl. ki tudja talalni a legtobb fajlrendszert.
--
jahogy neked igy kell...
ha egy iscsi van, akkor azt beadod mindegyik node-nak, arra lvm. a pve majd megoldja hogy egy-egy LV csak egyik node-on legyen online, a tobbi helyen meg szepen offline-ba teszi. migracional is kapcsolgatja a megfelelo helyen az LV-ket.
--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!
Addig ok, hogy beadom mindegyik nodenak, de csak 2db lun lesz, egyiken vm-ek, másikon backupok.
Több VM lesz ugyanazon a lun-on. Ha A gép az egyik nodeon, B meg a másikon fut, az hogy néz ki? Hogyan lehet tetszőleges disket adni a vm-nek, és hogyan lehet azt majd méretezgetni - és mindezt a PVE UI-ról?
--
PtY - www.onlinedemo.hu
1 lun on lehet akár egy VG amin lehet csillió LV. A VPS eknek meg LV kell.
Fedora 19, Thinkpad x61s
Ez ok, de PVU UI alatt hogyan managelem az LV-ket?
Pl. kell egy új VM, bele néhány disk, vagy nem kell egy régi, stb.
--
PtY - www.onlinedemo.hu
Mivel nálunk xenserverek futnak, ott se LVM et kezelsz, hanem a VPS diskjét, az más kérdés hogy ez tulajdonképpen egy LVM kötet. Viszont ezzel nem kell foglalkozni. Kattint hogy kell új disk akkor csinál, ha kell növelni akkor növeli és kész.
Proxmox van nálunk 1db de az is csak local diskre dolgozik. Hirtelen meglestem ott is webről simán tudok a VPS-hez csapni disket, meg törölni.
Gondolom ha LVM lenne alatta akkor növelni is stb.
Szerintem tegyél fel egy proxmoxot tesztre, mindjárt világosabb lesz minden.
Fedora 19, Thinkpad x61s
Van Proxmoxom, egy jó nagy local diskkel, de csinálok valahová egy iscsi-t, és meglesem, mit lehet belőle kihozni.
Thx
--
PtY - www.onlinedemo.hu
igy van, pve webes feluleten "add disk", lvm kotet kivalaszt, meret megad, orul :)
pve erre csinal egy lv-et vm-XXX-disk-Y neven (vagy valami hasonlo), es ez lesz rendelve a guesthez. XXX a vmid, Y meg sorszam. ha novelni kell disk a meretet, akkor guest offline, lvextend +10G /dev/vgname/vm-XXX-disk-y, az lvm majd keres neki helyet, guest on, maris egy nagyobb diskel indul el, aztan belul mar barmit lehet csinalni a nagyobb diskel.
--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!
a webről nem lehet disk méretet növelni ?
Szóval ne neked kelljen bűvészkedni LVM parancsokkal ?
Fedora 19, Thinkpad x61s
jah de, telleg! valamelyik verzioban megjelent egy "resize button", amivel meretet lehet novelni. (a csokkenteshez tovabbra is konzol kell, de hat az ugyis rombo :D )
--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!
OK OK, megnézem. Szerintem a hétvégén lesz időm vele vacakolni :)
--
PtY - www.onlinedemo.hu
Ez a PVU UI bele tud nyúlni az iSCSI storage node-od konfigurációjába?
Nem. Lehet adni VM-nek iSCSI-t, de csak a komplett LUN-t. Ha fájlokat osztanék meg iSCSI-n, akkor ez nem lenne rossz, de az +1FS overhead, ami ráadásul az iSCSI réteg előtt van, így jobban rontja az IO teljesítményt. Bár a fene tudja, nem végeztem méréseket ez ügyben, de ez tűnik következménynek.
--
PtY - www.onlinedemo.hu
Biztos, hogy kell neked cluster filesystem? Úgyértem, előfordul hogy egy virtuális gépből több példány fut egyszerre, ezért annak adatait több hostnak kell egyszerre tudni módosítani? Az nem megoldás, hogy minden virtuális gép kap egy saját LUN-t, ami csak azon a hoston aktív, amelyiken a virtuális gép fut?
Igen.
Elvileg megoldható lenne, hogy csak az adott vm-et futtató host használja az adott vm számára dedikált lun-t, de growable vdiskeket használnánk, és kéne őket növelni is.
Mindezek miatt kényelmi szempontok is számításba jönnek.
Az iSCSI alá meg nem szívesen tennék +1 fájlrendszert, így lun-ként nem fájlok, hanem bd-k kerülnek kiosztásra. Elvileg GPT-vel lehetne csinálni sok száz partíciót, ami dedikálható ide-oda, de az átméretezés mindenképpen probléma, ha meg törlünk egy-két gépet, fragmentálódik az eszköz, amin a partíciók vannak. És ha szükségem lesz hirtelen 3T helyre, sovány vigasz, ha van 5db 1T-s szabad partícióm.
És igen, LVM-et se tennék az iSCSI alá szívesen, túl nagy lenne a kísértés, és roppant nehéz lenne követni, hogy ki kivel van. :(
Arról nem is beszélve, hogy rendszert nem olyanok fogják kezelni, akik fognak tudni LVM-mel dolgozni, mert nem értenek hozzá (már az új iSCSI lun kiosztás is gondot jelentene) - ezért lenne optimális a hostok által látott egybefüggő blockdevice, amin shared fájlrendszer van, és mindkét host írja/olvassa, ami ott van.
--
PtY - www.onlinedemo.hu
Nem az én rendszerem, de én nem erőltetném a CFS-t, inkább tanulja meg az üzemeltetés az LVM használatát, nem rakétatudomány, viszont biztosítja neked azt a flexibilitást, amire itt szükséged van, cserébe nem veszítesz teljesítményt, mint a CFS-nél.
Növekedő diskek? Sose értettem, miért szivatják az emberek ilyesmivel magukat, de nem is én fogom használni. Amúgy az LVM is tud lvolt növelni.
Magyarázd meg az ügyfélnek, hogy ő a hülye, és inkább járjon iskolába. Ötletnek nem rossz, csak épp nem célravezető.
--
PtY - www.onlinedemo.hu
Előfordult. Ez egy ilyen szakma, meg kell tanulni használni a szerszámokat.
Erre az esetre szerintem saabi megoldása tökéletes.
Épp tökönszúrni készülsz magad és az ügyfeled.
[dupe]
Ha a sotrage megfelelő akkor mehet az nfs, az erre van kitalálva.
Én esxi-t és vmfs-t javasolnék.
A gluster jó volt a tesztekben, de nem tudom hosszú távon mennyire bírja.
Van ESXi alatt backup? Két db ESXi tud HA-t játszani? Livemigration is van?
Ha igen válaszon gondolkodsz (mert tudom, hogy lehet), akkor tedd mellé a pénzügyi részt mindkét oldalról, és vesd össze.
VMFS kurv@jó, nem tagadom, csak nagyon nem olcsó.
Az is szempont amúgy, hogy GPL legyen minden.
--
PtY - www.onlinedemo.hu
Igaz. Megsasolom én is, lehet váltunk inkább erre. Keygent nem fogok használni ... mint sokan.
Most az a probléma, hogy a hálózati tároló ez egyik Proxmoxot is futtató host lenne?
Mert ha van egy önálló SAN vagy NAS-od akkor sokkal egyszerűbb a dolog. Ha a NAS adja az iSCSI-Lunt azt a Proxmox tudja kezelni. Nem kell foglalkoznod, hogy milyen a fájlrendszer rajta. Majd a Proxmox megformázza amilyenre akarja. A Lun-ból csinál egy LVM kötetet amire VM-ek virtuális lemezeit illetve a VZ-k virtuális tárterületét helyezi el, ha azt választod.
Ha a NAS nfs exportot ad, szinte ugyanez van, azt is kezeli a Proxmox, de itt nem lesz LVM.
A lényeg hogy a hálózati tárterületeket a Proxmox fogja beintegrálni.
Viszont, ha a Proxmoxot futtató gépek tárterületét akarod közösen használni akkor itt vannak leírások. (Ilyet még nem csináltam)
http://pve.proxmox.com/wiki/High_Availability_Cluster
http://pve.proxmox.com/wiki/Two-Node_High_Availability_Cluster
--
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox
Nem, nem ez az alapprobléma, 1 NAS+2 PVE
A leírásokat meglesem, thx.
--
PtY - www.onlinedemo.hu
Akkor elég egyszerű a dolog. Mondjuk nekem is időbe telt, mig rájöttem.
A NAS-on csinálj iSCSI-Lunt vagy NSF exportot vagy akár mind a kettőt. A Proxmoxok-kal meg használd. A WEB-es felületről el tudod érni ezeket! A VM-ek a virtuális diszkeket fogják rajtuk tartani, amit egy VM elkészítésekor tudsz beállítani, hogy melyik tárolóra tegye.
De előtte rakd be a két Proxmox hostot egy Clusterbe! Ezután már nem kell egyenként a hálózati tárolót csatlakoztatni, hanem egyben! A baloldali menü-fán állj a Datacenter-re. A felső füleken, pedig válaszd a Storage-t! Itt tudod csatlakoztatni a hálózati tárolókat.
A PVE-Clustert nézd meg! Az egyik Proxmox hoston létrehozod, a másikat belépteted és a nagyján már túl is vagy! A Live-migráció például ennyitől már megy.
Én ez alapján csináltam a Clustert parancssorból: http://pve.proxmox.com/wiki/Proxmox_VE_2.0_Cluster
--
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox
Csináltam már PVE clustert 4 node-ból is, de azok NFS-t használtak. Nem a cluster a probléma.
Azért nyitottam a témát, hogy ha esetleg van jobb választás az NFS-nél, akkor arra mennék.
Az LVM lehet járható út, a hétvégén kipróbálom.
--
PtY - www.onlinedemo.hu
iSCSI-n gondolod az LVM-et?
Én kipróbáltam az iSCSI-t és az nfs-t is. Nem igazán tapasztaltam sebesség különbséget a kettő között.
Pedig az iSCSI-nál még multipath-t is alkalmaztam.
--
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox
Igen.
Természetesen túl nagy sebességkülönbség nincs, bár az NFS esetében azért sokat számít, hogy milyen CPU van a NAS-ban, és mennyi memória. iSCSI-nél annyira nem jelentősek ezek a paraméterek (feltéve, hogy blockdevice-t osztasz meg, nem fájlt).
A multipath meg nem loadbalance-ra való, hanem failoverre.
Ha sebességet akarsz a több kapcsolattal nyerni, akkor bondolnod kell (trunking, link aggregate, stb. mikor, ki hogyan hívja), és olyan policy-t kell rá tenned, ami eloszt (balance-xor, round-robin, stb. - az active-backup nem terheléselosztásos).
--
PtY - www.onlinedemo.hu
Azért arra gondolj, hogy az nfs-en csak a virtuális gépek (VM-ek) lemezei lesznek. Azaz jellemzően gépenként egy-két fájl.
Az igaz, hogy OpenVZ konténerek esetében persze a teljes guest fájlrendszer ott lesz.
--
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox
Persze, ezt tudom, az NFS ilyen szempontból nem kérdéses, az alatt nem egy PVE-m van már.
--
PtY - www.onlinedemo.hu
Egy kicsit elbizonytalanodtam, mivel a linuxos LVM-et annyira azért nem ismerem. Itt megteheted, hogy egy VG-n belül az LV-ket különböző hostokon aktiváld? Merthogy HP-UX-on ez nem lehetséges. Ha viszont egy VG linuxon is csak egy hoston lehet aktív egyidőben, nem sokat fog segíteni a problémádon.
Nem próbáltam még, de ehhez két Proxmox kéne, hogy kipróbáljam, az meg momentán nincs.
Remélem, valaki megmondja a tutit :)
--
PtY - www.onlinedemo.hu
Az iSCSI-Lunt nem az egyes Proxmox hostokhoz rendeli, hanem a Clusterhez. Így mind a kettő látja.
Az LVM meg azon van.
--
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox
Egy LV akár több hoston is aktív lehet egy időben.
Tehát megoldható, hogy az iSCSI target kioszt egy nagy LUN-t - vagy több kicsit, ez konfiguráció kérdése - amihez kapcsolódnak a hostok, beveszik ezt a LUN-t vagy LUN-okat egy volume groupba, majd ebből a VG-ből minden virtuális gép kap egy LV-t. És mondjuk az LV1 az A hoston, az LV2 a B hoston lesz aktív? A VG-t a hostok menedzselik, tehát foximaxi GUI is el tudja érni és módosítani ha kell? Ha pedig növelné a kollega a tároló redundanciáját, akkor később betehet a rendszerbe egy újabb iSCSI targetet és tükrözhet a kettő között LVM alól.
Ha ez így működik, akkor elég jól hangzik, ráadásul nincs benne filerendszer, tehát elég gyors is lehet.
Ja, ez simán működik, beleértve a tükrözést is.
Mondjuk CLVM kell hozzá (anélkül is működik, de úgy igen kockázatos bármi módosítás), ami miatt pl Debian-on újra kell forgatni az lvm csomagot. A proxmox nem tudom hogy áll hozzá.
megteheted, pont ezert van a pve-ben: az VG mindegyik node-on ottvan (ertelem szeruen az alatta levo pg is: drbd/iscsi/akarmi), a cluster ott aktivalja a lv-t, ahol majd futni fog a guest (ahogy latom a kikapcsolt vm eseten mindenhol off a lv). mivel az lvm on/off-ja csak "belso" info, akar azt is megteheted hogy kethelyen is elerheto az lv, pl ha valamiert haxolni kell (de figyelsz hogy ne egyszerre irjak, meg cache sync, stb)
--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!
Határozottan jól hangzik. :)
Sosem használtam még LVM-et két hoston megosztva, de ha ez valóban így működik (elvileg logikus, hiszen a disk egy adott területét egyszerre csak egy host írja/olvassa, tehát konkurens hozzáférés nincs), akkor a kérdés eldőlt.
--
PtY - www.onlinedemo.hu
Nálam így néz ki az iSCSI-Lun és a rajta levő LVM: http://flic.kr/p/fESAzY
Amikor létrehozok egy új VM-et, akkor kiválaszthatom, hogy a vg-vm-netapp LVM-re tegye. Azaz ott helyezi el a géphez szükséges logikai kötetet.
--
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox
Ez hasznos ábra, köszönöm! :)
Pontosan így tervezem, használni az iSCSI-t - ill. máshol is hasonlóan használom, de ott csak 1 host van, és nem LVM van a lun-on, hanem xfs.
--
PtY - www.onlinedemo.hu