Proxmox + EMC VNX

Fórumok

Sziasztok!

Van egy EMC VNX5300 storage és néhány IBM 3650, FC-n összekötve. Azt szeretném, hogy az IBM szerverekre Proxmox kerüljön, alakísunk ki egy clustert, és ha egy vas megáll, akkor a virtuális gépei átvándoroljanak másik vasra, amíg a javítás megtörténik.
Első lépés, hogy csinálok egy nagy LUN-t a VNX-en, és odaadom az összes host-nak. De a Proxmox hostokon erre mit kell tenni, hogy utána clusterben is használható legyen? CLVM? Vagy ezt megoldja a Proxmox valahol?
Vagy teljesen rosszul képzelem el az egészet? Eddig még soha nem dolgoztam shared storage-el. Tud valaki kezdőlökést adni?

Hozzászólások

Proxmox dokumentáció. Cluster épìtés.

A direkt LUN írást nem javasolja a proxmox sem.
Ezért vedd fel a ISCSI-t majd tegyél rá LVM-et. Én több ISCSI target-et használnék. Ezekbe az LVM-ekbe lehet tenni a VM-eket. Mikor a storage-ot veszed fel a Proxmox-ba, pipáld ki a share box-ot. Ezzel minden node látni fogja.

Ezután már kézzel lehet migrálni online a VM-eket.
Majd készítsed el a HA configot és mehet a éles teszt.

https://pve.proxmox.com/wiki/High_Availability_Cluster

Tehát ugyanazt az (ISCSI) LUN-t odaadom az összes Proxmoxnak, az egyiken teszek rá LVM-et. Amikor pedig a storage-ot felveszem, akkor share pipa, és kész is?
Ez úgy is működhet, hogy ugyanazt az FC LUN-t odaadom az összes Proxmoxnak, teszek rá minden Proxmoxon multipathd-t, erre rá az LVM-et, ezt veszem fel a storage-ba share pipával?

Egyrészt: https://pve.proxmox.com/wiki/Storage_Model
Másrészt én inkább ajánlanám a Citrix Xenserver-t, megbízható, és izzadás nélkül mennek ezek a dolgok rajta (igen, ingyen).

---------------------------------------------------
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"

Hát... ez a kérdés bennem is kezd megfogalmazódni.

Amit eddig leszűrtem, bár lehet, hogy tévedek még néhány dologban:
+ egyszerűen telepíthető
+ kattintgatós felület, amin gyorsabban meg tudom csinálni, amit eddig kézzel csináltam (vlan, bridge, stb....)
+ clusterezhető: megmaradnak a konfigok a többi node-on, egy helyről adminolható
+ shared storage használata egyszerű (ha épp olyat akarok, amit a Proxmox is tud)

- csak "varázsolva" lehet már létező LVM volume-ot használni diszknek, kicsit fapados
- lvm-snapshotot képtelen vagyok VM-ben elindítani, pedig néha szükségem lenne ilyenre tesztelés céljából
- olyat olvastam fórumon, hogy az ingyenes felhasználókat használják tesztrendszernek: nem biztos, hogy éles rendszernek kellene használni

Egyenlőre minimálisan pozitív a mérleg számomra a command line-os KVM-hez képest.

Egy új kérdés merült fel bennem. Shared storage nélkül van értelme Proxmox Cluster kialakításának? Tudok így olyat csinálni, hogy egyik node-ot tervezetten szeretném karbantartani, akkor átmigrálom pár kattintással a guest-jeit egy másikra ideiglenesen?
No, mindjárt építek egy tesztkörnyezetet Proxmoxban:) Legalább kiderül, hogy ilyet is lehet-e (proxmoxban proxmoxok proxmoxoznak:) ?

Hmm. Létrehoztam 3 proxmox node-ot, clusterbe tettem. Mindegyik alatt megvan a saját lvm storage, ami mindegyiknél shared. Létrehoztam node1-en egy vm-et, aztán megpróbáltam migrálni.
Ha úgy csinálom, hogy rákattintok a 'Migrate' gombra, akkor átvándorol a node2-re a vm, de ha 'alánézek', akkor a node2-n nincs meg a hozzá szükséges LV. Nem is megy az új helyén a vm, habár a webes felület szerint ott fut rendben.
Ha úgy csinálom, hogy előbb csinálok egy backupot a vm-ről, azt átmásolom a node2 megfelelő helyére, és az offline migráció után restore-olom a node2-n, akkor viszont már elindul az új helyen is a vm.
Azt a varázslatot, hogy még ping sem marad ki a migráció alatt, pillanatnyilag nem tudom megcsinálni.
Mit csinálok rosszul? Tud valaki tanácsot adni?

Nem.
Ha nem pipálom be az online-t, akkor: "cant migrate running VM without --online (500)"
Ha bepipálom, akkor: "storage 'px1-3-lvm' is not available on node 'px1-1' (500)"

Így most akkor sem megy a migráció, ha a node1-en létrehozom manuálisan az LV-t, amibe bele kellene tolni a node3-on futó VM-et.

Telepítettem egy Openmediavault szervert a Proxmox node-ok mellé, így van iSCSI shared storage, amivel már megy szépen a migráció.

Újabb kérdés Proxmox gurukhoz: HA nélkül, csak cluster-rel, ha az egyik node meghal (hardveresen), akkor a rajta futo VM-ek előbányászhatók a többi node-ból valahogy shared storage esetén? Vagy akkor azok is kuka?

A ProxMox az lvm tartalmát nem tudja átvinni a másik node-ra. Amikor a default storage-ra tettem, ami filerendszer alapú, akkor azt szépen áttolta rsync alapokon. Ez persze idő, a menet közbeni változásokat nem figyeli, tehát ez is csak off-line guest esetén működik - akkor viszont valóban csak két kattintás és a guest átment konfiggal, háttértárral együtt. (Másfél éve csináltam, akkor működött. Szerintem nem tolták el, de most nem tudom lepróbálni.)

Az IBM-hez nem ertek, abban nem tudok segiteni.
Viszont Emc-t hasznaltam hpux-szal. Ott kiadtam a lun-okat FC-n a cluster node-oknak, raktam ra lvm-et cluster modban. Ezutan a MC/ServiceGuard kezelte a VG aktivalasokat.

Hasonlot szerintem lehet csinalni HACMP-vel es CLVM-mel.

Egy elég buta kérdésem lenne, de 1 óra gugli után se lettem okosabb.
Hogyan lehet meglévő LV-t hozzáadni egy VM-hez? Amit találtam: qm-ben pci_add parancs , ez már nem létezik, gondolom túl új Proxmoxot használok. Másik: drive_add, ez majdnem jó, csak különböző hibákat mond.

qm> drive_add virtio1 file=/dev/px-iscsi-vg/vm-101-disk-2,if=virtio
Can't hot-add drive to type 7

A webes felületen sem találok semmi ilyet.
Ha nem LV-t használnék, hanem file-t, akkor arra találtam primitív megoldást (hozzam létre a webes felületen, aztán még a start előtt cseréljem ki a file-t ), de ennél azért profibbnak tűnik a Proxmox. Vagy nem?

Olyat nem lehet csinálni, hogy lv-snapshotot adok meg diszknek, és azzal indítok el egy új VM-et?
Clone-oztam egy VM-et, készítettem az lvm-en lévő disk-ből snaphotot, a VID.conf-ban módosítottam a bejegyzést, hogy diszknek ezt a snapshotot használja. Start után ezt írja a webes felület:
Change of snapshot vm-104-disk-1-snapshot will also change its origin vm-104-disk-1. Proceed? [y/n]:
TASK ERROR: can't activate LV '/dev/px1-vg1/vm-104-disk-1-snapshot': Logical volume vm-104-disk-1-snapshot not changed.

És nem indul el a VM.
Parancssoros kvm-el simán lehet a snapshotot használni diszknek, egyáltalán nincs vele problémája. Proxmoxnál mit kell másképp csinálni?

Gondoltam, ravasz leszek. A clusterhez szükséges 2 node-ot úgy oldom meg, hogy az egyik (node2) az egy VM a node1-en. Szépen működik is a cluster, egészen a reboot eljöveteléig. Amint a node1 kap egy reboot-ot, onnantól nem áll fel a cluster, "cluster not ready - no quorum?". Hiába van yes-re állítva a "start at boot" a node2 VM-nél, nem indít el egyetlen VM-et se, mert ez van.
Utánanézve ez a hiba előjön akkor is, amikor több vasból álló clustert indítanak el mondjuk áramszünet esetén, és valamelyik vas lassabban bootol.
Nem lehet ezt valahogy beállítani, hogy bizonyos VM akkor is elinduljon, ha nincs még kész a cluster? Időzítésekkel lehet állítólag játszani, de az megint lutri, hogy a mikorra indul el a cluster, mert ha hw hiba van, akkor lehet, hogy csak holnapután hozzák az alkatrészt, az admin meg Afrikában nyaral, és egy áramszünet esetén nem lehet újraindítani a szolgáltatást, csak manuálisan...
Ez így csak nekem fáj?

Azért nem indítja a virtuális gépeket, mert honnan tudja hogy ő most jól működik vagy sem, amíg nincs meg a quorum?
Ha leállítod mindent, akkor kézzel kell összehozni megint quorumot - én még nem találtam jobb megoldást.

Amíg nem megy az rgmanager legalább 2 helyen, addig nem is indulnak clusterben a vm-ek.