Proxmox 5.1 HA + KVM + Shared storage (CEPH / RBD / DRBD)?

Linux-haladó

Sziasztok!

Még új vagyok a Proxmox-ban, elnézést a triviális kérdésekért előre is.
Használ valaki Proxmox 5.1-et HA-ban 2-3 node + KVM-et, hogy az egész shared storage-en fut, ami CEPH (RDB) vagy DRBD, esetleg egyéb?
Ilyenkor 2 külön Proxmox fut (HA+KVM és shared storage), vagy egyben az egész?
Milyen hardveren?
Failover esetén hány másodperc az átállás / kiesés, amíg a KVM-es image a másik gépen elindul?
Fencing hogy van megoldva? Switched PDU?
Hány node a HA, és a hány node a shared storage?
A HA+KVM és shared storage-et minimum hány node-ból lehet kihozni, így az egészet, hogy redundáns legyen? 4-6? Akár 3?! :)

Mik általánosságban a tapasztalatok?
Köszönöm.

( peterson v | 2018. 01. 09., k – 04:53 )

Ha külön vason van a computing node és a storage, akkor értelem szerűen promox darabszám = node+storage
Persze azt is lehet, hogy a node lemezei-re megy a ceph, ekkor az nem külön proxmox

Node-ból attól függ mennyi kell, hogy mit akarsz vele kezdeni. Ha pár KVM, akkor elég a 3is a lényeg hogy páratlan legyen (quorum).

Teszteltük már az átállást, úgy hogy pingettük a vm-et, és az anya-node-ot lerántottuk a hálóról.
Az egyik pingnek majdnem 1500 lett a válaszideje, és ment tovább. :)
Tehát igen, kvm elindul a másik node-on, de ez beállítás kérdése. Ha elfelejted bekattintani a ha-t a kvm-nek, ott rohad meg ahol elesett. Jártam ár így...

Ceph tanácsok:
- RAM legyen rogyásig
- nem baj, ha a ceph-nek külön van 10Gb hálózata
- inkább sok kis lemez legyen alatta mint kevés nagy. Általában a kis lemezekkel jobb.
- lehetőség szerint a lemezek azonos méretűek legyenek

Ha proxmox-ceph kombóval akarsz HA-t biztosítani, akkor fizikailag is jobb ha messze vannak egymástól node-ok. Igaz a ceph-re is, bár úgy neccesebb a hálózatot biztosítani neki.

---
"A megoldásra kell koncentrálni nem a problémára."

Szia, köszönöm a részletes válaszokat.

Miért jobb, ha fizikailag is messze vannak egymástól a node-ok? Mit értesz konkrétan az alatt, hogy "messze"? :) Miért baj, ha mind a három egy helyen van?

Proxmox 5.1 + Ceph kérdés, elnézést, ha triviális. A telepítésnél ha 2 HDD-t haszálok, mint RAID 1, majd a Ceph-nek adok másik 2 HDD-t, RAID 1-ben, az jó megoldás?
Arra gondoltam, hogy úgy lenne optimális, hogy a Proxmox is RAID 1-en fut, és a Ceph-nek is adok RAID 1-et, és az utóbbin lesz a VM amit használok. Ti máshogy csinálnátok? 3 Node lesz, gépenként 4 HDD-m van. (Adatbiztonság, nagyon rendelkezésre állás, redundancia a cél.)

Sakk-matt,
KaTT :)

A fizikai szétválasztás, mint pl Győr-Debrecen, azért kell, mert ha holnap a győri telephelyre rázuhan egy repülőgép, akkor megy tovább a bicikli Debrecenből. Ez a redundancia, és HA lényege!
Egy szobába zárt redundancia az korlátozott redundancia. Áramszünet, uplink halál, csőtörés, balfasz takarító, balfasz kolléga... folytassam? :)

Ha ceph kell akkor a raidet felejtsd el. Vagy ceph, vagy raid. (Technikailag persze megteheted hossze izéled, de nincs értelme.) A ceph önerőből biztosítja a redundanciát.

---
"A megoldásra kell koncentrálni nem a problémára."

Ez azert igy tulzas. Cegnel van ket szerverszoba, viszonylag tavol egymastol, kulon betappal, UPS-el, stb... a ket hely infrastruktura resze copy/paste. ok vannak HA-ban. (Optikai gerinc a ket szerverszoba kozott)

Ez szerintem eleg redundacia, ez a tobb varosos dolog szerintem nem realis.

Mondjuk HA mokudeshez (live migration, datastore-ok kozotti live migration, live snapshot) annyira nem eros sztm a Proxmox, mondjuk egy vCenter vagy RHV(Ovirt) jobb valasztas, szerintem...

OK, kicsit kisarkítottam. :)
Nyilván az is számít, hogy mennyit ér meg az a HA, mennyibe kerül a redundancia, és milyen katasztrófák esetén kell még funkcionálnia, és azoknak mi a valószínűsége.
Amit írtál az is nyilván megfelelő.

---
"A megoldásra kell koncentrálni nem a problémára."

"Miért jobb, ha fizikailag is messze vannak egymástól a node-ok? Mit értesz konkrétan az alatt, hogy "messze"? :) Miért baj, ha mind a három egy helyen van?"
Ez szvsz 3 node-nál kb több gondot okoz mint hasznot és felesleges is ekkora méretben.

"A telepítésnél ha 2 HDD-t haszálok, mint RAID 1"
A rendszer mehet raid 1-re nyugodtan, az sosem baj. Ceph alá viszont nem kell semmilyen raid mert felesleges, a ceph alapból biztosítja a redundanciát.
Ha teheted, akkor viszont benchmarkolj. Legtöbb esetben a raid vezérlő bármilyen szolgáltatása is felesleges ceph alá és a legjobb performance akkor van, ha JBOD kiajánlod a diszkeket. Ha a vezérlő elég okos és gyors, akkor lehet hogy a read/write cache-ek állításával nyerhetsz egy kis teljesítményt

// Happy debugging, suckers
#define true (rand() > 10)

Ha biztosra akarsz menni minden kontinensre teszel egy host-ot!
Ha jön egy meteorit és kiszakít egy darabot a Földből, akkor bár az emberiség kihal, de az üzletmenet zavartalan marad! :)
--
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox