Proxmox mint ceph storage

Virtualizáció

Sziasztok!

Most készülök új proxmox clustert építeni és a storage témakörben kissé elakadtam. Eddig glusterfs-t használtam, viszont azt most sikerült megborítanom, plusz az alatta lévő gépeknek már kevés a teljesítményük. Ha meg már mindenképpen új storage akkor már miért ne legyen a proxmoxba beépített ceph megoldás.

Kérdésem az lenne, hogy nagyon ördögtől való dolog lenne ha ugyanabban vagy egy másik clusterben lenne 3 vagy több gép ami csak storage feladatokat látna el proxmox futna rajta? Számomra könnyebben managelhetőnek tűnik és így azt a ceph verziót használhatnám ami adott proxmox verzióban benne is van.

  • 2117 megtekintés

( Mcsiv v | 2017. 09. 24., v – 20:06 )

Mi elvből nem telepítettünk a proxmox clusterre ceph-et, hanem egy teljesen különállót hoztunk létre. Bár nem teljesen értem hogy mit értesz "könnyebben managelhetőnek" az alatt, hogy egybe telepíted az egészet, de ha így teszel, készülj fel arra hogy nem igazán fogod/tudod majd frissíteni a clustert.

// Happy debugging, suckers
#define true (rand() > 10)

"Teljesen külön álló proxmox claster csak csak tárolásra a compute node-ok külön clasterben"
Nah most nem vágom mit szertnél. Ceph != Proxmox (leszámítva hogy a proxmox támogatja a Ceph-et, meg telepíthetsz mellé, meg gyárilag is ott a repo, stb.)
Ami neked kell, egy proxmox cluster, meg egy ceph cluster, lehetőleg külön, ne egyben

// Happy debugging, suckers
#define true (rand() > 10)

Azt tudom hogy nem egyenlő, viszont lehet belőle tárolót is építeni és hypervisort is futtatni egyszerre. Na én ezt szedném külön.

Lenne 3 db proxmox ami csak tároló lenne és semmi virtuális gépet nem futtatna és lennének külön azok a proxmoxok amik viszont csak gépeket futtatnának és nem tárolnának semmit.

Ezt csinálnám meg https://pve.proxmox.com/wiki/Ceph_Server de csak tárolnék rajta gépet nem futtatnának. Ezért kérdeztem, hogy jó ez így vagy nagyon elvetemült dolog.

( kallo | 2017. 09. 25., h – 07:16 )

Ha mégis egybe raknád számolj azzal, hogy rebalancenál sokkal több cpu és ram kell a ceph daemonoknak mint amikor a cluster egészséges. Managelésről nem tudom mit mondjak, de ha van hely és gép rakd külön, a performanciád valszeg jobb lesz.

( freeoli v | 2017. 09. 25., h – 07:38 )

Ha meg nincs megveve a vas en ekkora meretnel rendes storage megoldasban gondolkodnek. Sas, iscsi, fc.

Ha ceph akkor egy tamogatott disztro lenne erre kihegyezve, pl suse enterprise storage. Ar most nincs nyilvanosan de regen 1 usd / tb volt a licence.

( Elbandi v | 2017. 09. 25., h – 11:01 )

tedd be egy nagy clusterbe a vm futtato node-okat meg a ceph osd-t futtato nodokat. beallitod hogy elobbire mehetnek vm-ek, cephre meg nem. nem erdemes ket fuggetlen clustert csinalni (szerintem nem is mukodne: a vm futtato nodeok nem latnak a cephes datastoret, azt meg kulon at kell ajanlanod iscsi-n)

--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

ahogy csardij is írta hozzá lehet adni rdb storage ként, az egy claster max a managelés miatt jó.

Azt hittem csinált már valaki ilyet, és tud tanácsot adni, hogy ez teljesen hülyeség amit kigondoltam vagy működő lehet a dolog.

Az eddig válaszok alapján működő lehet a dolog, csak még az egy cluster vagy külön clustert a kérdéses számomra.

Pont amit Csardij írt lentebb, mi 6 node-al probáltuk, minden nodeban ha jól emlékszem 4 SATA diszk + SSD cache, 10G hálózat, 3-4 VM futása közben már lesett a disk írás 30-50Megára ...
Azt is igaz hogy sokat nem játszottunk vele, kb. by default + kb. 1-2 óra finomhangolás, de tudtuk hogy ezt nem lehet feltornászni!

Amúgy Proxmox 5-ben van replication!, esetleg azt is nézzétek meg ha Linux VM-ek vannak.

Helló,

Szerintem hülyeség. A CEPH by-design nem hyper-converged storage, ha fontos a performancia mindeképp legyen külön a ceph storage cluster és a proxmox (vagy akármi más) compute cluster.

Mondani se kell, 10G hálózat kell (még sima HDD-khez is!), ha hálózati szintű redundancia nem kell, a compute node-okab 1 tge kártya (ceph public network), ceph storage-be kettő, 1 a private és egy a public networkbe (vagy 1 kétportos kártya, ha a pci-on átfér).

Viszont tapasztalatom alapján a CEPH kicsibe nem jó, lassú. Kevés OSD-vel és node-dal rosszabbul teljesít mint más megoldások. HDD alapú clusternél olyan 5 node / 50 OSD ahol már normális teljesítményt lehet kifacsarni belőle (hdd alapú megoldás).