CEPH size/data min_size

Ha jól értem Size /  data min_size  3/2 értékénél 3 lemez 3 osd esetén 1 lemeznyi szabad helyem lesz a poolban? 

És  a 33% legjobb érték, a többi "értelmes"   érték ennél kevesebb.

Hozzászólások

Szerkesztve: 2020. 08. 19., sze – 05:23

Nem teljesen értem az írásodat, a 3/2 -es értéket végképp nem. De az elején: a min_size az object replikációk számát adja meg. Vagyis 2-es értéknél (default) lesz egy 1 original object és 2 replica object (összesen 3).

Az ajánlás szerint diszkenként külön osd, vagyis a 3 lemezednek 3 osd-nek kellene lennie (diszkenként osd) így a 2 replica miatt a 3 lemezedből valóban 1 lemeznyi helyed lesz.

Ha csak 3 lemezed van, egyébként sincs értelme ceph-et használni

// Happy debugging, suckers
#define true (rand() > 10)

Köszönöm, akkor jól gondoltam,  a 3 lemez csak egy példa. 22 objektum 66 másolat (22+44) , vagyis 3 node 3 lemez esetén 1 lemez mérete lesz  a szabad hely. Nem takarékos.

rados df

POOL_NAME           USED               OBJECTS CLONES COPIES 
cephfs_metadata          1.5 MiB         22              0       66                  
pol2                             2.6 GiB       255              0     765                  
pol4                                   0 B          0              0        0         

 

 minimum 2-nek működnie kell, hogy pool olvasható legyen.         

Olvasható marad, irni nem lehet.

min_size=2 mellett bizony lehet irni egy size=3as poolt, ha neked nem, akkor ott valami felre van konfizva, rossz a crush maped, etc.

3x replikacio mellett amugy nem ertem miert lepodsz meg ha 3 diszknel a felhasznalo hely merete 1 diszknyi? mit gondoltal mit jelent a 3x-os replikacio...?

 

ilyen kicsi rendszeren nem tudom mi a cel, ha csak jatszas, az kiraly, de ha barmi komolyabb, akkor legyszi ne hasznalj cephet: tele van a levlista emberekkel akik 3/4 gepen hasznaljak alig par diszkkel es folyamatosan megy a picsogas, h lassu, szar, etc. igen, az, mert nem erre van kitalalva. dobj moge par nullat, es mar jo lesz a ceph (vagy valts full flashre)

Köszi, így már értem.

Ez lett volna a következő kérdés, pont a nagy rendszerek miatt kérdeztem. Ha van egy 500 Terrabájtos rendszer akkor amögött ott van 1500 Terrabájt lenez ?

 

A rendszerem elég kicsi :)

asztali PC ,KVM, KVM-ben 3 virtuális gép  a 3 virtuális gép clusterben (  2 virtuális hálózat 6 virtuális lemez) és CEPH.

a mienk most igy nez ki:

    osd: 380 osds: 370 up (since 3d), 370 in (since 3d)

  data:
    pools:   24 pools, 23560 pgs
    objects: 84.56M objects, 190 TiB
    usage:   567 TiB used, 1.6 PiB / 2.1 PiB avail

igen, van mogotte 3x annyi diszk, de meginkabb lehet erasure coded poolokat is csinalni, mondjuk 4+2, 8+2 vagy 8+3, es akkor mar nem 3x annyi kell - ilyenkor sok egyeb dolgot cserel az ember erre (performanciat peldaul), de a HDDk amugy se arrol hiresek, hogy kicsi a kesleltetesuk

A rendszerem elég kicsi :)

asztali PC ,KVM, KVM-ben 3 virtuális gép  a 3 virtuális gép clusterben (  2 virtuális hálózat 6 virtuális lemez) és CEPH.

 

Egész pontosan: a PC-n fut 1 virtuális gép  6 virtuális lemezzel 2 virtuális hálózattal. Ebben fut  3  virtuális gép , gépenként 2 lemezzel, amiket clusterba raktam. Sebesség sejthető, de működik. 

Kérdésem, mi az a minimális konfig, ami már nem folyamatos kudarc ? Elvileg 3 node  , gépenként 3 hdd-vel,  (netán ssd journallal), 10GBe hálóval, már tudnia kellene azt amit egy " hagyományos"  szervernek 2 tükrözött HDD-vel.

Csak weboldalak, levelezés, ilyesmi. SOHO környezet. Hagyományos egygépes szerver alterntiváján gondolkodás.

Gondolom ebben a felállásban már kevésbé kockázatos használni mondjuk vadiúj  brend szerver helyett  használt  szervereket. 

"csak". aha. lattam en mar ilyet. aztan jon a siras, hogy lassu...

ha ram hallgatsz veszel valami enterprise flasht (meg mindig a PM983 a legolcsobb szerintem), veszel 4 gepet, raksz ra 3x replikaciot, es orulsz.

elore szolok: sosem lesz olyan gyors, mint egy local NVMe RAID tomb, igy ha a megallas elfogadhato picit (egy gepes szerver alternativajat keresed...), akkor backup + NVMe RAID es az egeszbol egy tartalek hw a sarokban valoszinuleg olcsobb, es jobb teljesitmenyt ad.

Csak szerveresdit játszok ... :-)

Igen forumokon  olvasom sokszor a beszámolókat a  CEPH-nél , hogy jó jó de ,  ok de.. ,cseréljem,  és miért nem jó stb.. 

Hát több út és LAN  vezet a nirvánába,  most ssd raid  van + tartalék  gép ugyan nem a sarokban, hanem az ablak elött .

Mégegyszer köszi a válaszodat.

Teljesen jogos, nem kellene egy hosszu ejszaka utan comment-elnem ;) Utolagosan elolvasva en sem ertem amit irtam a min_size/size alatt (marmint hogy ez igy hogy jott ki nekem)

Viszont az original/replica alatt amit ertettem: stimm hogy az object-ek egyenertekuek a pool-on belul, viszont original / replica alatt azt ertettem, hogy egy write muveletnel az object-hez tartozo placement group primary osd-jere tortenik a klienstol az iras majd az osd vegzi el a secondary/tertiary osd-re. Itt a folyamatoknal hatarozzak meg az "original/replica" muveleteket (az original amit a kliens ir a primary osd iranyaba, majd a replica amikor az osd->osd kozott tortenik). A dokumentacioban ugyan nincs igy jelolve ez a nevezektan, de a kodon belul a folyamatoknal ezek az elnevezesek vannak az egeszen vegigvezetve (legalabbis a "Dumpling" idokben voltak :D)

// Happy debugging, suckers
#define true (rand() > 10)

Szerkesztve: 2020. 08. 20., cs – 14:49

Sziasztok!

 

Nem akartam uj topicot nyitni, ezert gondoltam itt rakerdezek, mert kapcsolodik.

 

A Croit es a PetaSAN mellett ismer valaki valamilyen jo UI-t Ceph Storage-hoz? A Croit tetszik, csak ugye pont a jo dolgok fizetosek... A PetaSAN nem rossz amugy, viszont Croit trial utan kicsit fapad... 

 

File share-re kellene igazabol a Ceph (SMB esetleg NFS) szoval jo lenne, ha ilyen funkciokat tudna az UI.

tetszett a PXE alapu node deployment, az smb (AD ACL jog kezelessel),  a HA lehetoseg, a nagyon egyszeru kezelhetoseg.  Alap dashboard read-only nem?

 

Szerk: Ohh latom a V2 mar management is (bar nem tudom milyen szinten) en meg lemaradtam az alapnal, ami csak monitorozott...

 

A CLI jelenleg nem opcio (Winowsos kollegaknak kell prezentalnom a technologiat, nekik meg kell a szines szagos gui, hogy "befogadjak" :) )

Ha adott egy infrastruktura, ami szinte 100%-ban windowsra epul, akkor annyira nem meglepo, hogy a GUI van eloterben. A cegunk egy leanyvallalat, itt en vagyok az egyetlen "linuxos" (12 fos tarsasagbol) a Durva, hogy anyavallalatnal kb 30 IT-s van, 2 Linuxossal...

 

Szoval egy szinte "only MS" cegnel nem olyan nehez elkepzelni, hogy gond van a CLI-vel meg ugy alapbol a Linuxal... En sem szeretem tulzottan, hogy ha egy CentOS mysql szerver behal es en meg szabin vagyok, akkor megall az elet... De ez van.

Mert a jelenlegi felallas fos (2 win server 2016, failover clusterben, iSCSI disk-ekkel )... active-passive, ket node-al... kokorszak. Ez helyett szeretnek ceph-et, mert sztm sokkal hatekonyabb lenne... (a legnagyobb file share-ünk Petabyte meretu)

az MS storage poolt hagyjuk... Par hete kiserleteztunk vele. Rugalmatlan mint allat... Kb a letrehozasakor kobe van vesve minden, utana plusz lemez hozzaadasa, a rajta levo virtualis lemez atmeretezese kb lehetetlen... 

Ceph-nel azt latom, hogy siman ki-be rakosgadhatod az fizikai disk eroforrast alatta, szepen idomul hozza.

Jelenleg a Storage az Dell EMC (ket darab, HA-ban, csak SSD). Ezeken vannak a volume-ok, amik iSCSI val vannak deployolva a vSphere clusteren futo Win VM-ekre (RDM, Multi writer modban, hiszen a HA-t es a redundanciat most a Dell EMC adja) akik failover clusterben vannak. Ez egy kisebb file share, de a nagy is hasonlokepp nez ki. Ez helyett gondoltam valami Ceph alapu dologra.

 

Az elkepzelesem az uj rendszerben:

 

Dell EMC HA marad, legyartanam vele a megfelelo szamu volume-t (10,20... amennyi kell) ezt a vSphere en futo 3 vagy 5 node-bol allo (felmerni nyilvan elotte, hogy mit kovetel meg a felhasznalas) ceph cluster fele deployolnam (RDM lemezekkent) majd pl petasan vagy croit segitsegevel engedelyezett AD val (ACL miatt) SMB-vel hostolnam a felhasznalok fele.