Ha jól értem Size / data min_size 3/2 értékénél 3 lemez 3 osd esetén 1 lemeznyi szabad helyem lesz a poolban?
És a 33% legjobb érték, a többi "értelmes" érték ennél kevesebb.
- 531 megtekintés
Hozzászólások
Nem teljesen értem az írásodat, a 3/2 -es értéket végképp nem. De az elején: a min_size az object replikációk számát adja meg. Vagyis 2-es értéknél (default) lesz egy 1 original object és 2 replica object (összesen 3).
Az ajánlás szerint diszkenként külön osd, vagyis a 3 lemezednek 3 osd-nek kellene lennie (diszkenként osd) így a 2 replica miatt a 3 lemezedből valóban 1 lemeznyi helyed lesz.
Ha csak 3 lemezed van, egyébként sincs értelme ceph-et használni
// Happy debugging, suckers
#define true (rand() > 10)
- A hozzászóláshoz be kell jelentkezni
Szerintem inkább Size=3 jelentése: mindenből 3 példány lesz. Min size=2 jelentése: minimum 2-nek működnie kell, hogy pool olvasható legyen.
Tehát 3 lemeznél nincs szabad hely.
- A hozzászóláshoz be kell jelentkezni
Köszönöm, akkor jól gondoltam, a 3 lemez csak egy példa. 22 objektum 66 másolat (22+44) , vagyis 3 node 3 lemez esetén 1 lemez mérete lesz a szabad hely. Nem takarékos.
rados df
POOL_NAME USED OBJECTS CLONES COPIES
cephfs_metadata 1.5 MiB 22 0 66
pol2 2.6 GiB 255 0 765
pol4 0 B 0 0 0
minimum 2-nek működnie kell, hogy pool olvasható legyen.
Olvasható marad, irni nem lehet.
- A hozzászóláshoz be kell jelentkezni
min_size=2 mellett bizony lehet irni egy size=3as poolt, ha neked nem, akkor ott valami felre van konfizva, rossz a crush maped, etc.
3x replikacio mellett amugy nem ertem miert lepodsz meg ha 3 diszknel a felhasznalo hely merete 1 diszknyi? mit gondoltal mit jelent a 3x-os replikacio...?
ilyen kicsi rendszeren nem tudom mi a cel, ha csak jatszas, az kiraly, de ha barmi komolyabb, akkor legyszi ne hasznalj cephet: tele van a levlista emberekkel akik 3/4 gepen hasznaljak alig par diszkkel es folyamatosan megy a picsogas, h lassu, szar, etc. igen, az, mert nem erre van kitalalva. dobj moge par nullat, es mar jo lesz a ceph (vagy valts full flashre)
- A hozzászóláshoz be kell jelentkezni
Köszi, így már értem.
Ez lett volna a következő kérdés, pont a nagy rendszerek miatt kérdeztem. Ha van egy 500 Terrabájtos rendszer akkor amögött ott van 1500 Terrabájt lenez ?
A rendszerem elég kicsi :)
asztali PC ,KVM, KVM-ben 3 virtuális gép a 3 virtuális gép clusterben ( 2 virtuális hálózat 6 virtuális lemez) és CEPH.
- A hozzászóláshoz be kell jelentkezni
a mienk most igy nez ki:
osd: 380 osds: 370 up (since 3d), 370 in (since 3d)
data:
pools: 24 pools, 23560 pgs
objects: 84.56M objects, 190 TiB
usage: 567 TiB used, 1.6 PiB / 2.1 PiB avail
igen, van mogotte 3x annyi diszk, de meginkabb lehet erasure coded poolokat is csinalni, mondjuk 4+2, 8+2 vagy 8+3, es akkor mar nem 3x annyi kell - ilyenkor sok egyeb dolgot cserel az ember erre (performanciat peldaul), de a HDDk amugy se arrol hiresek, hogy kicsi a kesleltetesuk
- A hozzászóláshoz be kell jelentkezni
Köszi, az erasure code-nál átlapozhattam, vagy valaki kitépte a lapot a tabletből.
A nem pici rendszeretekben ha jól látom áll 10 OSD. Ez valami géphiba, vagy lemezhiba ?
- A hozzászóláshoz be kell jelentkezni
random halnak el diszkek, de nem izgatjuk magunkat, mert megy tovabb minden. majd 1x lemegyek es kicserelem azt a 10et egyben :-)
- A hozzászóláshoz be kell jelentkezni
A rendszerem elég kicsi :)
asztali PC ,KVM, KVM-ben 3 virtuális gép a 3 virtuális gép clusterben ( 2 virtuális hálózat 6 virtuális lemez) és CEPH.
Egész pontosan: a PC-n fut 1 virtuális gép 6 virtuális lemezzel 2 virtuális hálózattal. Ebben fut 3 virtuális gép , gépenként 2 lemezzel, amiket clusterba raktam. Sebesség sejthető, de működik.
Kérdésem, mi az a minimális konfig, ami már nem folyamatos kudarc ? Elvileg 3 node , gépenként 3 hdd-vel, (netán ssd journallal), 10GBe hálóval, már tudnia kellene azt amit egy " hagyományos" szervernek 2 tükrözött HDD-vel.
- A hozzászóláshoz be kell jelentkezni
nem tudom mire kell, elobb ezt kene specifikalni. en nem biztos, hogy 4 node, full flash, 25GbE ala mennek - ez mind olcso manapsag mar (igen, az enterprise PM983 egy arban van majdnem az asztali SSDkkel)
- A hozzászóláshoz be kell jelentkezni
Csak weboldalak, levelezés, ilyesmi. SOHO környezet. Hagyományos egygépes szerver alterntiváján gondolkodás.
Gondolom ebben a felállásban már kevésbé kockázatos használni mondjuk vadiúj brend szerver helyett használt szervereket.
- A hozzászóláshoz be kell jelentkezni
"csak". aha. lattam en mar ilyet. aztan jon a siras, hogy lassu...
ha ram hallgatsz veszel valami enterprise flasht (meg mindig a PM983 a legolcsobb szerintem), veszel 4 gepet, raksz ra 3x replikaciot, es orulsz.
elore szolok: sosem lesz olyan gyors, mint egy local NVMe RAID tomb, igy ha a megallas elfogadhato picit (egy gepes szerver alternativajat keresed...), akkor backup + NVMe RAID es az egeszbol egy tartalek hw a sarokban valoszinuleg olcsobb, es jobb teljesitmenyt ad.
- A hozzászóláshoz be kell jelentkezni
Csak szerveresdit játszok ... :-)
Igen forumokon olvasom sokszor a beszámolókat a CEPH-nél , hogy jó jó de , ok de.. ,cseréljem, és miért nem jó stb..
Hát több út és LAN vezet a nirvánába, most ssd raid van + tartalék gép ugyan nem a sarokban, hanem az ablak elött .
Mégegyszer köszi a válaszodat.
- A hozzászóláshoz be kell jelentkezni
Volt 3 nodeos ceph clusterem egy regi helyen, teljesen jol kiszolgalta amire meretezve lett (100 vm emlekeim szerint). Ssd journal+ raptor osd diskekkel.
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"
- A hozzászóláshoz be kell jelentkezni
a kulcsszo a meretezes.......
- A hozzászóláshoz be kell jelentkezni
A ceph nem a takarekossagrol szol, hanem hogy hogy kb csak tulel barmit, es ez egy igen draga feltetel mindig :)
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"
- A hozzászóláshoz be kell jelentkezni
semmikepp nem ezt jelenti a min_size, foleg hogy nincs ilyen hogy "original" meg "replica" cephben.
a min_size azt adja meg hogy az alap replikacios szambol (3) mennyinek kell online lennie ahhoz, hogy iras tortenhessen.
- A hozzászóláshoz be kell jelentkezni
Teljesen jogos, nem kellene egy hosszu ejszaka utan comment-elnem ;) Utolagosan elolvasva en sem ertem amit irtam a min_size/size alatt (marmint hogy ez igy hogy jott ki nekem)
Viszont az original/replica alatt amit ertettem: stimm hogy az object-ek egyenertekuek a pool-on belul, viszont original / replica alatt azt ertettem, hogy egy write muveletnel az object-hez tartozo placement group primary osd-jere tortenik a klienstol az iras majd az osd vegzi el a secondary/tertiary osd-re. Itt a folyamatoknal hatarozzak meg az "original/replica" muveleteket (az original amit a kliens ir a primary osd iranyaba, majd a replica amikor az osd->osd kozott tortenik). A dokumentacioban ugyan nincs igy jelolve ez a nevezektan, de a kodon belul a folyamatoknal ezek az elnevezesek vannak az egeszen vegigvezetve (legalabbis a "Dumpling" idokben voltak :D)
// Happy debugging, suckers
#define true (rand() > 10)
- A hozzászóláshoz be kell jelentkezni
Sziasztok!
Nem akartam uj topicot nyitni, ezert gondoltam itt rakerdezek, mert kapcsolodik.
A Croit es a PetaSAN mellett ismer valaki valamilyen jo UI-t Ceph Storage-hoz? A Croit tetszik, csak ugye pont a jo dolgok fizetosek... A PetaSAN nem rossz amugy, viszont Croit trial utan kicsit fapad...
File share-re kellene igazabol a Ceph (SMB esetleg NFS) szoval jo lenne, ha ilyen funkciokat tudna az UI.
- A hozzászóláshoz be kell jelentkezni
milyen funkciokat konkretan? es mi a baj a cli-vel? octopusban levo alap dashboard nem tudja?
- A hozzászóláshoz be kell jelentkezni
tetszett a PXE alapu node deployment, az smb (AD ACL jog kezelessel), a HA lehetoseg, a nagyon egyszeru kezelhetoseg. Alap dashboard read-only nem?
Szerk: Ohh latom a V2 mar management is (bar nem tudom milyen szinten) en meg lemaradtam az alapnal, ami csak monitorozott...
A CLI jelenleg nem opcio (Winowsos kollegaknak kell prezentalnom a technologiat, nekik meg kell a szines szagos gui, hogy "befogadjak" :) )
- A hozzászóláshoz be kell jelentkezni
az ilyen kollegaktol meg kell valni. ha a CLI gond, akkor a Ceph uzemeltetes __BIZTOS__ gond lesz. nem egy helyrol hivtak mar fel tuzet oltani, hogy "jajjj ajjja nagy a baj", a google nem segit, etc.
- A hozzászóláshoz be kell jelentkezni
Ha adott egy infrastruktura, ami szinte 100%-ban windowsra epul, akkor annyira nem meglepo, hogy a GUI van eloterben. A cegunk egy leanyvallalat, itt en vagyok az egyetlen "linuxos" (12 fos tarsasagbol) a Durva, hogy anyavallalatnal kb 30 IT-s van, 2 Linuxossal...
Szoval egy szinte "only MS" cegnel nem olyan nehez elkepzelni, hogy gond van a CLI-vel meg ugy alapbol a Linuxal... En sem szeretem tulzottan, hogy ha egy CentOS mysql szerver behal es en meg szabin vagyok, akkor megall az elet... De ez van.
- A hozzászóláshoz be kell jelentkezni
akkor miert ceph? foleg windowsra, amire nincs is nativ kliens, ergo marad az NFS... miert szopatod magad meg a ceget egy windows-only helyen? tessek rakni storage spacest, RDMA-s NICekkel, nem rossz az.
- A hozzászóláshoz be kell jelentkezni
Mert a jelenlegi felallas fos (2 win server 2016, failover clusterben, iSCSI disk-ekkel )... active-passive, ket node-al... kokorszak. Ez helyett szeretnek ceph-et, mert sztm sokkal hatekonyabb lenne... (a legnagyobb file share-ünk Petabyte meretu)
az MS storage poolt hagyjuk... Par hete kiserleteztunk vele. Rugalmatlan mint allat... Kb a letrehozasakor kobe van vesve minden, utana plusz lemez hozzaadasa, a rajta levo virtualis lemez atmeretezese kb lehetetlen...
Ceph-nel azt latom, hogy siman ki-be rakosgadhatod az fizikai disk eroforrast alatta, szepen idomul hozza.
- A hozzászóláshoz be kell jelentkezni
ha HDD-ken futtatjatok akkor irdatlan nagy szopasokat ossze lehet hozni nagy clustereken. az iSCSI reszben nem biznek, igy marad az NFS... nem hangzik tul jol.
- A hozzászóláshoz be kell jelentkezni
Jelenleg a Storage az Dell EMC (ket darab, HA-ban, csak SSD). Ezeken vannak a volume-ok, amik iSCSI val vannak deployolva a vSphere clusteren futo Win VM-ekre (RDM, Multi writer modban, hiszen a HA-t es a redundanciat most a Dell EMC adja) akik failover clusterben vannak. Ez egy kisebb file share, de a nagy is hasonlokepp nez ki. Ez helyett gondoltam valami Ceph alapu dologra.
Az elkepzelesem az uj rendszerben:
Dell EMC HA marad, legyartanam vele a megfelelo szamu volume-t (10,20... amennyi kell) ezt a vSphere en futo 3 vagy 5 node-bol allo (felmerni nyilvan elotte, hogy mit kovetel meg a felhasznalas) ceph cluster fele deployolnam (RDM lemezekkent) majd pl petasan vagy croit segitsegevel engedelyezett AD val (ACL miatt) SMB-vel hostolnam a felhasznalok fele.
- A hozzászóláshoz be kell jelentkezni
.
- A hozzászóláshoz be kell jelentkezni