Még csak teszt fázisban vagyunk, így éles működési adataim nincsenek. Valamint ez egy próba projekt egy számunka új területen. A kiindulás alap az volt, hogy nem találtunk könnyen telepíthető és üzemeltethető, nagy rendelkezésre állású storage-et használtan (amit meg tudunk fizetni, ebből új nem jöhetett szóba az ára miatt). FC-s ajánlatok vannak szép számmal, de 1) nem értünk hozzá semennyire, 2) eléggé drága mindennel együtt egy FC-s rendszer használtan is (meg sokat is fogyaszt arányaiban). Így jutottunk oda, hogy legyen hiperkonvergens, de a VMware vSAN megint kiesett az ára miatt, viszont a Proxmox régebbi jó tapasztalatok alapján kézenfekvő volt, és ott van benne a Ceph elég jól támogatva. Összesen 10-20 VM fot majd rajta, nem nagy számítási igénnyel (web, e-mail kiszolgáló, ilyesmi).
A rendszerben 4 node van, mindegyik egyforma: Dell R630 10x SFF, 2x E5-2630L CPU, 128 GB RAM, 2x 10 GbE, 2x 1GbE hálózat, H330 HBA, 2x 250 GB M.2 SATA SSD, 2x 250 GB M.2 NVMe SSD (az M.2 meghajtók PCIe slot-os illesztőkön, hogy ne foglaljanak hot-swap helyet a fő tárolótól), 2x 1.92 TB 2.5" SSD és 2x 1.8 TB 10k SAS HDD.
Szempont az alacsony fogyasztás, hogy ha DC-be kerül a rendszer, unit alapon bérelt helyre, akkor benne legyünk a havi fogyasztási keretben.
A 2x 250 GB SATA-n van a Proxmox ZFS mirror-on, a két NVMe meghajtó RocksDB/WAL DB-nek (HDD-k mellé) és cache tier-nek szántuk, de utóbbi ugye már nem támogatott, így ezek üresek minden node-on egyenlőre. A 4 db hot-swap meghajtó mind Ceph OSD, device class alapján konfigurált SSD és HDD-pool-okban. Jeleneleg 3/2-es replikációval 3.4 TB használható az SSD pool-on és kb. 3.2 TB a HDD pool-on (0.7-es nearfull érték mellett).
Persze a beépített M.2 meghajtók nagyon nem enterprise megoldás, de költséghatékonyság miatt minél több hot-swap helyet akartunk megtartani tárkapacitás bővítésre, és úgy kalkuláltunk, ezen belső meghajtók hibájánál egy host leállítása mellett teljesen működőképes marad a rendszer a javítás idején.
Teszteket sokat futtattam már, de szívesen futtatok újabbakat, ha van valami elképzelés. Igazából nem tudom még, hogy milyen tesztet érdemes nézni, ahogyan azt sem, hogyan kellene ennek a rendszernek teljesítenie. Nincs még ilyen téren tapasztalatom.
Kettő 10 GbE swtich van, bond-olt VLAN-okkal megoldott aktív-backup kapcsolatokkal. Mind a szerverek, mind a switch-ek dupla táposak. Egyedül a router szóló, de csak 1 becsatlakozásunk lesz egyenlőre, így azt a redundanciát meg gondoltuk fontosnak növelni. A VM-ek saját VLAN-(ok)ban, a Proxmox cluster (Corosync) megint másikban kommunikálnak az 1 GbE kapcsolatokon, a Ceph publikus és replikációs hálózatok is saját VLAN-ba kerültek elválasztva, és amíg minden működik, addig 10 GbE mindkét Ceph VLAN sebessége egymástól függetlenül.
A VM-ek Ceph RBD-n lesznek, lokális tárolón csak ISO image és backup lesz (az is csak ideiglenesen). Mind a négy node a Proxmox cluster része, és mindegyiken vannak Ceph OSD-k. Az első hármon fut MON és MGR. CephFS vagy RGW nem fut (egyenlőre, nincs rá szükségünk).
Az overhead-ek: CPU overhead a Ceph miatt olyan nagyon sok nem lesz, mert a replikáció nem annyira CPU igényes mint az EC (olvasmány, nem tapasztalat). Memória: a host ZFS-nek limitáltam 8 GB-ra, a Ceph még all-default fut memória terén, de mivel nem sok és nem nagy OSD-k vannak, így elvileg 10-20 GB között lesz a max overhead (Ceph terén).
Ha van még kérdésed, szívesen válaszolok, ha tudok. Nem titkos semmi.