Sziasztok!
A felállás: Dell szerver 128GB RAM, Hw Raid vezérlő.
2db SSD raid1-ben ezen fut proxmox
2db SSD raid1-ben ezen vannak vm-ek
4db HDD Raid5-ben backup
MI a véleményetek azzal kapcsolatban, hogy vm-es ssd-ken jobb volna e ZFS-t használni, illetve RAID5 helyett jobb lenne e ZFS rendszert használni?
- 409 megtekintés
Hozzászólások
Én a helyedben a 4 HDD-vel, és 2 db SSD-vel csinálnék egy cache-elt zfs-t.
VM-ek alá úgyis kell az IOPS, meg így lenne snapshot-od, meg thinprovision-od, meg tömörítésed, meg ki tudja még mi.
VM-enként külön!!!
Csak akkor szólok hozzá egy témához, ha értelmét látom.
- A hozzászóláshoz be kell jelentkezni
Hw raid-ed van, a ZFS -hez a "gyári" ajánlás az hogy ne használj raid kártyát. Az oka az hogy ZFS elöl elrejti a lemezeket a raid vezérlő. (neten vita van róla hogy mégis, de ez az ajánlás).
Ha van egy jő BBU-s raid kártyád, nem feltétlenül kell zfs. Én ugyan ZFS-sel használom a proxmox-ot, de :
Zfs-nek nagy az " írási erősítése" , ( write amplification), proxmox alapban sokat ír, csak úgy alapban havi 2-3 TB-ot naplóz, üresjáratban. Vagyis DC ssd-k kellenek proxmox+zfs-hez.
Egy panasz találomra: https://forum.proxmox.com/threads/improve-write-amplification.75482/
De próbáld ki a sebeségeket, (lemezre írás mennyiségét), proxmox gyorsan újra telepithető.
mennyit ír lemezre : iostat -hy 60
és ssd smart adat
lemez iops: fio --name=SSDtesztem --filename=./testfile1 --size=100M --bs=4k --iodepth=1 --rw=randwrite --randrepeat=1 --sync=1 --fsync=1 |grep WRITE
Milyen SSD-k lennének ?
- A hozzászóláshoz be kell jelentkezni
Szia, erre visszakérdeznék, mert pont tennék proxmoxot egy raid vezérlős, 2 SSD-s és 4x4 Terás vasra. BBU és HW raid lesz, amiből azt a következtetést vontam le, hogy SSD raid1 lesz utóbbi pedig raid6|raid10 és pont azon gondolkoztam, hogy a /var/log-ot mindenképp a lemezes tömbre teszem. Ha jól értem, ez is egy preferált megoldás lehet (Ha a mostani telepítőben van lehetőség arra, hogy rendesen tereljük a partíciókat, A diskekre rövid csere intervallumot adtak, de kikerülni a problémát.
Tudod javasolni ezt a felállást?
- A hozzászóláshoz be kell jelentkezni
Nem próbáltam,de tervezem egy két hasonló variációt kipróbálni, egyenlőre DC ssd-t használok, két év alatt 2 VM írt olyan 80 Terrabájtot. (használtan vett olcsó , intel , TBW 7 PetaBájt)
olyan 3-4 szeres az íráserősítés nálam (asztali ssd nem igazán jó proxmox+zfs+ vm -hez, nagyon alacsony egy samsung pro sata, aszatali nvme és hasonló sync iops-e - 2-3 mb/sec , s3700 jó régi modell , tud 60 mb/sec-et, p3700 meg 200 Mb/sec ) .
iostat -yh 60 - percenkénti írás a hoston,ZFS csak 1 VM megy semmi más):
Linux 5.13.19-4-pve (as6) 03/03/2022 _x86_64_ (24 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
2.0% 0.0% 0.3% 0.0% 0.0% 97.6%
tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd Device
43.20 0.0k 1.1M 0.0k 0.0k 67.9M 0.0k sda
avg-cpu: %user %nice %system %iowait %steal %idle
0.7% 0.0% 0.2% 0.1% 0.0% 99.0%
tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd Device
37.97 0.0k 908.7k 0.0k 0.0k 53.2M 0.0k sda
avg-cpu: %user %nice %system %iowait %steal %idle
1.2% 0.0% 0.2% 0.0% 0.0% 98.6%
tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd Device
40.82 0.4k 1.1M 0.0k 24.0k 65.2M 0.0k sda
avg-cpu: %user %nice %system %iowait %steal %idle
2.3% 0.0% 0.2% 0.0% 0.0% 97.4%
tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd Device
39.75 0.0k 1.1M 0.0k 0.0k 63.4M 0.0k sda
Ugyanez egy EXT4-Zvol VM-ben.
Linux 4.15.0-169-generic (as4) 2022-03-03 _x86_64_ (6 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
7,2% 0,0% 1,1% 0,1% 0,0% 91,6%
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda
22,93 47,9k 385,5k 2,8M 22,6M
avg-cpu: %user %nice %system %iowait %steal %idle
3,0% 0,0% 0,8% 0,1% 0,0% 96,0%
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda
17,63 0,0k 245,8k 0,0k 14,4M
avg-cpu: %user %nice %system %iowait %steal %idle
3,0% 0,0% 0,7% 0,1% 0,0% 96,2%
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda
17,18 5,9k 300,1k 352,0k 17,6M
avg-cpu: %user %nice %system %iowait %steal %idle
6,7% 0,0% 1,1% 0,1% 0,0% 92,0%
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda
20,03 12,5k 318,0k 748,0k 18,6M
avg-cpu: %user %nice %system %iowait %steal %idle
5,8% 0,0% 1,0% 0,1% 0,0% 93,1%
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda
16,90 8,5k 259,7k 508,0k 15,2M
avg-cpu: %user %nice %system %iowait %steal %idle
3,7% 0,0% 0,6% 0,1% 0,0% 95,6%
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda
29,92 52,6k 440,5k 3,1M 25,8M
Ha konténert használsz VM helyett akkor gondolom nincs ilyen .
- A hozzászóláshoz be kell jelentkezni
Proxmox oldalról minimális a különbség ZFS és LVM között. (LVM-el is van snapshot, thinprovision, etc …)
ZFS nagyon jó dolog, de iszonyat módon zabálja a memóriát. Ha nincsen semmilyen ZFS-hez köthető speciális igényed, akkor nincsen rá szükséged. HWRaid + LVM u.a tudja, kevesebb erőforrás használat mellett, adott esetben még gyorsabb disk IO-val.
Több ZFS alapú Proxmox-ot migráltunk „vissza” HWRaid-ra, a host memória használat kb. lefeleződött, CPU és egyéb használat is láthatóan csökkent.
- A hozzászóláshoz be kell jelentkezni
ZFS memória használata szabályozható, nálam pl 2GB-ra van limitálva. CPU használatban nem látok problémát.
echo "options zfs zfs_arc_min=1073741824 zfs_arc_max=2147483648" > /etc/modprobe.d/zfs.conf
update-initramfs -u
reboot
A téma indítónak pedig:
Nem tudom hogy releváns-e, de ha ZFS-el használod a proxmoxod, akkor ha több géped lesz a jövőben, akkor használhatsz local store-os gépek között live migrationt.
- A hozzászóláshoz be kell jelentkezni
Igen, egyrészt szépen be lehet állítani a memóriafogyasztást, másrészt az ember azért vesz memóriát, hogy használja.
A másik kérdés az, hogy mennyire fontosak az adatok, a ZFS ugye mindent checksumol.
A ZSTD-t is szeretem, dob egy kicsit az írási/olvasási sebességen.
- A hozzászóláshoz be kell jelentkezni
Köszi a válaszokat, amikből nekem az jött le, hogy jó ZFS, de a meglévő rendszert nem biztos, hogy megéri piszkálni. Gondolkodtam még clusteron, amihez szintén jól jönne zfs, de majd meglátjuk mit hoz a jövő.
Egy kicsit tartok viszont SSD-k élettartamától (nem DC-k), de mivel Raid1-ben vannak, talán nem halnak be egyszerre, és hát legyünk őszinték 3 jobb minőségű SSD-k kapok egy DC-s árán.
Egyébként a HDD-kre napi snapshotok, és külön adatmentés megy vm-ekről, valamint van egy másik backup szerver ami innen is naponta leszedi a mentést, szóval olyan nagy gond nem adódhat.
Spikes
- A hozzászóláshoz be kell jelentkezni
és hát legyünk őszinték 3 jobb minőségű SSD-k kapok egy DC-s árán.
Minek csili - vili túlárazott enterprise alkatrész , ugyanolyan jó az "asztali". Sokszor igaz is, de pont az ssd-k esetén nem.
Leggyengébb smr HDD és a legjobb HDD között nincs nagyságrendi különbség , ssd-knél meg akár 100 szoros is lehet a szinkron irások esetén, ami a VM-eknél számít. Persze ez is beállítás függő. Laptopba, PC -be mindegy.
SSD-knél pedig 100 szoros különbség is lehet _sync iráskor.
Egy teszt proxmoxtól:
Samsung SSD alig jobb mint egy HDD random 4 k iráskor.
Asztali Nvme :
https://forum.proxmox.com/threads/nvme-slog-gives-slower-write-performance.65272/#post-294463
Persze ez is feladatfüggő, nem kell mindenhová , VM ek nél azért nem árt, de ha mégsem kell pl. ZFS akár kényszerithető sync irás jelyett aszinkronra és akkor nem számít.
- A hozzászóláshoz be kell jelentkezni