Proxmox RAID megoldás

 ( attila123 | 2018. július 20., péntek - 16:39 )

Sziasztok!

Van egy HP Microserver G8-am 8GB memóriával, amin jelenleg VMWare ESXi fut (alatta egy XPEnology, debian, windows server, + néha tesztelésre 1-2 virtuális gép), tehát a memória ki van használva.
A gépbe most került még 3 darab 3TB HDD, így összesen 1 darab 32GB SSD + 4x3TB HDD van. VMWare ESXi-vel nem tudom a szoftveres RAID-et megoldani, ezért áttérnék Proxmox vagy Citrix Xenserver-re (a Proxmox lenne az elsődleges kiszemelt).

Abban szeretnék segítséget kérni, hogy milyen RAID (RAID 10 vagy RAID 5 - még nem döntöttem el) megoldást választanátok?
ZFS-t próbáltam, de alap beállításokkal megette az összes memóriát és ha elindítottam egyszerre több virtuális gépet, akkor iszonyatosan belassult (esetleg le lehetne szorítani 1GB alá a ZFS memória használatát úgy, hogy ne menjen a megbízhatóság és sebesség rovására?
btrfs RAID?
mdadm ext4-el?

Előre is köszönöm a javaslatokat!

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

személyes javaslataim:
- xenserver helyett inkább xcp-ng-t vettem volna be gondolkozós listára, de ha opció a proxmox akkor inkább azt
- raid 10 vagy raid 5: hát figyu, egyik ugye 6 TB-ot biztosít nagyobb sebességgel legalább 1, szerencsés esetben 2 diszk kiesését tudja tolerálni, másik 9 TB-t lassabban max 1 diszk kieséssel.. és mire azt az egyet pótolod, az lehet ám a rebuild time :) neked melyik kell? én tuti az 10 mellett voksolnék, ha nem kéne az a +3 TB terület
- fs: ZFS-t csak nemrégóta használok, negatív tapasztalatom nincsen, előtte mdadm-eztem, azzal se volt problémám. btrfs-t nem próbáltam még, de én maradnék az mdadm-nél, ha nyűgös a zfs.
meg hát tudjuk, hogy a raid nem backup, ha mégsem jönne be a kiválaszott fs, legyalulod és a backupból visszaállítod a vm-eket az új fs-en :)

Mentés nélküli RAID5 az olyan orosz rulett, ahol nem egy skuló van a tárban a hatból, hanem egy hiányzik. Négy diszknél vagy raid 10, vagy RAID6 (esetleg RAID5+hot spare) - mindegyik esetben 2 diszknyi nettó helyed lesz - az első gyors, de ha kiesik egy diszk, akkor gyakorlatilag megszünt a redundancia (ha stripe+mirror, akkor pláne), ellenben olvasásra nagyon gyors tud lenni. A második az írásra nem gyors, ellenben lassú (egy blokk írásához egy olvasás+3 írás kell), viszont elvisel két tetszőleges diszk kiesését - azaz egy diszk döglése esetén még megvan a redundanciád. A RAID5+HS írásban gyorsabb, mint az előbbi, viszont diszkdöglés esetén redundancia addig nincs, amíg a maradék két diszket végig nem olvasta és az hot spare-t végig nem írta a szoftver.

Helló,

A proxmox nem javasol szoftveres raidet, valami bug is van állítólag azzal + KVM-vel.

Vagy HW RAID, vagy ZFS-es cucc ami benne van gyárilag.

Erre van valami forrásod?
Ez így nem teljesen igaz ám.

Üdvözlettel!

Konkrétan rákérdeztem és megerősítette az ő staffjukból ember és benne van a doksiba is. Mi a nem igaz akkor ebből?

https://pve.proxmox.com/wiki/Software_RAID

https://forum.proxmox.com/threads/proxmox-installation-dont-see-raid1.44465/#post-212584

The reason for this is that we have seen Data corruption with Qemu VM's and O_DIRECT. So please just don't use Fake Raid/Software Raid

https://bugzilla.kernel.org/show_bug.cgi?id=99171

Ha esetleg valaki megtalálja ezt a thread-et: azóta már javítva lett

https://code.forksand.com/proxmox/pve-kernell/src/branch/master/debian/changelog

pve-kernel (4.15.18-27) unstable; urgency=medium

* backport fix for silent corruption in Linux kernel 4.15 with O_DIRECT
(e.g., VM with cache=none disk)

-- Proxmox Support Team Wed, 10 Oct 2018 10:50:11 +0200

Bootolni nem tud / nem szeret softraidről, de megoldható az is.
A Proxmox amúgy egy debian, nem kell túlmisztifikálni.

8GB gépre én se raknék ZFS-t de egy hasonló konfigom megy évek óta teljesen jól raid5-tel, ext4-el.
A boot az raid1 a többi raid5, ext4.

--
Gábriel Ákos

//Bootolni nem tud / nem szeret softraidről, de megoldható az is.//
Nekem nincs ilyen problémám, pedig pár helyen használok proxmox-ot.
mdraid és zfs felállásban is, de utólag kizárólagosan zfs, ha a szerverben van 16+GB ram.
A gyári telepítőről telepített rendszer rendesen indult eddig mindig.
Olyankor lehet gond, ha utólag csinálod meg a raid-et, de mint írtad arra valóban van megoldás. (chroot live linux alól+ grub ujrainstall az összes diszkre)

Megjegyzés:
Sokkal értelmesebb a proxmox rendszert külön hdd-n / hdd-ken tartani inkább ssd-n mondjuk.(akár raid nélküli ext4-el)
Hiba esetén mentésből nagyon hamar helyrehozható a rendszer.
Az imageket és a mentéseket kell biztonságos pl másik poolon tartani. (zfs esetén)
Én zfs raid-z poolra SOHA nem teszek rendszert.
Vagy zfs mirror-on vagy sima single disk ssd-n van a proxmox rendszer utóbbi esetben redundancia nélkül.

Üdvözlettel!

Hali!

Ha tudsz mindenképpen zfs-t használd.
Proxmoxnál ez nagyon nagy előny tud lenni.
Sajnos a 8gb ram elég kevés, de az arc méretet belőheted 1024mb/2048mb -ra. (arcmin és arcmax értékek a /etc/modprobe.d/zfs.conf)
Kellene még 8gb ram és maximálisan elégedett leszel a proxmox+zfs kombóval.
A biztonság is kiváló lenne így.

Üdvözlettel!

Nos. Regota hasznalok zfs-t. Idaig csak jo tapasztalataim vannak vele. Se szoftveres se hardveres raid-et nem javasolnak ala. A kovetkezo megoldast szoktam hasznalni: GPT-s particios tablara raid1 raid10-ra feltelepitek egy alap debian rendszert a diszkek elejere. Frissites es a proxmox telepitese utan (lasd proxmox wiki) a maradek teruletbol siman keszithetsz raidz2-t is. Akar LARC-nak, akar egy gyors vm teruletnek is kinevezheted az SSD-t. Patent mukodik.
A 8G valoban kicsit keves, de mukodik, lasd az elottem szolokat, meg hangolhatod is zfs-t.
A zfs-ben a snapshotolast oda nem adnam semmiert! Igaz veletlenul, de egyszer egy mukodo gepet snapshotoltam. Megdobbentem, amikor a gep visszaallitasa utan abban a minutumban es abban az allapotban futva lattam viszont a virtualis gepemet. :-)

sub

Én ESXi-t használok hasonló konfiguráción szoftveres RAID megoldással, tehát lehetséges.

Szerintem egy korábbi feldobott és megoldott témám érdekes lehet a számodra:
https://hup.hu/node/130521

http://www.redphoto.hu

Én a RAID 10 helyett mindig RAID 6-ot preferálnék, úgy bármelyik 2 disk kieshet.
Esetleg RAID 1 + külső backup, mint RAID 5.

Utóbbi előnye, hogy másik gépen is olvasható lesz a disk, ha bármi van, míg RAID 5-6-10 esetén ez nem ilyen egyszerű.

Vagy amit én választottam:
Areca ARC-1216-4i (vagy ilyesmi széria), használtan pár ezer Ft-ért vettem több darabot (aprón, már sok éve minden hiba nélkül megy, hasít), frissítettem mindegyiken a legújabb firmware-re, így korlátlan méretű HDD-t kezel, most épp 4 TB-os disk-eket, és hardveresen van megoldva a RAID 1.
Így maradhatna a szoftver, ez a SATA-s RAID kártya alapból megoldaná a RAID-et, ami itt RAID 1 nekem + külső mentés, azonos méretű HDD-re sync.

Sakk-matt,
KaTT :)