Proxmox RAID megoldás

Debian GNU/Linux

Sziasztok!

Van egy HP Microserver G8-am 8GB memóriával, amin jelenleg VMWare ESXi fut (alatta egy XPEnology, debian, windows server, + néha tesztelésre 1-2 virtuális gép), tehát a memória ki van használva.
A gépbe most került még 3 darab 3TB HDD, így összesen 1 darab 32GB SSD + 4x3TB HDD van. VMWare ESXi-vel nem tudom a szoftveres RAID-et megoldani, ezért áttérnék Proxmox vagy Citrix Xenserver-re (a Proxmox lenne az elsődleges kiszemelt).

Abban szeretnék segítséget kérni, hogy milyen RAID (RAID 10 vagy RAID 5 - még nem döntöttem el) megoldást választanátok?
ZFS-t próbáltam, de alap beállításokkal megette az összes memóriát és ha elindítottam egyszerre több virtuális gépet, akkor iszonyatosan belassult (esetleg le lehetne szorítani 1GB alá a ZFS memória használatát úgy, hogy ne menjen a megbízhatóság és sebesség rovására?
btrfs RAID?
mdadm ext4-el?

Előre is köszönöm a javaslatokat!

  • 3311 megtekintés

( dhary | 2018. 07. 20., p – 20:54 )

személyes javaslataim:
- xenserver helyett inkább xcp-ng-t vettem volna be gondolkozós listára, de ha opció a proxmox akkor inkább azt
- raid 10 vagy raid 5: hát figyu, egyik ugye 6 TB-ot biztosít nagyobb sebességgel legalább 1, szerencsés esetben 2 diszk kiesését tudja tolerálni, másik 9 TB-t lassabban max 1 diszk kieséssel.. és mire azt az egyet pótolod, az lehet ám a rebuild time :) neked melyik kell? én tuti az 10 mellett voksolnék, ha nem kéne az a +3 TB terület
- fs: ZFS-t csak nemrégóta használok, negatív tapasztalatom nincsen, előtte mdadm-eztem, azzal se volt problémám. btrfs-t nem próbáltam még, de én maradnék az mdadm-nél, ha nyűgös a zfs.
meg hát tudjuk, hogy a raid nem backup, ha mégsem jönne be a kiválaszott fs, legyalulod és a backupból visszaállítod a vm-eket az új fs-en :)

Mentés nélküli RAID5 az olyan orosz rulett, ahol nem egy skuló van a tárban a hatból, hanem egy hiányzik. Négy diszknél vagy raid 10, vagy RAID6 (esetleg RAID5+hot spare) - mindegyik esetben 2 diszknyi nettó helyed lesz - az első gyors, de ha kiesik egy diszk, akkor gyakorlatilag megszünt a redundancia (ha stripe+mirror, akkor pláne), ellenben olvasásra nagyon gyors tud lenni. A második az írásra nem gyors, ellenben lassú (egy blokk írásához egy olvasás+3 írás kell), viszont elvisel két tetszőleges diszk kiesését - azaz egy diszk döglése esetén még megvan a redundanciád. A RAID5+HS írásban gyorsabb, mint az előbbi, viszont diszkdöglés esetén redundancia addig nincs, amíg a maradék két diszket végig nem olvasta és az hot spare-t végig nem írta a szoftver.

( csardij v | 2018. 07. 21., szo – 19:58 )

Helló,

A proxmox nem javasol szoftveres raidet, valami bug is van állítólag azzal + KVM-vel.

Vagy HW RAID, vagy ZFS-es cucc ami benne van gyárilag.

Konkrétan rákérdeztem és megerősítette az ő staffjukból ember és benne van a doksiba is. Mi a nem igaz akkor ebből?

https://pve.proxmox.com/wiki/Software_RAID

https://forum.proxmox.com/threads/proxmox-installation-dont-see-raid1.4…

The reason for this is that we have seen Data corruption with Qemu VM's and O_DIRECT. So please just don't use Fake Raid/Software Raid

https://bugzilla.kernel.org/show_bug.cgi?id=99171

Ha esetleg valaki megtalálja ezt a thread-et: azóta már javítva lett

https://code.forksand.com/proxmox/pve-kernell/src/branch/master/debian/…

pve-kernel (4.15.18-27) unstable; urgency=medium

* backport fix for silent corruption in Linux kernel 4.15 with O_DIRECT
(e.g., VM with cache=none disk)

-- Proxmox Support Team Wed, 10 Oct 2018 10:50:11 +0200

Bootolni nem tud / nem szeret softraidről, de megoldható az is.
A Proxmox amúgy egy debian, nem kell túlmisztifikálni.

8GB gépre én se raknék ZFS-t de egy hasonló konfigom megy évek óta teljesen jól raid5-tel, ext4-el.
A boot az raid1 a többi raid5, ext4.

--
Gábriel Ákos

//Bootolni nem tud / nem szeret softraidről, de megoldható az is.//
Nekem nincs ilyen problémám, pedig pár helyen használok proxmox-ot.
mdraid és zfs felállásban is, de utólag kizárólagosan zfs, ha a szerverben van 16+GB ram.
A gyári telepítőről telepített rendszer rendesen indult eddig mindig.
Olyankor lehet gond, ha utólag csinálod meg a raid-et, de mint írtad arra valóban van megoldás. (chroot live linux alól+ grub ujrainstall az összes diszkre)

Megjegyzés:
Sokkal értelmesebb a proxmox rendszert külön hdd-n / hdd-ken tartani inkább ssd-n mondjuk.(akár raid nélküli ext4-el)
Hiba esetén mentésből nagyon hamar helyrehozható a rendszer.
Az imageket és a mentéseket kell biztonságos pl másik poolon tartani. (zfs esetén)
Én zfs raid-z poolra SOHA nem teszek rendszert.
Vagy zfs mirror-on vagy sima single disk ssd-n van a proxmox rendszer utóbbi esetben redundancia nélkül.

Üdvözlettel!

( 1984white | 2018. 07. 21., szo – 20:49 )

Hali!

Ha tudsz mindenképpen zfs-t használd.
Proxmoxnál ez nagyon nagy előny tud lenni.
Sajnos a 8gb ram elég kevés, de az arc méretet belőheted 1024mb/2048mb -ra. (arcmin és arcmax értékek a /etc/modprobe.d/zfs.conf)
Kellene még 8gb ram és maximálisan elégedett leszel a proxmox+zfs kombóval.
A biztonság is kiváló lenne így.

Üdvözlettel!

Nos. Regota hasznalok zfs-t. Idaig csak jo tapasztalataim vannak vele. Se szoftveres se hardveres raid-et nem javasolnak ala. A kovetkezo megoldast szoktam hasznalni: GPT-s particios tablara raid1 raid10-ra feltelepitek egy alap debian rendszert a diszkek elejere. Frissites es a proxmox telepitese utan (lasd proxmox wiki) a maradek teruletbol siman keszithetsz raidz2-t is. Akar LARC-nak, akar egy gyors vm teruletnek is kinevezheted az SSD-t. Patent mukodik.
A 8G valoban kicsit keves, de mukodik, lasd az elottem szolokat, meg hangolhatod is zfs-t.
A zfs-ben a snapshotolast oda nem adnam semmiert! Igaz veletlenul, de egyszer egy mukodo gepet snapshotoltam. Megdobbentem, amikor a gep visszaallitasa utan abban a minutumban es abban az allapotban futva lattam viszont a virtualis gepemet. :-)

( KaTT v | 2018. 07. 23., h – 10:55 )

Én a RAID 10 helyett mindig RAID 6-ot preferálnék, úgy bármelyik 2 disk kieshet.
Esetleg RAID 1 + külső backup, mint RAID 5.

Utóbbi előnye, hogy másik gépen is olvasható lesz a disk, ha bármi van, míg RAID 5-6-10 esetén ez nem ilyen egyszerű.

Vagy amit én választottam:
Areca ARC-1216-4i (vagy ilyesmi széria), használtan pár ezer Ft-ért vettem több darabot (aprón, már sok éve minden hiba nélkül megy, hasít), frissítettem mindegyiken a legújabb firmware-re, így korlátlan méretű HDD-t kezel, most épp 4 TB-os disk-eket, és hardveresen van megoldva a RAID 1.
Így maradhatna a szoftver, ez a SATA-s RAID kártya alapból megoldaná a RAID-et, ami itt RAID 1 nekem + külső mentés, azonos méretű HDD-re sync.

Sakk-matt,
KaTT :)

( BognarB v | 2021. 11. 12., p – 18:55 )

Szerkesztve: 2021. 11. 12., p – 19:04

Hi,

Nem nyitnék új topicot, nagyjából passzol a kérdésem a topicba.

Adott egy kis otthoni Shuttle gép, 8GB ram, 6400T cpu, Intel Rapid Storage (fakeraid), meg pár 2,5" diszk. Proxmox 5 jelenleg, ez majd előbb utóbb 6 vagy 7-re lesz upgrade-elve vagy újratelepítve. Általános felhasználás, pár VM, nem megy 0-24-ben.

mdadm-al szeretnék a VM diszkek alá tenni egy kis redundanciát, de ahogy olvasom több helyen -beleértve a hivatalos olrdalt is-, az sw RAID nem támogatott és nem is lesz soha.

Debian-ra telepített Proxmox esetén szépen összelapátolható mdadm-al is RAID, de a bitrot-os kernelbug miatt egyáltalán nem javasolt. Mivel napi szinten van leállítgatva, így nem tudom mennyire jöhetne elő a fentebb olvasható kernel bug. Erről valakinek tipp/ötlet?

Amire még gondoltam:

Adott lenne 1 linux alapú VM, ami közvetlenül megkapná a hoszttól a diszkek RAID-be szervezendő részét, és ami állítaná össze mdadm-al a kívánt RAID szintet. Ezt NFS-en (vswitch-en) visszaadnám a hosztnak, ami pedig már védett helyre tudná tenni a VM image-eket.
Tudom, jó eséllyel bukok egy rakás hasznos funkciót, hatalmas lesz az overhead, ráadásul a tömböt kiszolgáló VM nincs is normális helyen..

Mennyire halott ötlet? Próbálni próbáltam, működik, a sebesség is elfogadható, de érdekelne hozzáértők véleménye. Ezzel a felállással is előjöhetne a kernel bug által okozott kellemetlenség?

ZFS-t nem szeretnék, XCP-re nem állnék át. (pedig ott van sw RAID támogatás)

Köszi!

udv

letix

Linux parancsok, kezdőknek

Így első ránézésre nem látom mivel lenne jobb a helyzet ha a vm kernele rakja össze neked a raidet.
Van egy több mint 10 éves proxmox installom, mdadm-os raid6 van alatta (először raid5 volt, azt upgradeltem), nincsen vele semmi baj.

Persze lehet hogy az ősöreg kernelben _még_ nem volt benne ez a bug.

Az új proxmoxomban több ram van, oda kézenfekvő volt a zfs, 7-essel már a root is megy zfs-en. 

Gábriel Ákos

( zslaszlo v | 2023. 09. 07., cs – 12:53 )

No, akkor felmelegíteném a topicot, ha nem gond. (Ha igen nyitok újat) Hardweres raid és proxmox telepítéskor hogyan szoktátok megoldani tömbök kezelését? Én a saját logikám szerint csinálnék egy raid5 tömböt adatdiszkeknek (mondjuk 6db 600G) és csinálnék egy 2 diszkből álló raid 1 (vagy raid10, mit javasoltok?)tömböt, ahol a proxmox lakik.

Jó az elgondolásom?

“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”

― Philip K. Dick

Teljesen mindegy, hogy szoftver vagy hardver RAID, a lényeg, hogy a VM diszkek alá szánt kötetek ne RAID5-6 típusúak legyenek, mert csapnivaló lesz a VM futtatás sebessége a minimális IOPS miatt (pláne, ha HDD-k és nem SSD-k vannak alatta), ha egynél több VM fut egy időben (ami eléggé valószínű Proxmox esetén... :-)

VM diszkek alá RAID1 vagy RAID10 köteteket tegyél.

Egyetlen esetben lehet hasznos RAID5-6 alapú VM diszk: amikor nagy mennyiségű adatot tárolsz, leginkább 1 VM-ből használva, és nem túl nagy a konkurrens elérés a VM-en belülről sem. Pl. nem túl nagy forgalmú levelező szerver alá a levelek tárolására. Amikor már bármelyik szinten párhuzamosság merül fel, akkor felejtős a RAID5-6.

Mi leginkább SSD-ből csinálunk tárolást Proxmox alá. De ahol ez nem megoldható (nagyon kis cég egyetlen kis szervere), ott SSD-ről fut a Proxmox és a VM-ek rendszerlemeze, és HDD-s kötetre kerül a VM-ek adatlemeze (ilyenkor azért 4x HDD legalább RAID10-ben, hogy 2 HDD-nyi IOPS-ünk legyen). Ha belefér, akkor 2x SSD a Proxmox és másik 2x vagy 4x SSD a VM rendszerek, ha nem fér bele, akkoe 2x vagy 4x SSD a Proxmox és erre mennek a VM-ek rendszerlemezei is. Ahol van keret normális szerverre (és szóló, nem cluster), ott 2x SSD Proxmox és 2*n SSD a VM-ek alá a RAID10 kapacitásigénytől függően.

Köszönöm, a hasznosságot. Épp a te általad leírt eset áll fenn. Nagy adatmennyiség 1 VM-ből használva, kevés párhuzamossággal. 

“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”

― Philip K. Dick

Én JBOD-ot csinálnék a kontrolleren (nem kellenek a hw raid funkciók a zfs alá).
Kicsi partíciókat csinálnék a diszkek elejére hogy maradjon hely később akármilyen egyéb (raid0, 10, 5,6) kialakítására.
VM-ek alá a RAID5 irtózatosan lassú lesz, főleg a windowsnak ami szeret akkor is írogatni ha egyáltalán nem kéne.
Ezzel a felállással csinálhatsz ugyanabból a 6 diszkből egy kisebb raid10-et meg egy nagyobb raid6-ot, kecske-káposzta.
Vagy bárhogy máshogy szabdalhatod.
Ha egyszer beraktad a raid6 alá a kontrolleren akkor az úgy maradt.

Gábriel Ákos

( debtamas88 | 2023. 09. 07., cs – 20:00 )

Szerkesztve: 2023. 09. 07., cs – 20:17

Szia!

RAID rendszer mellé kell egy normális polc is, amiben van 2db SAS vezérlő, másik oldalon meg 2db SAS-HBA kártya + multipath.
SAS-HBA kártyán keresztűl eléred a polc összes paraméterérét pl.: LED villogatatás, Polc slot-ban lévő diszk adatai -nem kell keresgélni melyik diszk fosott be-, stb.

$> lsscsi -g

$> echo 1 > /sys/class/enclosure/<shelf-id>/<disk-slot>/locate
$> cat /sys/class/enclosure/<shelf-id>/<disk-slot>/device/wwid

RAID kártya itt azért nem jó, mert hiába rakod "HBA/JBOD" módba, nem látszik rendesen a disk polc, elmaszkolja ( /sys/class/enclosure alatt a raid kártya ID-ja lesz, nem a polcé ).

Másik paraméter ami számít, diszk csere esetén a REBUILD idő, valamint, hogy ezen idő alatt "online" (leállás nélkül) végyigmegy a folyamat vagy csak "offline" (leállással).

Jelenleg olyan rendszert tesztelek (mdadm):
-3db diszkekből álló RAID-1 tömbök, amik LVM vannak összefűzve ( mdadm 3way raid-1 + LVM-striped ), erra olyan fájlrendszert raksz amilyet akarsz.

Redundancia nálam fontosabb, mint a tárolókapacitás.

 

Ezt pontosan kinek és mire javasoltad?

Az eredeti 2018-as kérdésre vicces, mert egy Microserver-ről beszél 8 GB-tal, szóval nem játszik bele két HBA meg két diszk doboz mellé.

A mostani kérdező, topic élesztő pedig egy 6 diszkes, HW RAID-ra kötött konfigot kérdezett, ide megint nem releváns semennyire amit írtál.