RAID6 + 4HDD: Linux MD RAID vagy hw RAID?

 ( KaTT | 2018. február 15., csütörtök - 16:58 )

Sziasztok!

Mit javasoltok, ha kifejezetten fontos biztonsági másolatot kell tárolni és frissen tartani, és nem fér rá egy HDD-re, mert több, mint 12 TB, valamint hetente lenne rsync-elve, a többi időpontban nem is menne a szerver.

Ilyen esetben elég lehet a RAID6-os Linux MD RAID, vagy hardveres RAID kártyára bíznátok? (Amik a régebbi HP DL360, DL380-ban vannak: HP Smart Array P420)

Előnyei az MD RAID-nek:
- ha a szerver alaplap/cpu/ram tönkre megy, másik gépen van esélyem elérni az adatokat, mert egy hasonló gépen beindítom
- a HDD-k smart-ját tudom figyelni külön-külön

Előnyei a hardver RAID-nek:
- gyorsabb

Hátrányai a hardver RAID-nek:
- drágább
- ha a RAID kártya elhal, kétséges az adatok kinyerése adatvesztés nélkül, másik fajta RAID kártyával

Köszönöm előre is a véleményeteket.

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Inkább RAID10-et. Sokkal jobb teljesítményt ad.
--
"Sose a gép a hülye."

de ha ugyanannak a párnak a két fele esik össze, akkor buktad a tömböt. RAID6 és raidz2-nél meg bármely két diszk kiesését túléli a tömb

Igen, pontosan ez az oka, hogy nem RAID 10-et akarok, hanem RAID6-ot. A teljesítmény nem fontos, backup-ra lesz.

Sakk-matt,
KaTT :)

+1 A raid6 (dupla checksum) négy diszk felállást akkor lehet érdemes újragombolni, ha a mentés ideje meghaladja a mentési időablak felét, azaz egy backup hiba esetén nincs idő újra nekilátni a backupnak, és akkor _kell_ újragombolni, ha a mentés tényleges ideje közelít a mentésre rendelkezésre álló időtartamhoz.
Ha ezek a feltételen nem állnak fenn, akkor kvázi tök mindegy, hogy a mentés mondjuk 4 óra 56 perc, vagy épp 5 óra 43 perc alatt megy le, mert "belefér" a raid6 alacsonyabb írási sebessége.

zfs raidz2-t is érdemes lenne megfontolni. Illetve a frissen tartás is könnyebb, ha a forrás szerveren is zfs van, akkor a zfs megoldja az inkrementális frissítést zfs send / zfs recv párossal.

Ha lehet, nem szeretnék ZFS-t.
Sima rsync simán megoldja, főként X új file van hetente, nincs törlés, és ennyi.
Szerinted mi a hátránya az MD RAID-nek a ZFS RAID6-tal szemben?

Sakk-matt,
KaTT :)

- nincs beépített integritás ellenőrzés, az adathibákat simán átsyncelik egymás között
- almát körtével: az MD RAID csak blokk device-t ad, fölé még neked kell volume managert (LVM) meg FS-t tenned. És melyik FS-ben bízol? ext4? xfs?
- zfs-ben van egy csomó nagyon hasznos feature, amiket már lentebb leírtam.

> ha a RAID kártya elhal, kétséges az adatok kinyerése adatvesztés nélkül, másik fajta RAID kártyával

A HP SmartArray sorozat adat-kompatibilis, és régebbi kártyákhoz (P410, P420) használtan aprópénzért hozzá lehet jutni.

(Ha az adat és a rendelkezésre állás fontos, úgyis van tartalék gép a polcon, nem? Egy komplett DL360 Gen8 szervert megkapsz használtan 150 kHUF körül)

Tehát te mindenképpen a HW RAID 6-ot használnád a Linux RAID 6-tal szemben, ha van P410, P420 jellegű RAID a gépben? Régebben volt ebből gondom, hogy egy régebbi HP-s RAID kártyával kezelt HDD-ket nem lehetett monitorozni, nem volt látható a SMART.

Sakk-matt,
KaTT :)

> Tehát te mindenképpen a HW RAID 6-ot használnád a Linux RAID 6-tal szemben, ha van P410,
> P420 jellegű RAID a gépben?

Még szép.

> Régebben volt ebből gondom, hogy egy régebbi HP-s RAID kártyával kezelt HDD-ket nem lehetett
> monitorozni, nem volt látható a SMART.

Milyen oprendszer alatt?
Linux alatt a smartctl ősidők óta támogatja a ciss/hpsa vezérlőket.

BTW, amíg a RAID vezérlő egészségesnek gondolja a diszket, addig semmi gond, ha pedig hiba van, a RAID vezérlő úgyis kidobja a diszket. Akkor kb. tökmindegy már, hogy a SMART mit gondol.

pláne, h a raid vezérlő ELŐBB ki fogja dobni a lemezt, minthogy a SMART hibát jelezne.
HP pedig prefailure cseréli is (bár gyanítom nem HP Midline lemezekre történne a mentés :-)

Látható a smart, de azt nem azon keresztül kell monitoroznod, hanem rakd fel a hp-health deamont, aztán snmp-n lesz minden mint a bucsuba.

ZFS, mert egyben fájlrendszer és RAID, tehát sokkal könnyebben visszaáll hibából, mint bármi más. Ha tényleg fontos az a biztonsági másolat, a ZFS adta adat integritás védelem páratlan előny. Ha a gép megy tönkre, simán átteheted másik gépbe a diszkeket (még csak nem is kell alá azonos oprendszer, és a lemezek sorrendje se számít). Jól lehet skálázni a sebességét, pénztárcához mérten vehetsz hozzá arc/log SSD-t. Plusz, ha már backup, akkor a dedup és/vagy tömörítés is sokat segíthet.

Pont a ZFS-ről olvastam horror történeteket külföldi fórumokon, hogy nagyon sok memória kell neki, és hogy az összeomlott file rendszert nem tudták valami bug miatt helyreállítani.
Meg olyasmit is, hogy 1TB-onként 1 GB RAM javasolt, ha ZFS van.

Az MD Raid-et sokszor használtam RAID 1-ben, ott mindig szépen újraépítette magát, ha kihullott 1 disk.

Sakk-matt,
KaTT :)

Minden fs-ről van a neten horror sztori.

Deduphoz kell sok RAM, amúgy meg nem. De fs-től függetlenül sok ram = sok cache = jobb performance. Hallomásokra alapozni egy ilyen döntést, hát...

A raid1 esetén ha az egyik diszk kiesik, újraépül a másikból, még az adathibákat is vígan letükrözi szó nélkül. És ez feature, nem bug.

Én kb egy éve játszottam ZFS-el, úgy voltam vele ha beválik, akkor új rendszereken már használom. Nagyon tetszett, egészen addig amíg ki nem rántottam egy fizikai diszket (direkt) és az autoreplace nem futott le. Ekkor úgy döntöttem még várok.

--
Tanya Csenöl az új csatorna

"Meg olyasmit is, hogy 1TB-onként 1 GB RAM javasolt, ha ZFS van."

Ha dedupot akarsz használni. Sok esetben nem ad annyi előnyt. A tömörítés többet dob. Ahhoz nem kell annyi, főleg tömörítés nélkül nem kell sok RAM.

+1 a zfs-nek
Adat integritas szempontbol az egyik legjobb valasztas, ha nem a legjobb.

Kifejezetten fontos --> 2 darab backup szerver, ráadásul mindegyike külön épületben elhelyezve. Ekkor elég lehet a RAID5.
A RAID6 sajnos nem véd a tápegység megfutásától, se egyéb fizikai károsodástól.

10 éve nem láttam _szerver_-ben olyat, hogy egy táp tönkremenetele az egész gépet vitte volna. Már eleve a táphalál se mindennapos.

pláne redundáns tápnál.
ha már DL360/380-ról van szó :-)

btw miért "félünk" annyira az mdadm-tól ? Már itt a hozzászólások tekintetében nézve.. zfs raid, hw raid, stb raid...

Mi is a baj az mdadm sw raiddel ? Elavult? Régi? Lassú ? Nem tud XY feature-t? Igen! És ? Működik, igen.

Na de majd megválaszolják a szakértők, hogy miért sz.r :) (nem enterprise cuccról van szó...)

(Tavoli replikaval kezdi a kerdezo. Abban az mdadm nem nagy spiler. ;) Amugy mar en is rofiztem volna ide egy mdadm raid10-el. :DDD )

érdemi választ nem adtál hogy miért is fikázzuk az mdadm-ot. Köszönjük Emese :)

Sztem nincs itt mdadm fika. :) Nagy mdadm raid10 rajongo vagyok. Csak nagyon nem passzol az kerdezo igenyehez. Sok utolagos kezimunka kellene. Zfs-t ellenben nem komalom, de ide lehet en is azt javasolnam...

Kepzeld, pl. most is van olyan gepharmasom, ahol AoE + raid10 megy mdadm-al. Eleg jol. Evek ota.

Nincs fika. Vagy nalam hianyzik az erto olvasas kepessege... (1-hez kozeli valoszinuseggel. :DDD )

Nem szar, de ha van nála sokkal jobb, miért kéne előnyben részesíteni?

Senki nem fél az mdadm-tól. De ha van zfs, akkor miért csináljunk mdadm tömböt, fölé LVM-et, aztán meg fölé valami FS-t? Ahogy írták már: a zfs nagy előnye, hogy egyben van a volume kezelés és az fs, emiatt hatékonyabban tudja az erőforrásokat kezelni. Másrészt a beépített integritásvédelem miatt én pl. nyugodtabban alszom. A különböző hasznos feature-ökről, mint olcsó snapshotok, zfs send / recv, fájlrendszer szintű titkosítás, tömörítés ... stb. nem is beszélve.

Én szoftveres raid5-öt használnék 3+1(spare) felállásban. Az egyik legbiztosabb. Plusz ha beállítod, akkor értesítést is kapsz az esetleges tartalék beállásáról.

---------------------------------------------------------------
Ritkán szólok hozzá dolgokhoz. Így ne várj tőlem interakciót.

Ezzel nem értek egyet. Ha a 3 db-ból egy kiesik, akkor amíg a spare-re vissza nem syncel, védtelen a rendszer. Ha ugyanennyi diszkből RAID6 (zfs raidz2) van, akkor 1 diszk kiesése után még egy diszk kieshet és még mindig megvannak az adatok.

Egyrészt annak még matematikailag is kicsi a lehetősége, hogy 3 lemezből (majdnem)egyszerre 2 essen ki, másrészt raid6-tal nagyon kevés lesz a használható hely, + ott nincs spare.
(egyébként az elgondolásod alapján, ugyan ilyen eséllyel döglik meg egyszerre 2 lemez abban is) Szóval szerintem a raid6 nem ilyen helyzetekre való.
A jó megoldás a raidz2 lenne, de attól fázik a kérdező.
Na. Nálam így jött ki a válasz.

---------------------------------------------------------------
Ritkán szólok hozzá dolgokhoz. Így ne várj tőlem interakciót.

A spare miért jó? Ha úgy teszik, a RAID6-ban van egy "spare" a RAID5-höz képest. Az, hogy pörög vagy áll. Igen, költségvonzata más, de jobb a redundancia.
Kicsi az esély, hogy egyszerre vagy rövid távon 2 kiessen? Az, de ha körbekérdezed a szakmát, elég sokunkkal előfordult.

+1 Ha már bent van a diszk és pörög, akkor miért is ne tároljon adatot? Oké, lassít az íráson, de itt a megbízható tárolás a fontos, nem az írási sebesség - a RAID5 meg pont olyan, hogy "backup nélkül soha", amiből következik, hogy backup alá raid5-öt soha :-)

a backup az csak backup. worst case ujracsinalod.

A "csak" backup-ot nem minden esetben tudod "újracsinálni": nem ritka az az elvárás, hogy a backup n napra visszamenőleg alkalmas legyen meghatározott napi állapot visszatöltésére, amihez több, korábbi állapotot is tudnia kell megbízhatóan tárolnia a mentőeszköznek.

Ha egy gyártásból származó lemezeid vannak, amik ugyanazt a terhelést kapják ugyanolyan környezeti körülmények között, pont annak van esélye, hogy egyszerre is halnak meg. RAID6/z2 azért jobb a RAID5/z1-nél, mert előbbinél nem gond 2 diszk egyszerre történő pusztulása, utóbbinál meg az. Nagyban függ attól is, hogy pár óra vagy pár nap a spare-re történő másolás, ami meg pont az előbbinél lesz gázabb. De a gyakorlatban amúgy valószínűleg nem nagy a különbség, mivel minden diszkhalál kb. véletlenszerű, nagy számok törvénye, stb.

+++

nekem volt ilyen, egyszerre csuklott össze két wd diszk. nem voltam boldog.

Pont hogy baromi nagy az esélye, hogy egy másik is kiesik, épp a resync alatt, amikor megugrik a terhelés, ha egyforma típusú.
--
"Sose a gép a hülye."

Raid5-ből rebuild közben "szokott" kiesni a terhelés hatására a határeseten levő második lemez.

Ezt szerintem azert gondold at megegyszer...

---------------------------------------------------
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"

A legfontosabb hogy új lemezek legyenek, de könnyen lehet, hogy a hw vezérlő miatt nem tudsz md-t hasznali.

A hw raid tok jó de főleg akkor ha garanciális a szerver és a lemezek is.

Én md-re szavazok. Irdatlan sokminden kibir.

A ZFS szinte mindenben jobb, mint a MD software raid van azonban egy fájó dolog. Ha megcsináltál egy pool-t nem lehet új diszkkel bővíteni csak úgy, hogy elveszíted az összes adatot (backup, restore) az MD tud online hozzáadni a raid6-hoz. A backup szerver meg már csak olyan, hogy előbb-utóbb kinövöd.

Tévedés. Egy vdev-hez nem lehet új diszket rakni. De egy poolt lehet bővíteni, kétféleképpen is. Egyrészt új vdevet veszel fel (célszerű ugyanolyan redundancia mint a meglévő vdev, mert stripe van fölötte, a leggyengébb láncszem halála esetén bukod az egész poolt). Másrészt egy vdev összes diszkjét nagyobbra lehet cserélni egyesével (csak akkor lesz több helyed, miután mindet lecserélted, és autoexpand=on).

Kicsit pongyonán fogalmaztam a pool bővíthető, de csak egész vdev-vel, az hogy a vdev nem bővíthető pont elég baj. Ha van egy raid6-os tömböm mondjuk 5 db 1T diszkből ahhoz egy lemezt hozzáadva a kapacitás 1T-t nő, ha hozzáadok a poolhoz egy újabb raid6-os vdev-et akkor 3 1T diszk kell ahhoz, hogy 1T kapacitást tudjak emelni. Az egyes diszkek egyesével való nagyobbra cseréje járható, de minden diszket ki kell cserélni, azaz nem bővítés, hanem csere. Ráadásul n diszk esetén n darab szép hosszú újraépítést kell kivárni - minden adat n-szer újraolvasva és írva. Ennél még az is egyszerűbb, hogy egy random gépen összerakom az új pool-t és átstreamelem rá a teljes filerendszert majd az összes diszk fizikai cseréje - ekkor persze számolni kell a leállással, de ez egy backup szervernél pont nem szempont, mert úgyis áll a mentések között.

> Előnyei a hardver RAID-nek:
> - gyorsabb
Csak drága vezérlőknél lehet igaz.

Igen, de ha cache memory és battery van mellette akkor az jó lesz mert egy jó vezérlő tartósan ki tudja hajtani a max iot a lemezekbol.

Vagy az LSI-nek van már SSD-s cache cucca is a RAM alapú mellett, mindez hardveresen.

HW RAID 6 + SSD cache (ha kell számottevőbb gyorsítás, bár ha backup akkor mindegy)

Köszönöm a javaslatot, de nem kell gyorsítás. Adattárolás kell redundánsan :)

Itt jön a következő elméleti kérdés, hogy például 2x10 TB JBOD, 2 különböző gépen, vagy RAID 6 - 4x10 TB-os HDD-n, egy gépen... :-)

Sakk-matt,
KaTT :)

Előnyei az MD RAID-nek:
- ha a szerver alaplap/cpu/ram tönkre megy, másik gépen van esélyem elérni az adatokat, mert egy hasonló gépen beindítom

Ez nagyon komoly indok. Itt is sok szál volt már hogy vezérlő kell valakinek mert kérdéses a tömb indítása egy picit is más vezérlővel. Dell perc elvileg tud importálni de még nem próbáltam.

Előnyei a hardver RAID-nek:
- gyorsabb

Lehet.

Hátrányai a hardver RAID-nek:
- drágább
- ha a RAID kártya elhal, kétséges az adatok kinyerése adatvesztés nélkül, másik fajta RAID kártyával

Kinyerni ki lehet de nem egyszerű.

Köszönöm a véleményeket.
MD RAID-ot én is indítottam már be teljesen más gépen és simán ment.

Sakk-matt,
KaTT :)