RAID6 + 4HDD: Linux MD RAID vagy hw RAID?

Linux-haladó

Sziasztok!

Mit javasoltok, ha kifejezetten fontos biztonsági másolatot kell tárolni és frissen tartani, és nem fér rá egy HDD-re, mert több, mint 12 TB, valamint hetente lenne rsync-elve, a többi időpontban nem is menne a szerver.

Ilyen esetben elég lehet a RAID6-os Linux MD RAID, vagy hardveres RAID kártyára bíznátok? (Amik a régebbi HP DL360, DL380-ban vannak: HP Smart Array P420)

Előnyei az MD RAID-nek:
- ha a szerver alaplap/cpu/ram tönkre megy, másik gépen van esélyem elérni az adatokat, mert egy hasonló gépen beindítom
- a HDD-k smart-ját tudom figyelni külön-külön

Előnyei a hardver RAID-nek:
- gyorsabb

Hátrányai a hardver RAID-nek:
- drágább
- ha a RAID kártya elhal, kétséges az adatok kinyerése adatvesztés nélkül, másik fajta RAID kártyával

Köszönöm előre is a véleményeteket.

( hnsz2002 v | 2018. 02. 15., cs – 17:00 )

Inkább RAID10-et. Sokkal jobb teljesítményt ad.
--
"Sose a gép a hülye."

+1 A raid6 (dupla checksum) négy diszk felállást akkor lehet érdemes újragombolni, ha a mentés ideje meghaladja a mentési időablak felét, azaz egy backup hiba esetén nincs idő újra nekilátni a backupnak, és akkor _kell_ újragombolni, ha a mentés tényleges ideje közelít a mentésre rendelkezésre álló időtartamhoz.
Ha ezek a feltételen nem állnak fenn, akkor kvázi tök mindegy, hogy a mentés mondjuk 4 óra 56 perc, vagy épp 5 óra 43 perc alatt megy le, mert "belefér" a raid6 alacsonyabb írási sebessége.

( kisg v | 2018. 02. 15., cs – 17:04 )

zfs raidz2-t is érdemes lenne megfontolni. Illetve a frissen tartás is könnyebb, ha a forrás szerveren is zfs van, akkor a zfs megoldja az inkrementális frissítést zfs send / zfs recv párossal.

- nincs beépített integritás ellenőrzés, az adathibákat simán átsyncelik egymás között
- almát körtével: az MD RAID csak blokk device-t ad, fölé még neked kell volume managert (LVM) meg FS-t tenned. És melyik FS-ben bízol? ext4? xfs?
- zfs-ben van egy csomó nagyon hasznos feature, amiket már lentebb leírtam.

( mauzi v | 2018. 02. 15., cs – 17:08 )

> ha a RAID kártya elhal, kétséges az adatok kinyerése adatvesztés nélkül, másik fajta RAID kártyával

A HP SmartArray sorozat adat-kompatibilis, és régebbi kártyákhoz (P410, P420) használtan aprópénzért hozzá lehet jutni.

(Ha az adat és a rendelkezésre állás fontos, úgyis van tartalék gép a polcon, nem? Egy komplett DL360 Gen8 szervert megkapsz használtan 150 kHUF körül)

> Tehát te mindenképpen a HW RAID 6-ot használnád a Linux RAID 6-tal szemben, ha van P410,
> P420 jellegű RAID a gépben?

Még szép.

> Régebben volt ebből gondom, hogy egy régebbi HP-s RAID kártyával kezelt HDD-ket nem lehetett
> monitorozni, nem volt látható a SMART.

Milyen oprendszer alatt?
Linux alatt a smartctl ősidők óta támogatja a ciss/hpsa vezérlőket.

BTW, amíg a RAID vezérlő egészségesnek gondolja a diszket, addig semmi gond, ha pedig hiba van, a RAID vezérlő úgyis kidobja a diszket. Akkor kb. tökmindegy már, hogy a SMART mit gondol.

( joco01 v | 2018. 02. 15., cs – 17:16 )

ZFS, mert egyben fájlrendszer és RAID, tehát sokkal könnyebben visszaáll hibából, mint bármi más. Ha tényleg fontos az a biztonsági másolat, a ZFS adta adat integritás védelem páratlan előny. Ha a gép megy tönkre, simán átteheted másik gépbe a diszkeket (még csak nem is kell alá azonos oprendszer, és a lemezek sorrendje se számít). Jól lehet skálázni a sebességét, pénztárcához mérten vehetsz hozzá arc/log SSD-t. Plusz, ha már backup, akkor a dedup és/vagy tömörítés is sokat segíthet.

Pont a ZFS-ről olvastam horror történeteket külföldi fórumokon, hogy nagyon sok memória kell neki, és hogy az összeomlott file rendszert nem tudták valami bug miatt helyreállítani.
Meg olyasmit is, hogy 1TB-onként 1 GB RAM javasolt, ha ZFS van.

Az MD Raid-et sokszor használtam RAID 1-ben, ott mindig szépen újraépítette magát, ha kihullott 1 disk.

Sakk-matt,
KaTT :)

Minden fs-ről van a neten horror sztori.

Deduphoz kell sok RAM, amúgy meg nem. De fs-től függetlenül sok ram = sok cache = jobb performance. Hallomásokra alapozni egy ilyen döntést, hát...

A raid1 esetén ha az egyik diszk kiesik, újraépül a másikból, még az adathibákat is vígan letükrözi szó nélkül. És ez feature, nem bug.

Én kb egy éve játszottam ZFS-el, úgy voltam vele ha beválik, akkor új rendszereken már használom. Nagyon tetszett, egészen addig amíg ki nem rántottam egy fizikai diszket (direkt) és az autoreplace nem futott le. Ekkor úgy döntöttem még várok.

--
Tanya Csenöl az új csatorna

( uid_6201 v | 2018. 02. 15., cs – 17:46 )

Kifejezetten fontos --> 2 darab backup szerver, ráadásul mindegyike külön épületben elhelyezve. Ekkor elég lehet a RAID5.
A RAID6 sajnos nem véd a tápegység megfutásától, se egyéb fizikai károsodástól.

( uid_395 v | 2018. 02. 15., cs – 19:34 )

btw miért "félünk" annyira az mdadm-tól ? Már itt a hozzászólások tekintetében nézve.. zfs raid, hw raid, stb raid...

Mi is a baj az mdadm sw raiddel ? Elavult? Régi? Lassú ? Nem tud XY feature-t? Igen! És ? Működik, igen.

Na de majd megválaszolják a szakértők, hogy miért sz.r :) (nem enterprise cuccról van szó...)

Sztem nincs itt mdadm fika. :) Nagy mdadm raid10 rajongo vagyok. Csak nagyon nem passzol az kerdezo igenyehez. Sok utolagos kezimunka kellene. Zfs-t ellenben nem komalom, de ide lehet en is azt javasolnam...

Kepzeld, pl. most is van olyan gepharmasom, ahol AoE + raid10 megy mdadm-al. Eleg jol. Evek ota.

Nincs fika. Vagy nalam hianyzik az erto olvasas kepessege... (1-hez kozeli valoszinuseggel. :DDD )

Senki nem fél az mdadm-tól. De ha van zfs, akkor miért csináljunk mdadm tömböt, fölé LVM-et, aztán meg fölé valami FS-t? Ahogy írták már: a zfs nagy előnye, hogy egyben van a volume kezelés és az fs, emiatt hatékonyabban tudja az erőforrásokat kezelni. Másrészt a beépített integritásvédelem miatt én pl. nyugodtabban alszom. A különböző hasznos feature-ökről, mint olcsó snapshotok, zfs send / recv, fájlrendszer szintű titkosítás, tömörítés ... stb. nem is beszélve.

( szilas | 2018. 02. 15., cs – 22:50 )

Én szoftveres raid5-öt használnék 3+1(spare) felállásban. Az egyik legbiztosabb. Plusz ha beállítod, akkor értesítést is kapsz az esetleges tartalék beállásáról.

---------------------------------------------------------------
Ritkán szólok hozzá dolgokhoz. Így ne várj tőlem interakciót.

Egyrészt annak még matematikailag is kicsi a lehetősége, hogy 3 lemezből (majdnem)egyszerre 2 essen ki, másrészt raid6-tal nagyon kevés lesz a használható hely, + ott nincs spare.
(egyébként az elgondolásod alapján, ugyan ilyen eséllyel döglik meg egyszerre 2 lemez abban is) Szóval szerintem a raid6 nem ilyen helyzetekre való.
A jó megoldás a raidz2 lenne, de attól fázik a kérdező.
Na. Nálam így jött ki a válasz.

---------------------------------------------------------------
Ritkán szólok hozzá dolgokhoz. Így ne várj tőlem interakciót.

A spare miért jó? Ha úgy teszik, a RAID6-ban van egy "spare" a RAID5-höz képest. Az, hogy pörög vagy áll. Igen, költségvonzata más, de jobb a redundancia.
Kicsi az esély, hogy egyszerre vagy rövid távon 2 kiessen? Az, de ha körbekérdezed a szakmát, elég sokunkkal előfordult.

Ha egy gyártásból származó lemezeid vannak, amik ugyanazt a terhelést kapják ugyanolyan környezeti körülmények között, pont annak van esélye, hogy egyszerre is halnak meg. RAID6/z2 azért jobb a RAID5/z1-nél, mert előbbinél nem gond 2 diszk egyszerre történő pusztulása, utóbbinál meg az. Nagyban függ attól is, hogy pár óra vagy pár nap a spare-re történő másolás, ami meg pont az előbbinél lesz gázabb. De a gyakorlatban amúgy valószínűleg nem nagy a különbség, mivel minden diszkhalál kb. véletlenszerű, nagy számok törvénye, stb.

( freeoli v | 2018. 02. 16., p – 07:19 )

A legfontosabb hogy új lemezek legyenek, de könnyen lehet, hogy a hw vezérlő miatt nem tudsz md-t hasznali.

A hw raid tok jó de főleg akkor ha garanciális a szerver és a lemezek is.

Én md-re szavazok. Irdatlan sokminden kibir.

( MGy v | 2018. 02. 16., p – 13:48 )

A ZFS szinte mindenben jobb, mint a MD software raid van azonban egy fájó dolog. Ha megcsináltál egy pool-t nem lehet új diszkkel bővíteni csak úgy, hogy elveszíted az összes adatot (backup, restore) az MD tud online hozzáadni a raid6-hoz. A backup szerver meg már csak olyan, hogy előbb-utóbb kinövöd.

Tévedés. Egy vdev-hez nem lehet új diszket rakni. De egy poolt lehet bővíteni, kétféleképpen is. Egyrészt új vdevet veszel fel (célszerű ugyanolyan redundancia mint a meglévő vdev, mert stripe van fölötte, a leggyengébb láncszem halála esetén bukod az egész poolt). Másrészt egy vdev összes diszkjét nagyobbra lehet cserélni egyesével (csak akkor lesz több helyed, miután mindet lecserélted, és autoexpand=on).

Kicsit pongyonán fogalmaztam a pool bővíthető, de csak egész vdev-vel, az hogy a vdev nem bővíthető pont elég baj. Ha van egy raid6-os tömböm mondjuk 5 db 1T diszkből ahhoz egy lemezt hozzáadva a kapacitás 1T-t nő, ha hozzáadok a poolhoz egy újabb raid6-os vdev-et akkor 3 1T diszk kell ahhoz, hogy 1T kapacitást tudjak emelni. Az egyes diszkek egyesével való nagyobbra cseréje járható, de minden diszket ki kell cserélni, azaz nem bővítés, hanem csere. Ráadásul n diszk esetén n darab szép hosszú újraépítést kell kivárni - minden adat n-szer újraolvasva és írva. Ennél még az is egyszerűbb, hogy egy random gépen összerakom az új pool-t és átstreamelem rá a teljes filerendszert majd az összes diszk fizikai cseréje - ekkor persze számolni kell a leállással, de ez egy backup szervernél pont nem szempont, mert úgyis áll a mentések között.

( LMoon | 2018. 02. 17., szo – 10:28 )

> Előnyei a hardver RAID-nek:
> - gyorsabb
Csak drága vezérlőknél lehet igaz.

( klixnetwork | 2018. 02. 17., szo – 16:46 )

HW RAID 6 + SSD cache (ha kell számottevőbb gyorsítás, bár ha backup akkor mindegy)

( freeoli v | 2018. 02. 17., szo – 17:38 )

Előnyei az MD RAID-nek:
- ha a szerver alaplap/cpu/ram tönkre megy, másik gépen van esélyem elérni az adatokat, mert egy hasonló gépen beindítom

Ez nagyon komoly indok. Itt is sok szál volt már hogy vezérlő kell valakinek mert kérdéses a tömb indítása egy picit is más vezérlővel. Dell perc elvileg tud importálni de még nem próbáltam.

Előnyei a hardver RAID-nek:
- gyorsabb

Lehet.

Hátrányai a hardver RAID-nek:
- drágább
- ha a RAID kártya elhal, kétséges az adatok kinyerése adatvesztés nélkül, másik fajta RAID kártyával

Kinyerni ki lehet de nem egyszerű.