raid rendszerek elvi megbízhatósága kérdés

Linux-haladó

Ha egy diszk megbízhatósága p, akkor mennyi egy raid6, raid5, raid10, raid1E rendszer megbízhatósága?

A matematikai tudásom nem elégséges a kérdéseim megválaszolásához :-(A diszk megbízhatóságá a vizsgált élettartamban (elsõ 5 év), a gyártó úgy adja meg, hogy mekkora két meghibásdás közötti várhatóan eltelt idõ (MTBF). Ez nem túl jó metrika, mert a diszk egyszercsak tönkremegy (várható élettartam), és utána kidobjuk, mert tönkrement. Nincs két hiba, ami között jól viselkedik.

De, mégis, tegyük fel, hogy tudható az, hogy valamennyi idõ alatt valamekkora valószínûségggel hibásodik meg, és ez mindíg ugyanannyi az élettartama alatt. Egy diszkre legyen: 1 óra alatt p valószínséggel nem hibásodik meg.

(Ekkor 1 év alatt p^8760 valószínséggel nem hibásodik meg, oks.)

A raid1 akkor megy tönkre, ha egyszerre két diszk hibásodik meg. Rámondhatjuk, hogy 1-(1-p)^2 a jósága (óránként) de ez nem igaz, ugyanis egy spare berakása és a rekonstrukció R óra, és ha ezalatt hibásodik meg a korábban túlélt eredeti diszk, akkor is elesett a raid.

A raid10 az N darab (N páros egész) diszkbõl áll. Egy spare beillesztése R óra. A raid10 tönkremegy, ha egy diszk kiesése esetén R idõnél hamarabb esik ki a kiesett diszk párja. Minden diszknek pontosan 1 párja van.
Az a gyanum, hogy a raid10 megbízhatósága az N növelésével csökken, és elöbb-utóbb eléri az 1 diszk megbízhatóságát. Kiváncsi lennék erre a grafikonra. (N, R, p)

A raid1E (linux raid10 implementáció) hasonló a fentihez, de minden diszknek két párja van, a rekonstrukt ideje alatt 2 olyan diszk is van, aminek kiesése a terljes raid elesését is okozza. a diszkek száma: N, 2-nél nagyobb egész (nem kell, hogy páros legyen). Itt is kiváncsi vagyok, hogy mikor lesz az egész rosszabb, mint 1 diszk. (N, R, p)

A raid5 esetén 1 diszk kiesése esetén valami R rekonstrukciós idõ alatt bármelyik másik esik ki az N-1 diszkbõl, a tömb meghalt. Itt is kiváncsi vagyok arra a küszöbre, aminél nagyobb raid5 már kevésbé megbízható, mint 1 diszk (N, R, p) összefüggés, N -> (N, R, p) grafikon.

A raid6 esetén 2 diszk kiesését még túléli, de 3 diszkét már nem. Az elsõ diszk kiesésénél indul el a rekonstrukció, és a rekonstrukció ideje alatt nem szabad, hogy még 2 kiessen. Itt is kiváncsi vagyok arra a küszöbre, aminél nagyobb raid6 már kevésbé megbízható, mint 1 diszk (N, R, p) összefüggés, N -> (N, R, p) grafikon.

Tapasztalatból tudom, hogy az egyre nagyobb diszkek esetén növekszik az R rekonstrukciós idõ. Az a tippem, hogy az R rekonstrukciós idõ növekedésével a "vállalható N" erõsen csökken. A raid10, raid1E rendszerek esetében a rakonstrukciós idõ sokkal kisebb, mint raid5, vagy raid6 esetén. (12 óra versus 3 nap, 1TB diszk esetén, entry-level storage rendszerben).

A grafikonokból olyan vegyes kérdéseim is vannak, hogy hány diszk esetén megbízhatóbb a raid10, mint a raid5, vagy ha a raid10 rekonstrukciós ideje másfélszerese a raid1E rekonstrukciós idejének, akkor melyik a jobb stb.

Természetesen nagyon köszönöm magukat az összefüggéseket is, de ha nem lehetetlen elemi módszerekkel megmagyarázni, akkor a magyarázatot is.

  • 6574 megtekintés

( mauzi v | 2012. 10. 30., k – 18:45 )

> A diszk megbízhatóságá a vizsgált élettartamban (elsõ 5 év), a gyártó úgy adja meg, hogy
> mekkora két meghibásdás közötti várhatóan eltelt idõ (MTBF). Ez nem túl jó metrika, mert a
> diszk egyszercsak tönkremegy (várható élettartam), és utána kidobjuk, mert tönkrement.
> Nincs két hiba, ami között jól viselkedik.

Nem.

A Seagate például azt mondja, hogy a Barracuda 7200 merevlemez-sorozat MTBF-je 850.000 óra. Ezt lehetne úgy értelmezni, hogy a diszk jellemzően 97 évet bír ki. Ez így nyilvánvalóan hülyeség.

A helyes értelmezés az, hogy 850.000 üzemelő diszkből óránként 1 hullik ki. Ez azt jelenti, hogy - feltételezvén, hogy egy adott üzemidőszakban a meghibásodási gyakoriság egyenletes - a tárgyévben napi 8 órás üzemidővel számolva 2.920 darab fog kihullani, ami a diszkek 0.34 százaléka. Ezt hívják Annual Failure Rate-nek. (AFR)

Az MTBF -> AFR átszámító képlet tehát: AFR=üzemóra/MTBF*100

Hozzáteszem még, hogy a fenti képlet alapján, a fenti Seagate diszkeket napi 24 órában hajtva éves 1,03% körüli meghibásodás lenne várható - azt azonban nem szabad elfelejteni, hogy a gyártó az MTBF értéket jelen diszkeknél a napi 8 óra használat mellett vállalja. Napi 24 órás használat esetén kisebb MTBF érték várható - de ezt a gyártó ennél a típusú diszknél nem adja meg, mert ennél a diszk-sorozatnál a 24 órás üzemet nem tartja üzemszerű használatnak.

- Seagate Barracuda (egyszerű desktop diszk) AFR: 0.34%
- Seagate Constellation ES (low-end szerver diszk) AFR: 0.73%

Ez alapján mezei júzer azt gondolhatná, hogy a szerver diszk kb. kétszer megbízhatatlanabb(!) mint a desktop diszk - a valóság azonban az, hogy a Barracuda esetében napi 8 órás üzemidő van specifikálva, amíg a Constellation ES esetében napi 24 órás...

( Mico v | 2012. 10. 30., k – 18:38 )

még ma este összerakok egy paraméterezhető XLS -t :)

( Mico v | 2012. 10. 30., k – 20:39 )

Hali!

Klikk:
http://sdrv.ms/Rrhe68 [link javítva]

A vastagon írtak a változtatható paraméterek. A disk size, és a read error rate egyelőre nincs használva, ki is van hagyva a számításoknak a hely, majd ha egy kicsit lesz hozzá agyam, akkor excelesítem a számítást. Az újraépítés közbeni read errornak SOKKAL nagyobb esélye van desktop kategóriás drive-oknál, mint az MTBF alapon számolt második meghibásodásnak, mert nagyobb a kapacitásuk is, és a read error arányuk is. A kettő összeadódik, 300GB -os diszkeknél azonos olvasási hiba arány esetén is kisebb az újraépítés közbeni read error esélye, mint 1 TB-osaknál. Ez a táblázatban egyelőre nem jelenik meg.

koszonom szepen a tablazatot.
teljesen mas szemleletu, mint ahogy akerdeseket feltettem, emiatt egy ideig el fog tartani, amig feldolgozom.

Mivel (elso tippem szerint) az elvi megoldas exponencialis jellegu, te pedig linearis kozeliteseket hasznalsz, emiatt -gondolom- ezek valami iparagi szokasos kepletek
... amikkel nem sikerult talalkoznom idaig.
szerepelnek benne (altalam nem ismert) metrikak, mint 'olvasasi hiba arany', vagy masodik diszk meghibasodasi szorzo (ennyivel nagyobb az eselye a masodik diszk meghibasodasanak)

nezzuk pl. az raid 10 kalkulaciodat
bemenet, diszkek szama: N. Kimenet: 'Calculated mean time to data loss, hours'

= (MTBF1 * MTBF2) / (N)*(N-1)*R

Hi!

A hibaarányt lehet, hogy nem jól fogalmaztam meg, arról az értékről van szó, amit a gyártók feltüntetnek, pl:

http://www.seagate.com/internal-hard-drives/desktop-hard-drives/barracu…

"Nonrecoverable Read Errors per Bits Read"

A tömbödet ugyanis nem csak egy "normál" újabb meghibásodás ütheti ki a rebuild alatt, hanem akár csak egy read error. (Nem számolják az MTBF-be.) Ha behelyettesíted a táblázatba, látható hogy ennek inkább nagy méretű SATA drive-oknál van jelentősége, de ott nagyon.

Az MTBF2 érték például innen jön:

http://systems.cs.colorado.edu/~grunwald/Classes/Fall2003-InformationSt…

Itt igazából egy MTBF3-at is használnak. Arról van szó, hogy ha diszkek halmazát nézzük, az első meghibásodás esélyét MTBF-ből lehet számolni, de a második diszk meghibásodásának már sokkal nagyobb az esélye. Nem tudom, mennyire helyes vagy nem, több helyen írnak erről, tény, hogy ha nem vezetjük be, akkor millió éves meghibásodások jöhetnek ki, ami nyilvánvalóan nem felel meg a valóságnak, mert akkor sose lett volna még sehol széthullott tömb. Több helyen 10-zel szorozzák az MTBF-et a második diszk esetén, a fenti PDF-ben odaáig mennek, hogy a harmadik diszk meghibásodásának esélyét még 10-zel szorozzák - ezt nem implementáltam, de el tudom képzelni, hogy nem hülyeség. Volt valami írás, ahol valami nem tudom hány százezer diszk élettartamáról csináltak statisztikát, és benne volt, hogy a 10-es MTBF2 szorzó megfelelt a gyakorlatnak.

Kiegészítettem a RAID6-ot is a read error számítással. Az alap, hogy N-1 számú diszket teljesen be kell olvasni az újraépítéshez, N-1*kapacitás olvasása alatt mekkora az esély unrecoverable olvasási hibának. Nem nagyon értek az excelhez és idegesítő is, simán lehet amúgy, hogy valamit elrontok ami aztán az egészen végigmegy, még ellenőrzöm.

( uid_6201 v | 2012. 10. 30., k – 21:16 )

A sok nagyon szép szám mellé egy másik tényezőt se feledjünk. Nagyon csekély, de nem nulla eséllyel lehetnek olyan meghibásodások, események, amelyek mindkét diszket kinyírhatják. A RAID1 kell, de a napi biztonsági mentést nem váltja ki.

Ha kipurcan, és tényleg fontos, akkor leveszem a polcról a tartalékot, és megy a megrendelés egy új eszközre. Ha már nem kapni, akkor vélhetően az egész motyó túl van azon a koron, amin belül még fontos adatokat lehet rábízni, ergo migrációs terv készül, majd azt az új eszközök beszerzését követően végrehajtva ismét teljesen nyugodtan lehet aludni.

Egyébként a normálisabb RAID-vezérlők felismerik és szépen kezelik is a korábbi verziókkal készült diszktömböket.

Hehehe... Szintén HP, tükör egyik fele szórta a hibákat, mérnök jött a cserediszkkel, és a kiemelt üf.-eknek járó szolgáltatás keretében a regionális támogatóközpont segedelmével... a vége egy OS újratelepítés+mentésből visszaállás, no meg egy olyan, de olyan post mortem jelentés lett, aminek egy példánya tán még most is megvan valahol... Szerecsent így még nem síkáltak tisztára :-D

Vannak érdekes esetek hardveres raid-el. 2 napja történt. Munkaszüneti nap, tervezett áramszünet, tartalék betáp nem bírja a terhelést: leállítom a nem létfontosságú gépeket. Dell R310, MegaRAID SAS 2108, BBU, szünetmentes APC 2200, Raid 1.
Bekapcsoláskor nincs /boot partíció. A többi ok, de a /boot sérült. Diszkek, BBU, tömb minden ok. Nem értem hogyan történhetett.