+ 1/3 TB (abnormál)

Az alaplapon van hat sata csatlakozó.
Nem 5+1(spare) raid6-ot alkotok - 3 TB helyhez, két failed diszk tűréshez.

inkább raid5-ben raid5: 5x2/3 TB = 3+1/3 TB

A hét darab 1 TB-os lemezemet három egyforma partícióra osztom, aztán:
egyet lerakok a ház aljára visszacsomagolva, a többi meg: 


raid5 ( 
  raid5 sd[a,b,c]1,
  raid5 sd[b,c,d]2,
  raid5 sd[c,d,e]3,
  raid5 sd[d,e,f]1,
  raid5 sd[e,f,a]2,
  raid5 sd[f,a,b]3
  )

Mindjárt azzal kezdem, hogy sdcx és sdfx missing mindenhol.
Aztán a hat degraded tömböt össze fűzöm raid5-be.
Utána sd[c,f][1-3] be a helyére - csak azért, hogy ne élesben gyakorlatozzak.

Úgyérzem, pont ott leszek, mint ha a raid6 éppen szinkronizálna a tartalékkal, és közben még egy diszk elhal.

Előbb persze naná, hogy megcsinálom a raid6-ot, mert kíváncsi vagyok a sebességekre.
Ha nagyon lassú lesz (az itteni igényekhez) a "raid5-ben raid5", akkor vigye az ördög az +1/3 TB-ját.

szerk.
Persze az itt leírtak nem kerülik el a figyelmemet.
(Igen, a hír igaz, sokat segít, érdemes otthon is kipróbálni.)

2010.06.03.
most, hogy aludtam is rá egyet, meg a raid6 vs. raid5 adatbiztonság...,
lehet, hogy csak a mérés kedvéért rakom össze a tömböt raid5-tel is...

( subchee | 2010. 06. 02., sze – 18:15 )

Fake RAID -del rakod össze a tömböt, vagy szoftveres RAID -del? Ha lesznek mért sebességeid (raid 6 vs 5), akkor ugye megírod? :)

( bitvadasz | 2010. 06. 25., p – 13:56 )

3+2(+1)TB-os raid6 (redundás) eredmények 


dd if= of= [ bs=2048 count=10M ]

           of: /dev/null  /adat/test|copy     
if:
/dev/zero      2.5 GB/s     107 MB/s
/adat/test       228 MB/s    28 MB/s (21GB/13.1m)

két konzolon egyidejűleg ugyanazt

           of: /dev/null  /adat/test|copy     
if:
/dev/zero      2.4 GB/s      30 MB/s
/adat/test       228 MB/s    11 MB/s

két konzolon egyidejűleg irás/olvasás

/dev/zero  -> /adat/test       46.0 MB/s
/adat/test -> /dev/null        15.0 MB/s

másik gép (aktív használatban van)
3+1TB-os raid5 (redundás) eredmények 


dd if= of= [ bs=2048 count=10M ]

           of: /dev/null  /adat/test|copy     
if:
/dev/zero      1.6 GB/s      50 MB/s
/adat/test       132 MB/s    14 MB/s (21GB/25.5m)

két konzolon egyidejűleg ugyanazt
           of: /dev/null  /adat/test|copy     
if:
/dev/zero                    14.3 MB/s
/adat/test       19.2 MB/s    5.8 MB/s 

két konzolon egyidejűleg irás/olvasás

/dev/zero  -> /adat/test       28.9 MB/s
/adat/test -> /dev/null        14.1 MB/s

Nem raktam össze a raid5-ös egzotikust:

  1. macerásnak ítéltem a diszk cserét
  2. az egyszerű raid6-ost elbonyolítom (annyira nem lesz macerás)
    5x200GB-os raid6 "egzotikus" LVM-re a következők miatt:

A diszk által észlelt, de nem javítható bithibák

  • 10^14 bitenként, vagyis 11 terabyte-onként várhatóan kb. 1 ilyen van a PC-be való diszkeknél
  • Pl. a lemez öregedése, külső mágneses hatások vagy ilyesmi miatt
  • Ezt a RAID amúgy javíthatja, de ha már nem redundáns a tömb, egy ilyen miatt esetleg nem helyreállítható
    • Persze ha a diszk nem jelzi, hogy nem sikerült az olvasás, csak hibás adatot ad vissza, akkor a RAID erről csak akkor szerez

      tudomást, ha eleve redundánsan olvas mindent, ami viszont lassú.

  • Példa: egy 100GB-os degradált tömb esetén 0,88% eséllyel veszítünk adatot
  • 1TB-nál ez már 8,42%!
    • 8*1TB diszkből álló RAID5 tömbnél,
      ha 1 diszk kiesik, 7TB-ot kell tudni hibátlanul végigolvasni;
      a bithibák miatt ez már 45,98% eséllyel nem fog sikerülni, ami nagyon durva.
    • Pár további konkrét érték: 200GB - 1,74%; 500GB - 4,30%; 2TB - 16,13%; 16TB - 75,52%; 32TB - 94,00%; 64TB - 99,64%.
  • Képlet az adatvesztés valószínűségére:
    (1-10^(hibátlanul_olvasandó_byteszám*8*log(1-(1/bithiba_ráta))))
  • Vagyis elegendően nagy tömbben semmiképpen nem elég az egyszeres redundancia!
    (Ha "olcsó?" diszkekből építettük.)

az első felindulásomban 5x200-asnak nevezett pontosabban 4x250GB-os, mert az én kedvemért sem lehet négy primary partíciónál több egy diszken. :)

Valamit elcsesztem, mert a leformázott 2.8TB-os LV valami gond miatt nem indult be fstab-ból, sőt rootul megálltam level2 szinten. /usr, meg egyebek raid1 /dev/mdx-ekkel nincs gond, de majd kézzel kell becsatolnom, hogy legyen mindenem a nézelődéshez.

( bitvadasz | 2010. 06. 28., h – 19:35 )

A bonyolultabbnak tűnő 6x1TB-os diszkből "szerelt" LV (szintén reiserfs) 


LV 2.8 TB ( VG (
pv ( raid6 (5+1) sd[a,b,c,d,e,f]1 )
pv ( raid6 (5+1) sd[a,b,c,d,e,f]2 )
pv ( raid6 (5+1) sd[a,b,c,d,e,f]3 )
pv ( raid6 (5+1) sd[a,b,c,d,e,f]4 )
)) reiserfs

dd if= of= [ bs=2048 count=10M ]

           of: /dev/null    /adat/test|copy     
if:
/dev/zero      2.5 GB/s       119 MB/s (+)
/adat/test       199 MB/s(-)   41 MB/s (+) (21GB/8.8m)

két konzolon egyidejűleg ugyanazt

           of: /dev/null    /adat/test|copy     
if:
/dev/zero      2.4 GB/s        31 MB/s (=)
/adat/test        66 MB/s(-!)  11 MB/s (=)

két konzolon egyidejűleg irás/olvasás

/dev/zero  -> /adat/test       62.5 MB/s (+!)
/adat/copy -> /dev/null        45.3 MB/s (+!)

Következik majd az ubi szezon ext4-el,
samba szerver szinten is szintén LV alapon.

(a cucc péntek óta nem volt kikapcsolva, szóval ez nem "pihent" állapot)