Raid 5 méret, disk határ

Merevlemezek, vezérlők

Szeretnék összerakni 11db 1T disk-et egy raid5 tömbbe + 1 spare.
Van e valakinek tapasztalata, hogy ez menni fog e, illetve ekkora helyre milyen file rendszert lenne érdemes kialakítani?
Ez így kb 10T helyet biztosítana szerintem.
Tudom elvetemült ötlet, de ha van jobb megoldás mondjátok el kérlek.

  • 2874 megtekintés

( gee v | 2010. 11. 26., p – 17:53 )

Úgy értetted, hogy nem lesz spare. Ugye? 11 db diszk lesz a tömbben, és ad 10T helyet, spare nélkül.

Vagy 12 diszk, 11 a tömbben + 1 spare?

Én, személy szerint RAID6-ot tennék bele, félve attól, hogy ha egy kiesik, akkor az új hd szinkronizálása közben (ami hosszan tart a méret miatt) meghalhat egy második is.

G

Nálam vannak hasonló megoldások, 15x1T raid6 + spare. Egyelőre gond nélkül. A vinyók wd1002FBYS. Egy év után szerencsére semmi gond velük. A dobozok Infortrend ES A16F-G2422. Mivel gond még nem volt vele ezért komolyabb tapasztalatom nincs.

Van egy IBM X3500 is abban 8x750G vinyó van sima raid6-ban. Pontosan nem tudom milyen vinyók, mert IBM-nek vannak cimkézve. Egyszer már kidobott egy vinyót a raidból (szerencsére gar. időn belül). Csere vinyó 3-4-óra alatt beállt, közben semmi komolyabb sebességcsökkenést nem tapasztaltunk.

Holnap csinálok egy 15x2T raid6 + spare tömböt (wd2002FYPS vinyókkal) Infortrend ES S16F-R1840 dobozba (ez lesz az előzőeknek a Backupja), remélem ezzel se lesz gond.

Kérdés a felhasználás jellege. Raid 6 esetén több lemezt mozgat minden írás esetén a dupla paritás miatt. A raid5-től enm kell félni, hot vagy cold spare és persze ellenőrzés, 3 év múlva csere, folyamatos monitorozás. Bármikor elszállhat egy lemez, de csak ritkán, több akkor ha nagyon egymás után készültek. Ja és a hűtés, kritikus az élettartamban. A SAS helyett SATA is ajánlható nyugodtan, ilyen nagy diszk mennyiség esetén nem az IOPS lesz a kevés, ha meg az akkor a SAS is bukik. ZFS támogat alapból SSD-ket cachenek állítólag, amivel azért némit lehet nyújtani a rendszeren. Ilyen bitang vas helyett egy storage + hasonló vas felállás?

Látszik, értesz hozzá, ha már ZFS-t ajánlgatsz, akkor mondhatnád, hogy a ZFS RAIDZ és RAIDZ2 (aka RAID5 és RAID6) megvalósításban nincs meg a bottleneck a paritás folyamatos írása miatt...
Továbbá " ZFS támogat alapból SSD-ket cachenek állítólag,", az úgy van, hogy be lehet állítani ilyen cache eszközöket, amik akár SSD-k is lehetnek, meg akár floppy lemezek is.

Nem értek hozzá, csak az elérhető anyagok szerint Solaris alatt ez rendkívül pozitív hatással van a sebességre. De ha storage kell akkor storege kell és ha arra solaris lesz megfelelő akkor annak kell lennie. A technika nem egyedi de inkább csak storage gyártóknál elérhető, gnu megoldást nem ismerek.

Ha nagy sebességet és tárterületet akarsz elérni, én a párhuzamosságot javasolnám, elosztottabb rendszer felépítését. Ennyi diszk egy helyen aminek gyorsanak és megbízhatónak is kéne lennie és még sw raid is ... hát, lehet jó dolog a sajtreszelőt használni szexuális segédeszköznek, de ha nem akkor is nagyon gyorsan kiderül :D

( Arbiter | 2010. 11. 26., p – 18:32 )

Gondolom az 1TB-os diszkek mind SATA-k.
Ha egy ilyen tömb valamiért szétesik, akkor pár napig simán el fog tartani, amíg újraépül. Azalatt természetesen siralmas I/O teljesítményt fog nyújtani a felhasználók számára és nem te leszel az év rendszergazdája a vállalatnál.

Legalább hardveres vezérlőre vannak kötve? A 12 db-ból arra tippelek, hogy egy SAN storage-od van. Ha nincs HW-RAID, akkor természetesen felejtsd el a RAID5-öt.
Nem tudom mire akarod használni ezt a diszk alrendszert, de én a helyedben RAID10-be, vagy több RAID1-be szervezném őket (vagy ezek kombinációjába).

Ha elárulod, hogy milyen szoftverek, hány userrel, milyen időszakban terhelik a rendszert, többet tudunk segíteni.

Persze ha rám hallgatsz, azt teszel, amit jónak látsz.

Igen 1TB-os SAS diskek lennének összekötve egy HP DL370-ben.
Sajnos a Raid vezérlő nem tud RAID6-ot, pedig az lenne a legy szompatikusabb, csak RAID5, RAID50.
Mint kiderült 14 disk lesz, így még nehezebb a döntés, mivel a RAID50 csak 2 RAID5 csoportot tud létrehozni, így csökken a biztonság.
Így most jön a kérdés, hogy RAID50 a nyerő, vagy inkább RAID5 + 1 spare?

A filerendszer esetében ext4-et választottam az adatok tárolására, a rendszer vagy ext3 cagy szintén ext4 lesz.

Ha RAID 50-et használsz, 1 TB-tal kevesebb lesz a nettó tárterületed, az ASIC-nak paritást kell számolnia és azt ki is kell írnia.
Ha az adatbázisok, illetve a fájlok OLTP rendszereket (sok, kicsi I/O műveletet kell végezni) etetnek adatokkal, akkor én a RAID10-re szavaznék.

A másik, hogy legalább 1 diszk legyen hot-spare. Ha elpukkan egy diszk és nincs pl. 24 órás garantált hibajavítást biztosító garanciád a vasra, akkor lehet, hogy egy hét múlva kapsz újat.

több adatbázis is helyet kap majd.

Nekem az a tapasztalatom, hogy akik életük első raid5-ös "megoldását" rakják össze, és még életükben nem tesztelték egy combosabb, 8KB-os átlagos I/O mérettel dolgozó SQL szerver alatt a különböző raid szinteket, meg hogy kb. mit lehet kihozni n db diszkből, azok jellemzően keserű csalódásként élik meg az eredményt.

A raid5 nem csodaszer, orbitális mennyiségű write cache (ehhez ugye külső, intelligens diszkvezérlő, vagy a belső raid kártyán lakó akksival védett memória kell) mellett lehet belőle értelmes IOPS-ot kihozni random írásnál, ami egy mezei RDBMS alatt tök általános. 90-10-es read-write aránynál, vagy ha az átlagos I/O művelet mérete mondjuk 512KB, na ott már nem annyira gáz a dolog. Vagy ha a performancia egyáltalán nem szempont :)

( Proci85 v | 2010. 11. 26., p – 19:35 )

Magam részéről 5-6 diszk felett raid6 alá nem adnám. Ebben az évben már a második olyan szerverről tudok, ahol egyszerre 2 vinyó döglött ki. Nem csak simán kilökte a raid, mert apró kábel hiba. 1:1-ben KO. Az egyik passz, a másik eset hűtő ventik leállása és ebből adódó túlmelegedés miatt következett be.
Az első esetben 2db raid1-es tömb 1-1 lába esett ki, szóval nagy szerencse volt, a másik esetben pedig raid5-ből 2 vinyó mondta fel. Itt már adatvesztés, ha nincs máshol backup.

( keriati | 2010. 11. 26., p – 19:42 )

Én teszek egy szavazatot raid10-re. Sebesség mindenek fölött!

( psc | 2010. 11. 26., p – 20:40 )

Inkább legyen az RAID6, két lemez halálát tűri.
A RAID5 + spare diszk továbbra is csak egy lemez halálát tűri, azért 1TB-t átmásolni nem pár másodperc a spare lemezre, pláne, hogy gyakorlatilag resyncelni kell hozzá a RAID5 tömböt - akár egy-két napig is eltarthat...

( asci v | 2010. 11. 26., p – 22:30 )

Raid 50 ha van rá lehetőség, de az -2T.

( egeresz | 2010. 12. 03., p – 22:16 )

Szia,

1) a 2T nagyobb devicet nem tudod normalisan particionalni. (fsdisk/cfdisk/sfdisk nem eszi, parted igen) Emiatt en siman particionalas nelkul LVM-be raknam.

2) akar ext3, akar ext4 akar xfs, ha nem egyetlen dologra hasznalod, akkor nem javasolt egyetlen filesystem. Inkabb LVM, es onnallo kisebb logical volumek. Mindegyiken sajat filesystem. Nehogy kesobbi hibanal az egesz menjen levesbe.

3) az, hogy raid5, raid6, raid50, raid10 az a kovetkezo kerdesektol fugg:
- mennyit ernek az adatok rajta (forint)
- mennyibe faj a leallas (forint/nap)
- mekkora a teljesitmenyigeny ('sar -d 30 0' egy teljes napi kimenete)

A kerdeseidre a valasz ezekbol szepen kikovetkeztetheto.

( maszili | 2010. 12. 03., p – 22:59 )

Pár napja virtuális gépen kipróbáltam ezt a felállást. 


            [raid0]
               |
   +--------+--+-- . . . ----+
   |        |                |
 +-+-+    +-+-+            +-+-+
 |   |    |   |            |   |
HDD HDD  HDD HDD   . . .  HDD HDD
 raid1    raid1            raid1

Építettem 4db szoftveres raid1 tömböt majd ezekből egy raid0 tömböt. Arra voltam kíváncsi, hogy lehet-e egyáltalán ilyen bizarr struktúrát kialakítani. Lehetett.

Szerintem elgondolkodtató.

+ a diszkek fele is meghibásodhat ha egy raid1 tömbben csak egy merevlemez áll meg
+ egy merevlemez meghibásodása esetén csak kevés adat újraszinkronizálása szükséges az elromlott raid1 tömbben
+ elviekben közel lineárisan skálázható az össz méret

Ha sikerül összehozni akkor 8 merevlemezzel készítek sebesség teszteket.

--
maszili

Az esetek tobbsegeben ezt hivjak raid 10-nek.

elonyei:
kivallo random irasi teljesitmeny
kivallo random olvasasi teljesitmeny
nagyon alacsony CPU felhasznalas
kevesbe erzekeny a vetlen aramszunetekre
nagy tombok eseten sem romlik a megbizhatosaga

egyetlen hatranya van: a hely.

Van az algoritmusnak (marmint anak, hogy raid1 -eket fuzol ossze raid0 -ba) egy matematikai absztrakcioja, amikor is egyetlen algoritmus oldja meg a ket szintet: minden block ket kulon diszken van tarolva, es az osszmeret a diszkek szamanak fele. Ezt az oszevont algoritmust raid10 neven a linuxban direkt is el lehet erni, egyetlen lepessel. (Masutt ezt raid1E -nek is nevezik).

jo munkat!

( hrgy84 | 2010. 12. 04., szo – 01:05 )

Hat nekem az elsodleges jotanacsom az, hogy barhogy dontesz, az elso lepesed az legyen, hogy elsetalsz a legkozelebbi infokozertbe es veszel egy RAID kartyat. Ennyi adatot en szoftraidre nem biznek, tul serulekeny. Plane LVM-mel koritve. Arrol nem is beszelve, hogy borzasztoan fuggsz majd az eles terhelestol. Ha tul sokan akarnak irni-olvasni a diskekrol, a szoftraid egyszeruen kiakasztja a procit, es ennyi, meg a webszerver is meg fog allni.
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

akkor vegyen egybol ket azonos vezerlot.
ugyanis igy ha megdoglik az egy darab vezerlo, akkor megall minden, raadasul a hardveres vezerloknek az a hatranya a szoftraiddel szemben, hogy nem rakhatsz vissza ala akarmilyen kartyat, mert nem fogja felismerni/osszerakni a tombot.
szoval vagy legyen tartalek vezerlo, vagy inkabb szoftraid.

Tyrael

Ami azt illeti, en mar annyi sw raidet lattam osszeszakadni, illetve fullra kiterhelni a gepet, hogy beleuntam. A sw raid akkor jo, ha relative keves iras van, es relative tobb olvasas. Mivel a Linux kepes eleg jol cachelni a disk muveleteket, igy egesz jo sebesseget lehet kihajtani. De amint intenziv I/O ala kerul a rendszer, peldaul egy komolyabb VMware Server kerul ra (akar csak ket alig hasznalt gepkent is), az I/O teljesitmeny mar problematikussa valik. De nem kell ilyen messzire menni, rw rsync server, backup server... ezek mind ki tudjak hajtani a sw raidet durvan.

Azon gondolkodom, hogy esetleg megnezem a dmraidet. Azt mondjak, az jobb mint a mdadm altal generalt RAID. Egy probat meger majd...
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

Fura. Nekem abszolút jó tapasztalataim vannak sw raiddel. Jószerével mindenhol azt használok. Egyáltalán nem láttam még néhány % fölé menni az "mdX_raidY" processzt, pedig egyik-másik kapja az ívet rendesen.

Nem egyszer összevetettük 3ware raid kártyákkal az írási-olvasási sebességet (8-16 portos, 3ware 9550SX és társai) . Igaz, ott csak 1 folyamat volt, de az sw raid hozta a raid kártya sebességét. Párhuzamos folyamatokról nincs infóm, de nem is nagyon motoszkált bennem a gondolat, miután láttam, hogy később sem eszik cpu-t.

( bitvadasz | 2010. 12. 06., h – 09:03 )

Az itt leírtak ne kerüljék el a figyelmedet ("az ellen nem véd...").

Emiatt én (igaz, csak 6 db 1TB-osból) raid6 + 1 spare,
és az összes diszk 4 primary particióra felosztva: 

LV 2.8 TB ( VG (
  ( raid6 (5+1) sd[a,b,c,d,e,f]1 )
, ( raid6 (5+1) sd[a,b,c,d,e,f]2 )
, ( raid6 (5+1) sd[a,b,c,d,e,f]3 )
, ( raid6 (5+1) sd[a,b,c,d,e,f]4 )
))

Nyilván, ha valamelyik partíció kiesik - akkor is az egész diszket kell cserélni.
Viszont addig is, csak a negyede degraded.
Lehet, hogy ha utánakaparnék az elméletnek akkor kiderül, hogy kb. ugyanott vagyok?