Raid választási dilemma

Linux-haladó

Üdv minden kedves fórumozónak!

Az a szitu, hogy napok óta bújom a google-t, a hup keresőt, olvasok, szívom magamba az információt, de minél többet olvasok annál több féle-fajta információ kering bennem és itt-ott egyik üti a másikat, ezért gondoltam úgy, hogy a jelenlegi dilemmámmal kapcsolatban mostmár megkérdezlek benneteket.

Előre bocsátom, hogy direkt nem fogok kitérni vinyó tipusokra, hw kártya márkára és tipusra mert valahogy az a tapasztalatom (használva a hup keresőt), hogy sok témában rengeteg hozzászólás a kártyák, vinyók fikázására megy el :)

Van 6 vinyóm, és mikor a szerver gépemet telepítettem úgy gondoltam jó választás lesz ha két raid5 kötetet készítek belőlük. Azóta eltelt egy kis idő (teszt időszak) és megmozdult a kisördög, hogy lehet nem is olyan jó döntés volt, illetve lehet jobb döntés is ennél.

Az alap ötlet asszem az volt, hogy egy kötet megy a rendszernek meg a maildireknek, a masik pedig a többi szolgáltatásokhoz, lvm-el virtuális köteteket létrehozva.

Azt hiszem így tudom megfogalmazni az elvárásaim: 1. redundancia, 2.sebesség, 3. méret

Ezek után úgy gondoltam raid6 jó választásnak tűnik, majd újból elbizonytalanodtam merthogy lassabb mint a raid5, viszont 2 vinyó kiesése esetén nincs óriási baj.

A második gondolatom az volt, hogy csinálni kéne 2-2 vinyóval raid10-et az adatoknak és 1-1 vinyóval raid1-et a rendszernek. A raid 10-nél ha kiesik kettő vinyó akkor se lenne nagy gáz feltéve ha nem egy oldalról esik ki a kettő.

A harmadik gondolatom az volt, hogy csinálni kéne 3-3 vinyóval raid10-et. Ennek jó lenne a sebessége, de nem tudom, hogy alakul az előzőekben írt 2 vinyós kiesés, vagyis, hogy milyen hibatűrő a raid10.

Na és itt a gond: már túl sok a gondolat és kezdem magam szétparáztatni, ami köszönhető a sokfajta infónak és annak, hogy nincs tapasztalatom raid10-el. Ebben a döntésben szeretném kérni segítségeteket, javaslataitokat, mert szeretnék egy jó raid megoldást választani.

A szerver amúgy a szokásos funkciókat fogja kiszolgálni a végleges helyén (mail, dns, web, ftp, stb.)

  • 1870 megtekintés

( Bojtosarpad | 2008. 12. 09., k – 15:03 )

Ja igen, amiért nem szimpi a raid5 az a nagyon hosszú rekonstrukció, bár olyan változat is megfordult a fejemben, hogy a második raid5-öt törlöm (jelenleg üres), 1 vagy 2 vinyót beteszek az első raid5-höz és a maradék vinyót beállítom hot spare-nek.

Na ilyen gondolatok keringenek bennem és ilyenkor utálom, hogy mérleg jegyű vagyok :)

A joker megoldás: RAID5+0, azaz két RAID5 összefűzve. A legtöbb modern raidkártya támogatja és kettő, bár nem tetszőleges kettő, diszket meghalhat. Egy hetedik vinyót hotspare-nek és egy nyolcadikat pedig coldspare-nek javaslok. (A hetedik vinyó nyilván kártya és helyfüggő.)

Ha eleve a teljes területet akarod használni és nem akarsz menetközben mindenféle partició méretezéseket/variálásokat csinálni, akkor ne LVM-ezz. A rendszernek adj egy particiót (akár többet ízlés szerint) és egyet egy adat particiónak.

( apal v | 2008. 12. 09., k – 15:04 )

6 diszk eseten ne viccelodj 2x raid5-tel ill raid10-zel. raid6, az van hw-sen es 2.6.10-enkeve's kerneltol sw-esen is.

hat, ha a sorrendedben az elso a redundancia, masodik a sebesseg, akkor ;) egyebkent a general eleres (olvasas) asszem nem lassabb mint a mas raideknel (felteve ha e'p a to"mb), talan az iras az ami lassabb, ill altalaban az i/o ha 1 de meginkabb 2 diszk kihullott.

csinalj par kisebb ramdrive + loopback tesztet, hogy tenylegesen a te vasadon mennyivel lassabb. illetve sw raidnel a kernel maga valaszt algoritmus-implementaciot a boot (modul betoltes) soran, ott mindenfele implementaciohoz (nativ c, mmx, sse, ...) kiirja hogy hany giga/sec-cel tud azzal dolgozni, es abbol valaszt. legalabbis raid5-nel van ilyen, gondolom 6-nal is.

Ja és hw raid amúgy, lehet átsiklottál felette.
most kiprobaltam gyorsan, egy areca hw raid6-rol (2+6 diszk) egy masik hw raid6-ra (2+2 diszk) kb. 55 mega/sec-cel lehet masolni, fsync mellett. oke, ez szekvencialis eleres (kettucat nagy file masolasa volt). massziv random eleres, ami neked kellhet (web, mail, foleg) az nem ennyire effektiv. bar az semmilyen raid-nel meg diszknel nem effektiv, amint nem fe'r bele az egesz a memoriaba. akkor meg mar mindegy :]

Bevallom (lehet nem írtam) de az első gondolatom raid6 volt, most kezdesz benne megerősíteni.

Már csak azt kell kitalálnom, hogy a kész rendszeremet, hogy tudom a legfájdalommentesebben áttenni raid5-ről raid6-ra. mert ha jól emlékszem 5->6 migrálási lehetőség nincs, bár már néztem, opcióban ott volt de azon nem léptem túl mikor közölte, hogy ez egy visszafordíthatatlan folyamat. Mondjuk azt nem írta, hogy data loss :)
Mindenesetre épp a baculát izzítgatom, ha az megvan és megvan az első full backup csak utána kezdek ezzel foglalkozni.

Most eszembe jutott a ghost megoldás (talán freeghost vagy mi a neve) de nem tudom mit szólna hozzá az lvm ha megváltozna alatta a diszk alrendszer, de attól tartok ezt így ebben a formában valószínűleg nem szeretné.

Asszem azok a bovitesek/migralasok lehetnek egyatlan tamogatottak, amiket linearis + inkrementalis algoritmussal meg lehet valositani. Ebbe elvileg egy raid5 + 1 diszk => raid6 beletartozik. De az is, hogy raid6 => raid5 + lesz egy szabad diszked. Ettol fuggetlenul lehet hogy a kartya nem tamogatja, ezt nem tudom.

szvsz az lvm-et a raiddel osszemixelni nem a legszerencsesebb, mert egyik sem trivialis magaban sem, ha bovitesrol es/vagy atrendezesrol szol. Ha most backup-ot csinalsz, es utana szabadon rendezed at a rendszeredet, akkor vmi olyasmi lehetne jo, hogy a rendszer (/, /usr, /home) egy raid1-en van, ket kisebb diszken, az adat (te esetedben a /var) pedig a raid6-on, tobb nagyobb diszken. Oszt akarmilyen lvm/raid megoldast is valasztasz, ez mindenkepp konnyebben karbantarthato lesz (pl a raid6 ala nem is kell lwm, a raid1 ala/fele' meg lehet, mert a rendszert maga't nem kell boviteni, csak az adatot, igy az nem jar plusz szopassal).

A.

( Mico v | 2008. 12. 09., k – 15:09 )

pl 5 diszk raid 5 + hot spare

raid5  írás lenne lassú, namost azt írod maildir, ezt el kell bírja a BBWC 6 diszknél. Ha nem bírja el, akkor más baj is van.

( elod v | 2008. 12. 09., k – 17:16 )

raid1+spare és még egy raid1+spare. Plussz még egy a szekrényben.

De igen, ez 1 disk sebességét hozza. Kieshet 2 és mindjárt replikálja is a spare-re. Végülis attól függ mennyire kritikus, s hány ezer maildir fog rajta ülni milyen forgalommal.

Sejtettem, hogy raid6 lesz belőle, de ez is egy egyszerű konfig. Rá egy lvm-et, s jöhet a disk-halál :D. Discworld - Death :)).

( blajo | 2008. 12. 09., k – 17:45 )

Hali!

6 diszkbol, ha nem fontos a meret, csinalhatsz raid10-t ugy, hogy 2 db 3 diszkes raid1-ed van es azokat stripe-olod ossze:
redundancia: 2 drive batran kieshet, 3-adik drive kiesest 87.5%-os valoszinuseggel tuleli.
sebesseg: olvasas: mind a 6 drive (6-szoros IO)
iras: 2 drive-nyi sebesseg
diszk meret: 2 drive-nyi

most csak azt nem értem hogy ha mégis jó döntésnek tűnik a riad10 akkor Apal miért dobta kapásból a levesbe és javasolta a 6-ot.
blajo kollega megoldasa 6 diszkbol 2 diszknyi tarhelyet ad, a raid6 pedig 4 diszknyit adna, es mindketto" megoldasban legszerencsetlenebb esetben is csak 2 diszk hullhat el (oke, ennel a raid10-nel elhullhat 3 is, de ha pont rossz csillagzat alatt hullik el 3, akkor az szopo).

jo lenne egy raid7 ;]

Azert ha 6 diszk kozul egy csere-rebuild idotartam alatt plusz 2 diszk is kiesik, akkor ott valami mas baj is van. :)
A raid5/6-al inkabb azert erdemes vigyazni, mert ha kiesik az egyik diszk, akkor jelentosen lelassul, es adott esetben ez is tud kellemetlen lenni (pl. cluster, megfeleloen agresszivre vett timeout mellett).

--
Fontos feladatot soha ne bizz olyan gepre, amit egyedul is fel tudsz emelni!

Azért ennyire nem akarok parázni, hogy rebuild alatt még kettő essen ki :)
Ha kiesik a vinyó, szerintem az a legkevesebb, hogy belassul a kiszolgálás, a rebuild után úgyis helyreáll. Mondjuk azzal nem vagyok tisztában, csak sejtem, hogy a rebuild raid6 esetében is annyi idő kb mint a raid5-nél? Azt hiszem ilyen infóval nem találkoztam a kereséseim során.

( uid_228 | 2008. 12. 10., sze – 14:35 )

Azt szokás mondani, hogy van egy ökölszabály rá: ha az I/O műveletek több, mint 20%-a írás, akkor a RAID5 felejtős.

--
"Only an expert can deal with the problem"

( hefti | 2008. 12. 26., p – 20:20 )

Udvi,

tanacsot szeretnek kerni toletek szerver rsideles ugyeben..

van egy hp lh3000 netserverem (dual p3 600mhz, 1,5gb ram, 4portos satakari)

hddk: 6 vagy 8 x9gb scsi 10krpm es egy satas 120gb ami van benne eddig

feladatai lennenek:
- torrent es melle hozzatartozo ftp
- webfejleszo szerver tehat webhost (php, mysql)
- jatekszerver

termeszetesen debian lesz rajta

es a kerdesem a kovetkezo: hogyan raideljem ezt, hogy jo legyen szerintetek?

-----------------------------------------
lowfast