Backup szerver építése - milyen alaplap?

Alaplapok

Sziasztok!

Van itt egy szerver amihez kellene építenem egy backup változatot. Az "éles" vasban ez van:

- 2 darab 4 magos processzor: CPU: Intel(R) Xeon(R) CPU E5420 @ 2.50GHz (2506.23-MHz K8-class CPU)
- 24 GB memória
- Areca ARC-1680 RAID controller + 2GB write back cache + BBU
- 10 darab SATA 7200 vinyó RAID 1+0 -ban az adatbázisnak

Az éles szerveren a CPU terhelés 2.0 körül szokott lenni. A memóriából pedig 4-5GB inactive. (8GB active azért mert a PostgreSQL-nek ennyi shared mem van dedikálva). A backup gépet költséghatékonyra szeretném - nincs újabb 1 millió összerakni egy hasonló gépet. A backup szerver csak addig a kevés ideig kellene hogy működjön, amíg az éleset meg nem javítják. Ezért gondoltam arra, hogy egy Amd Phenom II 1090T kerülne bele, és non-ECC memória. (Első kérdés: ez nagyon hülye elképzelés?)

Az alaplappal vagyok gondban. Tud valaki olyan AM3 alaplapot amibe bele lehet tenni 16GB-nál több memóriát? Vagy ezt felejtsem el? Ha minden kötél szakad akkor 16GB memóriával is megpróbálhatom, de ezt egy kicsit kevésnek tartom hozzá. :-s

Meg az I/O vezérlőben nem vagyok még biztos, talán egy 8 csatornás SAS...

Köszi,

L

  • 2727 megtekintés

( bsh | 2011. 03. 28., h – 16:36 )

szerintem az összes amd 8xx chipes lapnak tudnia kéne, hacsak nincs lekorlátozva a biosban. pl. msi 890fxa-gd70/gd65

( THavoc v | 2011. 03. 28., h – 17:13 )

Es miert nem veszel egy olyan lapot, amibe ugyanez a proci/ram mukodik? Egyszerre csak nem hal meg benne minden. Viszont mindenkeppen vegyel meg 1 pontosan ugyanolyan RAID vezerlot + 1-2 vinyot. Irto szopas bir lenni ha meghal a vezerlo, mert ugyanazt a modellt biztos nem veszik le neked a boltban a polcrol, szinte minden mast igen, es amig megjon az uj cucc majd nezegeted kivulrol az adataidat :-)

A RAID vezérlővel kapcsolatban nagyon igazad van. Bár pont ez egy mumus volt mert maga a RAID vezérlő 200 ezer fölött van és ehhez még nekem kell BBU meg RAM is. Nade sebaj, úgyis akartam venni RAID vezérlőt. Elindítom a beszerzést. :-)

Abban is igazad van hogy olyan kellene amibe ugyanez a proci és ram belemegy. De akkor a backup szerver semmire nem fogom tudni használni. Az volt a tervem hogy a háttérben szinkronizálja magát az éles szerverrel, és ha az tönkremegy akkor nem kell sok időt tölteni az átállással. De ugye ezt proci meg memória nélkül nehéz lesz megvalósítani.

Tehát akkor lehet hogy mégis marad a Xeon proci + lap, de elég lesz bele egy processzor és jóval kevesebb memória. (Annyi hogy a szinkronizálást meg tudja csinálni). Aztán ha véletlenül kigyullad és teljesen leég az éles gép akkor lehet hogy mégis sok várakozás lesz belőle, de erre azért nincs sok esély. :-)

Hat, elso korben azt dontsd el hogy hot spare vagy cold spare kell. Ha cold spare eleg, akkor kell tap+alaplap+1cpu+fele ram+raid+2hdd. Osszerakod, kiprobalod, meg1szer kiprobalod, fiokba berakod, nyugodtan alszol. Ha gaz van, lesz 2 ora kimaradasod. Ha hot spare-t szeretnel, akkor megveszed ugyanazt* a vasat es kesz :-)

*Szoftverfuggo a dolog, ha tranzakcio szinten tudsz replikalni, ugyanaz a vas kell, ha logship/storage replikacio is megy, eleg a fele cucc kb.

( quash | 2011. 03. 28., h – 18:45 )

Ha legalább hasonló teljesítményt akarsz akkor veszel valami használt dual quados xeon szervert, többen is szoktak ítt árulni 150-200 Ft körül. (2x1.8 quad xeon pl.)
vagy esetleg valamilyen I7-es intel, ott kapsz akár 8 magot is relative olcsón.

RAID vezérlőböl akár garanciális, akár nem illett volna produktív környezetbe venni egy tartalékot, annak a cseréje garanciában is garantáltan 1-2 hét, kártya nélkül max RAID 1-re van esély hogy életrekelthető, minden más backupból. Inkább vegyetek még 1et.

( les10 v | 2011. 03. 29., k – 13:26 )

Van egy ilyen használt szerverünk eladó:

Intel RC2 duplaprocesszoros szerver (használt, de jó állapotban van, 2008-ban vásároltuk és helyeztük üzembe):
A kiszolgáló paraméterei:
- 2 db. Intel 2.60GHz Quad-Core Xeon processzor (2 db. 5030A CPU),
- Intel S5000VSASATA4DIMM alaplap,
- Intel SC5299DP szerver ház,
- Kingston 4GB 667MHz DDR2 FBDIMM szerver RAM, 2x 2GB
- 2x Western Digital 400GB SATA HDD RAID1 tükrözve és
- 2x Western Digital 320GB SATA HDD RAID1 tükrözve
- alaplapi (embedded)SW RAID
- DVD meghajtó

A szerver ára 150.000 Ft. +ÁFA (Egy hónap garanciát vállalunk rá.)

Ebbe nyílván kellene még RAM, ráadásul 4GB-os FBDIMM modulok - most 2GB-os modulok vannak benne.

Nem, sajnos nem. Ebbe a szerverházba 6 db. diszk szerelhető.

Ha nagyon kell, akkor a 5.25-ös helyekre (CD/DVD) még berakható kettő darab HDD kerettel, de akkor is csak összesen 8 fér bele. A tápegysége 550W-os, szerintem az is kevés lenne duplaprocesszorhoz, RAID kártyához és 10 diszkhez.

( Balooo v | 2011. 03. 29., k – 13:38 )

csak egy javaslat a vezérlő RAID részre RAID6 javallat mert RAID 1+0 nem bír elviselni mondjuk két hdd elhullást, ellenben RAID6 igen. méretben ugyanott jársz, viszont redundánsabb.

Balooo

------------------------

Nincs a világon se jó, se rossz. A gondolkodás teszi azzá... (W. Shakespeare)

ezt fejtsd ki nekem mert nem teljesen értem. szerintem a raid 1+0 (aka raid10) esetén 1 db HDD gond nélkül kieshet, valamint továbbra sincsen adatvesztésed, ha a második meghibásodott HDD nem az első "párja".
azaz a raid10 tömböd az alábbiból épül fel:
Raid0(A): A1 A2 A3 A4
Raid0(B): A1 A2 A3 A4

ha (A)A1 megsérül egészen addig nincsen adatvesztésed amíg nem (B)A1 sérül meg. azaz (ha jól számolom) 1/n-1 esélyed van az adatvesztésre az első HDD kiesése után.

Raid6 vs Raid10: előbbi esetében több kapacitást realizálsz, mivel Raid10 esetén gyakorlatilag 100% paritás infó van.
Raid6 több XOR műveletet igényel, Raid10 talán gyorsabb.

bár nem kizárt, hogy én tudom rosszul - ebben az esetben fixme :-)

Szerintem nagyon nem vagy képben.

Random kicsi olvasáskor raid0, raid1, raid1+0, raid5, raid6 esetén (azaz gyakorlatilag bármelyik ma használatos megoldásnál) egyaránt az összes diszked szumma IOPS-át fogod kapni. Ez alól egy kivétel van: degraded raid5 vagy 6 esetén romlik a helyzet, mert ilyenkor minden n., ill. minden n-ből kettő olvasás teljes sort kell olvasson, ami n-1 ill. n-2-szörösére növeli az I/O igényt.
Random kicsi íráskor a raid0 esetén a diszkek IOPS tudása összeadódik, a raid1 ill. 1+0 esetén ennek kb. a fele lesz, raid5 ill. raid6 esetén viszont nagyjából 1 diszked IOPS tudását kapod az egész tömbtől (ha nem érted, miért, szívesen elmagyarázom). Azaz mondjuk egy 2+2 diszkes raid6-ot egy laza 2x-es szorzóval ver meg egy 2x2-es raid1+0, de nagyobb tömböknél még nagyobb a bukta.

A fenti probléma, ha nincs BBU-val védett cache a rendszerben, ráadásul csúnyán elrontja a válaszidőt is, mivel az egy írás ideje helyett egy olvasás + számolás + egy írás ideje játszik. Ha van BBU-val védett cache, akkor az átmenetileg képes áthidalni a raid5/6 extra műveletei okozta időhátrányt, és ha a cache elég nagy, plusz nem folyamatosan akarod terhelni a diszket, akkor ezt az egész problémát nem érzékeled.

OLTP RDBMS alá ezért nem szokás raid5/6-ot rakni, ha számít a performancia.

Szerintem meg direkt erted felre. Az r10 raid iops penalty-je 2, mig az r6-e 6, vagyis vilagosan 3x akkora. Egy 100% write workload eseten egy 12lemezes tomb r10 alatt 6xdiskIO-t produkal, r6 alatt pedig 2xdiskIO-ot (es nem 1xdiskIO-t ahogy irtad), tehat tisztan iras eseten az r10 3x jobb. Viszont az r10-es tomb kapacitasa 6xdisk, az r6-e 10xdisk, tehat ha konstans kapacitast akarsz kiepiteni, az majdnem 2x annyi lemezedbe fog kerulni. 100% read workload eseten ugyanez a tomb r10 alatt 6xdiskIO-t* produkal mig r6 alatt 10xdiskIO-t, tehat olvasasra vilagosan gyorsabb.

*Egy pillanatra elbizonytalanodtam hogy az r1 csak olvasas eseten lasabb-e mint az r0 vagy ugyanolyan gyors, ugyhogy rakerestem: http://www.tomshardware.co.uk/charts/hdd-raid-matrix-charts/Throughput-… . E szerint az r1 pont fele olyan gyors mint az r0, ami logikus is.

De persze ezek csak elvi ertekek, ugyhogy kerestem valami konkret teszteket is. Hasonlo Areca controlerrel 6 lemezes tomb r10 olvasas 230MBs, r6 olvasas 300MBs ill. r10 db iops 1100 es r6 db iops 550 korul van.
Teszt it: http://www.tomshardware.com/reviews/RAID-SCALING-CHARTS,1635-10.html

Az első chart semmitmondó, mindenféle diszkek és vezérlők tesztelése alapján készült.
A másodiknál meg belehúztál, mert az areca szar, legalábbis a cikk írásakor, 2007-ben még az volt, raid 1 esetén nem olvas(t)a csak az egyik diszket.

Ezek alapján akár én is példálózhatok wikipédiával is:

"That is, a RAID 1 array of two drives can be reading in two different places at the same time, though not all implementations of RAID 1 do this."

Nézz utána, és meglátod, hogy egy normális raid vezérlő raid1 olvasási raid esetén mindkét diszket olvassa felváltva. (Ugyanígy a linuxos raid, illetve a legtöbb unix softraid implementáció.)
Szar softraid kártyák, főleg windows alatt csak az egyik diszket olvassák raid1 esetén.

VL hez hasonlóan elég sok storage rendszert telepítettem már, ahova teljesítmény kell (függetlenül, hgy read vagy write intenzív) oda raid10 megy. Normális kártyán vagy storage rendszeren raid1 olvasásra 2x disk IOPS, raid10 esetén meg N-szeres a növekedés, ahol N a diszkek száma.

Egy 100% write workload eseten egy 12lemezes tomb r10 alatt 6xdiskIO-t produkal, r6 alatt pedig 2xdiskIO-ot (es nem 1xdiskIO-t ahogy irtad), tehat tisztan iras eseten az r10 3x jobb.

Random kicsi irások esetén:

n diszkes raid6 esetén 1 írás hatására keletkezik n-3 olvasás, majd 3 darab írás. Összesen n művelet. Raid5 esetén n-2 olvasás és 2 írás, szintén összesen n művelet.
Raid1+0 esetén 1 írás hatására 2 darab írás fog keletkezni. Ergó a raid5 ill. raid6 esetén az egész tömb annyi IOPS-ot tud, mint amennyi egy diszk magában (minden írási művelet mindegyik diszket párhuzamosan dolgoztatja), raid1+0 esetén pedig annyit, mint a diszkek fele (a nettó diszkmennyiség).
A raid1+0 lineárisan skálázódik, a raid6 meg nem.

tehat ha konstans kapacitast akarsz kiepiteni, az majdnem 2x annyi lemezedbe fog kerulni.

Ja. Csak OLTP RDBMS alatt nem a kapacitás a szűk keresztmetszet, hanem az IOPS. Tehát én konstans IOPS igényt akarok kielégíteni, azt pedig raid1+0-val tudom a legkevesebb diszkkel megoldani. És milyen meglepő, mire teszek annyi diszket alá, hogy bírja az IOPS-igényt, addigra a raid1+0 kapacitása kb. a szükséges 10x-100x-szorosa lesz.

Persze a fentieket az SSD-k megjelenése kezdi átrajzolni, de még odébb van a Kánaán.

100% read workload eseten ugyanez a tomb r10 alatt 6xdiskIO-t* produkal mig r6 alatt 10xdiskIO-t, tehat olvasasra vilagosan gyorsabb.

Tévedsz. 12 diszkes raid1+0 pont 12 diszk IOPS-át fogja adni random kicsi olvasásnál, a raid6 dettó (tehát nem 6-ot, meg nem 10-et). Az, hogy vannak inferior termékek, akik nem tudják mindkét tükörfelet, az nem a technológiát minősíti...

http://www.tomshardware.co.uk/charts/hdd-raid-matrix-charts/Throughput-…

IOPS-ról beszélünk, nem MB/s-ról.
Ne keverjük a szezont a gőzekével.

n diszkes raid6 esetén 1 írás hatására keletkezik n-3 olvasás, majd 3 darab írás. Összesen n művelet. Raid5 esetén n-2 olvasás és 2 írás, szintén összesen n művelet.
Raid1+0 esetén 1 írás hatására 2 darab írás fog keletkezni. Ergó a raid5 ill. raid6 esetén az egész tömb annyi IOPS-ot tud, mint amennyi egy diszk magában (minden írási művelet mindegyik diszket párhuzamosan dolgoztatja), raid1+0 esetén pedig annyit, mint a diszkek fele

Szerintem tevedsz. R6 eseten nem n-3 olvasas van, hanem 3 (adat + 2xparity), tehat 1 write muvelet 6 lemezmuveletet jelent, tehat 12lemez write iops-a 2 es nem 1.
Kb. 1oo helyen le van irva: http://www.google.com/search?q=raid 6 iops penalty

Azt senki nem vitatja hogy oltp workload alatt az r10 magasabb iops-t produkal mint az r6 (szerintem pont 3x, lasd fent), az olvasas pedig hardware kerdese. A postolo egy Areca kartyat hasznal, igyekeztem hasonlo tesztet keresni (a th-s tesztben azt hasznaltak), ezen tul ymmv, mindenki teszteljen mielott dont.

Ellenben RAID6 legalább 4HDD (+1 cold/hot spare javasolt) esetünkben mondjuk 4x 147Gb fizikai kapacitással rendelkező lemez aminek a kapacitása 294Gb ez az érték RAID10 esetén is viszont ha a RAID10 tömbből kiesik egy lemez nincs gond kettőnél már lehet jó eséllyel, és ha egy lemez kiesett újraszinkronizálás közben előferdülhet, h. még kihullik egy RAID6 meg vígan elbír két diszk halált is és ha csak a fele van meg a tömbnek akkor is életre kelthető kritikus esetben a RAID10nél két-két lemez kiesése a teljes tömb halálát vonja magával.

RAID6 1 2 3 4 5 6 7 8
Ha 1,3,5,7 kiesik

akkor is még helyreállítható a tömb a kiesett lemez(ek) pótlásával szinkronizálásával.

ellenben

RAID 0A 1 2 3 4
ha 1,2
RAID 0B 1 2 3 4
ha 2,3

és innentől nincs tovább adat csak 4db hdd a fele adatmennyiséggel.

így tudnám elmondani, lassúnak nem lassú véleményem szerint, de biztos van itt aki sokkalta jobban ért hozzá, mint én.

igaz kicsit paranoid vagyok adattárolás téren, de biztonságra törekszem.

Balooo

------------------------

Nincs a világon se jó, se rossz. A gondolkodás teszi azzá... (W. Shakespeare)

Azért nem RAID 6 -ot használok, mert már volt az is rajta és a write speed nem volt elég jó. PostgreSQL listán kérdeztem és ott is azt mondták hogy adatbázis alá sokkal inkább való a RAID 1+0. A RAID 6 -nál egy blokkot legalább 3 lemezre kell kiírni. De nem is ez a baj hanem ha módosítassz akkor 3 olvasás + 3 írás.

( lbandi | 2011. 03. 29., k – 14:18 )

Lehet hogy off leszek a témához, de nem lehet virtális gépre átvinni a szolgáltatásokat, és akkor a vasfüggőség megszünne? Sokkal egyszerűbb lenne váltani hardwert alatta hiba/upgrade esetén.

Pont emiatt írtam, ha össze tud hozni még egy gépet, nem feltétlen kell hogy azonos raid vezérlő stb stb legyen. Két hasonló gép, de a backup gép olcsóbb alaplap, amd proci meg valami olcsó raid (esetleg softraid), a két gép között pedig drbd. Ha az első elpusztul a második gépen a drbd tömböt előlépteti primary-ra, felmountolja és beindítja a virtuális gépet és megy tovább a biznisz.

Attol hogy a gep virtualis, meg az image file ugyanazon a raid tombon van, amirol ha kihal a vas, azert vissza kellene nyerni valahogy. A dbrd megoldas meg azt feltetelezi hogy a masodik gep birja tartani az elso io sebesseget (legalabbis az irast), tehat gyk ugyanolyan raid alrendszer kell ala, q.e.d.

( Lacyc3 v | 2011. 03. 29., k – 21:22 )

AMD-t ne. Inkább gyengébb Intel, mint erősebb AMD.

( Fisher v | 2011. 03. 29., k – 23:58 )

Amit mi vettünk: i7, intel mb, 24G ram. Erre rá lehet akasztani 8db disket, a maradéknak köll egy olcsó JBOD kontroller (vagy nagyobb diskek). HA! Ha elviselhető, hogy a backup rendszer lassabb mint az éles.

Ha érdekel, akkor holnap tudok ide tenni egy bonnie outputot, épp most tesztelem a fájlrendszereket, 6 disk raid10-ben.