PostgreSql raid1 ? raid5 ? raid10

 ( vajtsz | 2005. november 10., csütörtök - 19:23 )

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Na megvettük a vasat (mostvolt akció :)

Hp 350g4P, 2 giga rammal es 4 db 15000 uw320 scsi hdd vel
2-2 raid1 re gondoltam de ugy nemtudom elerni hogy rendszer+pg_xlog+pg_data mind külön legyen melyiket tegyem inkabb rendszerhez es melyiket inkabb kulon ?

Vajtsz

[quote:87a1840c4b="vajtsz"]

Thx a lot !!! pont 1800-ast néztem énis de árat seholse találtam csak scsi-s változatra és az NAGYON sok volt.
700+fa discekkel együtt MÉG elmegy bár súrolja a határt...

Neked is postgreSQL fut rajta ? Xeon miatt nincs eza " context switch storm" amit handler írt ?[/quote:87a1840c4b]
Nincs többet 1800-as csak 1850-es de az ár maradt, asszem csak most már támogatják a dual-core-t is.
Hát ezen a gépen postgres 7.3.2 és Oracle 8.1.7.4 fut. Posgress gondom még nem volt vele, bár ez eredhet a terhelés alacsony volta és rossz programozás miatt is. Igaz ami igaz, Oracle jóval nagyobb terhelést dob rá.

linux-Postgresql szerver konbináció alá milyen raid fajta ajánlott ?
scsi lemezekben gondolkodunk elsősorban.
A költségvetés nem túl nagy de a megfelelő biztonság alapkövetelmény.

Először raid5 re gondoltam, de többen mondták hogy SQL DB alá nem kifejezetten előnyös a raid5 (bár normal file írás/olvasás tesztekben- amit láttam veri raid1-et, de sok kis fájlnál meg ebben az esetben nem ajánlják állítólag) persze ideális raid10 lenne de az nagyon drága...

Most egy olyan megoldáson törpölök hogy SQL adatok (postgre dbcluster) 1 külön raid1 tömbön lenne (azaz 2 hdd-n)
Meg a rendszer külön 1 másik raid1 tömbön.

Jól gondolom hogy így gyorsabb lesz a dolog mintha 3 HDD-ből csinálnék 1 raid5-t és arra raknék egybe mindent ? meg ugye emelle kene 1 spare diszk szal ugyanannyi HDD igaz joval kevesebb hely lesz de sztem 36 giga bőven elég SQL nek és rendszernek is.

Talán ez (raid1 rendszernek, raid1 adatnak) gyorsabb a 4 hdd -> raid10 megoldásnál is ???

Az ajanlott felallas:

Kulon diskeken (raid1) a rendszer
Kulon diskeken (raid1 celszeruen 15krpm diskeken(!) a pg_xlog-nak
Kulon diskeken (raid10 es minel tobb disk) a tablespace adatterulet

Celszeruen mindezt BBU-val ellatott minel tobb memoriat tertalmazo write-back vezerlovel.

Last pgsql.performance levlist, "How to improve db performance with $7K?" thread. Ha az irasi teljesitmeny nem fontos, az ar meg igen, nyugisan pakold az adatokat raid5re.

[quote:8c268cf523="handler"]Az ajanlott felallas:

Kulon diskeken (raid1) a rendszer
Kulon diskeken (raid1 celszeruen 15krpm diskeken(!) a pg_xlog-nak
Kulon diskeken (raid10 es minel tobb disk) a tablespace adatterulet

Celszeruen mindezt BBU-val ellatott minel tobb memoriat tertalmazo write-back vezerlovel.

Last pgsql.performance levlist, "How to improve db performance with $7K?" thread. Ha az irasi teljesitmeny nem fontos, az ar meg igen, nyugisan pakold az adatokat raid5re.[/quote:8c268cf523]

Köszönöm a választ !

[quote:8c268cf523="handler"]Az ajanlott felallas:

Kulon diskeken (raid1) a rendszer
Kulon diskeken (raid1 celszeruen 15krpm diskeken(!) a pg_xlog-nak
Kulon diskeken (raid10 es minel tobb disk) a tablespace adatterulet
[/quote:8c268cf523]
ezta pg_xlog-t hogyan tudnám máshova tenni mint ahova debian teszi alapból ?

Ha jól számoltam 8 HDD kéne ehhez, ami nagyon drága lenne és talán a mi rendszerünkre túlontúl túlméretezett. Persze ha sata diszekben gondolkodnék akkor nem lenne olyan vészes, de azabaj h a közep/kisebb xeon processzorral szerelt tower szerverekben nagyon ritkán van SATA vezérlő, pláne ennyi... (szerver rack szekrényunk csiccsen, és hely sincs neki, csurig van a 3 szintes épület.... :(

Egyébként nem csak lekérdezésről van szó, szal sztem írási sebesség is fontos de ez 1 közepes könyvelő/könyvvizsgáló cég max 50 kliens csatlakozik szerverre a központi irodában (de ennek nagyrészt inkább csak fele sztem) ha lesz a 2 telephellyel normális net kapcsolat akkor ehhez jön még 10 kliens azaz összesen 60 ha minden gépet bekapcsolnak.

Ennek tükrében is szükséges lehet ez a teljesítmény ?

Egyébként RAM ból 2 giga kezdésnek az remélem elég... meg vlmi dual xeont támogató vas, kezdésnek 1 Xeonnal.
(a dolog egyenlore nem sürgős, szal amint lesz vlmi jó akciós vas rácsapok :)

a szoftveres raid azt jelenti hogy ha van 8 sata csatlakozóm amiből 4 raid-es akkor nem azokra dugom hanem a simákra és a raid biost sem kell kapcsolgatni mert ezt a linuxal csinálom igaz?

[quote:0f83aa21c4="Tsab"]a szoftveres raid azt jelenti hogy ha van 8 sata csatlakozóm amiből 4 raid-es akkor nem azokra dugom hanem a simákra és a raid biost sem kell kapcsolgatni mert ezt a linuxal csinálom igaz?[/quote:0f83aa21c4]

az nem 1 rossz cucc amin 8 sata csati van :)

Egyébként igen, amennyiben mindegyik sata csatlakozóra tudsz kötni HDD-t és muxik akkor linux kernel megoldja neked azt softwaresen amit az alaplapi driver az alaplapi chippel támogatva (jobb esetben támogatva :). (tükrüzés, stripping stb stb...)

Nehany megjegyzes:

-A postgres-hez nem ajanlott a xeon a context switch storm miatt. A xeon egy _osztott_ buszon eri el a memoriat es minden periferiat, igy amugy sem javasolt.
-A memoriat ne sajnald a szerverbol, a legjobban azzal lehet skalazni. 1G REG DDR400 RAM kb 30-35k, en annyit pakolnek bele, amennyit csak lehet.
-Ha nem ismered a terhelest, csinald skalazhatora: megfelelo haz 8-12-16 kerettel (esetleg kulso megoldassal), indulasnal mondjuk 6 disk, aztan ha keves tudsz meg bele pakolni...
-Nem veletlenul irtam a BBU, write-back cache-vel rendelkezo vezerlot. Ilyet nem sok alaplapon talalasz.
-A HW beszerzes 3 eves fenntartasi idoszak alatt kb az osszes koltseg 10%-at teszi ki.

[quote:b11a6fe85f="vajtsz"]linux-Postgresql szerver konbináció alá milyen raid fajta ajánlott ?
scsi lemezekben gondolkodunk elsősorban.
A költségvetés nem túl nagy de a megfelelő biztonság alapkövetelmény.

Először raid5 re gondoltam, de többen mondták hogy SQL DB alá nem kifejezetten előnyös a raid5 (bár normal file írás/olvasás tesztekben- amit láttam veri raid1-et, de sok kis fájlnál meg ebben az esetben nem ajánlják állítólag) persze ideális raid10 lenne de az nagyon drága...

Most egy olyan megoldáson törpölök hogy SQL adatok (postgre dbcluster) 1 külön raid1 tömbön lenne (azaz 2 hdd-n)
Meg a rendszer külön 1 másik raid1 tömbön.

Jól gondolom hogy így gyorsabb lesz a dolog mintha 3 HDD-ből csinálnék 1 raid5-t és arra raknék egybe mindent ? meg ugye emelle kene 1 spare diszk szal ugyanannyi HDD igaz joval kevesebb hely lesz de sztem 36 giga bőven elég SQL nek és rendszernek is.

Talán ez (raid1 rendszernek, raid1 adatnak) gyorsabb a 4 hdd -> raid10 megoldásnál is ???[/quote:b11a6fe85f]

4 portos SATA RAID kari és Raptorokkal egy RAID 1+0 és lesz ~74G vagy 146G helyetek. SCSI-ból csak nagyondrágán jönne ez ki szerintem. Érdemes lehet az új PCIe-s csatolók és vmi újabb entry level opteronnos szerverlap körül szétnézni. Ha tuningolni akartok, akkor 1-2G, de inkább 2G memória vagy több, illetve 6-8 portos RAID és a rendszer különrakva egy tükörre és esetleg ide a swap és a log.

Mind a HP-nak, mind a DELL-nek vannak entry level cuccai amikben van többcsatornás SATA vezérlő. Pl Most vettem egy 1850-est, amiben van beépítve a szokásos SATA /IDE vezérlő meg egy 6 csatornás RAID vezérlő, most a gépben pont 8db HDD van+1 DVD és még csatlakozó 1 HDD-nek, de az már valahol a levegőben lógna :D Mindez kijön bőven 1 guriga alatt.

Sokat méregettem raid-eket, és valóban a db alatt a RAID5 messze nem jó. RAID 10 volt a legjobb idáig, vagy ha sok táblaterületed van, akkor el tudod osztani külön-külön tömbökre a file-okat azzal dobsz a legtöbbet rajta. Feltételezve hogy kvázi azonos mennyiségben használj a file-okat, nálam szerencsére vagy 4-5 terület van így szétszórva kib. nagy ugrás van benne, pedig csak sima mirror tömbök vannak benne.

[quote:3cf0e17d09="handler"]Nehany megjegyzes:
-A postgres-hez nem ajanlott a xeon a context switch storm miatt. A xeon egy _osztott_ buszon eri el a memoriat es minden periferiat, igy amugy sem javasolt.
[/quote:3cf0e17d09]
Ez mit jelent pontosan ? viszonylag lassú lesz ? akkor milyen proc javasolt ? opteron szervereket ilyen előre összerakott márkás vasokban csak SUN ban láttam aztmeg nem találtam tower kiépítésben. Esetleg tudsz vlmi konkrét vasat ajánlani olyan 500-800e HUF környékén ? Azért akarok márkás szervert mert én nemvagyok járatos ilyen szerver építésben és arra van gari is meg support...

[quote:3cf0e17d09="handler"]
-Ha nem ismered a terhelest, csinald skalazhatora: megfelelo haz 8-12-16 kerettel (esetleg kulso megoldassal), indulasnal mondjuk 6 disk, aztan ha keves tudsz meg bele pakolni...
-Nem veletlenul irtam a BBU, write-back cache-vel rendelkezo vezerlot. Ilyet nem sok alaplapon talalasz.
[/quote:3cf0e17d09]
Hát pontosan nem néztem még mit tudnak ezek a server scsi vezérlők
HP ProLiant ML350 G4p [url]http://h10010.www1.hp.com/wwpc/hu/hu/sm/WF25a/1090381-1115161-1129295-1129295-12083307-12175616.html[/url]
én vlmi ilyenre gondoltam de ebbe "csak" 6 discet lehet pakolni lehet, de nekem már a kezdő 4 is soknak tűnik nemhogy 6 vagy 8 :\
Néztem leírást, ez valsz nem tudja ezta write back cache dolgot...

De lehet h inkabb vlmi sata cuccot kéne ?

[quote:3cf0e17d09="handler"]
-A HW beszerzes 3 eves fenntartasi idoszak alatt kb az osszes koltseg 10%-at teszi ki.[/quote:3cf0e17d09]
Mármint rendszer fenntartási költség ? beleszámítva áram meg IT-sek bérét úgy esetleg, de mivel ez egyszeri kiadás jobban szemetszúr vezetésnek...

[quote:6a5996cd45="mocsi"]Mind a HP-nak, mind a DELL-nek vannak entry level cuccai amikben van többcsatornás SATA vezérlő. Pl Most vettem egy 1850-est, amiben van beépítve a szokásos SATA /IDE vezérlő meg egy 6 csatornás RAID vezérlő, most a gépben pont 8db HDD van+1 DVD és még csatlakozó 1 HDD-nek, de az már valahol a levegőben lógna :D Mindez kijön bőven 1 guriga alatt.

Sokat méregettem raid-eket, és valóban a db alatt a RAID5 messze nem jó. RAID 10 volt a legjobb idáig, vagy ha sok táblaterületed van, akkor el tudod osztani külön-külön tömbökre a file-okat azzal dobsz a legtöbbet rajta. Feltételezve hogy kvázi azonos mennyiségben használj a file-okat, nálam szerencsére vagy 4-5 terület van így szétszórva kib. nagy ugrás van benne, pedig csak sima mirror tömbök vannak benne.[/quote:6a5996cd45]

Milyen tipúsú szervert vettél ? és 1 guriga az 1 milla ? mert én nem nagyon költhetek annyit rá sztem...
Raid5-ről már énis lemondtam, sok helyen olvastam hogy nem igazán jó sql alá

Én úgy gondoltam hogy rendszert+pg_xlog okat raknám raid1 re, postgre adatokat meg külön raid1 re. Kezdésnek így, aztán ha nagyon kibírhatatlan lassú lesz akkor még 1 raid1 amire mennek pg_xlog valamik...

[quote:2f0a7a4af0="vajtsz"]
Milyen tipúsú szervert vettél ? és 1 guriga az 1 milla ? mert én nem nagyon költhetek annyit rá sztem...
Raid5-ről már énis lemondtam, sok helyen olvastam hogy nem igazán jó sql alá

Én úgy gondoltam hogy rendszert+pg_xlog okat raknám raid1 re, postgre adatokat meg külön raid1 re. Kezdésnek így, aztán ha nagyon kibírhatatlan lassú lesz akkor még 1 raid1 amire mennek pg_xlog valamik...[/quote:2f0a7a4af0]

Konkrétan DELL 1800-as Xeon 3.2GHz 3GB RAM, 8*80GB SATA + DVD olvasó (ez még nem hot plug opciós, de a HP-nél a ML350-nél már van ilyesmi benne), redundáns táp, 700+fáért, mindezt 2U-s rackben.

De ha home-made dolgokra mész akkor kb. fele árért már össze lehet dobni (persze nem redundáns táppal), nekem viszont kellett a száppórt.

[quote:6d15ba9601="mocsi"][quote:6d15ba9601="vajtsz"]
Milyen tipúsú szervert vettél ? és 1 guriga az 1 milla ? mert én nem nagyon költhetek annyit rá sztem...
Raid5-ről már énis lemondtam, sok helyen olvastam hogy nem igazán jó sql alá

Én úgy gondoltam hogy rendszert+pg_xlog okat raknám raid1 re, postgre adatokat meg külön raid1 re. Kezdésnek így, aztán ha nagyon kibírhatatlan lassú lesz akkor még 1 raid1 amire mennek pg_xlog valamik...[/quote:6d15ba9601]

Konkrétan DELL 1800-as Xeon 3.2GHz 3GB RAM, 8*80GB SATA + DVD olvasó (ez még nem hot plug opciós, de a HP-nél a ML350-nél már van ilyesmi benne), redundáns táp, 700+fáért, mindezt 2U-s rackben.

De ha home-made dolgokra mész akkor kb. fele árért már össze lehet dobni (persze nem redundáns táppal), nekem viszont kellett a száppórt.[/quote:6d15ba9601]

Thx a lot !!! pont 1800-ast néztem énis de árat seholse találtam csak scsi-s változatra és az NAGYON sok volt.
700+fa discekkel együtt MÉG elmegy bár súrolja a határt...

Neked is postgreSQL fut rajta ? Xeon miatt nincs eza " context switch storm" amit handler írt ?