mptsas gond

Linux-haladó

Üdv!

Van 2 db ibm xseries3200 szerverem LSI Logic / Symbios Logic SAS1064ET PCI-Express Fusion-MPT SAS (rev 02)
vezérlővel szerelve.
A vezérlő tud RAID1-t
2 db 1T sata disket konfiguráltam raid 1 be
a gondom az hogy nagyon rossz írási teljesítményt kapok (főleg apró fileoknál) és az iowait felmegy akár 90% ra is.

ha a diskek raid1 helyett jbod ban vannak konfigurálva akkor egy disk is nagyságrendben gyorsabb.
mint a hwraid1 ben a kettő.

a rendszert próbáltam openfiler el illetve debian6 al.

a neten sok hasonló problémát láttam megoldás nélkül.

amiről nem találtam infót, a kernelben levő mptsas driver és az LSI által kiadott driver verziószámban különbözik az LSI javára viszont lefordítani debian alatt nem sikerült mivel hibával elszáll.

van valakinek tapasztalata érdemes erőlködni az LSi -s driverrel mert hozhat jelentős javulást vagy felejtős ?

Esetleg megoldás a problémára? a sw raidet a legvégére hagynám mint megoldást

Kösz Robit

  • 1643 megtekintés

( xclusiv v | 2011. 06. 08., sze – 18:04 )

raid és fs blokkméret ugyanaz? illetve a 4k-s hdd-knél szektorkezdésre is kell figyelni

( vl v | 2011. 06. 08., sze – 23:46 )

a gondom az hogy nagyon rossz írási teljesítményt kapok (főleg apró fileoknál) és az iowait felmegy akár 90% ra is.

mennyi az a rossz írási teljesítmény?
mennyi az átlagos i/o művelet ideje raidben, ill. a natúr diszken?

az megvan ugye, hogy az i/o művelethez szükséges idő a raid1 írásnál picit rosszabb lesz, mint a natúr diszken (annyival, amennyit a raid1 művelet overheadje hozzátesz)?

tehát mondjuk ha az egyik diszk 5ms alatt végez, a tükörpárja 6ms alatt, a raid1 művelet pedig további 1ms-ot tesz hozzá extrában, akkor a raid1 algoritmustól függően 7 és 12ms közötti latency-t fog jelenteni.

hát a picinél rosszab :-(

Bonnie test for IO performance
Version 1.03d ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
san2_hwraid 2042M 16275 5 13173 3 134153 17 1599 1
san2_hwraid,2042M,,,16275,5,13173,3,,,134153,17,1599.3,1,,,,,,,,,,,,,
Version 1.03d ------Sequential Create------ --------Random Create--------
san2_hwraid -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
30:100000:0/30 157 2 23853 68 542 2 153 2 34516 100 281 1
san2_hwraid,,,,,,,,,,,,,,30:100000:0/30,157,2,23853,68,542,2,153,2,34516,100,281,1

Sajnos nfs-en megosztva (rw,sync,fsid=0,crossmnt,no_subtree_check) még tovább romlik

Bonnie test for IO performance
Version 1.03d ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
nfs_hwraid 2042M 10442 1 10644 4 94049 25 1017 2
nfs_hwraid ,2042M,,,10442,1,10644,4,,,94049,25,1017.4,2,,,,,,,,,,,,,
Version 1.03d ------Sequential Create------ --------Random Create--------
nfs_hwraid -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
30:100000:0/30 14 0 749 9 52 0 14 0 706 8 44 0
nfs_hwraid,,,,,,,,,,,,,,30:100000:0/30,14,0,749,9,52,0,14,0,706,8,44,0

( robit v | 2011. 06. 09., cs – 10:14 )

Hát szívás.
A raid vezérlőn alapértelmezetten tiltva a write cache (nem is látom hol lehetne bekapcsolni)

ez alapján bekapcsoltam (http://blog.wpkg.org/2010/06/25/poor-write-performance-on-fusion-mpt-sa…)

To enable write caching, you may use below commands in your startup scripts:

# create a /dev/sg0 node first
mknod /dev/sg0 c 21 0

# this one should create /dev/sg1 and /dev/sg2 nodes, too (you'll find sg_map in sg3-utils package)
sg_map -i -x

# finally, enable write cache - assuming you have two drives; /dev/sg2 would be the controller itself
sdparm -s WCE=1 /dev/sg0
sdparm -s WCE=1 /dev/sg1

az eredmény drasztikus gyorsulás

Bonnie test for IO performance
Version 1.03d ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
san2_hwraid_w 2042M 93004 29 72452 18 210384 26 2760 2
san2_hwraid_wc,2042M,,,93004,29,72452,18,,,210384,26,2760.0,2,,,,,,,,,,,,,
Version 1.03d ------Sequential Create------ --------Random Create--------
san2_hwraid_wc -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
30:100000:0/30 1058 17 34741 99 4240 14 1019 16 34120 99 2068 8
san2_hwraid_wc,,,,,,,,,,,,,,30:100000:0/30,1058,17,34741,99,4240,14,1019,16,34120,99,2068,8

még emésztem hogy merjem e így hagyni szünetmentes van alatta meg drbd lesz két gép között
de ..

raid vezérlő alatti egyedi diszkeken nagyon nem célszerű a cache-et bekapcsolni...
A cache-elést a raid vezérlőn kell megvalósítani.

Az egyes diszkeken levő cache (és io reordering) miatt a valós helyzet teljesen más lesz, mint amit a raid vezérlő gondol, és hiba esetén elég kiszámíthatatlan lesz a végeredmény.