HW RAID optimális konfig

Fórumok

Adott az alábbi konfig:


-- Controller information --
-- ID | H/W Model                    | RAM    | Temp | BBU    | Firmware
c0    | RAID Ctrl SAS 6G 1GB (D3116) | 1024MB | 58C  | Good   | FW: 23.2.1-0049

-- Array information --
-- ID | Type   |    Size |  Strpsz | Flags | DskCache |   Status |  OS Path | CacheCade |InProgress
c0u0  | RAID-1 |   2728G |   64 KB | RA,WB | Disabled |  Optimal | /dev/sda | None      |None

-- Disk information --
-- ID  | Type | Drive Model                       | Size     | Status          | Speed    | Temp | Slot ID  | LSI Device ID
c0u0p0 | HDD  | HGST HUS724030ALS640 A124P8JT77TW | 2.728 TB | Online, Spun Up | 6.0Gb/s  | 33C  | [10:11]  | 15
c0u0p1 | HDD  | HGST HUS724030ALS640 A124P8K438BW | 2.728 TB | Online, Spun Up | 6.0Gb/s  | 32C  | [10:10]  | 16

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 2.728 TB
Sector Size         : 512
Mirror Data         : 2.728 TB
State               : Optimal
Strip Size          : 64 KB
Number Of Drives    : 2
Span Depth          : 1
Default Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disabled
Encryption Type     : None
Bad Blocks Exist: No
Is VD Cached: No

bonnie++ szerint írás, olvasás kb. 170-180 MB/s körül alakul. Próbáltam ReadAheadNone -> ReadAhead, Direct -> Cached állítást, nem igazán változtatott a teljesítményen.
Proxmox van rajta és főként VM-ket szolgálna ki, gépek között másoláskor 20-30%-s IO delay-t is el szokott érni.
Ez a max amire képes lehet, vagy tudok valamit még javítani?

Hozzászólások

7200pm-es diszkekkel és RAID1-gyel valszin ennél több nem hozható ki. Minimum egy RAID1+0 kéne az IOPS és szekvenciális elérés érdemi növeléséhez. Ha igazi kraft kell, akkor SSD vagy 15k-s SAS diszkek a javasoltak.

itt néztem egy zfs tesztet ahol ugyancsak 7200-s lemezeket használt (innen vettem a bonnie paraméterezést):
https://calomel.org/zfs_raid_speed_capacity.html

2x 4TB, mirror (raid1), 3.7 TB, w=106MB/s , rw=50MB/s , r=488MB/s

az írásnál nem is lenne gondom a 170MB/s-el, de olvasás esetén nem kellene 170 helyett a 400 körül alakulnia?

Az inkább elírás lehet, vagy mérési hiba. Mert 2 disk mirror esetén 2,4x-es olvasási sebesség a sima 1 disk olvasáshoz képest, ráadásul 2 és 3 disk esetén is szignifikánsan gyorsabb a mirror, mint a stripe.

Szerintem nálad inkább ott lehet a "probléma", hogy a raid vezérlő vagy egy lemezt olvas olvasásnál, vagy mindkettőről olvassa ugyanazt és ezeket összehasonlítja. Míg a freebsd softraid megvalósítás párhuzamosítja az olvasást a lemezekről, legalábbis a mirror sebességnövekedés erre utal.

zfs-essel tényleg ne hasonlitsd,rengeteg ilyen olyan tuning mágia is van, ram méret, atime, logbias stb.,zpoolok számam lunok mérete. Az hogy a zsf meg a brtfs és társai milyen számokat hoznak storagen nem tükrözi azt amit egy rpoolban tud local diszken vagy virt gép esetén rpoolban lunokon.Láttam sokkal szebb de csúnyább számokat is mint a fent említett cikkben voltak.

Szerintem kb a max

Fedora 26, Thinkpad x220

Az IO wait leginkább a szükségesnél alacsonyabb IOPS teljesítménnyel lesz összefüggésben, nem a szekvenciális olvasási sebességgel.

A szekvenciális olvasást illetően: nagyon nem értek az LSI RAID vezérlőkhöz. RAID1 implementációból tipikusan többféle van:

1.) olvasásnál csak az egyik RAID komponenst olvassa, a másikhoz csak akkor nyúl, ha az első nem olvasható. Ekkor a szekvenciális olvasás sebessége megegyezik 1 darab komponens olvasási sebességével, erre a 170 MByte/sec igen jónak tűnik.

2.) az olvasásnál mindkét komponenst olvassa, és észreveszi, ha eltérés van a kettő között. (checksum ellenőrzés) Az ilyen ritka, lehet, hogy már nincs is ilyen élő implementáció manapság forgalomban.

3.) amelyik képes a RAID1-et kvázi stripe-ként olvasni, tehát megfelelő read-ahead mellett RAID0-közeli teljesítményt hoz.

Majd az LSI-szakértők megmondják, hogy itt melyiket kell várni.

https://superuser.com/questions/385519/does-raid1-increase-performance-…

Szoftver RAID1 is tudja:

Yes, Linux implementation of RAID1 speeds up disk read operations twice as long as two separate disk read operations are performed at a time. That means reading one 10GB file won't take any faster on RAID1 than on single disk, but reading two distinct 10GB files*will take faster.

Egyébként nem az olvasási tempóval van a HDD-knél baj, annál inkább az IOPS-sel, mivel a 10 msec körüli fejléptetési idő nagyon megfogja a rendszert, amikor 50 különböző fájlt akar olvasni/írni.

Lásd:
https://img.purch.com/w/550/aHR0cDovL21lZGlhLmJlc3RvZm1pY3JvLmNvbS9FLzI…

http://media.bestofmicro.com/E/3/362091/original/h2benchw_access_write…

Vesd össze:
http://media.bestofmicro.com/Y/Q/154178/original/flash-ssd-access-time…

Az előttem szólókhoz csatlakozva: lehet, hogy ez a plafon ebben a kombinációban.
Szekvenciális műveleteket gyorsíthat a nagyobb stripe méret. Ha tud a vezérlő 256Kb-ot, akkor érdemes próbát tenni egy megemeléssel. Sajnos a vezérlők ezt újrainicializálással szokták megoldani, úgyhogy adatvesztésre készülni kell...
Sajnos a sok VM-re nem feltétlenül a szekvenciális IO a jellemző, úgyhogy nem biztos, hogy megéri a fáradtságot.

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

"RAID stripe migration" adatvesztéssel? Milyen tróger RAID kontroller gyártó ad ki ilyen fost, légyszíves mondj konkrét márkát/modelt h. kerülhessem mint a leprásat!

Online rebuild-el kellene tudnia mindegyiknek, amiért legalább 10 fillér pénzt kiadott az ember. Az más kérdés h. méret fv-ben eltart ugyanaddig kb. mint egy RAID5 full re-sync, de megcsinálja futás közben is, nem kell offlineba küldeni a tömböt.
--

Pl. Dell H730-ak igencsak digitálisak, ha kész egy tömböd a cache meg a readahead változtatható, minden más csak destroy/recreate (még a virtual disk neve is!).
Nincs virtual disk méret növelés meg stripesize átállítás meg plusz diszkek meg ilyenek. Úgyhogy jól gondold meg mikor létrehozod :)

Régebbi HP P420-ak meg kb. minden ilyesmit online tudtak.
--

"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."

Bar az enyem nem mervado, az osx alatt sw RAID0 a munkagepen
ilyen szamaim vannak:
HDD RAID0 250-300MB/s
SSD RAID0 950-1000MB/s
--
vati