HP vs IBM vs DELL raid I/O

Debian GNU/Linux

Gép vásárlás előtt vagyok. Cél OS Debian 5 vagy 6 (Proxmox körítésben).

A márkák elsősorban az I/O raid vezérlőben és a hardware menedzselhetőségben különböznek leginkább.

Van három versenyző egy kategórián belül.
HP ProLiant DL380 G5 -> Smart Array P400i 256MB
IBM System X3650 -> ServerRAID 8k Battery Backup Raid
DELL Poweredge 2950 -> PERC 5/i vagy 6/i

Saját tapasztalataimat szeretném segítségetekkel bővíteni.

- teljesítmény
- menedzselhetőség (elsősorban raid monitor/riasztás)
- stabilitás/ esetleges driver vagy util bug

Amiről tudok:

DELL PERC -> megaraid driver (LSI), OMSA gyári util, Redhat, Debian ready
IBM ServeRAID -> aacraid driver (ADAPTEC), aac utils, Redhat ready, Debian driver igen. Util gyárilag nem csak közösségi.
HP Smartarray -> cciss driver (??), Redhat, Debian driver igen. Util gyárilag nem csak közösségi.

Dell régebbi belépő vasat (mdadm) OMSA util-al üzemeltetek (Lenny). Rendben van bár az OMSA CLI van csak felrakva minimál daemon támogatással, eszi a memóriát.

IBM serverraid CD-t többször kellett használnom, ahogy láttam az IBM a gyári tool-ok nem Debian ready. Régeben volt olyan tapasztalatom aacraid driver-el hogy a third party tool-ok Debian alatt egy raid monitor lekérdezésnél befagytak (aacraid verzio+raid firmware+util verzió mátrixára kényes).

HP Smartarray: sikerült egy vasat anno (G5) egy napig Lenny alatt nyúzni (cciss driver és tool). Maga a driver és tool rendbe volt viszont az I/O sebességtől nem voltam elájulva. Ami hírlik a smartarray vezérlőkről hogy igazán a driver BSD alatt kiforrott.

Köszi a tapasztalatokat akinek van . . . .

  • 6969 megtekintés

( tompos v | 2011. 12. 15., cs – 10:57 )

Dell-hez es IBM-hez nemsok kozom van, ami egy ibm-nel serveraid van, ott vmi ipssend nevu csodaval lehet varazsolni, nem vmi enterprajz erzessel, de az a gep mar eleg regi, ki tudja mi valtozott azota.

A smartarray-t ha jol tudom, ujabban a hpsa tekeri, de egyebkent tamogatott (sot, ha jol emlekszem, talan debian certified-ok a HP szerverek).
Ill. ez egesz pontosan ugy nez ki, h a 2.6.32-ben meg a cciss lesz neked, szoval csak ugy FYI:)

tompos

( andrej_ v | 2011. 12. 15., cs – 11:00 )

Az IBM X3xxx M3-as szériákba már LSI alapú vezérlők (M5014 és M5015) kerülnek, amik FreeBSD (mfi(4)) is elég jól managelhetőek.

A HP G5 széria az utolsó, ami FreeBSD-s hpacucli-val megy, de egyébként a Linuxos hpacucli teljesen hivatalos HP által adott cucc.

A SmartArray-nél ha az E200i-t nyúztad és BBWC sem volt, akkor télleg nem hajlobogtató a sebesség, de attól E mert Entry. Egy P400i vagy P410i BBWC-vel és 10k-s vinyókkal elég jó sebességet hoz. Ez a "FreeBSD alatt igazán kiforott" nem tudom honnan jön, mert hivatalos support BSD-hez nincs a HP részéről.

Egy IBM x3550m3-asban szépen megy FreeBSD alatt egy M5014-es (persze battery backed cache-el) és a managelhetősége is rendben van, igaz csodát nem várok tőle. :) HP vonalon a P400i és P410i-ket látom, hogy szintén remekül működnek, de itt a hpacuclival messze több minden kezelhető, hogy a FreeBSD-n levő mfiutil-al.

Ami minden ilyen vezérlőre igaz, hogy figyelni kell a fw frissítéseket, mert rendszeresen javítanak bennük valami hibát.

Azt ugye tudod, hogy gépek amiket írtál már messze túlhaladottak? :) Félre értés ne essék, ezek teljesen jó gépek, de már csak Ebayről vagy más használt forrásból szerezhetőek be. Sok helyen egyszerűen nem opció a használt vas vásárlása.

Amit még érdemes megemlíteni azok az Intel partnerek által az Intel saját cuccaiból összerakott gépek. Ezekkel is igen jó a tapasztalatom. :)

( _ventura_ v | 2011. 12. 15., cs – 11:03 )

Van pár dell masinánk, és tökéletesen üzemelnek. Ráadásul dellnek az openmanage nevű programjából van debian csomag. Ezzel remekül lehet managelni a szervert, közte a raid-et is.

Gondolom a többi hw-hez is van hasonló, csak azokkal nem volt dolgom.
Fedora 16, Thinkpad x61s

( lzs | 2011. 12. 15., cs – 12:31 )

Értékes hozzászolások, köszönöm.
DELL felé hajlok. Nem mai vasak, előző generáció.
Amennyi pénz van virtualizálni a sok funkciót, konszolidálni egy vasba kb a mozgástér:

Virtualizációs platform ne vigye a pénzt, alapból legyen kernel támogatása (KVM mi más). Persze a XEN is van remek cucc mégsincs a kernelbe?!?!?
Mivel nem lesz SAN storage így lokál disk és virtio driverek preferálás marad, ezért az I/O tapogatózás mivel HW+FW+Driver stb.. függő.

Hardver:

2utas, min 2xQuad+HT 16GB
Újból entry level KO max 1 utasok elérhetők.
Újból middleware KO nem fér a zsetonba
Használt full-os middleware OK

Erre jutottam . . . .

Persze lehet hogy más ügyesebb az adott költségkeretből . . .

A gépeket amiket írtál nem tudnak 2xQUAD+HT opciót, csak az 55xx és 56xx szériás xeonok. Az ilyennel szerelt gépek pedig még elég vad áron mennek, ha nincs pénz. Ami nagyon ezek a gépek ellen szól, hogy DD2 FB-DIMM-et esznek. Összehasonlításképpen egy 2x4GB-os fbdimm pakk 80e forint, míg egy sima 8GB-os RECC DDR3 modul 25-30e forintért beszerezhető. Nem tudom mennyire akarsz virtualizálni, de a 16GB elég szűkös lesz, különösen ha 1-2 Windows szervert is fel kell húznod.

A DL360G5-ön egyébként remekül megy a Xen xensource verziója.

Ha virtualizálsz (szerintem is...), akkor elsősorban a hipervizort kell megnézni, hogy miként viselkedik az adott RAID vezérlővel. A VMware ESXi-nek van ingyenes változata és jó.

Amit tudni kell, hogy az Intel E54xx széria nem volt HT-s (pl. Dell 2950III-nál esélyes).

Mekkora a költségvetés? Mit akarsz futtatni?

Valójában a hypervisor ami szóba jöhet (XEN,KVM,Vmware) egyikkel sincs bajom és elsősorban üzemeltető függő melyikkel ki milyen szolgáltatás minőséget tud elérni.

Az ESXi-vel egy szünetmentes interrakció korrekt feltelepítése csak hackeléssel lehetséges (guest-ben SNMP büvészkedés stb... ágyúval verébre). Körülményes és nem gyári. Erre a mondás vegyél ESX-et ahol van CLI környezet HOST szinten és máris USB kábelen keresztül megy a kommunikáció mondjuk apcupsd vagy NUT 1xerű és olcsó lenne ESXi-vel.

XEN-el a benyomásom hogy a KVM virtio I/O-t nemigen éri el, illetve nem árt tudni hogy azt az üzemeltetési mátrixot ahol stabil a XEN DOMU/GUEST xensource páros.

Maradt a Proxmox alapú megoldás van Debian feeling és ha jelenlegi teszteket majd mégsem igazolja az éles üzem a KVM guesteket akármelyik disztróra könnyű migrálni és max bukta a színes szagos proxmox felület.

Szokásos vegyes felvágott 10-15 guest kevés Win és több linux.

A HW-ra max 300K :-(. 2utas kell!!!

A terv valami hasonló KVM -> win és megfontolom a nagyon I/O igényes szolgáltatásnál (pl: IMAP/Maildir,CIFS) az openvz konténert (proxmox).

Az LXC-vel nincs tapasztalatom tudom hogy létezik, nem sokat hallotam róla produktív környezetbe.

KVM+LXC-hez kényelmes GUI admin nincs maradna a CLI. Tény elég egy korszerűbb linux kernel, vonzó. Ami nekem fáj, ha helyettesít egy operator =! admin akkor a CLI-vel meg vagyok lőve.

Ami a disastery recovery-t illeti nincs zseton HA-ra. Napi egy VM mentés és tartalékba van egy erősebb de jóval olcsóbb desktop (VT-flag) amivel ki lehet húzni csökkentett módban.

Később lehet még egy ugyanilyen vasat beszerezni olcsóbban és poor man HA azaz proxmox 2.x DRDB-re migrálni. Addigra a 2.x -es vonal is kiforrott lesz.

( lzs | 2011. 12. 15., cs – 22:05 )

Nagy köszönet annak aki a fentebb sorolt RAID kártyákkal tudna I/O tesztet küldeni:

RAID 1,5,10 bármelyike érdekes

A dd teljesen jó . . . .

A kollégával közösen készült bonnie mérésekből néhány DL360g5 specifikus szemelvény. :) Az R5-SAS-os sorok 4x500GB Seagate SAS 7200rpm diszkkel készültek. A memó minden esetben a fele a tesztben szereplőnek és általában a Xensource 2.6.18-xen kernellel készültek. Ahol egy-egy mérés látszik, ott valszin a középértéket tettük el az utókornak.

XX-R5-SAS-128k,8G,79500,98,155819,41,41787,8,58288,87,207135,19,367.9,1,16
XX-R5-SAS-128k,8G,83059,98,159118,42,41700,8,57986,86,208079,19,360.3,1,16
XX-R5-SAS-128k,8G,85822,98,157735,41,41760,8,55282,87,208511,19,365.5,0,16

XX-R5-SAS-128k,4G,81185,99,173996,46,42069,8,57787,86,207451,20,486.0,1,16
XX-R5-SAS-128k,4G,86704,99,166410,44,42004,8,57819,86,206525,18,482.5,0,16
XX-R5-SAS-128k,4G,86301,98,165233,43,41403,7,58024,86,207811,18,481.5,1,16
XX-R5-SAS-128k,4G,86680,99,166881,44,41754,8,58098,87,206946,18,488.4,1,16

dl360g5-p400i-2x146g15k 6G 88951 98 160152 32 61085 8 77590 87 134167 9 914.9 1 16
dl360g5-p400i-2x146g15k 6G 90609 99 140400 28 62853 8 78770 88 133003 9 942.1 1 16

dl360g5-p400-512bbwc-2x146g10k-ext3 38G 82212 95 84344 21 30716 5 65481 97 88618 7 622.4 1 16
dl360g5-p400-512bbwc-2x146g15k-ext3 38G 39635 53 40167 10 29113 5 63718 96 151587 13 839.1 2 16

hajjaj, még ez is :)

Nézzük ezt: XX-R5-SAS-128k,8G,79500,98,155819,41,41787,8,58288,87,207135,19,367.9,1,16

a 128k a stripe size, a 8G memó. Aztán sorban az oszlopok: write MB/sec, write cpu %, rewrite MB/sec, rewrite CPU %, per char read MB/sec, per char read cpu %, block read MB/sec, block read cpu %, random seeks/sec, file-ok száma

Nem szeretnék ünneprontó lenni, de ha 300k-ból szeretnél normális rendszert, akkor kb SATA lemezek férnek bele RAID1-gyel. Én inkább vennék egy új 1 CPU-s rendszert, mint használt 2 CPU-sat (4 mag kb alap, ha netán HT is van, akkor majdnem olyan, min 2x 54xx szériából - sőt, akár jobb is lehet). A RAM jó eséllyel úgyis hamarabb elfogy.

Kolléga már említette: mit csinálsz, ha kipurcan a vas? Mennyi idő alatt tudod pótolni például az alaplapot? Nagyon-nagy izzadások jöhetnek ki belőle.

Legelőször szerintem a saját rendszeredet kellene megmérni, hogy mennyi CPU, RAM, lemez IOPS/Mbps fogy. Lehet, hogy semmi extrára sincs szükséged, mert egy SATA lemez vígan kiszolgálja.

A mostani diszk árak mellett a 300k imho csak diszkek nélkül értelmezhető. :)

Érdemes megnézni a Supermicro single socket 4200-as Opteronokhoz használható lapjait: http://www.supermicro.nl/Aplus/motherboard/Opteron4000/SR56x0/H8SCM-F.c…

4x8GB memóval különösebb gond nélkül megpakolható és egy 8 magos Bulldozer sincs borzasztó árban. Mivel mATX ezért még relatív kis szervert is lehet építeni. Persze ha redundáns tápot szeretnél akkor megint mélyen zsebbe kell nyúlni.

Számoltam az új Opteron 6-16 magos szériával, szimpatikus. Viszont hozzá akár az egyutas deszka amin van támogatott BBWC-s raid vezérlő tyan,supermicro fronton is kemény tétel. KB CPU+alaplap és 300K.

Ugyanakkor nincs infóm arról hogy egyénileg összerakott Buldózer alapú rendszert üzemeltetne közel és távoli szakmai ismeretségemben bárki is, szemben a brand-el, hisz árban nagy eltérés nincs. Igaz a LEGO érzés megvan . . .

Jól látszik hogy osztja a társaságot a Vas stratégia kérdése . . . valóban alap kérdés tud lenni.

Két szem vinyóra mi a túrónak akarsz bbwc RAID-et? Ha akarsz két RAID1+0-át lassú és gyors vinyókból, akkor mindjárt más, de így pénzkidobás. A Linuxos software raid-je raid1-ben elég jól működik.

Önmagában két SATA diszkből pedig hamar el fog fogyni a kraft ha több hajtós VPS-ed van. Az Intel vonal árban igencsak húzós, de te tudod.

-1

Ha nincs BBWC-d, akkor vagy lassú lesz a rendszered (diszk szinten WCE letilva, fs szinten barrier=1, és máris szopsz), vagy silent data corruption-t kockáztatsz (amit nagyon sokan megtesznek, és sokaknak be is jön a "há, tegnap se jött jobbról senki, minek fékezzek" c. klasszikus elv, főleg, ha a problémát sem érti).

Azt nem vitatom, hogy egy pár SATA diszktől megváltást várni hiábavaló lenne, de a BBWC-s kontrollerrel a random 4KB írás IOPS-a nagyságrendileg fog javulni.

Van igazság a kalkulációban, válthatok koncepciót :-).

Softraid-el nincs bajom lassan 10-en éve használom rendszeresen itt-ott, viszont a proxmox alá hackelni kell :-(. BBWC + RAID10 + SATA csak elketyeg jobban.

Lassan ott vagyok, a fórumozás láttán, hogy disztrib által szállított Hypervisor és vagy Konténer + softraid + SATA cucc + QUAD core + 16GB + CLI. Sőt fokozom buldozer hatmagos desktop CPU desktop AMD microATX deszka aztán had szoljón. Nem annyira gyere be . . .

Olcsó NAS-ra kirakni a VM-eket NFS esetleg iSCSI -val GIGALAN adott (pl: Nexentastore+proxmox) fázom a sok aktív elem miatt (dizelgenerátor sehol), pedig ezzel akár egy olcsó CPU+RAM fejegység is vállalhatóbb.

Benézek a persely mélyére :-) . . . .

"Olcsó" NAS semmivel nem visz előbbre, csak az SPOF-ek számát növeled. Ha pedig nem "olcsó", akkor szintén nő az SPOF-ek száma, ráadásul ugyanazt a pénzt normálisabb vasra is költhetted volna.

Ez a NAS megközelítés az I/O benchmark igények után furcsa, mert ha a GbE-et kihajtod, akkor sem éred el azt, amit egy kicsit is normálisabb RAID vezérlő tud.