Adott egy 1U-s Fujitsu RX200 S5, ESXi 5.5u1-el. Felmerült az igény egy egyszerű, 2db SSD-ből (RAID1) álló datastore-ra. Sajnos ahogy a szerver, úgy a hozzá kapcsolódó SAN se egy mai gyerek, ráadásul az anyagi keret is szűkös, valamint az SSD datastore nem production vm alá kéne.
A fentiek miatt arra gondoltam, hogy bepakolok 2db Intel S3500-at a szerver local SAS backplane-jére, mivel a SAN-t horror áron lehetne csak SSD-síteni. A gépen levő LSI 1068E-ről viszont gyorsan kiderült, hogy ezen nem túl magas elvárásoknak sem bír igazán megfelelni (mondjuk fakeraid, és cache sincs rajta, szóval annyira nem lepődtem meg), mert jó ha 400-500 iops-t, illetve 100-150Mbyte/s szekvenciális írást/olvasást tudok belőle csak kicsikarni. Az igények nem magasak, ha az SSD-s mirror hozná a gyári spec. felét olvasásnál, már mindenki elégedett lenne.
Tudna valaki ajánlani ezen paramétereket figyelembe véve olyan HBA-t/RAID controllert, ami:
- vmware által supported, vagy van hozzá .vib 5.x-hez
- beszerezhető itthon, lehetőleg több hétnyi várakozás nélkül
- belső mini SAS port(ok) van rajta (a backplane csatlakozás miatt kell)
- BBU nélkül (az adott feladathoz felesleges, és plusz drágító tényező) is lehessen bekapcsolni a write cache-t
- legyen rajta cache :)
- 50-100eFt ($300-450) közötti ársáv
Előre is nagyon köszönöm!
- 8137 megtekintés
Hozzászólások
"jó ha 400-500 iops-t, illetve 100-150Mbyte/s szekvenciális írást/olvasást tudok belőle csak kicsikarni"
uhh... ezt honnan szedted? /hülyeség/
- A hozzászóláshoz be kell jelentkezni
A saját szememmel láttam. Masszíroztam az esxi-t, de nem lett jobb. Cserlétem mpt drivert, SSD flag a datastore-nak, illetve a vmware által adott lsiutil-al is sokat játszottam, jobb eredmény ennél nem volt.
Szerk.: ... aztán rájöttem, hogy a 1068E 3G SAS-t tud csak, ami sata eszközök esetén SATA 1 módban megy (1.5G), hogy a franc enné meg... Teljesen feleslegesen szopattam maga vele. Viszont az biztos hogy az első gondolat volt a jó (controller csere), tehát a kérdés továbbra is áll :)
- A hozzászóláshoz be kell jelentkezni
Olyan 170-180 amire képes egy 15k -s SAS merevlemez. Nem tudom mivel teszteltél, de ha merevlemezzel akkor valós értékeket kaptál / db.
Érdemes ezeket kipróbálni, előzetes kalkulációhz (amit majd vagy hoz a valós helyzet, vagy nem... de közelítő értéknek jók)
http://wintelguy.com/raidperf.pl
http://www.thecloudcalculator.com/calculators/disk-raid-and-iops.html
- A hozzászóláshoz be kell jelentkezni
Tegyük hozzá, hogy minimum ennyit tud, ez ugyanis a méretezési szám, szélsőségesen random hozzáférés esetén. A gyakorlatban láttam már ennél jobbat is.
- A hozzászóláshoz be kell jelentkezni
Ja értem, szóval csak nem olvastad el amit írtam... SSD-ről szól az egész topic, még a címe is.
- A hozzászóláshoz be kell jelentkezni
Csak egy megjegyzés volt, hogy a HDD esetén ezek méretezési számok random io-ra. A valóságban ennél jobban is teljesíthet a lemez, ha olyan kombinációban jön az adat.
Így az általad mért iops érték még HHD-vel is túlszárnyalható.
- A hozzászóláshoz be kell jelentkezni
Világos, de nem is neked válaszoltam :) Úgy indult a thread hogy hülyeséget beszélek, erre reflektáltam.
Egyébként HDD-vel persze hogy túlszárnyalható, hiszen az SAS. De mint írtam: a kártya SATA eszközök esetén 1.5G-s linket tud csak (sata1), és az Intel S3500 SSD bizony egy sata eszköz.
- A hozzászóláshoz be kell jelentkezni
szerintem a kritériumoknak megfelel a HP SmartArray - feltéve, hogy haverok a FuSi géppel.
használtan BBU-bal, újan BBU nélküli verziót nézz.
- A hozzászóláshoz be kell jelentkezni
A fenti követelményeknek megfelelő vezérlőt aligha találsz...
De ha mégis, akkor vegyél belőle sokat, és meggazdagodhatsz rajta ;)
Viccet félretéve, egy ilyen cucc sokaknak jól jönne ám!
--
zrubi.hu
- A hozzászóláshoz be kell jelentkezni
Szia!
Par dolog tisztasaza:
- sas-1 es vezerlo 3 Gbit/sec/port tehat sata-2 szinten tud kommunikalmi
- Amennyiben a geped backplaneja csak brakeout es nem expander, ugy ezt a sebesseget tudnia kellene a kartanak.
-a regi hp smartarrayok kozul jopar ezt a chipet hasznalta ha jol emlekszem
-mi egy ilyen kartyan (sas protocollon, interposerekkel) 50K iops -ot siman atnyomunk.
Hogy miert kell az interposer?
Az altalad felnt megnevezett kartyaban van egy (Allitolag) hardveres hiba, amint anno meg a sun fedezett fel:
ha tul sok io val bombazod a kartyat, ami io-t at kell vinnie egy sas expanderen, ugy a sata-sas tunneling protocoll hibaja miatt a kartya lefagy. Errol nem fogsz reszletes leirast talalni a neten emrt jol el lett tusolva, mi is veletlenul talaltunk ra egy regi sun archive ra ahol a storage rendszer fejlesztok javasoltak hogy emiatt a hiba miatt minden eladott gepben le kellene cserelni a kartyat C0 verziora, mert minden mas kartya hibas. (En szemely szerint C* verzios kartyaval meg soha nem akadtam osze, szerintem nem gyartottak le nagytetelben)
Javaslat:
-ellenorizd a kartya FW verziojat, frissitsd ha tudod (A kartya hivatalos neve LSI sas3081(e) es sas3801(e) az egyik isas a masik esas)
-probald ki a teljesitmenyt HV nelkul mondjuk egy linuxon
-ha nem hon be, akkor ~40k netto kornyeken lehet kapni 9211-4i kartyat, ami a fent emlitett kartyak utodja, sas-2 => sata3 kartya. csak figyelj ra hogy ez mar komolyabb hutest igenyel, es SFF8087 csatlakozos.
- A hozzászóláshoz be kell jelentkezni
A legtöbb SAS1 vezérlő SATA1 módban tudja csak hajtani a sata eszközöket, sajnos ilyen az lsi 1068E is, a legutolsó firmware-el is.
A tippet a 9211-4i-re köszi!
- A hozzászóláshoz be kell jelentkezni
Szia!
Nem akarok kotekedni, de hidd el nekem eleg jol ismerem a satat, a sast az ssi-t de mindenekelott pontosan ezt a kartyat, (az oszes hw es ember a cegben tobb mnt 2 honapig szenvedett a fent emlitett hibaval mire sikerult megoldani.) TUTIRA tokeletesen kezeli a sata-2-t az utoslo fw-el. Amennyiben a tieddel nem ez a helyzet az minden valoszinuseg szerint az esx(i) drivere, vagy hardver hiba (esetleg a protocoll negotioation roszuk jon ki az adott ssdvel, de nem hinnem).
- A hozzászóláshoz be kell jelentkezni
Szia!
Érdekes a sata-sas tunneling hiba amit írsz, nem olvastam még róla, és így rákeresve pár helyen megemlítik, mint kártya teljesítmény problémáját.
Mekkora az a teljesítmény aminél jelentkezett a probléma?
Ha a külső diskek csatolása külön sas expander-es kártyán keresztül történik, akkor is jelentkezik a probléma? A külső HDD-knél is jelentkezik a probléma, ha SATA-sak (oda is célszerű interposer-t rakni)?
LSI 12Gbps -os kártyáit is érintheti a probléma?
Köszi.
- A hozzászóláshoz be kell jelentkezni
Szia!
Sajnos a hiba sokkal sulyosabb mint ha teljesitmeny problema lenne.
A sata es a sas lenyegi eltereseket tartalmaz, a legfontosabb talan, hogy a sata point-to-point szabvany (igen, meg lehet patkolni de ganyolas!), a sas pedig kvazi egy halozati rendszer a maga eszkozcimzeseit switcheit, expandereit (ez is egy switch vegeredmenyben), bondingolasat es backup utjait (multipath) beleertve.
Ebbol adodoan, ha a kartyara kozvetlenul radugod a sata hdddet, akkor maga a kartya kezd el "sataul" beszelni, es nincsenek hihetetlen trukkok belevive a dologba. VISZONT, ha beraksz a hdd es a kartya koze mar legalabb egy sas switchet / expander chipet, akkor mar a cimzett multipath stb. SAS halozati protocpllon at kell vinni a SATA kommunikaciot. Ez ugy tortenik, hogy a kartya, es a sas switch / expander megfelelo "portja" kozott a rendszer kialakit egy STP (Sata tunnelinkg protocol) alagutat (itt nem igaz mar a multipath es ilyenek) amin atviszi a RAW sata kommunikaciot.
No, ez a funkcio hibas az LSI 1. generacios SAS HBA-iban (1064e es 1068e chipekre epulo oszes kartya a C0 verzio elott ... C0 vagy azutani kartyat meg sose lattam, meg kepen se talaltam, valoszinuleg nem gyartottak le nagytetelben.) A kesobbi sas-2 es sas-3 generaciok tudotmmal nem szenvednek ettol a hibatol.
A hiba termeszete a kovetkezo:
Ha megfeleloen nagy STP IO val bombazod a kartyat, akkor a kartya konkretan lefagy. A lefagyas elott semmilyen teljesitmeny degradacio nem talasztalhato. Bizonyos oprendszerek (pl Sun solaris) az esetek nagy tobbsegeben tudjak reszetelni a kartyat, ami igy par masodperc kihagyas utan az ujra mukodokepes lesz.
Megoldas 1: csereljuk ki a raid kartyat, egy olyanra ami mukodik, pl. sas9211-8i, a sas ugyis backwards compatible, nem? ... hat nem, csak papiron az. a 9211 meg az lsi altal gyartott sas expander chippel sem mukodott megfeleloen, mar a sas bios betoltese kozben panicokat es "ERROR, Call LSI Support" uzeneteket kaptunk.
Megoldas 2: hasznaljunk sata-sas interposert (kesobbiekben SSI):
szep goldolat, de nagyon oda kell figyelni: Nem minden SSI csinalja azt amit hiszel: A regebbi valtozatok nem konvertaljak at a protocollt satarol sasra, ehelyett annyit tesznek, hogy a sata linket redundassa teszik a sas halozaton, de evvel csak egy multipath SATA-t kapsz, nem SAS-t.
Az ujabb interposer kartyak pedig valoszinuleg meg mindig hibas FW el kerulnek a boltokba, amivel a sata oldalon a link negotiation nem mukodik sata-3 eszkozokkel. Egyszeruen nem talalja meg az SSI a sata oldalra kotott, sata hdd-t.
Erre azert mar letezik megoldas, de nagyon nehez beszerezni a megfelelo sw allomanyt az interposer kartyak ujraprogramozasahoz es beallitasahoz, valamint az uj fwek a verziotol fuggoen alapvetoen maskepp mukodnek.
Javaslatom a kovetkezo:
-Ne vegyitsetek sata es sas eszkozoket egy rendszerben.
-ne vegyitsetek kulombozo sas verzioju eszkozoket egy rendszerben.
-ha hdd-t akartok expander / switch mogott, akkor vegyetek near-line sas-t.
-ha mindenkeppen sata kell (mert mondjuk ssdket akartok hasznalni egy sas vezerlovel), akkor azt kossetek kozvetlenul a kartyara.
-Ne csesszetek el evvel annyi idot, mint amennyit mi elcsesztunk!
Denke.
- A hozzászóláshoz be kell jelentkezni
+1
azonos kategóriájú near-line-SAS és SATA vinyó között minimális az árkülönbség. Nyilván ezen SATA lemezek jóval többe kerülnek mint egy standard WD GREEN v RED lemez. (és nem ok nélkül)
- A hozzászóláshoz be kell jelentkezni
Az olcsón beszerezhető SA vezérlők nem igazán barátok az SSD-vel. Arra sem árt figyelni milyen firmware van a merevlemezen, ugyanis az is tud komolyabb sebességbeli problémákat okozni.
Egyébként jellemzően a HP SAS vezérlői attól függetlenül hogy SAS 3G vagy 6G, SATA protokollon 1 generációval korábbin kommunikálnak. Ezt nem tudom miért...
- A hozzászóláshoz be kell jelentkezni
1) mit értesz az olcsón beszerezhető alatt? árat vagy típust?
2) konkrétan miből jön le, hogy nem barátok, melyik az a típus amivel (tapasztalatod szerint) barátok, és melyik amelyek nem?
- A hozzászóláshoz be kell jelentkezni
Ami mostanság elárasztotta dömpingszerűen a használt cikk piacot (P400, P600, P410) nem igazán van barátságban az SSD meghajtókkal, illetve sok esetben a nem HP firmware -t tartalmazó hagyományos SAS / SATA HDD-k sem olyan eredményeket produkálnak vele, ami elvárható lenne.
- A hozzászóláshoz be kell jelentkezni
a p410i -vel mi a gond SSD-vel? csak h fel tudjak rá készülni ha belefutok. Uitt megkérdezném a "hagyományos SAS/SATA" esetén is uezt.
- A hozzászóláshoz be kell jelentkezni
A legfőbb gond, hogy csak SATA1 mód lesz elérhető, a maga 1,5 GBit/s-jével, ami SSD-nél már limitáló tényező. Valamint SATA HDD-nél (SSD-vel nincs tapasztalatom) ha valamit nem szeret, akkor random kidobálgatja a tömbből.
WB Black-ek nekünk beváltak, lekopogom azokkal nincs baja (előtte többfélét is teszteltünk más gyártóktól is).
- A hozzászóláshoz be kell jelentkezni
asszem az enyém ezt nem tudja (nehogy szólj neki!):
Smart Array P410i in Slot 0 (Embedded)
Bus Interface: PCI
Slot: 0
Serial Number: 50014380089CC780
physicaldrive 2I:1:8
Port: 2I
Box: 1
Bay: 8
Status: OK
Drive Type: Data Drive
Interface Type: Solid State SATA
Size: 120 GB
Firmware Revision: PPG4
Serial Number: LNEL1434002X120CGN
Model: ATA INTEL SSDSC2MH12
SATA NCQ Capable: True
SATA NCQ Enabled: True
SSD Smart Trip Wearout: Not Supported
PHY Count: 1
PHY Transfer Rate: 3.0Gbps
- A hozzászóláshoz be kell jelentkezni
Valami LSI2008 based kártya, pl. MegaRAID 9240-8i, illetve ennek a rebranded változatai (lehet Fujitsunak is van?).
http://www.lsi.com/products/raid-controllers/pages/megaraid-sas-9240-8i…
- A hozzászóláshoz be kell jelentkezni
Biztosan SSD-t akarsz? Tényleg a lemez a szűk keresztmetszet?
Az igaz, hogy a raid kártya nagyon gyenge, de a lemezes iops-en nagyon sokat dobhat egy jó kártya és sok lemezzel nagy és gyors is lehet.
- A hozzászóláshoz be kell jelentkezni
Igen, biztosan.
Egyébként számolj utána: 12db 15krpm SAS diskből hasra ütve úgy 2000 iops-t tudsz kihozni. Mennyibe is kerül 12db SAS disk + hozzájuk a megfelelő kártya? Mibe is rakom bele? A 2db SSD + egy egyszerű HBA pedig bőven megáll 200eFt alatt. Illetve itt kérlek vedd figyelembe az eredeti kérdésben szereplő preferenciákat is (nem production vm alá kell nagyobb io kapacitás). Szerintem ide tökéletes egy kis egyszerű local SSD RAID1 datastore, befér a szerverbe is, olcsó is, gyors is.
- A hozzászóláshoz be kell jelentkezni
- BBU nélkül (az adott feladathoz felesleges, és plusz drágító tényező) is lehessen bekapcsolni a write cache-t
Es ezt megis miert? Hogy tuti szar legyen a legelso leallas utan?
- A hozzászóláshoz be kell jelentkezni
Igazad van, ez eléggé kényszermegoldás. Ne azon a pár 10ezer Ft-on spóroljanak, ha végzetes adatvesztés is lehet a vége. Vagy ha nem akksi, akkor FBWC + kondenzátor.
p.s.: Hiába van szétszünetmentesítve az adott hely, ha meghal a PSU akkor hiába van UPS - adatvesztés lesz, BBWC/FBWC nélkül.
- A hozzászóláshoz be kell jelentkezni
Csak ugye mérlegelni kell, hogy mennyi idő újrahúzni a fejlesztői környezetet, meg mennyi is a bbu az adott modelhez. Mert a topikindító fejlesztői környezethez keresett ilyet, ott meg nem igen van pótolhatatlan dolog.
- A hozzászóláshoz be kell jelentkezni
Nagyon olcsonak kell lennie annak a munkaeronek, hogy jobban megerje orakat/napokat szarakodnia vele, mint egy battery-t venni...
- A hozzászóláshoz be kell jelentkezni
öö, munkaerőnek? cfengine/puppet/ki mit szeret visszarakja ingyen.
- A hozzászóláshoz be kell jelentkezni
Pontosan ez a helyzet. Kb. 10 perc alatt lehet visszatenni az egészet, sőt, a fejlesztők maguk is rendszerint újralövik azt az 1-2db vm-et (automatizált provision van hozzá, egy klikk nekik) amikkel az SSD-s datastore-on tesztelnének. Semmi jelentősége nincs annak, ha megáll, sérül. Ha 10eFt egy BBU, akkor az is pont 10eFt-vel több mint kéne ezen feladat és cél tekintetében.
- A hozzászóláshoz be kell jelentkezni
Kitalalja a gondolataim? Bamulatos. De ha amugy is ujrahuzzak (ahogy eggyel lejjebb irjak), akkor valoban mindegy.
- A hozzászóláshoz be kell jelentkezni
Ha ennyire low cost a dolog, akkor minek SAS (ráadásul hw RAID) vezérlő?! Inkább tolnátok bele egy PCIexpress SSD -t...
- A hozzászóláshoz be kell jelentkezni
A HCL-en összesen 6 (!) db ilyen eszközt találtam, és ezek egyáltalán nem low cost megoldások.
- A hozzászóláshoz be kell jelentkezni
Biztos olcsóbb, mint 2db SSD és egy kompatibilis hw RAID vezérlő, melyek hasonlóképp a HCL-en megtalálhatóak (ha tévedtem, elnézést...)
- A hozzászóláshoz be kell jelentkezni
- Intel® SSD 910: (400GB) 2800 USD, de most van akciósan 800 GB-os 4500 helyett 2800-ért
- Micron RealSSD P320h: (350GB) 3500 USD
- Micron RealSSD P420m: nem találtam árat, januárban az ebayen 1200-ért ment el egy 700 GB-os használtan
- ... stb.
2 db Samsung 840 EVO (250-es pl.) 56e + ÁFA, egy LSI2008 alapú, 9211-4i pl. 40+áfa.
- A hozzászóláshoz be kell jelentkezni
Arról nem minden BIOS hajlandó bootolni.
- A hozzászóláshoz be kell jelentkezni