Komplett iSCSI storage megoldas ESXi-hez (HW + SW)

Virtualizáció

Kedves Urak,

Jelenlegi munkahelyemen a felallas a kovetkezo:
- 2 db ESXi host gep , melyek szama folyamatosan bovul

A host gepek moge egy shared storage megoldast szeretnenk, erre keresunk mar bevalt mukodo megoldast.

A lenyeg egy olyan out-of-the-box megoldas lenne, amit nem nekunk kene osszerakni (openfiler meg freenas most nem jatszik), hanem egy olyan storaget keresunk, amit konfiguralas utan hasznalni tudnank erre a nemes celra.

Udv

( Proci85 v | 2011. 10. 03., h – 22:29 )

Jó tanács: Csak nehogy olyan blackbox legyen, ami ha megáll, kintről hozzá sem tudtok szagolni. Sajnos vannak ilyenek is.

( eax | 2011. 10. 03., h – 22:51 )

Netapp FAS2040, vagy (ha eleg gyors az a bovules) 3210. Jo cucc mindketto.

--
"You're NOT paranoid, we really are out to get you!"

( andrej_ v | 2011. 10. 03., h – 23:00 )

Fujitsu DX80-ra neveztünk be nyár közepén és szépen megy.

Itt van a topikja: http://hup.hu/node/100947

Ahol lehet kérjetek próbát, mert a papírforma szerint mindegyik szép és jó. Adott esetben a stabil, kiforottab doboz jobb választás lehet, mint a gyorsab... Árban 8-10e EUR körül fogtok redundáns konfigot normális mennyiségű vinyóval találni.

Tőlem kaphatsz árat és vásárolni is tudsz. Andrej_ is tőlem vette az övét.

"DX60-at is latok itt a palettan, azt is szamitasba veszem."

DX60-nal is el lehet indulni. Kisebb budget, kisebb cégnek teljesen jó választás lehet. Van olyan partnerünk, ahol DX60 (nem Fibre kontroller, hanem iSCSI) van és futtatnak rajta 30-40 virtuális gépet VMware alatt. És sokszor hajtják a gépeket rendesen (stress test-ek). Nyilván nem az összes fullon kihajtva állandóan, de hát pont ez a virtualizáció egyik lényege. Kevesebb vasat okosan kihasználni.

Tudásban hasonló a DX80-hoz. Itt-ott kevesebb. A különbség az összestackelhető diszkdobozok száma (DX80 10, DX60 2), a cache méret, a kiszolgáltható hostok száma, drive-ok száma (DX60 max. 2-24, DX80 max. 2-120) stb.

--
trey @ gépház

Azert egy nagysagrendi arat lehet tudni? Marmint, hogy pl. a legolcsobb, legalapabb, legbutabb, satobbi kiepites kb. mennyibe van? Csak hogy megis lehessen valamit latni belole.

Illetve egy masik (lehet, buta) kerdes: ebbe barmilyen winyo berakhato? Vagy csak amit ti ajanlotok?
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

Kb. 5000 EUR-tól már lehet full redundáns belépőszintű storage-ot venni néhány SAS lemezzel. Az ár - ahogy azt már írták - mindig konkrét ügyfélre és projektre szabott.

Ezen a szinten már nem lehet beletenni akármilyen lemezt. Sőt, ezen a szinten már az sem mindegy, hogy az egyébként cikkszámra, méretre és egyéb paramétereiben teljesen azonos lemezek firmware-e milyen. A komolyabb storage-okban azonosnak kell lennie a diszkek firmware level-jének és sokszor a storage nem is kezeli (jól), ha a minimum level nincs meg. Nyilván ez is storage függő, de egyetlen gyártó sem fogja neked azt ajánlani, hogy a közértben vegyél diszket. Ha pedig bele is megy valami más, az első adandó support alkalommal, ha baj lesz a storage-dzsal, azt fogják mondani, hogy nem supportált diszk van benne, viszlát.

--
trey @ gépház

1) Köszi, igazából a nagyságrendi ár volt az érdekes, azt értem, hogy mindig minden az ügyfél konkrét igényeitöl függ.

2) Uff. Akkor viszont ez úgy van, hogy a storage doboz gyártók forgalmaznak úgymond "belevalót" is a storage-khez? Végül is, ha valakik, hát ök tudják mi kell bele... No, és persze adódik a kérdés, hogy ezek mennyivel drágábbak, mintha ugyanazt a modellt (firmware verzióval, etc) a sarki közértben venném meg (most tekintsünk el attól, hogy ennyire specifikusan nehéz vásárolni)?
-- 

Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal

A sarki közértben nem kapsz _ugyanolyan_ fw verzióval diszket, mint amit a storage gyártónál, illetve ha kapsz akkor óriási a szerencséd vagy van valami haver aki beereszt a nagyker raktárba és plusz még szerencséd is van ha találsz. (A nagyker raktárról annyit, hogy SAS vinyókat elég kis számban tartanak itthon állandó eladási készleten ahogy én tudom.)

Minimum másfélszeres ár a "sima" boltihoz képest, erre nyugodtan számíthatsz.

A Fujitsu DX80-as Seagate SAS vinyókkal jött és első ránézésre különösebb varázslat nincs rajtuk, de inkább nem kísérleteznék. :)

A storage gyártók valszin X típusú és gyártójú diszkkel odavissza sokszor tesztelik a dobozukat, hogy a nullához közelítő legyen a hibákra az esély. Mivel alapvetően a nyugati fizetőképesebb piaccal számolnak, ezért nem is jön szóba, hogy mindenféle kombóban mindennel teszteljék. Megvannak a "gyártói" diszkek, amik ott megvehetők és 101%-osan jók lesznek, ezt garantálják. Az sem utolsó szempont, hogy ha egy vinyó elszáll akkor a vállalt garanciától függően rossz esetben is következő munkanap, hozzák a cserét. Nem neked kell tartalékot képezni, illetve a garis ügyintézésre 1-2 hetet várni.

Bármi más diszket raksz bele, a storage ki fogja vágni magából. Sok storage gyártó saját módosított firmware-t rak a diszkekre, és pl. amikor storage-controlleren szoftvert frissít az ember, előfordul, hogy a diszkek firmware-ét is frissíteni kell.

"Megvannak a "gyártói" diszkek, amik ott megvehetők és 101%-osan jók lesznek, ezt garantálják"

Dehogy. Ott is ki lehet fogni szar szériát. Volt olyan, hogy egy dobozban egy hét alatt 3 nem olcsó FC diszk halt be.
Sőt, olyan is volt, hogy egy széria hiba miatt az összes diszket kellett cserélni.
A külömbség ott van, hogy a support jön, és cseréli álltalában még aznap. Sőt, ha szériahiba gyanú merül fel, akkor a gyártó kiad egy FCO-t (field change order) a helyi supportnak, ami azt jelenti, hogy függetlenül attól, hogy előjött -e a hiba, a supportnak minden ügyfélnél cserélni kell az adott szériájú alkatrészeket.

"A külömbség ott van, hogy a support jön, és cseréli álltalában még aznap. Sőt, ha szériahiba gyanú merül fel, akkor a gyártó kiad egy FCO-t (field change order) a helyi supportnak, ami azt jelenti, hogy függetlenül attól, hogy előjött -e a hiba, a supportnak minden ügyfélnél cserélni kell az adott szériájú alkatrészeket."

Igen, a fentit értettem garantálja alatt. :)

"Akkor viszont ez úgy van, hogy a storage doboz gyártók forgalmaznak úgymond "belevalót" is a storage-khez?"

Így van pontosan.

"No, és persze adódik a kérdés, hogy ezek mennyivel drágábbak, mintha ugyanazt a modellt (firmware verzióval, etc) a sarki közértben venném meg (most tekintsünk el attól, hogy ennyire specifikusan nehéz vásárolni)?"

Ugyanazzal a firmware verzióval nem tudod megvenni más gyártó termékét, mert a storagegyártó saját firmware-t használ. Drágább, de ezen a szinten ezt már meg szokták fizetni. Ha neked nagyon olcsó megoldás kell, akkor azt nem IBM, HP, Fujitsu, Hitachi, NetApp, EMC vonalon kell keresni.

--
trey @ gépház

Igen, ez "titkos". :) Gyakorlatilag harapófogóval kell minden ilyen nagy dobozról árat kérni, nincsenek publikus árlisták az egy-két kivételtől vagy valamilyen akciótól eltekintve. Ráadásul hiába írnám le az árat, az még asszem 270-275 körüli EUR árfolyam (vagy ennek megfelelő USD) alapján ment.

Annyit azért elmondhatok, hogy 10-11k EUR volt a nettó keretünk. Redundáns konfiggal, 600GB-os SAS vinyókkal, 2 egyszerű HP switch-csel (V1410G-16) és néhány "illesztő csomag"-nak álcázott szerver bővítéssel kényelmesen belefértünk.

Mielőtt valaki azt gondolja, hogy érdekem fűződik a DX80-as eladásokhoz szeretném leszögezni, hogy nem. Egyszerűen fogalmam sincs az árképzésről, csak arról hogy kb. mindenki egyedi árat kap és nem szeretnék kellemetlen percet egyetlen értékesítőnek sem.

Akit komolyan érdekel egy storage olvasson, nézzen szét, kérdezzen és kérjen árakat a számára szimpatikus dobozokra. Ha nincs ilyennel még tapasztalata, ahogy nekem sem volt és most sem érzem magam sokkal előbbre, akkor készüljön fel a hosszas fejvakarásokra. Nagyon kevés olyan eset van, hogy egy az egyben össze lehet két dobozt hasonlítani, mert gyártónként eltérő filozófia mentén tervezik ezeket. A linkelt topikomból azt hiszem ez igen jól átjön, tehát nem véletlenül esett olyanra a választás, amit élesben is ki tudtunk próbálni.

igen, egy ilyen eszköz beszerzését úgy kell csinálni, hogy 1-2 potenciális termékre ajánlatot kell kérni mindegyik gyártótól.
Javasolt, hogy tételes árajánlat kérés legyen 1-2 opcióval, így az adott ajánlaton belül a felhasználó is meg tudja becsülni 1-2 másik variáció árát.

Mindenképpen minimum 2-3 körös egy ilyen dolog, rá kell szánni 1-2 hetet meg pár levélváltást.
Természetesen a végső ár úgyis árfolyamfüggő, sok eseten eleve dollárban vagy euróban adják az ajánlatot, ha meg forintban akkor is ott van az ajánlatban kalkulált deviza árfolyam, aminek változását mindenképpen érdemes figyelembe venni.

Ami konkrét storage ajánlat itt-ott fellelhető weben, azok álltalában akciós csomagok, ha attól eltérő kell az teljesen más árban lesz.
Az is előfordulhat, hogy tök ugyanarra a konfigra két érdeklődő eltérő ajánlatot kap ugyanarra a konfigra.

(A Szentlélek Bt-nek a kb. kiküldik a listaárat, a Nagycég Zrt-nek meg valószínűleg ajánlanak némi kedvezményt is.)

Általános esetben a következőket érdemes figyelembe venni egy ilyen vásárlásaor:

A kiajánlott architektúra redundanciája
Milyen supportot ad vele a gyártó
Milyen szoftveres szolgáltatásokat ad a doboz a kiajánlott árban, benne van -e az, ami neked kell. (Pl. iSCSI esetében hágy LUN-t tud, mert egyes storage-ok esetében ez is licenszfüggő.)

A használni kívánt környezetben a szerver/szoftver/hálózati eszközök gyári kompatibilitási listájában benne van -e az adott storage. (Vagy támogatják -e a közös nyílt szabványokat.)

A teljesítmény kb. az utolsó szempont, mert majdnem minden azonos kategóriában futó storage hasonló diszk kiépítésben igen hasonló teljesítményt fog adni.

( Previ | 2011. 10. 03., h – 23:56 )

HP StorageWorks MSA P2000 is lehetne. A G3 tud egészen remek VAAI -s okosságokat, ami nem jellemző entry-level szinten a többi gyártónál.

( fimikz | 2011. 10. 04., k – 08:33 )

ha viszonylag szuk a koltsegvetes, de normalis megoldas kell, akkor fogjal egy gepet megfelelo mennyisegu+2 diszkkel, a maradek kettore rakjal egy freebsd-t v solaris-t, a tobbire egy neked megfelelo ZFS poolt, exportald ki iscsi-n, es van shared storage-od, snapshottal, mindenfele szep feature-rel.

Rögtön kettőt. :) Ez meg megint pénzkérdéssé vált, mert tudjuk hogy az igényekkel együtt nő a bekerülési költség, csak azt is számításba kell venni, hogy mi az a helyzet amire megéri még felkészülni.

A replikáció átvihet rossz/korrupt adatot is. :) Egy teljesen leválasztott file szintű mentést nehéz helyettesíteni.

( p2pking | 2011. 10. 04., k – 09:01 )

Eleg hianyos a parameter lista, ez alapjan egy kazal megoldast lehet ajanlani.

Netapp, Dx80, EMC VNXe, EVA, IBM DS mind jo es a celra nemelyik tobb mint megfelelo.

( andrej_ v | 2011. 10. 04., k – 09:47 )

Hogy érdemben is hozzászóljak. :) Ezekre figyelj oda szerintem:

- dedikált switchre tedd az iSCSI hálózatot, ha kell külön sw, amiből az sem baj ha kettő van
- olyan switchet nézz, aminek a lehető legkisebb a késleltetése (nem biztos, hogy a 24/48 portos managelt szuper switch lesz a nyerő) a büdzsén belül és a 9000byte-os jumbo frame-et tudja
- olyan iSCSI dobozt nézz, ami active-active módban is működik és 2x2 portos legalább, így akár a switch meg is spórolható

midrange-ben (entry-ben főleg) az aktív-aktív még mindig sci-fi a Hitachi AMS 2000-es sorozaton kívül.. Mielőtt belekötsz: nem az az aktív-aktív aminél egyszerre szolgál ki mindkét kontroller, hanem az, aminél nem szakad meg az adatátvitel multipath nélkül sem, ha az egyik kontroller épp offline (pl fw upgrade).

- tapasztalat szerint nem feltétlenül kell külön switch-re tenni az iSCSI-t. persze kérdés, hogy milyen az "alap" switch
- engem is meglepett, hogy a DX aktív-aktív, ez jó, de ha valami nem aktív-aktív sem baj. legalábbis mi még nem ütköztünk ebből kifolyólag problémába (a failover lassabb, de az tipikusan ritka eset, kezelhető)

( Cajga | 2011. 10. 04., k – 17:11 )

Mielott dontesz ne felejtsd el megnezni a vmware hw support oldalat ;)

Nem mindegy neki a tároló, "open source" megoldások kapcsán az iSCSI-vel lehet probléma (nem támogatják az "SCSI-3 persistent reservation"-t, ami osztott VMFS használatnál gondolom akár problémát is okozhat).

Ezenkívül támogatási oldala is van a dolognak (HCL-es eszközt használunk vagy sem), de ez már inkább környezet függő, hogy mire van igény és keret.

( kisauto | 2011. 10. 05., sze – 15:17 )

Nos, en az iscsi -t semmi esetre nem javasolnam... de mind1 :)
Alapvetoen NetApp dobozok nagyon jol adnak Neked iscsi -t jol konfiguralhato es meg gyors is...

ugyan nem olcso :(

Rossz beidegződés. Én is ajánlhatnám a fibre verziót a storage-okból mindig minden helyre, mert nagyobb rajta az árrés. Viszont oda nem fogom, ahova az iSCSI is elég és logikusabb választás. Én adok demót, az ügyfél kipróbálhatja, hogy elég-e neki az iSCSI vagy kell a fibre. Nem kell zsákbamacskát venni, nem prospektusból kell rendelni. Valós tesztek futtathatók a vasakon és az eredmények fényében lehet dönteni.

--
trey @ gépház

Mert az egyik BSD-sörözésen sikerült az egész kocsmából kiüldöznünk minden nőneműnek látszó tárgyat az iSCSI-ről folyó vitával.

De hogy hozzá is tegyek valamit: skót oktató, amikor az akkori HP XP-diszkdobozról tartott egy hetes előadást, kb naponta 2x mondta azt, hogy amennyiben bárki az ismeretségi körünkben tárolókról beszél és eszébe jut az iSCSI, akkor ajánljuk neki a következőt: "keressen a közelben egy igen magas épületet, menjen fel a tetejére, és fejjel előre vesse le magát. Ha még ezek után is pozitívan nyilatkozik a tároló-iSCSI-teljesítmény szavakat használva, akkor GOTO 1" Hozzáteszem ez pár éve volt, és nyilván elfogult egy kicsit.

Akkor harmadszor is. :)

Igények -> Pénz... :) Nagyon sok alkalmazási terület van, ahova _elég_ az iSCSI-s megoldás és nem kell rögtön HBA-ra kiszórni 1 milliót az FC-s szolúcióra.

Én sehol sem látom, hogy bárki vitatná az FC-s dobozok sebesség fölényét, csupán az iSCSI adott igény és büdzsé esetén jobb választás.

Ok, csak most kisvállalati témáról van szó.... Egy iSCSI doboz nyilván fasorban sincs egy több portos 4-8Gbps FC interfésszel szerelt storage-el, nemcsak hogy sebességben, de funkcióban sem.
Dolgoztam több IBM, EMC, és Hitachi high-end storage környezetben, láttam, hogy miket tudnak ezek a cuccok,de ettől függetlenül szerintem az iSCSI-s low-end dobozoknak is van létjogosultsága az adott helyen.

Konkrétan az iSCSI technológia esetleges hátrányai érdekelnek a realitás határain belül (nyilván senki nem vár 100k IOPS-ot egy ilyen cucctól...)