gazdaságos SAN-nak látszó tárgy

Merevlemezek, vezérlők

Egy "nem túl pénzes" ügyfélnek kellene valamire pakolni az adatait, ami kifelé iSCSI-t nyújt, és legalább 4, de inkább 6-8 darab hot-plug 3.5" SAS/SATA eszköz dugható bele.

Nem kell, hogy céleszköz legyen, teljesen jó a "szoftveres" megoldás, tehát Linux/bármiegyéb oprendszer + iSCSI target szoftver.

Első tippem egy Proliant ML330 (cciss P410) + hotplug keret (HP 487737-B21) és bele hot-plug 3.5" diszkek. Ez a móka olyan nettó 230-250 körül "megúszható" (diszkek nélkül) de ha van jobb ötlet, akkor mondjátok...

(Az ML350 alapból szeret hotplug backplane-nel jönni, és legalább redundáns táp tehető bele, viszont kb. nettó 370-től indul, - második táp nélkül - az meg sok...)

Köszönöm...

[UPDATE]

Az ügyfélnek jelenleg van 4 darab 300GB-os SAS 10kRPM diszkje. Ennek megfelelően:
1.) - SATA-only megoldások diszkvalifikálva.
2.) - A diszkek egy ~300 ezer forintos szerverbe beszerelve megoldják az alapvető problémát, ebből következőleg a többmilliós megoldások szintén diszkvalifikálva.

Mégegyszer tehát, a követelmények:

1.) - egyen 3.5" SAS-t, legalább 4-et, de inkább 6-8-at, a jövőre tekintettel
2.) - legyen a diszk üzem közben cserélhető (-> hotplug backplane)
3.) - legyen rendes, kultúrált, BBWC-s hardveres RAID vezérlő

Minden más NEM KELL, de persze ha van, nem baj. Elsősorban redundáns táp tetszene még, de plusz százezrekért inkább nem szükséges.

Ha többmilliós keret állna rendelkezésre, én is boldogan lőnék EMC-t, Netapp-ot, full-redundáns fájbörcsenelt, stb. Most viszont a cél az, hogy működjön. Teccikérteni? :)

  • 4342 megtekintés

( trey | 2012. 02. 05., v – 17:17 )

Hát a hotplug eléggé behatárolja. Én magam raktam össze iSCSI-s szart. 4 nem hotplug lemezzel másfél éve (amikor olcsó volt a diszk) 300 alatt megoldottam. Jelenleg is teszi a dolgát.

Ha brand gépet veszel, az nem lesz olcsóbb. De ha össze akarsz rakni egyet az sem lesz az szerintem. Úgyhogy jobb tippem nincs. Ha más gyártó vasát nézed, akkor lehet egy-két ezres differencia, de nagy szerintem nem lesz.

--
trey @ gépház

( STP | 2012. 02. 05., v – 17:32 )

Kollégának van ilyenje eladó (2db): http://www.qnap.com/pro_detail_feature.asp?p_id=104
Fél év után kiszedte, mert szarakodott. Mint utóbb kiderült, a cuccnak semmit baja, a 1.5TB-os green WD spin-down mizéria miatt volt hektikus a sebessége.
(Dobozában várja az új felhasználási területet vagy egy új gazdát. Értelem szerűen nem új árában, számlával.)

Az ötlemezes TS-509 Pro Turbo Station lelke egy 1,6 Ghz-es Intel Celeron processzor, amely mellett 1 GB DDRII RAM (SO-DIMM foglalatban) és 128 MB flash ROM található, Linux alapú operációs rendszerrel. A komoly processzor és memóriaméret akár 4 096 felhasználó megkülönbözetését is lehetővé teszi, akik közül egyidőben 256 is lehet kapcsolódva a NAS-hoz. A 60 Mbyte/másodperc fölött írási sebesség pedig egyedülálló ebben a kategóriában, csak a Synology DS508 és 408 közelíti ezt meg.

Ezt egy Proliant ML330 G6 négymagos XEON-nal, és HP P410 RAID + 512MB BBWC-vel úgy leveri, mint vak a poharat. Árban meg majdnem ugyanott van...

Egyáltalán ebben a dobozkában van valami "rendes" RAID vezérlő, vagy csak mdadm?

(szerk: meg ha jól látom, csak SATA-t eszik, SAS-t nem. Az pedig annyira nem finom.)

1) "...Értelem szerűen nem új árában..."
2) Nem emlékszem, rákérdeztél, hogy mennyi is tud(ott) valójában? Mondjuk, annyit nem húzott, mint ami a csatolt link-en lévő pár ábrára fel van tüntetve, de _jóval többet_ mért a kolléga annál a 60MB/s-nél.
3) mdadm van benne. De volt WD elhalástól kezdve rossz fiók kihúzásig minden, és ilyentől nem esett hasra.
4) Jóval kevesebbet eszik, mint egy PL ML330G6, UPS kezeléstől kezdve minden fißfaß benne van.

( smudo | 2012. 02. 05., v – 18:09 )

Áldozna az ügyfél egy rendes redundáns fiber SAN-ra?

Eladó egy komplett full redundáns rendszer (Dell/EMC CX 3-20).
Kiterjesztett gari lehetőség van.

Mennyi a keret? Mennyi tárhely kell?

( andrej_ v | 2012. 02. 05., v – 18:23 )

Amit még nem kérdeztek, egyáltalán mit kellene kiszolgálni iSCSI-val? :)

( tompos v | 2012. 02. 05., v – 21:13 )

Teljesen korrekt, amit irsz, csaka HP-t en lecserelnem Supermicro-ra vagy Dell-re.

tompos

Ez 1 hiba. Ennyi miatt? HP es Dell eseten nem futottal meg bele hibaba?

En tobbek kozott pont az IPMI miatt szeretem az SM szervereket. Ellentetben az ILO-val ingyenes, teljes erteku es nekem jobban is mukodik annal.
Nincs a kezem kozott kritikusan nagy tomeg, de ami van, az rendben mukodik, nagyjabol hozza a tole elvartakat.

tompos

ui.: A Dell IPMI megoldasa szinten ingyenes, jol tudom?

Jó nagy számban volt/van Dell, HP, Intel és Sun vashoz szerencsém, és nem túl sok SM-hez. Előbbiek között néhanapján előfordul, hogy táp ki/vissza kell, hogy a Sun-os sp működjön, egyéb probléma nincs. Supermicro-s remote managementről nem tudok mit mondani: ami vashoz szerencsém volt, annál nem ment.

Nekem viszonylag kis szamban van kapcsolatom HP es SM gepekkel.
SM kevesebb, asszem 1x volt 1 doglodo alaplap es annyi.
Ill. az alaplapon szallitott LSI vezerlo kritikan aluli...

HP tobb volt, meg cifrabb HW is (persze dragabb es elviekben minosegibb is): a blade szutyoktol, az SA vezerloig, tap is pusztult mar.

osszesitve a teljesseg igenye nelkul:
SM:
+ lehet 1 ev gari
+ jobban mukodo remote management (szubjektiv), bar mintha a HP egyaltalan nem men(t?) volna egy ideig FF-fel?
+ olyan HW-t rakok bele, amilyet akarok (HDD, raid vezerlo)
+ jelentoseb occsobb (van a vilagnak az a resze, ahol valsag van es ez szamit...)

HP:
- draga
- az ML150-es sorozattal sokat eljatszottak a bizalombol
+ talan jobb a support, bar valoszinuleg ez kevesbe a HP-tol fugg, laptoppal voltam naluk most, azt nagyon priman inteztek
+ linux/bsd(?) certificalt HW

Ezek alapjan ahol tudom, en inkabb az SM-t szoktam valasztani, meg akkor is azt tennem valoszinuleg, ha egy arban lennenek.

tompos

( bognarattila | 2012. 02. 05., v – 21:41 )

Intel szerver alapon is futhatsz még egy kört, de azt azért mondd el a megrendelőnek, hogyha az az egyetlen táp elromlik, akkor mindene megáll (gondolom kvázi minden erről a tárolóról futna). Főleg egy BBWC-s normális RAID vezérlő mellett nem egy redundáns tápos többlet költség dobná meg a költségvetést.
Ezenkívül legyen egy "b" terved arra az esetre, ha például elromlik az alaplap vagy cpu, mert szintén áll minden, ezt is tisztázd.
A HP-vel az a gond, hogy a vinyót még talán el fogja vinni, de bármilyen RAM-ot jó eséllyel nem fogsz tudni beletenni. Legfeljebb az szólna egy HP mellett, hogy tudsz rá normális támogatást venni, de a saját lemezek miatt kvázi ez az opció is félig-meddig okafogyottá válik.

Nekem az a véleményem, hogy át kellene ezt egyszer gondolni SLA oldalról is. A leírás alapján azért vannak szolgáltatások, ennyi mindent nem tennék kockára egy hatalmas SPOF-fel. Én vagy nem központosítanám az adatokat, vagy normálisabb irányba mennék (a minimum gyártói garanciás hardver, 4 órás támogatással). Vagy legyen mindenből (de legalább a tipikusan nem raktári alkatrészekből) hideg tartalék.

Azok a 300GB-os 10k-s SAS lemezek azért annyira nem pengék, hogy köréjük kellene mindent építeni. Ha összességében olcsóbban kijön egy SATA alapú megoldás, akkor én inkább továbbra is polcra tenném azt a 4db lemezt.

Bizony.
Ezt irtad:

"Nekem az a véleményem, hogy át kellene ezt egyszer gondolni SLA oldalról is. A leírás alapján azért vannak szolgáltatások, ennyi mindent nem tennék kockára egy hatalmas SPOF-fel. Én vagy nem központosítanám az adatokat, vagy normálisabb irányba mennék (a minimum gyártói garanciás hardver, 4 órás támogatással). Vagy legyen mindenből (de legalább a tipikusan nem raktári alkatrészekből) hideg tartalék."

Kozben ujra elolvastam es vegulis a 4 oras tamogatast leszamitva realis:)
Ezt pedig szerintem a helyen kell kezelni. Ha az ugyfel tudja, hogy mit vallal, akkor hadd csinalja. Bar mindenkepp furcsa, hogy a diszkeknel hot-plug kell, de egyeb eszkozben pedig bevallal sokkal nagyobb kockazatot is.

tompos

Az lehet, hogy itt sokan multicéges környezetben szocializálódtak, ahol egy pármilliós kiadást észre sem vesznek. A világon azonban vannak KKV-k, oktatási intézmények, stb. ahol kezetcsókolnak egy 60 ezer forintos RAID vezérlőért a softraid, vagy méginkább a nagy büdös semmi után.

Igen, tisztában van vele mindenki, hogy ez egy bazi nagy SPOF. És nem csak ez, hanem minden, ami nem full redundáns. Nincs a földön olyan ember, aki erre sokkilences rendelkezésre állást garantálna, de nem is ez a cél!

A cél az, hogy legyen valahol az adat, és legyen a körülményekhez képest jól kezelhető helyen. Ezért kell a brand gép, ezért kell a hardveres RAID vezérlő. A hotplug meg azért kell, mert főként diszkhalálra kell készülni, akkor meg nem mindegy, hogy szét kell robbantani az egész kócerájt, vagy csak kihúzok egy fiókot, és betolok egy másikat.

Ha alaplap, táp, stb. megdöglene, túléléshez szükséges cold-spare van, és persze biztonsági mentés is van - de az egy külön történet!

Most mondjam azt, hogy a mentés egy-egy WD Green vinyón van? Már látom, hogy elszabadulnak a kommentek a legújabb huszonnégykazettás-öncserélgetős-SDLT magnókról, meg a Pentagon-kompatibilis adatbiztonsági eszközökről...

Hot-Plug: ha van RAID (nem 0), akkor van mód tervezetten leállni egy vinyó cserére. Ellenben ha elromlik az egyetlen táp, akkor hirtelen sötétség keletkezik.

A hidegtartalék a tárolóhoz is kell, amit még meg sem vettél, de a költségekbe bele kell számolni.

Nem nekem lesz kellemetlen, ha egy táp miatt leáll az egész iskola/kkv/... infrastruktúrája, ami simán érintheti akár 5-10-20-50 ember munkáját (elemezni kell a kockázatokat, melybe az is beletartozik, hogy hány ember mennyi ideig nem tud dolgozni adott esetben).
Hidd el, nem ártó/bántó szándékkal írtam, hogy a főnökkel ezt egyeztetni kell: elsősorban a Te érdeked, mert a Te felelősséged, hogy működjön az informatika (leírásod alapján).
Nagyon sikk mostanában ez a központosított tároló, virtualizáció technológia, de az előnyök és "cool" faktor mellett a hátrányaival és egyéb vonatkozásaival sem árt tisztában lenni.

Egyébként nem gondolom, hogy 24 kazettás magnóra lenne szükségetek, akár 2-3 vinyóval is lehet viszonylag normális mentést produkálni, a lényeg a megvalósítás módja.

> Hot-Plug: ha van RAID (nem 0), akkor van mód tervezetten leállni egy vinyó cserére.
> Ellenben ha elromlik az egyetlen táp, akkor hirtelen sötétség keletkezik.

Ez tökéletesen így van. Ilyenkor fogja az ügyfél levenni a cold-spare, nem-hotplug tápot a polcról, amely kb. harmincezer forintjába került az adott géptípushoz, mert a hotplugot támogató gép felára - a második tápegység nélkül - majdnem 144.000 Ft (65%!) a notplugot nem támogatóhoz képest.

Többféleképpen lehet egy cég fejlesztéseit lebonyolítani. Azt is lehet, hogy túlköltekezünk, esetleg hitelt is veszünk fel, majd szépen becsődölünk, és a felszámoló legalább egy full-redundáns, ötkilences rendszert foglalhat le.

Meg azt is lehet, hogy veszünk valamit, csak létezni tudjunk, aztán ha becsurog egy kis pénz, akkor növeljük a cold, majd pedig a hot spare alkatrészek számát.

Ez a helyzet.

Egy relatíve erős gépbe, ami csak storage funkciókat lát el, biztosan szükség van HW RAID-re? HW RAID-nél, ha nincs megfelelő típusú cold spare HDD, akkor nem biztos hogy meg fogja enni a polcról lekapott / legközelebbi boltból beszerzett HDD-t. Főleg, ha az ügyfél "elfekvő" HDD-it kell használni. Emellett, ahogy más is írta, kellhet cold spare a RAID vezérlőből is.

Emiatt is, én aggódnék SAS-t tenni alacsony költségvetésű helyre. SATA HDD-t bárhol kapsz, SAS-t nem annyira. Persze ha van cold spare, akkor ez talán nem annyira éles.

Félig Off: Nem tudjátok mikorra várható, hogy lejjebb megy ismét a HDD-k ára (konkrétan 1 ill. 2 TB WD RE)? Tudom, hogy árvíz, meg a forint is rossz árfolyamú volt...
Esetleg érdemes külföldön körbenézni? Van olyan környező EUs ország / konkrét cég, ahonnan érdemes lehet rendelni?

Üdv,
Gergely

Hát, manapság az, hogy BBWC HWRAID kell-e, leginkább annak a függvénye, hogy mekkora az esélye egy áramszünetnek, milyen gyakori az írás és milyen fontosak az adatok.

SWRAID[56] esetén függőben lévő írással minden áramszünet/kernelpanic orosz rulett, 2 golyóval. Akkor lenne ez másképp, ha a raid5.c támogatná a barrierst.

Én is dolgozok a magyar valóságban, ismerem a helyzetet.
A jelenlegi állapotból kiindulva én erősen meggondolnám, hogy milyen hardvert is teszek be. Ugyanis, ha tönkremegy a márkás gép(alaplap, raid vezérlő), akkor szívhatod a fogad. Velem is megtörtént - bár már 3 hónappal korábban jeleztem az ügyfélnek, hogy gond van. Ő meg magasról nem foglalkozott vele. Utána meg jött a PTE-hez hasonló helyzet - összeomlás, leállás, mutogatás, anyázás és társai(alaplap hasalt el).
Én a helyedben 2 rendszert építenék - egyik a meglévő SAS lemezeknek, egy pedig tisztán nSAS/SATA lemezekkel. Mindegyik rendszer RAID5/6-tal, hot spare-rel, szünetmentessel együtt. A gépeket "mezei" eszközökből tenném össze + vásárolnék 1-1 tartalékot is(alaplap, ram stb.). A RAID esetében elgondolkodnék egy szoftveres megoldáson, aminél nem kell azon izgulnod, hogy 4-5 év múlba is kapható-e a RAID kártya.
A 2 rendszerrel terheléselosztást is tudnál végezni.
A hot swapet is felejtsd el, semmi értelme. Ha gáz van, akkor nagyrészt úgyis a leállás lesz belőle. Ha mégis elengedhetetlen a hot swap, akkor megfelelő ház+csatoló esetén egy Chieftec házban is megvalósíthatod ezt.

Egyébként az egészhez annyit még, sok cégvezető hiszi azt, hogy ami normál esetben 100 egységnyi pénzösszegből megoldható, az megoldható 30-ból is. Hát nem. El kellene már felejteni az állandó gányolást, bűvészkedést.

"El kellene már felejteni az állandó gányolást, bűvészkedést."

Szeretném én is elfelejteni, de sajnos a munka nagy része abból áll, hogy "oldd meg gyorsan, lehetőleg 0 forintból". Sokszor kénytelen vagy silány dolgokat használni, mert arra kényszerítenek a körülmények, rossz esetben arra utasítanak. Ilyenkor nem lehet mást tenni, mint szépen dokumentálni, hogy XY kérésére $FOO került beépítésre a javasolt $BAR-ral szemben. Fel kell sorolni, hogy ha a javasolt $BAR-ral szemben $FOO kerül felhasználásra, akkor a) és b) és c) várható. Alá kell íratni és a felelősséget el kell hárítani. Tapasztaltam, hogy egy ilyen írás megszületése után hirtelen szokott előkerülni pénz :D

--
trey @ gépház

Szívesen elvégzem a backup-ból való visszaállítást az új eszközre, vagy a rendszer elindítását, ahogy a cserealkatrész rendelkezésre áll. Ja, nincs backup, mert az ügyfél nem szánt pénzt arra "úgyis RAID-ben van, minek?" felkiáltással? Megvonom a vállam és azt mondom, így jártál b+. Korábban le lett írva, hogy mi kell ahhoz, hogy ne járj így.

Nem gondolod, hogy majd én megyek el saját pénzen venni az ügyfélnek hardvert, hogy a rendszere biztonságosan üzemeljen?

--
trey @ gépház

> El kellene már felejteni az állandó gányolást, bűvészkedést.

Van választás. Lehet otthon ülni, nézni a profi storage-ok 1-2-10 milliós vételárát, miközben a cég kasszájában van 500 ezer forint, és sopánkodni órák hosszat, hogy milyen szar a világ. Meg lehet azt mondani, hogy megpróbálunk a rendelkezésre álló keretből csinálni valamit, ami a létező legjobb, ami az adott összegből kijön. És ha van min dolgozni, és termel egy kis hasznot, akkor lehet lépni egyről a kettőre.

Valamiért manapság mindenki hirtelen akarja a maximumot....

Hot plug - csak egy kényelmi funkció - kkv-nél 10-15 perces leállás simán megoldható.
SAS - jó drága, teljesítménye is van - kkv-nél az esetek 90%-ban nem kell ekkora teljesítmény + szívás, ha a merevlemezt cserélni kell.
BBWC hardveres raid - szép, jó, gyors - kkv-nél elég a szoftveres raid is, ami nem feltétlenül lassabb a hardveresnél + szünetmentes így is kell egy normális szervernek + szívás, ha tönkremegy a vezérlő

Akkor a hot plugról, SAS-ról, BBWC raid vezérlőről nem lehet lemondani?
Nem az a baj, hogy csinálni akarsz valamit, hanem az, hogy vannak lépcsők, amelyek között kicsi/nincs átfedés. Márpedig az igények és a pénzösszeg ritkán fedi le egymást itthon. És ez nem neked szól, hanem elsősorban a megrendelőknek.

> Akkor a hot plugról, SAS-ról, BBWC raid vezérlőről nem lehet lemondani?

Mindenről le lehet mondani, lehet "szervert" építeni Acorp dobozból is, Vargáné táppal, és Realtek hálókártyával is.

> Nem az a baj, hogy csinálni akarsz valamit, hanem az, hogy vannak lépcsők, amelyek között
> kicsi/nincs átfedés.

Vannak lépcsők. El lehet indulni desktop PC-vel, "szerverként". Nagyon sokan csinálják. Aztán lehet venni második diszket, a softraidhez. Aztán lehet venni márkásabb gépet. Aztán lehet venni RAID vezérlőt. Aztán lehet venni második tápot a redundanciáért. Aztán lehet venni profi SAN-t. Aztán meg lehet mégegyet, hogy az is redundáns legyen. A plafon meg a csillagos ég.

Ezek mind lépcsők. Aki próbál ügyeskedni, az egyre feljebb jut rajtuk. Aki meg leragad a Codegen-nél, vagy nem tud eltekinteni attól, hogy a storage nem fájbörcsenel, az kérem, felejcsenel. (by Hofi)

trey, szerintem nyugodtan csukd be a topicot, mert úgy fest, a hallgatóság egyáltalán nem érti a helyzetet, innentől csak egymás idejét raboljuk.

Szerintem ne szívd mellre. Akiknek van olyan szerencséjük, hogy csak brand rendszerekkel dolgozhatnak, gyakorlatilag nem kell megküzdeniük minden egyes darab hardverért és olyan ügyfeleik vannak, ahol akad pénz, azok nem érzik át a problémát. Mi dolgozunk olyanoknak is, akiknek a legkisebb beruházása 50 millió, meg olyanoknak is, akiknek "a szerver" egy 1 processzoros, 4 GB RAM-os gép, ami attól szerver, hogy szerver OS-t telepít rá.

Én átérzem a problémádat :D

--
trey @ gépház

A storage, meg annak a dupla táp vagy sem kérdése - egy dolog. A másik, hogy a backup, sőt,a BACKUP hogyan,milyen megbízhatósággal, rendelkezésre állással van megoldva. Ha választani kell, hogy dupla táp legyen-e a szerverben, vagy egy másik gépben annyi plusz tükrözött diszk,amire legalább kettő(!) full backup set elfér, akkor az utóbbira szavazok, bár ezesetben az ups-ből nem szabad engedni.

"létező legjobb": ez nagyon viszonylagos. A Te szempontból jobb, mert építettél egy tárolót és jót tett a szakmai egódnak, vagy a cég szempontjából jobb, ami minimális üzemelési kockázatot szeretne?
Ha belefér az SLA-ba, hogy 2-3-4 napig nem működik az informatika, akkor lehet játszani (bár ez esetben is legyen tartalékban 1-2-300e forint pótalkatrészre), de ez a szolgáltatási szint egyre kevésbé fér bele.

Ha nincs pénz "normális" (= elfogadható SLA-t biztosít stb) megoldásra (ami lehet akár 100e forintos PC-ből is), akkor jobb semmit sem csinálni, mert ha az N darab szóló gépből egy kiesik, N-1 még mindig üzemel. Vagy azt a kis pénzt arra költeni, hogy legyen jó mentés (ha nem lenne), esetleg egy tartalék vasat beszerezni, amin ESXi-n bármelyik másik rendszer elindítható mentésből stb stb.
Azt nem nevezném fejlesztésnek, ami a rendszer egy nagyon fontos jellemzőjét (SLA) rontja esetleg nem kívánt szintre.

Szerintem a maximumokat technológiailag Te hajhászod, csak az a gond, hogy pont a lényeg marad ki (a tároló nem arról szól, hogy iSCSI). De nyilván úgy csinálod, ahogy akarod, nekem nem fog fájni, ha bármi gond támad azzal a rendszerrel, mindössze jót tanácsot próbáltam adni.

Milliók kapcsán: nem a drága megoldás a legjobb, nem is adott gyártói körből kikerülő, hanem az, ami minimális összegből teljesíti a kívánalmakat (SLA, üzemeltethetőség, teljesítmény, ...). A peremfeltételeket pedig nem árt ismerni: mik a határok és kockázatok.
Kínáltunk már olyan megoldást ügyfélnek, ami úgymond sufni jellegű, de az évek során bebizonyosodott, hogy "sznob" megoldásból sincs rá jobb - sőt.