SAN Refurbished brand eszközökből

Hálózati eszközök

Jól skálázható, nagy kapacitású, redundáns adattároló megoldást szeretnék viszonylag költséghatékony módon.

Miután Ceph-el, FreeNAS-al és hasonló épített, faragott megoldásokkal voltak negatív tapasztalataim, illetve látok bennük bizonyos rizikófaktort (commodity hardware-eken!), úgy gondoltam, hogy a - szerverek terén már jól bevált - felújított enterprise megoldások felé mozdulnék.
Nagy valószínűséggel van választottam is (Equallogic PS6xxx család), de ezért szeretném kikérni az itt fellelhető nem kevés SAN guru véleményét:
- kockázatokról
- alternatívákról
- tanácsokról

Amit elvárnék:
- iSCSI - FC-nél olcsóbb, részben meglevő hálózati infrastruktúra
- redundáns HW (de ez ebben a kategóriában alap)
- a teljes rendszerre (group-ra) egyben kezelhető, bővíthető tárkapacitás
- szinkron replikáció, failover (site-on belül, doboz(csoport)ok között)
- offsite replikáció
- commodity SATA disk-ek kezelése, lehetőleg 2+ TB méretben is
- használt piacon jól beszerezhető (bőven elérhető, jó áron)
- a fentieket extra licencek nélkül tudja (mielőtt belefutnék, hogy tudNÁ, de adott használt eszközön épp nincs licencelve)

Kérdéseim/kételyeim:
- mennyire rizikós ilyen eszközöket/rendszereket gyári támogatás nélkül "házilag" üzemeltetni? (én erősen bízom benne, hogy ezeknél az esetleg elpukkanó, de hidegtartalékból cserélhető alkatrészeken kívül nagyobb problémám nem lesz)
- mik a tapasztalatok az említett Equallogic-al? (valóban tudja-e a fentieket, vagy valamit elnéztem?)
- milyen márkák/típusok lehetnek reális alternatívák? (hasonlóan 4-6 éves, "előző generációs", hasonló árfekvésű, de az elvárt szolgáltatásokat maradéktalanul teljesítő)

A kezdeti terv 2 disk doboz/tömb szinkron replikációval, amit később majd - remélem - új eszközzel is tudok bővíteni, de jelenleg az egész projektre nem költhetem el egyetlen új doboz árát :/
(tudom, erre majd fújnak sokan, hogy sz@rból várat, de sajnos a költségvetés ennyit enged, én viszont ebből jobbnak látom errefelé menni, mint pl. Supermicro/bármimás szerverekből FOSS alapokon építkezni)

Terhelésről (mert úgyis felmerül kérdésként): 2-3 node lesz ráakasztva, jelenleg Ubuntu + KVM, később majd esetleg Proxmox fut rajtuk, össz. 20-30 VM, melyek max. 1/3-a produkál jelentősebb I/O-t, leginkább 1 mail- és 1 fileserver, amik mögé a jelentős és dinamikusan növelhető tárterület a lényegesebb. Tehát SSD-ben, tiering-ben egyelőre nem gondolkozom.

  • 2315 megtekintés

( bognarattila | 2016. 01. 07., cs – 15:23 )

Az egészet ez jó eséllyel meg fogja borítani: "commodity SATA disk-ek kezelése, lehetőleg 2+ TB méretben is". Én nem tudok olyan "márkás" tárolóról, ami ezt befogadná.

A SATA diszk önmagában öngólnak tűnik 20-30 VM alá: jó eséllyel sokkal több lesz a tárterületed, mint amire szükséged van (IO).

Gyári támogatás nélkül üzemeltetni: megbízhatóság szempontjából a használt és új között jó eséllyel nincs különbség. Azaz mi történik, ha egy új megadja magát? Rábízod az üzletmenetet a gyártó SLA-jára vagy van egy B terved? Kb ugyanez van itt is, akkor különbséggel, hogy az SLA jó eséllyel jelentősen nagyobb (vezérlőt is tartasz hideg cserére?).

Márkák: én ott kezdeném, hogy a követelményeket pontosítanám (úgy érzem, nem üzleti igény felől közelíted a műszaki megvalósítást), főleg lemezek, rendelkezésre állás vonatkozásában.
Illetve használt esetén nem azt veszel, amit szeretnél, hanem amit kapsz. Persze valamennyi mozgástér van, de valami kiindulás kell, például lemezek és funkciók vonatkozásában. Utána kiderül, hogy milyen márkák/típusok között tudsz válogatni (ne a márka preferencia határozza meg, az üzlet végül mit kap).

Ha azért szeretnél szinkron replikációt, hogy tárolók között is legyen redundanciád, akkor valószínűleg jobban jársz egy új tárolóval. Főleg, ha telephelyen kívül is megoldod a kritikus szolgáltatásokat.

"Én nem tudok olyan "márkás" tárolóról, ami ezt befogadná." - A commodity-t, a SATA-t, vagy a 2+TB-t?
Mert az említett típus után már hónapok óta olvasgatok, az több fórum szerint eszi a commodity disk-et (egy helyen még konkrétan egy DELL supportos is megerősítette, csak nem javasolta), illetve árulják 3TB-s NL-SAS-al, így mondjuk, hogy 95%-ra bízom benne, hogy 3TB SATA-val is menne (ha 4TB-al nem is). De természetesen örülnék neki, ha ezt a gyakorlatban is kipróbálhatnám.

"A SATA diszk önmagában öngólnak tűnik" - Azon még gondolkozom, hogy az "elsődleges" doboz SAS és csak a "másodlagos" SATA, de a szinkron replikáció miatt ez ugyanúgy SATA szintre fogná a teljesítményt - szerintem. Bár, attól nem félek, hogy a jelenlegi felállásnál (Taiwan PC, SATA, FreeNAS) gyengébb teljesítményt kapnék - márpedig ez teljesítményben kielégítő.

Gyári támogatással (hiányával) kapcsolatban megnyugtattál, köszi! (én is kb. így gondoltam). Hideg tartalék: terv szerint konkrétan 3 egyforma dobozt vennék, 1-et alkatrésznek (2 vezérlő, 2 táp) - még így is jelentősen olcsóbb, mint egyetlen új.

Az "üzleti igényeket" próbáltam átfordítani műszaki követelményekre. Azt már egy korábbi fórumban (http://hup.hu/node/121999) szépen levezették, hogy itt nem annyira márka alapján dől el, de ahogy írod: használt piacon azt veszek, amit kapok - így a lehetőségeim szerint néztem ki az adott típust, ami a használt választék kompromisszumával _nekem_ jónak tűnik - viszont ahhoz sajnos nincs tapasztalatom, hogy 5-6 másik hasonlóval összehasonlítsam, de itt talán többeknek van.

"Ha azért szeretnél szinkron replikációt, hogy tárolók között is legyen redundanciád, akkor valószínűleg jobban jársz egy új tárolóval. Főleg, ha telephelyen kívül is megoldod a kritikus szolgáltatásokat."
Igen, tárolók közti redundancia lenne a cél. Tulajdonképpen egyfajta DR, de csak telephelyen belül. Itt miben jobb egy új tároló? Egymagában is biztonságosabb, vagy abból is 2, de az újabbak már tutira tudják?

----------------------------------^v--------------------------------------
"Probléma esetén nyomják meg a piros gombot és nyugodjanak békében!"

Bevallom, konkrét IOPS számolgatásokba nem mentem bele, de miután teljesítmény szinten kielégítő a jelenlegi rendszer is (10db kommersz disk alaplapi SATA-n sw raid-ben, 2 host x 2x1GbE-n a külvilág felé), így emiatt aggódom a legkevésbé.
A resync-el sajnos nincs mit kezdeni - annyi amennyi - raid6 alatt a maradék disk-ek jó eséllyel túlélik, de emiatt a GB-onkénti költséget nem engedhetem az egekbe :/

----------------------------------^v--------------------------------------
"Probléma esetén nyomják meg a piros gombot és nyugodjanak békében!"

Mondjuk a RAID6-tal a teljesítményt szépen agyon lehet csapni, bár nekem volt olyan, hogy drbd-ben az elsődleges gépben raid10, a túloldalon meg raid6 (mindkettőt normális kontroller csinálta, nem szoftos bohóckodás).
Az IOPS igényt azért gondold át, ahogy azt is, hogy átfér-e a dróton, és milyen késleltetéssel(!), mert ha beállsz egy megoldásba, akkor drága dolog váltani.
A 10 darab diszk _egy_ dobozban van, nincs replikáció két másik vasra... Szóval ebből ne vonj le messzemenő következtetéseket - ha valami most még "elég", lehet, hogy picivel nagyobb terhelésen telítésbe megy, és masszívan visszaesik a kivehető nettó teljesítmény.

Én nagy rizikónak érzem azt, hogy megveszed a dobozt, aztán vagy működik bármilyen lemezzel, vagy nem.

Hideg tartalék, 3 doboz, ...: annyiba kerül, mint egy új, és akkor 3 évig kvázi nyugtod van (és az elején is, mert minden sokkal egyszerűbb).

SAS elsődleges, SATA másodlagos: igen, a másodlagos vissza fogja fogni.

Üzleti követelmények: SLA? RTO? RPO? Növekmény? Milyen lesz a mentési rendszer? DR? Sávszélesség?...

"Én nagy rizikónak érzem azt, hogy megveszed a dobozt, aztán vagy működik bármilyen lemezzel, vagy nem." - Ezt én is, ezért örülnék olyanok tapasztalatának, akiknek több ilyen rendszer ment már át a kezükön, így volt lehetőségük próbálkozni ilyesmivel. De, ha minden kötél szakad, szerencsére valószínüleg magam is ki tudom próbálni, mielőtt megvenném.

"3 doboz, ...: annyiba kerül, mint egy új" - 3 doboz, abból 2 telepakolva új, commodity disk-ekkel még mindig bőven alatta van egyetlen újnak fele ennyi kapacitással :/

Üzleti követelmény: SLA-ban 99%/év elég, RTO 4 óra, viszont az RPO bizonyos adatokra 0, emiatt - legalább ezekre az adatokra - elengedhetetlen a sync. repl. DR site-ra. Sávszél - terv szerint, egyelőre - 4x1GbE multipath a rendszer minden elemére.

----------------------------------^v--------------------------------------
"Probléma esetén nyomják meg a piros gombot és nyugodjanak békében!"

Én még sose próbáltam "márkás" tárolóba más lemezt tenni. Az, hogy jó vagy sem csak "hosszú" idő után derül ki. Esetleg pont akkor derül ki, hogy nem jó, mikor kap egy nagyobb terhelést. Vagy valami rosszabb módon. Nem volt szituáció, hogy ezt felmertem volna vállalni, vagy bárkit erre tudtam volna bátorítani.

Nem tudom, milyen áraid és tárkövetelményeid vannak, de használt tároló sem olcsó lemez nélkül. És a macerát + kockázatot is számolni kell.

Korábban még aszinkron replikációt írtál DR oldalra (ennek a sávszélességére gondoltam egyébként). Mindenkinél nulla az RPO addig, amíg nem tudja meg, mennyibe kerül egy geo katasztrófát (minimális esély) nulla RPO-val megvalósítani. Az legalább dicséretes, hogy az SLA nem 100%, bár lehet, hogy az 1% a vasárnap estékre megengedett leállás :-)

Ha ennyire szűkös a költségvetés, én csak szervereket vennék: vagy valami elosztott tármegoldással (szoftver), vagy simán replikálni közöttük a VM-eket aszinkron módon. +1 tartalék szerver, amibe másik lemezét be lehet tenni, és akkor RPO=0 telephelyen belül. Az RTO pedig rajtad múlik. Rosszabb esetben aszinkron replikát indítasz, vagy a nagyon kritikus adatok replikációját alkalmazás szinten valósítod meg. Vagy mindent alkalmazás szinten replikálsz. Nem tudom, KVM esetén mik a lehetőségek (VMware-rel is van ingyenes megoldás/lehetőség).

Ezzel a használt tároló felállással az is benne van a pakliban, hogy 1 év után kiderül: feleslegesen elköltött pénz és macera volt. Használtat szerintem csak akkor érdemes venni, ha 1-et veszel, ismered a megoldásod szűk keresztmetszeteit, netán van egy B) terved, ha olyan hiba lenne vele, amit nem tudsz megoldani.

És akkor ott van még az 1Gb iSCSI kérdés is: nehéz látatlanban megmondani elég vagy sem, ez a ~30 VM határesetnek tűnik. Kicsit nő a cég, és akkor lehet kvázi elölről kezdeni. (tapasztalat szerint az 1Gb iSCSI is sok mindent ki tud szolgálni, de 30 VM azért terhel, mérés nélkül mindenképpen kockázatos)

( AiRLAC v | 2016. 01. 07., cs – 15:51 )

Röviden: rossz ötlet. Hosszabban: nagyon rossz ötlet. Bár te tudod mennyire alszol nyugodtan ;)

( NagyZ v | 2016. 01. 07., cs – 18:51 )

a cephet gondold at szerintem megegyszer. :)

( andrej_ v | 2016. 01. 07., cs – 20:11 )

Ez a refurbished sokszor annyit jelent, hogy picit tesztelték és hát működött, de nagyon szépen hangzik. :) A másik dolog, hogy a brand storage-eknél ezt a "commodity disk" ügyet rögtön dobhatod is, nemhogy a raid edition vagy enterprise kivitelű diszkekhez szoktak ragaszkodni, de egyenesen azonos gyártójúhoz és azon belül is ahhoz ahhoz való partnumbereshez. Az sokszor előfordul, hogy egyszerű diszkek elindulnak benne, meg összeáll vele a dolog, de menetközben mindenféle problémába lehet futni. Ezek általában arra vezethetőek vissza, hogy valamire számít a diszk vagy a doboz firmware szinten és nem az történik.

( seferbt v | 2016. 01. 07., cs – 21:36 )

Nagyon rossz ötlet még bővebben:
Nem ismerem az eszközt, amit írtál. Google-ban találtam név alapján valamit. Az valami 16 diszkes cucc. Virtualizációban 2 dologból biztos, hogy soha nincs elég: RAM-ból és IOPS-ból.
Egy SATA diszk jó esetben tud kb. 90 IOPS-ot. Ebből lesz neked 16(?), tehát ELMÉLETILEG (ha szerencséd van és a "noname" diszk egyáltalán elindul és működik problémamentesen a DELL dobozban), akkor lesz maximum 1440 IOPS-od. De ez csak elméleti maximum. Ennyi soha nem lesz.
Erre ráteszel 30 VM-et. És ezt megfejeled egy szinkron replikációval, majd dobsz rá még egy replikációt (szinkron/aszinkron?) távolra is, biztos-ami-tuti alapon. Mindezt 4x1Gbit-en.
Nem tudom, hogy ezek után mi jön ki ebből a dobozból, de szerintem nem lesz sok. a 2TB+ diszk meg kész öntökön-szúrás. elpukkan egy diszked, ilyen terhelés mellett szerinted mennyi idő míg beszinkronizál a cseredarab? órákban vagy napokban lesz mérhető? Érdemes megnézni egy online IOPS kalkulátort, csak mihez tartás végett.
Mennyire kockázatos support nélkül üzemeltetni egy ilyen megoldást? Ha nem félsz, hogy kiherélnek az ügyfeleid, egy storage összeborulás esetén, akkor semennyire. :) Olyan az egész, mint egy orosz rulett. Még az is lehet, hogy bejön és nyertél. De ha nem, akkor nem lennék a helyedben.

( szekelyk | 2016. 01. 07., cs – 21:54 )

Szerintem ilyet csak akkor tégy ha, jól ismered a tárolót és tudod/biztos vagy benne, hogy amit elképzeltél az menni fog.
Tény HW szinten működtethető egy ilyen rendszer, amíg van cserealkatrész, de csak akkor ha semmi újat nem akarsz rákötni, új szolgáltatást bevezetni. Mert a szoftverből nem lesz új verzió új szolgáltatásokkal és hibajavításokkal, tehát ha ott belefutsz valamibe akkor az nagy szívás.
Valamint legyél biztos benne, hogy a beszerzett HW alkatrészek csereszabatosak,lehet azokból is több revízió amik adott esetben nem cserélhetők fel.
Lehet az a RAID újraépítés akár hetekben is mérhető rossz esetben. Amúgy az Enterpise SATA, NL-SAS diszkek is tudnak pusztulni, de a consumer változattal lesz igazán "izgalmas" a buli. RAID6 alá én nem mennék a védelemmel ha már.
A 90IOPS meglétével vitatkoznék mert az éppen meglesz, talán kicsit több is, de édeskévés 30vm-hez. Amit az ilyen 7,2k nagy kapacitású diszkek nem bírnak az a random IOPS, itt meg abból lesz bőven.
Szvsz. a jövő az SDS (software defined storage), szóval nézz körül ezen a téren.
Ceph, ScaleIO, VSAN,...
Szerver úgyis lesz, legyen megfelelő interconnect 10G, a szoftver, diszk és SSD, többet érsz vele.

"Szerintem ilyet csak akkor tégy ha, jól ismered a tárolót és tudod/biztos vagy benne, hogy amit elképzeltél az menni fog." - épp ezért próbálom minden szálon gyűjteni az információt. Tudom, hogy itt vannak olyanok, akiknek akár a konkrét típusból is több ment át a kezük alatt, vagy akár pihen is a sarokban, mégis a legtöbbektől inkább csak a "Hülye vagy, ez így nem fog menni" jön :/

Új szolgáltatásokkal nem tervezek, azt is igyekszem pontosan definiálni, hogy mit kell tudnia, mit nem. Cserealkatrészről gondoskodom, ezzel tisztában vagyok, hogy ilyen téren magamra vagyok utalva. És, természetesen nem örökre és nem atomerőműbe szánom ezt a megoldást.

----------------------------------^v--------------------------------------
"Probléma esetén nyomják meg a piros gombot és nyugodjanak békében!"

Igen, ezek megbízható, jó cuccok (nekem r710-el van több tapasztalatom), ezért is nézelődtem storage fronton is első sorban Dell felé.
Ez is egy lehetséges megoldás lehet, hogy ilyenekből építeni SDS/VSAN-t, de HW-es megoldások "agyban" is redundáns felépítése valahogy bíztatóbb.

----------------------------------^v--------------------------------------
"Probléma esetén nyomják meg a piros gombot és nyugodjanak békében!"

( _ventura_ v | 2016. 01. 08., p – 10:25 )

Ha már storage/server nekem a SUN/Oracle X4540 a masina. 48db disk + ZFS uberel mindent.

Fedora 22, Thinkpad x220