Caringo / CAStor storage - tapasztalat?

Merevlemezek, vezérlők

Sziasztok!

Jartamban-keltemben ezt talaltam:

http://www.caringo.com/products_castor.html

Van valakinek uzemeltetesi tapasztalata? Ha van megosztana? :)

  • 1548 megtekintés

( szekelyk | 2009. 03. 09., h – 10:53 )

Látom nem adod fel. A terméket magát ismerem látásból, én egy másik CAS cuccal dolgozom néha.
Az a meglátásom nagyok ezek ide kis hazánkba, ha van egyátalán archiválandó adat az olyan kevés (100-500GB), hogy ezért külön rendszerbe nem éri meg beruházni. Nem beszélve, hogy a törvényi háttér sincs meg hozzá ami hajtja ezeket amerikában.
Ott van rend, nem stimmel vala, akkor cégnek jó kis pénzbünti, az ügyvezető meg irány a dutyi. Így már érdemes megvenni.
Két A4 papírt tele lehet írni a különböző szabályozókkal, amelyek a gazdaság minden területére kiterjednek.
Annyit azért hozzátennék, hogy ésszel kell ezt összerakni, nehogy valami piszlicsáré hiba miatt ugorjon adat.
El tudom képzelni amint pistike CAS-t épít, Tecsos PC-ből.

Koszonom a valaszt!

Hm, valamit nagyon felreertek en akkor.

Konkretan egy webszerver farm moge gondoltam redundans storage-nak.
Ez 2k euro/node, vagyis 6k euro/3 node (minimum), egy harom tagu Isilon cluster meg 40k font - igaz abban a hardware is benne van, de meg azzal egyutt is lenyegesen dragabb.

Amivel te dolgozol az hasonlo felepitesu? Uzemeleteted is vagy 'csak' hasznalod?

A CAS-t eredetileg archív tárolásra találták ki. A termék amit mondjuk üzemeltetek (bár üzemeltetést na azt pont nem igényel), archív tároló. Saját API-val rendelkezik és a hozzá fejlesztett dobozos vagy saját alkalmazások képesek használni. Meg van hozzá előtétrendszer amivel NFS/CIFS megosztáson keresztül támadható.
Ez egy gyári rendszer hardver és szoftver együtt. (EMC Centera)
Nem a gyorsaságáról híres, mivel archív tároló, 7.2k SATA lemezek vannak a legújabb generációban.
Aki a Caringo-t alapította, ő fejlesztette a másikat is (előtte FilePool-nak hívták), és több szabadalommal bír a CAS témában.

A Caringo is eredetileg erre kínálta, most néztem meg, hogy már mindefélére jó. Érdekes.

Ismet koszonom!

A sebessegen eppen lehet tunningolni proxy-kkal, plane az en esetemben ahol 1-1 filenak rovid az 'elete'.

Elobb irtad, hogy 'esszel kell osszerakni'. Mondanal par konkretumot, hogy szerint mik lehetnek 'tipikus' hibak?

Egyebkent arra keresek egyebkent korrekt megoldast, hogy statikus fajlokat szolgaljak ki http-n egyszerre tobb 'gateway'-en at. Ezeket talaltam eddig:
- valami shared storage 2 controller-rel (pl iSCSI) + valamilyen cluster fs + cluster (maceras a cluster, a shared storage sem bovitheto a vegtelensegig)
- valami szep draga doboz amiben van 2 controller es tud mondjuk NFS-t (draga es ismet csak nem bovietheto a vegtelensegig)
- valamilyen sw-only megolas, mint pl az isilon vagy a castor

Na most ezek kozul a castor messze ver mindent ar/ertek aranyban, ezert valahogy nekem 'buzilik', keresm mi is a hatuluto benne. A sebesseg lehet az egyik ilyen, de ez esetemben annyira nem nagy gond.

Szerk: HA felallas 'termeszetesen', tehat egy PC mint NFS szerver pl nem nyero. Ja es egyszerre tobb noderol is irni kell.

A másik eszköz gyárban készül. Redundáns felépítésű. Normál esetben minden adatot kétszer tárol, két eltérő gép, eltérő merevlemezén. Minden gépben van három 1Gbps Ethernet port, ebből kettővel csatlakozik a redundáns belső LAN hálózatokra (ez két switchet jelent a rack szekrényben). Külső kapcsolata nem minden gépnek van, ez a funkciójáról, függ, hogy tárolásra használod, vagy kommunikációra is. A diszkeken az oprendszer raid1 (sw) védelemmel van ellátva, mind a négy lemezre tükrözve. Az adatterület nincs tükrözve, csak a gépek között. Na és minden hdd-n több partíción tárol adatot, hogy egyenként ne legyenek túl nagyok a partíciók. Az elektromos ellátás redundáns, minden gép két független betáplálással rendelkezik.
Ha kiesik egy hdd, vagy egy komplett gép akkor a rajta lévő adatokat a még elérhető másolatból helyreállítja másik helyre. Ha csak időlegesen esett ki és visszakapcsolod a gépet, akkor a 3. példányokat eltünteti.

Koszonom.

A CAStor is ahogy nezgetem hasonlokat tud, azzal a kulonbseggel, hogy az OS usb-n van, nem hdd-n. Redundans LAN es betap nyilvan adott.

Osszesegeben akkor ahogy 'kihallom' az irasodbol te elegedett vagy azzal a rendszerrel, amit ez a bacsi korabban csinalt, ebbol kiindulva ez az uj sem lehet annyira rossz.

Koszonom megegyszer.

( NagyZ v | 2009. 03. 10., k – 11:12 )

jol ertem, hogy Te valami CDN ala akarod hasznalni a vasat?

csak hwrol, vagy szoftverrol is beszelunk? (nem ismerem a $subjectbeli termeket)

Ez a termek konkretan sw-only.

Amit szeretnek az tobb http gateway-en at fel/le tolteni statikus tartalmat "single point of failure" nelkul. Van egy app amibe az felhasznalok feltolthetnek kepeket vagy egyeb kisebb fileokat (max 10M / file) es utana elerhetonek kell lennie a feltotott adatnak. Mondjuk olyan, mint barmelyik kepmegoszto site (nem az). Trivialis megoldas egy valami HA (dual controller) NFS doboz, ezek azonban eleg dragak, ezert nezelodok milyen egyeb megoldask vannak.

A CDN ahogy nezem kulonbozo foldrajzi helyeket feltetelez (~akamai), nalam ez nem feltetel, egy rack-ben van minden. Nyilvan backup / replikacio szukseges. Szinten ugy nezem a CDN az inkabb cache-t jelenet, nekem viszont tarolnom kell a fileokat. Ezen rendeszer ele lehetne CDN-t rakni leginkabb, ha jol erdem mit is akar a CDN jelenteni.

Kulonlegessege ennek a konkret rendszernek, hogy kis fajlok vannak, 1-1 file elete rovid, par napig aktiv utana gyakorlatilag arhivnak tekintheto. Forgalom nem valoszinu, hogy ezen a rendszeren 100Mbit fole menne, ha oda eler akkor ugyis ujra kell tervezni az egesz rendszert. Az igazan fontos dolog a folyamatos rendelkezesre allas, nem kell tul 'bika' rendszer osszesegeben.

hw ugyben en nem vennek keszet. most komolyan. osszeraknak normalis brand alkatreszbol (a redundans tap miatt, foleg; mondjuk intel building blocks) vmi szervert, sata vinyokkal, akar raid6 (60, ha kell a teljesitmeny, bar 100mbitet rohogve kiszolgal barmi), opensolaris/solaris 10 (me'g supportot is lehet venni hozza), es iSCSI.

ezt nem azert mondom, mert a Sun fele huz a kezem:) a nagy 7xxx -es storagekben is _ugyanez_ van belul (opensolaris, zfs, iscsi).

a redundanciaba kell belegondolni; ugye a power adott, az nem gond. SPOF nelkul kene akkor a storage, ezt meglehet oldalni multipathinggal, fizikailag szeparalt halon (ha jol ertem, ugyanez kell a $subjectbeni cucchoz is, kollega elobb emlitett valami ket switchet :)).

igy legalabb a vasat letudtad, olcsoert. (relativ)

aztan a szoftver mas kerdes. mi hobbibol fejlesztunk CDNt (openszossza akarjuk majd tenni, java.. :)), de az feltoltest nem tud, "csak" ha mar ott van az adat, akkor le lehet vele beszelni, hogy o most szorja szet. nalunk 4 gepre van minden mirrorozva, RR elosztas kozottuk.

amit irtla, 40k font, nagyonnagyon sok. nem erne meg lefejlesztetni inkabb gyorsban? SZVSZ igazabol a mostani technologiai stackek mellett ezt ossze lehet profi modon rakni max 2-3 het alatt (ha van tobb embered, akkor kevesebb). szerintem:)

iSCSI-hez ha tobb helyrol akarod irni cluster filesystem kell, ZFS meg nem az tudtommal. Vagy ZFS tud mulit-master replikaciot?

Sun openstorage dobozokbol a legdragabbnal van emlitve HA, a kisebbeknel egy kontroller es ZFS van ha jol neztem, ami az en fejemben nem all ossze SPOF nelkuli rendszerre.

Szerk: Van solaris alapon Nexentra vagy hogy hivjak, annak van HA failover modulja, de akkor mar inkabb egy teljesen szimetrikus rendszert preferalnek (CAStor) mint egy failover megoldast.

Szerk2: Jol latom, hogy a kisebb sun openstorage boxok gyakorlatilag egy brand PC egy szep webes adminnal? Nem latom a HA elvi lehetoseget sem, valoszinuleg valamit nagyon elnezek.

Storage téren esetleg az AoE (ATA over Ethernet) storage-ra gondoltál? http://www.coraid.com, ha nagyon költséghatékony akarsz lenni, te magad veheted bele a diszkeket, és Etherneten megy. Linux, Solaris driver biztos van hozzá.
Az EMC dobozai Clariion redundánsak, két vezérlő van bennük, lehet tiszta SATA kiépítésűt is venni. Egy klaszter filerendszer meg keríteni kell vhonnan.

en megfeledkeztem arrol, hogy tobb helyrol akarod irni egyszerre. hm. ennek csak az a celja, hogy tobb helyrol toltenek fel, es azt akarod lekezelni?

szerintem szoftveresen szet lehet dobni a terhelest N feltoltest vegzo gep kozott, aztan meg az osszes gepen ugyanaz a tartalom/csoportokra osztva/etc. nalunk most olyan van, hogy vannak gepek, amik a fajlkiszolgalast vegzik, ezek csoportokba osztva, egy csoporton belul pedig ugyanaz a tartalom, minden gepen.

esetleg lutre? object store alatt mar lehet iscsi+zfs. :)

ha jon uj tartalom, akkor jelenleg egy kozponti geprol* replikaljak a dolgokat, a dev verzio tud delayed szetszorast is, es tervbe van veve az egymastol valo replikalas is (igy tehermentesitve a kozponti gepet*)

*: akarhany kozponti gep lehet, terhelestol fuggoen. csak adott pillanatban a kliens eggyel kommunikal. JMXen keresztul monitorozodnak a dolgok, JMSen meg megy az uzenetkuldes, alapvetoen event-driven az egesz, nem polloz.

szer2: szoval akarhany management node, akarhany kliens node, grouponkent ugyanaz tartalom, egy gep akarhany groupba lehet; lowcost CDN. :)

szer3: meg aztis le lehet kerdezni, hogy melyik nodenak legkisebb a loadja (tetszoleges metrikaban)

Na akkor a harom betus roviditesek nelkul :)

- program feltolti egy kozponti gepre a az uj filet
- program kap egy OK-t, program orul, a file egy peldanyban letezik a kozponti gepen
- a kozponti gep general egy uzenetet, hogy 'masoljatok sracok'
- a csoport tobbi gepe megkapja az uzenetet es masol - innentol van tobb peldanyban meg a file
- olvasasra tetszoleges node hasznalhato

Kozponti gep 1 van / group? Mi tortenik ha az elveszik? Mi tortenik ha elobb jon olvasas keres egy slave gepre mielott befejezodott volna a masolasi folyamat? Mi alapjan vannak groupok? Lehet hozzaadni ujat? Egy adott group bovitheto? Mi tortenik ha egy kozponti gep elhal akkor amikor 1 peldany van csak a filebol? Van szinkronizalas a gepek kozt?

Igy atgondolva vegulis ha a program fele az OK a masolas vegen megy akkor eppen kikuszobolheto az, hogy csak 1 peldany legyen a fileokbol, az varazsalat a kozponti szerep vandorlasa inkabb, arra gondolom kell valami token (cluster?), akkor meg mar kb ugyanaz mint amim most van.

Rosszul latom?

az egesz mogott van egy messaging rendszer, ami alapbol HA (OpenMQ), ezert tudnak a kozponti szerepek vandorolni (meg persze sw varazslat is van)

jol latod a sorrendet amugy, igy zajlik most a dolog.

kozponti gep akarhany lehet, es mindegyik gep tudja az egesz konfigot, tehat h mi hol milyen group, etc. hiszen ok mondjak meg egy uzenetben, hogy akkor most x,y,z,a,b,c nodeok szedjek le azt, hogy.. :)

olvasas keres nem megy elobb, mert a jelenlegi architecturaban azt, hogy honnan olvass, egy webszerviz adja vissza - ami figyelembe veszi h melyik kliensektol kapott nyugtat. ha nincs olyan kliens, aki adott mar nyugtat, de valaki kliens megis le akarja kerni, akkor kiszolgalja o maga.

persze, a groupok konfigolhatoak, realtime lehet ideoda rakosgatni oket. a gepek kozott nincs jelenleg, de megoldhato ez is konnyen, hogy ne a kozponti geprol szedjek, hanem a legkisebb terhelesu olyan noderol, ahol mar megvan.

na, majd ha lement a mostani nagy hajtas, akkor megprobalom ravenni a fonokseget, h adjak irasban is, h kirakhatom publicba a kodot. igazabol nem nagy fejlesztes (komolyan mondom, a mostani technologiai szint csodakra kepes), viszont tokjo :)

( miloska | 2009. 03. 10., k – 15:54 )

Kozben felvettem a kapcsolatot az europai reszlegukkel, ajanljak - es hasznaljak is - elo weblapokhoz backendnek, nem csak arhivalasi celra.

Allithato hagy masolat legyen egy-egy filebol, ami nekem nagyon szimpatikus (max 16).

Osszesegeben nekem szimpatikusak, eddig szerintem a legjobb alternativa az "olcso" shared storage (iSCSI, AoE) + cluster FS -re.

Erdekes lenne osszehasonlitani egyeb sw-only megoldasokkal, mint pl drbd vagy glusterfs...na majd ha nagyon sok idom lesz :)

( miloska | 2009. 10. 06., k – 18:18 )

Most nezem, hogy letoltheto egy max 4T-ig hasznalhato ingyenes verzio (regisztracio utan).

Akit erdekel remek alkalom kiprobalasra.

http://www.caringo.com/