67TB RAID6 tárhely 4U szerverben 1,5 millió forintért

Hardver

Egy érdekes blogbejegyzést tettek közzé a BackBlaze blogján, amelyben leírják, hogy hogyan készítettek saját adattároló megoldást a hasonló kereskedelmi megoldások árának 10-edéből. Kis ízelítő a specifikációból:

  • 45 db 1500 GB-os merevlemez
  • 9 db SATA port többszöröző
  • 4 db SATA vezérlő kártya
  • 1 db Intel alaplap és processzor
  • 4 GB RAM
  • 2 db ATX tápegység

Robbantott nézet a BackBlaze Storage Pod-ról

A teljes blogbejegyzés itt olvasható.

A teljes képhez természetesen hozzátartozik, hogy ez egy backup szolgáltatásra és nem például adatbázisok kiszolgálására tervezett hardver.

( syntern | 2009. 09. 03., cs – 20:35 )

Amazon EC2 EBS: $0.10 per GB-month of provisioned storage
67TB: 6861$ / hónap, ami közel annyi, mint a kiépítés ára.

Nice.

( eax | 2009. 09. 03., cs – 20:39 )

Azert ezt eleg vicces osszehasonlitani pl. egy fas-6000-el.

--
Fontos feladatot soha ne bizz olyan gepre, amit egyedul is fel tudsz emelni!

szóval ezért fogyatkoztak meg a Gigabyte alaplapok a boltokban:) sejtettem, hogy egy nagy hal állhat tömeges felvásárlásaival a jelenség mögött:D
és természetesen az is egyértelmű, miért omlott össze újra a Gmail 2 napja. ilyen dzsunka pc infrastruktúrával, csoda hogy bejön még a google.com:D

Igazából két lehetőség van:
Vagy vesznek "néhány" nagy erőgépet sok pénzért, vagy vesznek ilyen kis dzsunkapcket olcsón, viszont ebből van rengeteg. A google az utóbbit választotta. A világ kb. 50 pontján van többszáz ilyen kis gépük. 5 tönkremegy, elfüstöl, na és? Maradt még 495 db, észre se lehet venni a kiesést. Másnap olcsón kicserélik, és visszarakják, és kész.
--
Discover It - Have a lot of fun!

Nagyon hasonlot epitettunk mar mi is, ugyanugy 4 sata kartya (igaz 8 portosak, sima pci, de olcso fajta, nem 3ware vagy hasonlo), 40 hdd, custom haz, szerver alaplap, 2 tap, 6 venti. Ennel kevesebb penzbol. Igaz ultra nagy ganyolas az egesz :)

Es meglepo modon egyaltalan nem rossz a sebessege, siman ki tudja szolgalni a 2x1gbit forgalmat. Ugyebar sok kicsi sokra megy, vinyonkent van 80-100mb/s es az jo esetben (reszben) osszeadodik.
Ami hianyzik a cuccbol, az a robusztus redundancia, de ha az ember fog 2-3 ilyet es tukrozi egyiket a masikra, akkor is tizedebe kerul mint pl. a HP hasonlo kapacitasu storage megoldasa.

Egyebkent a hazat szepen megdesignoltak, bar ketsegeim vannak a hdd hutesuk hatekonysaga es/vagy hangja felol :)

A'rpi

( bognarattila | 2009. 09. 03., cs – 21:05 )

Érdekes. Azért sok kérdés felmerül hirtelen, amire nem találtam választ: ha minden igaz csak egy ethernet csatoló van (teljesítmény, redundancia), a rendszer miért nem tükrözött vinyón van, illetve miként cserélnek ki egy lemezt, ha az elromlik (pl hány romlik el azáltal, hogy kihúzzák a cuccot a rackből)?

És nem biztos, hogy költség-ügyileg jó rendszerekkel hasonlították össze, pl egy Celerra funkcionalitására a buta tárolási igény miatt nincs is szükség.

Javaslom olvasd végig a blog bejegyzést. 3db RAID6-ot csinálnak per ilyen vas és azt is külön írják, hogy egyéb szinten is redundánsak az adatok ha karbantartani kell. Saját appot fejlesztettek a szerver oldalra is (az hogy esetleg opensource cuccokra épül az most mellékes).

Csak ezzel önmagában az a gond, hogy fájlrendszer inkonzisztencia léphet fel az esélyes fagyás miatt, ami akár összesen 39 vinyónyi adatot érinthet, jobb esetben csak 13 vinyónyit. Másrészt amíg Tim vagy egy társa nem ér oda kicserélni a rendszer vinyót (+ be is kell állítani a csomópontnak megfelelően), addig áll az egység. Ez persze nem feltétlenül gond, ha a rendelkezésre állásuk megengedi, de ha tényleg annyira összetett a rendszerük, akkor azért lehetnek egymásra-hatási problémák.
Első nekifutásra arányaiban nem tűnik túl nagy költségnek tükrözni a rendszert, bár biztos kiszámolták.

Mondjuk az azert igaz, hogy ha ebbol nem egy van, hanem egy nagy rakas, akkor egy okos szoftverrel mar lenyegesen jobb a helyzet.

Mas kerdes, hogy akkor mar a koltseghatekonysag sem lesz ilyen hudejo, mert mindent ketszer-haromszor kell tarolni kulonbozo node-okon.

--
Fontos feladatot soha ne bizz olyan gepre, amit egyedul is fel tudsz emelni!

( NagyZ v | 2009. 09. 04., p – 00:45 )

az egyik Sunos kollega osszefoglalta a belso levlistan kialakult velemenyeket ac0t0d0s0.org -os blogjan.

azert nem egy x4540, viszont ha van belole ket 42U -s racknyi, es szoftverbol csinalod a redundanciat.. :-)

Nem igazán tudok a SUN-os kollégával egyet érteni. Nem egy termék van már a piacon hasonló filozófiával, természetesen más áron (példák két szegmensből is válogatva XIV, Isilon). Igazából még az a hardver RAID 6 sem kell a rendszerbe, egyszerűen egyenként kell a diskeket megcímezni. Minden a szoftveren és a managelhetőségen múlik. Talán amit gagyizni lehetne az tényleg a hűtés.

Természetesen mindennek meg van a helye, egy ilyen commodity hardver + szoftver "storage" még csak bizonyos feltételek esetén váltja ki a hagyományos SAN megoldásokat, és a lantency kívánni valót hagy maga után, de ahol már ekkora storage kell, ott általában a latency már nem szokott igény lenni, inkább az ár a tényező.

:) :)
Bővebben:
"Igazából még az a hardver RAID 6 sem kell a rendszerbe"
Nincs is benne. Linux szoftver raid az egész.

"Minden a szoftveren és a managelhetőségen múlik."
Jelen esetben ez az mdadm. No comment.

"egy ilyen commodity hardver + szoftver "storage" még csak bizonyos feltételek esetén váltja ki a hagyományos SAN megoldásokat"
Egy ilyen valami soha nem váltja ki nemhogy a hagyományos SAN megoldásokat, de még a sima direct attached storage-okat sem. Gyakorlatilag hiányzik belőle minden olyan dolog, aminek megléte alapfeltétel ahoz, hogy egy halom diszket storage-nak hívjanak.

"ahol már ekkora storage kell, ott általában a latency már nem szokott igény lenni, inkább az ár a tényező"
Az ár mindig fontos tényező, de pont, hogy az a speciális és ritka eset, ahol ekkora adatmennyiség esetén nem igény a nagy sávszélesség és a jó válaszidő.

Ez a valami egy igen speciális célra készült, és gyakorlatilag másra nem is jó.

Egy ilyen valami soha nem váltja ki nemhogy a hagyományos SAN megoldásokat,

dehogynem. Nincs meg itt az ideje, hianyzik ez, meg az. Az alapokbol leginkabb egy nvram support :-) (lasd, zfs: ssd based log)
Meg egy nagyjabol egyseges user interface. Meg meg egy rakas apro cucc. Ez a problema nem mas, mint egy ujabb linux disztrib igenye.

Ami a topicot jelenti, az nem mas, mint egy ujabb big-box peecee. Az, hogyegyaltalan piackepes a HW, az pont azt jelenti, hogy a linux alapu san nincs olyan messze. Pl dm_crypt + iet mer unikalis megoldas.

"dehogynem. "

Megnézem azt, amikor több terabájtos OLTP adatbázisokat futtatnak nulla redundanciával ellátott, legolcsóbb diszkekből összerakott cloud-storage-on.
Van amire jó ez is, de arra nem, amire sok SAN (v. NAS) eszközt használnak: nagy sávszélességű, nagy megbízhatóságú, alacsony válaszidejű adattárolásra.

"hianyzik ez, meg az"

Pont ezért nem váltja ki soha a SAN-t. Mert ha belerakják az ezt-azt, akkor már nem ez lesz, hanem egy a jelenleg is működő SAN/NAS megoldások közül. És annyiba is kerülne mint bármilyen más aktuális storage megoldás.

"Az, hogyegyaltalan piackepes a HW"

Egyáltalán nem piacképes, és ezt ők is írják. Ez egy nagyon speciális alkalmazásra van kitalálva, és a köré kifejlesztett szoftveres cloud-storage megoldás nélkül semmire nem jó. Ahoz, hogy piacképes legyen, egy általános célú megoldásnak kéne lennie, ami a lehető legtöbb fajta elvárást ki tudja szolgálni.

"az pont azt jelenti, hogy a linux alapu san nincs olyan messze"

Egy san nem attól san, hogy milyen oprendszer fut rajta.
Miért gondolod, hogy ez a dolog egyáltalán a linuxról szól? Attól eltekintve, hogy valóban az fut rajta, semmi köze a linuxnak a lényeghez: nagyon olcsó low-end alkatrészekből összetákolt egyedi tárolási megoldás.
Arról pedig a kifejlesztők is hallgatnak, hogy mennyibe is kerülne a jószág, ha annak a clud-storage szoftvernek árát is hozzácsapnák, ami nélkül túrót nem ér. (Mert már egy táp elszállása esetén is megy a francba az egész doboz.)

( w4rp v | 2009. 09. 04., p – 07:30 )

Amugy használta már valaki ezt a szolgáltatást?
Az online backup megoldások (és tényleg csak az, nem cloud storage, etc)
közül ez még olcsónak tűnik, tekintve h elvileg korlátlan, havi 5 dollárért.
Kérdés hol a csapda :) Csak Win/Mac kliens van, kipróbálom most Vistán, aztán meglátom.

( Ewkins | 2009. 09. 04., p – 14:55 )

Na majd ha jönnek a 2 TB-os SDXC kártyák, két marék ilyennel és néhány kártyaolvasóval kiváltjuk a BackBlase megoldását három gömb fagyi árából.

( Kayapo | 2009. 09. 04., p – 21:11 )

Az összehasonlításon visítva röhögtem: http://blog.backblaze.com/wp-content/uploads/2009/08/cost-of-a-petabyte…
key features:
redundant power suply: no
redundant nic: no
SAS disk back-end: no
iSCSI disk back-end: no

soroljam még?

4GB RAM jó gyors lehet, Gigabit ethernet ok, mennyi gigabit. AZ alaplap DG43NB :D komolyabb lapom van idehaza ... , prociról nem is beszélve ...
Basszus mekkora átbaszással mekkorát fognak kaszálni, aztán 1-2 év mulva meg mennek a sülyesztőbe és röhögnek a markukba.

----
概略情報

"Basszus mekkora átbaszással mekkorát fognak kaszálni"

Nagyot, de nincs benne átbaszás. A cuccot ugyanis nem árulják: "Please note that because we’re not selling the design or the storage pods themselves, we provide no support nor warranties."

Saját "cloud storage" szolgáltatásukat csinálják vele.

Ez nem átverés, ez egy szolgáltatás.

Ha ők azt garantálják, hogy az adataid biztonságban lesznek, akkor biztonságban lesznek, a többi nem a te problémád.

Ha valakinek pont nagy mennyiségű adat tárolására van szüksége mondjuk backup céllal, arra ez egy ideális szolgáltatás.

Na igen, ezért kérdeztem, hogy van-e valami erre való... Tehát tud is ekkora területet, illetve nagy/sok fájlt kezelni, tehát nem az lesz, hogy hamarabb betelik az inode a fájlok számától, mint a terület, ugyanakkor nem is foglalja el a tárhely 1/3-át, nem lassú a fájlok elérése, nem kell attól félni, hogy egy áramszünet miatt megborul, és puff 67TB adat huss, stb...
--
Discover It - Have a lot of fun!

( vOrOn | 2009. 09. 06., v – 22:19 )

Végigbogarásztam az oldalukat, és rájöttem valamire. Sehol sincs leírva, hogy maga a blackblaze az adatokat ezen a piros rémálom halmazon tárolna.

Ami van:

1. Pár 3D modell.
2. Fényképek, ahol részlegesen látszik vasak behelyezése állványokba, 19" állványok részlegesen telítve

Figyelmesebben megskubizva a képeket:

a. nuku merevlemez a vasakban. Az állványban látható dobozokban legalábbis. Valami fehéres szalagszerűség látszik. Szalag? SATA-nál?
b. nincsenek sínek, hanem ismeretlen okból pirosra festett "sarokvédők". Ez azt jelenti, hogy kiszedni a vasat onnan nagyon macerás lesz. Ilyen helyeken pedig az ilyen művelet gyakori.
c. vasak teljes tetőlezárással bírnak, tehát nemcsak a merevlemezes rész záródik mint pl Thumper estebén (akiknek megoldására gyanúsan hajaz a fijugé).

Ez azt jelenti, hogy a vasat az állványból teljes hosszában ki kel húzni, csak akkor nyitható fel a tető. Mivel síneket nem látni, olcsó anyagokról beszélnek, ezért kész rémálom lesz tologatni egy beszorult dobozt esetleges "drót igazítgatás" okán.

Nézzük tovább az oldalon leírtakat. Sehol sincs leírva, hogy az ügyfeleik adatait ezen az "ízén" tárolnának!

Viszont látható a következő:

Where Your Data is Stored
• 365 Main Datacenter
• Shared with Sun Micro., Cnet, Esurance
• 24x7 Onsite Staff
• Biometric Security
• Diesel & Induction Power Redundancy
• 25 Independent Telecom Providers
• 24” Raised floor with Seismic Pedestals

Hát, khm, khm, ízééé!? Nem nagyon hasonlít egy "csinálj tensmagadnak olcsé" tároló leírására. Főleg a 365 Main Datacenter, Shared with Sun Micro., Cnet rész.

Ebből nekem úgy tünik, hogy ök maguk inkább bérlik a "kapacitásokat" teljesen szokványos adatközpontoktól. Ami Zamerigában tényleg nem drága mulatság.
Okay, vizsgáljunk még, hogy mit is kínálnak ténylegesen a potenciális barátaink. Khm, általuk írt szoftvert. Ami bekappol. Ennyi.
Így az egész "petabajtok takaró alatt önkezűleg CKM nélkül" egyszerű PR eksönnek tűnik Főleg ha az ember megnézi a "rólunk írtak" rovatot, és rájön hogy fontos blézéknek a páblisziti.

Az is tetszett, hogy az összehasonlításra kiválasztott "konkurens" termékek közül a legpengébb összeállítást választottak ki (pl NetApp és EMC), és azt az egy valamit saját tizenöt valamivel hasonlítanak össze, összesítve a kapacitásukat. Normál összehasonlítás az lenne, ha a konkurens termékekből (nem önmagában petabajtos) szintúgy 15 olcsóbb valamit választanának ki, és azzal "versenyeznének".

UER (UBR) adatok sehol. Pedig nem véletlen, hogy egy normális SAS lemez mérete valahogy nem megy 450 GiBi főlé, miközben két tibis SATA már viszonylag simán kapható.
Míg otthoni diszktopon az olvasási hiba kutyát nem érdekli merevlemeztől, max egy hibás pixel videónézés közben, ami esetleg meg sem ismétlődik meg másik újraolvasásnál, addig egy RAID-nél többszörözött olvasási hiba rebuildhoz vezet(het), ami párórás garantált szórakozás és PITA.
--
http://opensolaris.org/os/project/indiana/
http://www.opera.com/browser/