A Sun megnyitotta a SAM/QFS kódját

Sun Microsystems

A SAM-QFS terméket eredetileg az LSC Inc. fejlesztette, majd tőle 2001-ben a Sun Microsystems megvásárolta. A QFS - teljes nevén Quick File System - szorosan integrált a SAM-mal - a Storage and Archive Manager-rel -, ebből kifolyólag gyakran említik őket együtt SAM-QFS-ként. A SAM egy hierarchikus adattárolás kezelést megvalósító szoftvertermék.
A hierarchikus adattárolás kezelés - Hierarchical Storage Management (HSM) - egy adattárolási technológia, amelynek során a HSM rendszer automatikusan mozgatja az adatokat a drága és az olcsó adattároló eszközök közt. A HSM rendszerek azért jöttek létre, mert a nagysebességű adattároló eszközök - például a merevlemezes meghajtókból szervezett tömbök - sokkal drágábban tárolják az adatokat, mint a lassabb adattárolási formák, például az optikai meghajtók, mágnesszalagos meghajtók. Noha az lenne az ideális állapot, ha minden adat gyors adattároló eszközökön lenne elérhető, ezt anyagi szempontok miatt nem minden vállalat engedheti meg magának. Itt jönnek képbe a HSM rendszerek, amelyek a vállalati adatok legnagyobb részét valamilyen relatív lassú és olcsó médián tárolják, majd szükség esetén a nagysebességű, ám drága és ebből kifolyólag értékes lemezekre másolják.

A HSM rendszer folyamatosan monitorozza az adatfelhasználás módját, majd megpróbálja megjósolni, hogy melyik adat mozgatható ki a lassú és olcsó médiára és melyik az, amelynek a gyorsabb eszközökök kell maradnia.

Maga a QFS támogat néhány kötetkezelési képességet, lehetővé téve több diszk egy filerendszer alá szervezését. A filerendszer metaadatai teljesítmény szempontból előnyös módon külön diszkcsoportra helyezhetők. A QFS-t SAM-mal kiegészítve megvalósíthatjuk a fent leírt hierarchikus - más néven tiered - adattárolást. A SAM-QFS filetárolásnál a rendszer egy relatív kis (gigabyte, terabyte) méretű, gyors merevlemezekből álló "gyorsítótárral" rendelkezik, amely mögött egy nagyméretű (akár petabyte-os vagy nagyobb), lassú, pl. szalagos archiválóegység üzemel. A file-ok - ha szükség van rájuk - transzparens módon másolódnak a lassú adattároló eszközről a gyors lemezre, majd vissza, ha előreláthatólag adott időn belül nem lesz rájuk szükség.

A Sun Microsystems most CDDL licenc alá helyezte a SAM-QFS forráskódját. A kódot az OpenSolaris közösség vette gondozásába. Megtalálható az OpenSolaris.org SAMQFS Project oldalán. A forráskód itt érhető el.

Referenciák:
QFS @ Wikipedia
Hierarchical Storage Management @ Wikipedia
QFS dokumentáció a docs.sun.com-on
Ben Rockwood blogbejegyzése

( wELDER v | 2008. 03. 18., k – 13:53 )

Működik ez kicsiben?
Párszáz giga hdd + kézzel cserélgetett blueray?
Vagy otthoni felhasználása esélytelen?

Hany TB-nyi olcso vinyotol olcsobb blu-ray iro/olvaso + lemezek ?

szerk:
IRO: 100kHUF
Lemez (~25Gb): 3.7kHUF (148HUF/GB)

HDD 80 GB : 97 HUF/GB
HDD 500GB : 45 HUF/GB
HDD 750GB : 43 HUF/GB

Tehat: a vinyo olcsobb.

Ahogy nezem a szallagoktol is olcsobb, vagy valaki tud jo arakat ?

MONDOM nem OTTHONRA találták ki. Nem olcsóbb ha bohóceszközökkel hasonlítod össze. Hasonlítsd össze mondjuk egy HP XP-ben vagy hasonló kategóriájú Sun, IBM, EMC illetve más gyártók cuccaiban pörgetett byte árával.

Ha megteszed, hogy ilyen rendszerekkel hasonlítod össze akkor is lehet, hogy most már ennek a rendszernek nincs nagyon létjogosultsága (tán ezért is adta ki a Sun), utána kéne számolni, de akkor se otthoni kivehető keretbe szerelt egy csupasz HDD-vel hasonlítsd, mert azzal teljesen felesleges.

--
trey @ gépház

Pl. 100T esetén egy diszkalrendszer amibe ennyi belefér jóval drágább mint egy tape library LTO szalagokkal.

Nem nagyon vagyok képben mostanában a szalag kapacitásokkal és árakkal, de 20T-50T körül már a szalagra tippelnék, hogy olcsóbb.
1-2T diszkből még olcsón kihozható sufni módszerekkel is, de ennél több már egyre többe kerül.

Egyébként a HSM elég régi találmány, és volt olyan idő amikor 1-2 teránál is megérte már a HSM.

"Hot swap, gondolom a szallag sincs benne mindig :"

Itt nem tudom mire gondolsz, de ha arra hogy megtelt diszket szedsz ki a diszkalrendszerből, és üreset raksz a jelyére akkor ez NAGYON rossz gondolat. Ép elméjű ember így nem használ diszkarendszert, hacsak nem akarja kikukázni a diszkeken levő adatokat. :)

Egyébként pl. egy 250 férőhelyes tape library-ból viszonylag ritkán kellett kivenni, bár egyszer az is megtelt - igaz akkor még csak kb. 120GB fért el csak egy szalagra. Távoli kolléga mesélt pár ezer férőhelyes tape-libről. Ha megtelik minden slot, akkor egybenyitják egy újabb pár száz férőhelyes modullal.

AIX -ekhez használunk TSM+HSM párost, IBM 3592 -es tape-ekkel ahol egy kazira hardveres tömörítéssel 2.1T fér. A drive -ok egy 3 frame-es IBM 3584 library -ben vannak, ami megközelítőleg 700 slotot jelent. Ez a tároló kapacitás a több 10 milliós eszköz, és a ~40 ezer forint/kazi árakkal számolva, bekerülési és üzemeltetési költségben jóval kedvezőbb, mint ugyan ez a kapacitás egy diszk alrendszeren.

Ha a SAM támogatja a mentő hardveredet, akkor elméletileg igen.
Bár HSM-et kézzel cserélgetős eszközzel csinálni.... erről nekem Ford Fairline sajtreszelős mondása ugrik be.
Max otthoni fénykép/egyéb archivum tárolására, bár szerintem max. csak a fun-factor miatt lehet értelme.

Ott van HSM-nek értelme ahol sok (több tera) adat van, és az alkalmazás környezet lehtővé teszi a használatát. (Vagyis nem zakkan meg rajta semmilyen kliensprogram, ha adott esetben egy fájl megnyitása akár több percig is tart, illetve nem akarja senki az összes fájlrendszerben tárolt adatot egyszerre elérni.)

( airwin | 2008. 03. 18., k – 17:10 )

A QFS:

  • shared-disk fájlrendszer: több író, több olvasó,
  • nem tud rendundanciát (mirror, RAID-5), ezt volume manager-ből, vagy storage-ból kell megoldani,
  • viszont tud striping-ot, de azt akár fájl szinten is, tehát egy fájl egy diszkre kerül, de a következő fájl már egy másikra - "párhuzamosan több fájlt piszkálunk szekvenciálisan" esetre