Összetett tárolási megoldás kialakítása

 ( Kuvik | 2012. március 11., vasárnap - 12:22 )

Sziasztok,

a következő problémához szeretnék segítséget kérni:

Az évek alatt felhalmozódott egy nehezen kezelhető adatmennyiség, amiben már nem bírok eligazodni. Tulajdonságai:

- kb. 200 GB, kis fájlokból álló kása (kódrészletek, műszaki dokumentáció, szakirodalom, stb.) + ?00 GB generálszar (zene, ilyesmi)
- Az állományok száma valószínűleg >100k.
- Nem vált be, hogy kitalálok egy okos könyvtárstruktúrát, mert a legtöbb fájlt több helyre is lehetne tenni.
- Az állományok nagyobb része nem igényel verziókezelést.
- Emellett az aktív munkák egy jelentős része gitben van tárolva (ennek a jelentőségéről ld. lejjebb)

Ennek a trágyahegynek a rendbetételéhez keresek valamilyen tárolási megoldást, az alábbi szempontrendszer szerint:

- A kidobás nem megoldás. Egy része szanálható volna de nem tudom, hogy melyik.
- Valamilyen SOHO megoldást keresek, de komolyabb is jöhet, ha máshogy nem megy.
- HW oldalról is szeretnék valamiféle robusztusságot (RAID?).
- Hálózatról elérhetőnek kellene lennie, ehhez gondolom kellene valami NAS-féle, ami legyen csendes és takarékos.
- A fájlrendszer is legyen robusztus, ill. támogassa az eddig felsorolt és az alábbi szempontokat.
- A fájlrendszer, vagy valamilyen réteg biztosítson context-based (vagy nem tudom hogy mi erre a jó kifejezés) felületet, pl. tagekkel, tehát, hogy ne egy bonyolult könyvtárszerkezetben kelljen túrni.
- A fájlok mozgatása legyen hülyeálló, vagy kényszerítse ki a rendrakást. Iszonyú rendetlen vagyok.
- A rendszer elemei legyenek egyszerű, kvázi-standard elemek, tehát ha valami beszarik, akkor standard eszközökkel is hozzá lehesen férni a fájlokhoz.
- Legyen könnyen backupolható.
- A fájlok egy részét időszakosan bárhonnan elérhetővé szeretném tenni. Tehát pl. egyes fájlokat fel lehessen tölteni egy felhős tárolóba és ezeknek szinkronizálása is legyen.
- Ezen kívül van ami git-ben megy, ami azért probléma, mert vannak fájlok, amiknek a gitben tárolt forrás mellett a helyük, de jó lenne, ha az említett context-based megoldás is megtalálná őket, ha keresek. Tehát git-integráció welcome, ha van.
- Jó lenne, ha ez a sok feature integrálódna a meglévő UI-be (bash, Gnome, stb.).

A vasra és a SW-re is várok javaslatokat, minden konstruktív ötletet szívesen veszek, az sem baj, ha nem teljesen az én elképzelésemet tükrözik. Olyan alternatív elképzelésekről is szívesen olvasnék, hogy pl. van-e valami tudománya annak, hogy hogyan lehet egy hagyományos könyvtárszerkezetet optimálisan kialakítani, stb.

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Szia!

Hmm... Fogos kerdes.

Diszk alrendszerben eloszor en mondjuk 2x 1T-t raknek be RAID (1,5,6-tal attol fugg, hogy mennyire kell hogy hibaturo legyen)
Ezeket belevagni egy ilyenbe, melle egy HW RAID kartyat, meg ra egy FreeBSD-t ZFS-sel es akkor ha nem lesz atomhaboru akkor az ki fog teged szolgalni.

Aztan hogy erre milyen katalogizalo szoftvert raksz... haaat, fenc se tudja, meg gondolkozom rajt'. :)

Udv. bnv

subscribe

+1

szinten sub...

Én azt gondolom, hogy valmilyen indexelő software -el ugornék neki (Pl.: Beagle), HW meg, RAID controller (saját memóriával és accuval) 12db 250G SATA disk RAID50
Ilyenek jutnak az eszembe

----
올드보이
http://molnaristvan.eu/

Vegyel egy NAS-t, aztan kurd fel ra az egeszet igy ahogy van.
A gepedet huzd ujra.
Aztan szepen masolgasd vissza ra ami kell, de mindig csak azt, ami kell, nehogy egyszerre visszazuditsd az egeszet. :)

.