[Megoldva] Nagy mennyiségű adat tárolása

Több terabájtnyi kép, illetve videó tárolásához keresek megoldást. Lehet hálózatos (NAS), vagy standalone (USB) is, a lényeg a költséghatékonyság. Milyen megoldások jöhetnek szóba?

Milyen winchestereket ajánlotok?

Esetleg használt cuccok vásárlása?

Köszönöm az ötleteket!

Hozzászólások

Szerkesztve: 2022. 05. 24., k – 12:53

Több terabájtnyi

Mégis mennyi? :)

mert egy manapság egy random 4TB winyó egy USB-s külső dobozban is teljesyti a több terrabájtnyi adatigényedet... és megvan ~30k HUF-ból

persze én egy db küslő diszkre biztosan  nem bíznék fontos dolgokat  - cserébe ezt viheted magaddal bárhová.

 

Ha nem kell hurcolni, de kell redundancia, akkor egy min 2 diszkes NAS-ban kell gondolkodni, ami diszkekkel együtt ~60K HUF körül indul, és nyilván kell bele 2 diszk, ami méret és teljesítmény igénytétől föggően árazódik. szóval szumma ~150K HUF-tól a végtelenig ;)

Akkor kell a redundancia :D

Az a kérdés, hogy mennyire sűrűn és gyorsan kell előkeresni egy képet/videót, mert ha csak évente, akkor elég két USB vinyó, ha sűrűbben, akkor meg NAS is kellene.

Biztos kell mind? :D

Esetleg újratömöríteni tömegesen hatékonyabb formátumokba, ha nem üzleti célra lesz, "csak" emlékek?

Redundancia nem sűrűn kell. Csak pont akkor egyszer. 

Ne haragudj de ez "menedzserduma" amit nyomatsz, ez alapján nem lehet jó szívvel szakmai tanácsot adni, megszívatni ellenben annál inkább.

Ha tényleg fontos a jó megoldás akkor próbáld meg végiggondolni és konkrét válaszokat adni a felmerült kérdésekre.

Vagy legalább leírni a sztorit hogy pontosan mit akarsz csinálni.

 

Gábriel Ákos

Redundancia nem kell. De nem szívesen bíznék egy diszkre mindent...

 érdekes ez a két kijelentés egymás mellett :)

 

Ha "nem kell redundancia, de egy diszkre nem bíznád", azt úgy tudnám értelmezni, hogy mondjuk adott időszakonkénti (mérettől függően év, hónap) archive megy egy diszkre.... így egy diszk problémája esetén csak egy időszaknyi adatot kockáztatsz. de én ilyet soha senkinek nem javasolnék.

 

Ahogy én tárolom a saját privát képeimet:

- a frissen készült képek a laptopomra másolom, ott válogatás után bekerül a képkezelő rendszerbe - de az SD kártyán is megmaradnak, amíg el nem jutnak a NAS-ra

- 2 diszkes NAS-on van tárolva az összes kép

- a laptopon van 'local copy' - amikkel még/majd dolgozom,

- a megosztásra érdemes végeredmény webes galáriá(k)ban

- (néha) még backup-ot is készítek egy 3. diszkre és/vagy felhős tárhelyre.

 

Ez alá én biztosan nem adnám, mert akkor erősen megnő az adatvesztés esélye, és ez még privát fotók esetében is jobban fájna, mint a megbízható tárolásra fordított idő/pénz. Cég/vállalkozás esetén pedig értelmezhetetlen számomra ennél gagyibb/occóbb adattárolási megoldás.

 

Ez a fenti megoldás a gyakorlatban is jól működik, sebességre is optimalizált (amennyiben a laptopban SSD van) és adatmennyiség igény szerint is jól skálázható. Mondjuk olcsónak nem mondanám. költséghatékony ettől még persze lehet ;)

Mondjuk olcsónak nem mondanám. költséghatékony ettől még persze lehet ;)

Hogy legyen konrétum is:

~10 TB esetén én egy 4 diszkes Synology-t vennék, ez önmagában ~120k HUF.

Ebbe kell még 4x 4Tb diszk is, aminek darabja minimum ~30k, szumma ~120k HUF.

(RAID5 esetén ez 12TB, RAID6 esetén csak 8Tb a hasznos terület)

 

azaz összesen ~240k HUF

Ha ennyit nem érnek aza adataid, akkor nyilván nincs miről beszélni.

Ennél olcsobban - szerintem - csak igen nagy kompromisszumokkal lehet 10 TB adatot tárolni.

(és ekkor még backup-od továbra sincs!)

2 diszkes raid is redundáns, és kijön kevesebből, akár a feléből is. Nem túl nagy kompromisszum szerintem. Ha még ez sem fér bele, akkor két darab önálló diszk, időnként szinkronizálva őket, ez már erősen kompromisszumos, több törődést igényel.

Desktop: MacOS | Server: CentOS

Redundáns, igen, azonban egy diszkhiba esetén jóval tovább tart a resync, mint több, kisebb lemezből összerakott tömb esetén. Én is osztotam-szoroztam, és három kisebb diszk meg egy négy lemezes NAS lett a "vége". A lemezek árán közel annyit spóroltam, mint amennyivel többe került a négy lemezes eszköz a két lemezes kivitelhez képest.

és kijön kevesebből, akár a feléből is

uhum, Erre azért kiváncsi lennék ;)

max ha valami mutyi beszerzéssel oldod meg és/vagy ÁFA nélkül.

mert normális boltban 1db 10Tb  diszk  bruttó ~100KHUF nál kezdődik.

 

És akkor jön a használhatósága: egy szer döglik meg, aztán soha nem szinkronizálod össze újból.

 

De tőlem mindenki azzal szivatja magát amivel akarja, én csak tanácsot adtam - ez ingyen volt ;)

Ott a pont... 4TiB már 8-9E Ft/TiB áron kapható, azaz 12TiB RAID5 belekerül 128-144E Ft-ba. Ehhez kell egy 4 fiókos NAS, aminek az "alja" valahol 80-120e Ft között mozog. Azaz alaphangon 12TiB RAID5 belekerül 210-250E Ft-ba.
Ha 10TiB méretű diszket nézek, akkor az 10-12E Ft/TiB áron megy, azaz 200-240E Ft _csak_ a két diszk, plusz egy valamire való két fiókos NAS minimum 60-80E Ft-tól indul, azaz 10TiB RAID tükör NAS-sal olyan 250E Ft-tól indul...

Ha már RAID6, a ZFS dRAID megoldása ritkán kerül szóba, pedig van előnye:

  • Pont ugyanannyi lemez kell bele, mint RAID6-ba,
  • de csak egy paritást számol, a másik lemezt (pontosabban annak kapacitását) cserének tartja,
  • a paritás és a tartalék kapacitás szét van szórva a lemezek között.
  • Ha valamelyik lemez meghalálozna, a csere gyors, mert nem egy lemezre kell sokat írni, hanem mindegyik lemezre keveset,
  • nem kell leállítani a tömböt az "új lemez beszerelésének" idejére, ami újabb elhalálozásra adna lehetőséget; természetesen a régi lemezt egyszer majd ki kell cserélni, de addigra megint szinkronizálva van a tömb,
  • mivel a filesystem és a pool ismeri egymást, ha egy 1T-s lemezen csak 500G adat van, akkor 500G-t kell csak syncelni (egyszerűsítek).

 Hátránya:

  • 2.1-es (Open)ZFS kell hozzá, amit vagy van out-of-the-box, vagy nem, ha nem, szerelni kell.

Nekem eddig sosem volt gondom a memória miatt, igaz, hogy kell egy pici tapasztalat a paraméterek beállításához. Gond nélkül vissza lehet venni pl. az L2ARC méretet, max. több lesz a disk I/O, de ha a kolléga családi fotókat tárol, valószínűleg nem fogja észrevenni a különbséget. 

A dedupot már nem javasolják sehol, a zstd nagyon gyors, de érdemes picit játszani a recordsize-zal.

Szerintem már nem olyan vészes a helyzet, mint pár éve, a 2. 0 óta én kifejezetten elégedett vagyok vele. Már a laptopomon is ZFS root van, beépített titkosítással. 

Legolcsóbb 2 lemezes NAS kb 50 ezer Ft, két darab 10 terás diszk meg 200 ezer. Szóval inkább 250 ezer Ft.

Ahogy már felvetették, nem lehetne áttömöríteni valami kisebb helyet használó formátumba? Vagy ezek RAW fájlok?

JPEGMini-t érdemes megnézni, videók esetén pedig az elérhető legújabb tömörítési módszerrel lehet nyerni.

A 10 TiB meg hasonló durvén nagy diszk egy dologra jó: sok adatot lehet qrvagyorsan elveszíteni (érdemes átgondolni, hogy diszkdöglés esetén a resync meddig tart... Na addig nincs redundancia...) - ráadásul még lassú is, mint a tetű. Nálam Qnap 4 diszkes nas, tervek szerint 4*4TiB RAID5 - igaz írásra lassabb, mint egy raid10, de nálam is mentésre van, azaz jellemzően kevesebb az írás/több az olvasás (ráadásul az írás automatizáltan megy, tehát "nem fáj", ha lassabb), és lesz ~12TiB tárterület.
Azt szoktam mondani, hogy tengelyes diszkből inkább több kisebb, mint egy nagyobb.
Vagy ha nagyon spúr akar lenni, akkor valami minpécé, linux+dedup, és akkor lehet, hogy 3*4TiB is elég raid5-ben... :-P

Ez így van (bár ugye mentésnél egy írás és egy olvasás minimum kellene, aztán időnként újra tesztelni az olvashatóságot...), itt viszont gondolom van egy tonna "emlék", amit nézegetni is akar, tehát ez nem tipikus backup, és ott rohadnak meg a bitek, mert a kutya sem olvassa vissza soha.

BlackBlaze unlimited backup personal 7USD/hónap.

Szerkesztve: 2022. 05. 25., sze – 09:39

Lépjünk vissza egy-két lépést, mert kissé kusza, amit írtál: mi a probléma, amit meg akarsz oldani?

A leírás alapján ez akár egy AWS S3 glacier is lehetne...

Vagy BlackBase amit szekelyk emített. Vagy valami hasonló...

Köszönöm mindenkinek a hasznosságokat. A leírtak alapján diszkeket veszünk.

Sima home felhasználás egyébként.

Ha már a RAID5 szóba került: egy ismerős panaszkodott, hogy 4 lemezes NAS-ban valami megmurdelt az elektronikában, aztán a teljes adattartalom odalett.

Lehetséges ilyen? Nekem csak RAID1 van, az is ext4-en, tehát elvileg ha a diszk fizikailag nem megy tönkre, akkor esélyes, hogy visszanyerem az adatokat. De mi van a RAID5-nél? Ott tényleg mehet minden a levesbe?

Persze, ha egy file-t letörölsz, azt mindkettőről törölted, tehát a RAID1 nem backup. Viszont ha megpusztul az egyik HDD, akkor a gép működik tovább, az adatok elérhetők maradnak, csak ki kell cserélni a hibás diszket, illetve egy minimális adminisztráció van vele.

tr '[:lower:]' '[:upper:]' <<<locsemege
LOCSEMEGE

Ha megpusztul a RAID vezérlő, akkor az összes disk tartalma szemét lehet igen hamar. Ha pedig a táp pusztul meg vagy beüt a villám, akkor magával tud rántani minden adatot. Ha meg betörnek és ellopják egyben a cuccot, akkor is. Ahogy írva volt: a RAID nem mentés, a RAID rendelkezésre állást növel, azzal, hogy ha megpusztul az egyik HDD és minden megy tovább.

Általában egy háztartásban nem magas rendelkezésre állás kell, hanem backup. A RAID nem backup. Nem lehet elégszer leírni.

Software raid-ben nincs raid vezérlő, ami elromlana. Nem backup, magam is ezt írtam, de arra jó - s ebben egyetértünk -, hogy HDD hullásra rezisztens legyen a rendszer. Mivel szívtam már meg SSD elhullást, nem tudtam dolgozni emiatt, így itthoni gépen is RAID1-be tettem a HDD-ket is és az SSD-ket is. Emellett természetesen van offline backup-om is.

tr '[:lower:]' '[:upper:]' <<<locsemege
LOCSEMEGE

Software raid-ben nincs raid vezérlő, ami elromlana.

Ezzel kihúztál egy tételt egy hosszú listáról, hogy mi minden romolhat el és veszhetnek el az adataid...

Mivel szívtam már meg SSD elhullást, nem tudtam dolgozni emiatt, így itthoni gépen is RAID1-be tettem a HDD-ket is és az SSD-ket is.

Ez egy jó példa arra, hogy a RAID nem backup, hanem rendelkezésre állást növeltél meg.

A RAID (NAS) is lehet backup, ha annak van használva. (Azaz nem fut 7/24-ben, hanem mentés után kikapcsolva "pihen" addig, amíg nincs szükség róla visszaállítani. :)

És persze alap, hogy legyen a NAS-ról időről-időre egy másolat, egy 10-20 TB-s diszkre. (Amúgy ez de sok időt tud igénybe venni. És mindez együtt mennyire nem olcsó "szórakozás"!)

Az esetek döntő többségében valamilyen Linux-derivátum fut a SoHo nasokon, úgyhogy a diszkeken lévő adatok összegereblyézése ilyenkor is lehetséges.
RAID5 esetén egy diszk döglését éli túl a cucc. Ha van négy egyforma méretű diszked, akkor raid10 esetén kettő diszknyi nettód van, és 1+1 diszk döglését élik túl az adataid, raid5 esetén van 3 diszknyi nettód, és egy tetszőleges disz eshet ki, raid6 esetében a raid10-hez hasonlóan 2 diszknyi a nettó, de tetszőleges két lemez megdöglését túléli.

Szóval raid5 esetén sem megy a levesbe, ha a vezérlő megdöglik - jó esetben fog egy ugyanolyan nas-t, firmware-ben ugyanoda frissíti, ahol a döglött volt, belerakja a diszkeket, és ha minden igaz, megy tovább az élet, vagy fog egy linuxos pécét, beledugja mind a négy diszket, és elkezdi összemakramézni a raid5 tömböt.

Amit mindenképp el kell mondani, és meg kell érteni, az az, hogy a raid nem backup. A NAS-on tárolt fontos  adatokat _is_ célszerű legalább még egy helyen tárolni,mert ahogy mondani szoktam, ami egy példányban van meg, az nincs meg. De legalább is nem fontos...

Ahhoz képest, hogy a RAID5 lehetséges adatvesztéséről és a csíkozás visszaállításáról érdeklődtem, majdnem mindenki közölte velem, hogy a RAID az nem backup, és a backup sem backup :-) Azt hiszem, már mindent tudok a témáról :-)

Szoval: 

A 2 diszkes raid1 és a 3 diszkes raid5 is egy diszk elvesztését viseli el. Ha ennél több veszik akkor kuka minden.
Ha ez volt a backup akkor nagy gond nincs, a történelem ugyan elveszett de az aktuális adatok megvannak, újra kell csinálni a backupot.

Ami "több" belegondolás szokott lenni hogy sok helyütt látjuk hogy adatok egy helyen vannak meg (a NASon) és vagy egyáltalán nincs backup vagy pont ugyanazokra a diszkekre csinálnak backupot.

Ez értelemszerűen a véletlen beletörlés esetére tud védeni de diszkhalál esetére nem.

Ennyi a sztori, nem kevesebb nem t9bb. 

Ja és a pontos terminológia szerint amikor elpukkant az egész gép akkor "disaster" történt. A disaster recovery meg a backup az megint két különböző történet, nem is mennék bele. 
KKV-nál a legritkább esetben lehet találkozni disaster jellegű dolgokra való felkészüléssel, DRP-vel.

 

Gábriel Ákos

Köszi, értem. Sajnos az említett esetben pont az történt, amit írsz, hogy az illetőnek fogalma se volt arról, hogy egy NAS sem feltétlen atombiztos megoldás, és nem elég csak ott tárolni az adatokat.

Kedvencem az a felhasználó, aki a laptopjával úgy rohangál fel-alá, hogy az USB-n lóg egy külső diszk, és nem csak arra ment, de arról is dolgozik. Természetesen nem SSD, hanem hagyományos winyó, hátha még sikerül is működés közben odacsapni valamihez, hogy a fej önálló pályára álljon. Ismerősömnek okostévé nyírta ki így a külső winyóját - természetesen ott is csak egy példányban voltak meg a két évtizednyi családi fotók.

Régen volt valahol egy hamis kondis x3400-es gép, aminek a RAID chip az alaplajára volt integrálva. Alaplap elszállt, a support többször is ugyanolyan szar alaplapot adott helyette, míg az egyik ilyen próbájuk után az egész RAID tömbnek annyi lett (volt amúgy backup). Szóval lehetséges.

Köszi, értem. Mondjuk nekem jó tanárom volt, aki anno óva intett a RAID5 elkerülésére annak hamis biztonságérzete miatt, így ezt sehol sem erőltettem. Alaplapi RAID vezérlőkkel sem kínlódtam, bár a mostani gépem is tudná. Úgy vagyok vele, hogy a fontos adatok több különböző adathordozón is megvannak, éa ami gyakori használatban van, az ki van téve egy NAS-ra is. Így nem kell attól félni, hogy a backup eszközről egy óvatlan pillanatban sikerül letörölni.

A "jó" tanárodnak mondd meg, hogy a raid5-öt nem elkerülni, hanem a korlátait/lehetőségeit ismerve megfelelő célra használni kell. Ha összeszámolom, mennyi RAID5, illetve RAID5-jellegű storage-hoz volt szerencsém... Mondjuk úgy, hogy nem kevéshez, és köszönik szépen, tárolásra kifejezetten költséghatékony megoldást nyújtottak. Igen, volt backup, meg egyéb, az adatok rendelkezésre állását a tömb teljes elhullása esetén is biztosító megoldás (szinte) mindenütt. Ahol nem, ott az volt a verdikt, hogy az ott tárolt adatokat újra elő lehet állítani, ha adatvesztés van. 4 diszk esetén nem sok verzió van: vagy raid1+0, vagy raid0+1, vagy raid5+hot spare, vagy raid6 (ekkor 2 diszknyi nettó kapacitásod lesz), vagy raid5 négy diszkkel, ekkor meg három diszknyi nettóval gazdálkodhatsz.

"nem kell attól félni, hogy a backup eszközről egy óvatlan pillanatban sikerül letörölni." - Online elérhető backup nem backup, hanem n+1. másolat. :-)

"nem kell attól félni, hogy a backup eszközről egy óvatlan pillanatban sikerül letörölni" - ez nem a NAS, hanem egy sokadik külső winyó, amit néha előszedek, hogy upgrade-eljem. Néha azonban muszáj selejtezni is a szemetet, amit némi idő kihagyással elvégzek a backup eszközökön, kivéve, ha az első eszközről törlés után derül ki, hogy azt mégse kellett volna. Na ilyenkor jó, ha a NAS-on is megvan az adat.

Mondjuk nekem jó tanárom volt, aki anno óva intett a RAID5 elkerülésére annak hamis biztonságérzete miatt

Van az a mondás, hogy aki ért hozzá csinálja, aki nem az meg tanítja.

 

Ne érts félre, biztos van kivétel is :)

 

Amiért ez a monda születhetett:

- a RAID5 'már' csíkokra osztja a diszket, tehát egyetlen diszk önmagában nem értelmezhető. A rajta lévő adatok meg végképp nem.

- 1 diszk kiesését képes 'csak' tolerálni

 

Ha ezek mellé bejön még az a tény, hogy az ugyan olyan diszkek, ugyan olyan körülmények közötti használata esetén igen nagy valószínűséggel haláloznak el hasonló üzemóra után, akkor előfordulhat az a nem túl ritka - de annál sajnálatosabb - esemény hogy egy diszk halála (és kicsrélése) után, újralindul a raid rebuild. - eddig még minden szép :)

Eközben ugye az adataid még megvannak, de már nem redundánsak. Azonban újabb diszk elvesztése a rebuild közben.. az általában 100% adatvesztéshez vezet.

 

Ezért jönnek pl azok a tanácsok, hogy inkább több kisebb diszk, mint kevés nagy.

Ezen felül pedig tényleg érdemes nem egy 'szériából' feltölteni az egész storage dobozt.

vagy  mondjuk egy tényleg sok diszkes RAID esetén megfontolni másik, pl RAID6, 10, 50, 60 használatát.

 

szerintem.

Nálam a gépben raid1-en vannak az adatok, a NAS-ban meg raid5 lett összerakva - ami kifejezetten fontos, az vagy felhő, vagy optikai média - bár lehet, hogy a NAS usb3-as lehetőségét kihasználva a diszkes archiválást/offline backup-ot is be fogom vezetni...

1 vagy 2db ilyen (aliexpressen is van):
https://www.amazon.co.uk/ORICO-docking-station-external-freelancer/dp/B…

Feltöltöd lemezekkel (szerintem nem használtakkal) és amikor kell, csatolod és mentesz.
Baromi kényelmetlennek tűnik, de ez is egy megoldás.

Hogy milyen merevlemezek? Említett BackBlaze negyedévente kiad egy statisztikát az ő általuk használt adattárolókról:
https://www.backblaze.com/blog/backblaze-drive-stats-for-q1-2022/