Multi diskes fájlrendszer ajánlása linux alá

UNIX haladó

Sziasztok!

Az alábbiakban szeretnék egy kis segítséget kérni: Adott egy mindenféle diskekkel telepakolt HP N40L (3x2TB wd red, 1x1,5TB wd green, illetve egy gyári hp(seagate) 250gb lemez).
A 250 gigás lemezen van az os (zentyal 3.2), alapvetően ez így is maradna, a redundancia nem annyira életbevágóan fontos az os esetén, mivel a lényegről van backup, szóval 1 óra alatt visszavarázsolható minden. A red-ek, illetve az egy green kb azonos mappastruktúrákat használnak, viszont jó lenne egy több disken átnyúló nagy logikai partíciót létrehozni, hogy ne legyen 4 linuxiso mappa csak egy ( :) ).

A kérdés tehát az lenne, hogy ki mit használna a probléma megoldására?
Főbb feltételek:

  • az áttelepítés miatti utólagos lemez hozzáadás on-the-fly megoldható legyen (egyszerre mindig csak 1 lemezt raknék az új kötetbe)
  • ha az adatmásolás megtörténik valamilyen utólagos redundanciát lehessen a rendszerbe vinni (-> egy megdöglő disk ne vigye magával az egészet)
  • takarékos legyen a cpu-val és memóriával (jelenleg előfordul, hogy 2.0 fölé megy sokkal (5-6-os is lehet) a load 20-25 percre, igaz nem gyakran, de azért előfordul, szóval kb a vas a határain van)
  • alapvetően read intenzív a terhelés, írás csak az új iso-k torrenten letöltésekor van, heti 1-2 alkalommal
  • túléljen kb évi egyszeri váratlan áramszünetet
  • personal usage-ra free legyen
  • opcionális 1: ha a jelenlegi ubuntu 12.04 lts alapú os a későbbiekben ubuntu 18.04 lts/debian 9 lesz, akkor se legyen nagyon nagy hasfájása az új os miatt
  • opcionális 2: ha véletlenül a lemezeket a jövőben optimálisabban/logikusabban akarom elrendezni a vasban, akkor egy esetleges sata port szám változás miatt ne kelljen két napig reszelni, hogy elinduljon
  • opcionális 3: az első és negyedik pontok miatt némi cpu időt beáldozva, lehessen live rendszer alól némi töredezettség mentesítést csinálni

Jelenleg amivel szemezek, az a btrfs, de mivel teljesen új a terület számomra, így bármilyen tanácsot szívesen veszek. Ha valaki az xyzasdf fájlrendszert ajánlja erre, mert azt ismeri és használja hasonlóra, nekem az is jó, részemről nincs akadálya.

ELőre is köszönök minden konstruktív hozzászólást.

  • 1730 megtekintés

( dejo v | 2018. 06. 02., szo – 11:29 )

Ha lenne 4 db egyforma diszked (három ugye már van) akkor csinálhatnál RAID5-öt ami három disz kapacitását adja és a négyből bármelyik egy darab diszk elhalálozását túléli.
De amit te akarsz azt RAID0-lal lehet megcsinálni, ahol összeadódik a tömbben lévő összes lemez kapacitása, de bármelyik lemez tönkremenetele esetén minden adat elvész.
https://hu.wikipedia.org/wiki/RAID

--
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox

A raid-ek megvannak, illetve azok korlátai/előnyei/hátrányai, csak igazából kíváncsi vagyok, hogy van-e magasabb szinten valamilyen lehetőség pl 3x2TB és 1x1.5TB disk bármilyen redundás módba kapcsolásának.

A green lemez egyébként nem lesz évekig a rendszerben, mivel hosszú távon nem biztos, hogy használni kellene a több százezres eddigi fejparkolásszám miatt, szóval igen csak a végét járja, de addig is lenne + 1.5TB, ameddig nem lesz a helyére egy másik 2TB+-os lemez (a cél az, hogy szépen-lassan 4 TB-os wd redre legyen mindegyik cserélve).

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

( gergov | 2018. 06. 02., szo – 11:41 )

Nekem a leírásodról az aufs (esetleg UnionFS) jutott először eszembe. Igaz ott a redundancia nem megoldott (a Linux iso-k alá nem is tartom feltétlenül szükségesnek, hiszen bármikor újra letöltheted őket), de legalább nem veszítesz tárterületet, a RAID0-val ellentétben viszont nem ugrik egyből minden adatod, ha valamelyik disk kiesik.
Szerintem azt kellene még átgondolni, hogy meghibásodás esetén milyen gyorsan kell újra működnöd. Ha azonnal, akkor mint előttem írták, RAID5.

Nem csak linux iso-k vannak azért :), mivel akad 1-2 film is elvétve (de az adattartalom mindegy is)... Meghibásodás esetén ha 3 nap downtime van az azért nem a világvége, de maradjunk annyiban, hogy valamilyen redundanciát szeretnék a rendszerbe vinni és jelenleg 3x2TB és 1x1.5TB disk amivel lehet gazdálkodni, amiből 1x2TB teljesen szabad és a másik 2TB-os is félig üres. A jövőre nézve pedig a 1.5TB menne a levesbe (bőven kiszolgálta már az idejét, valószínűleg egy 2TB-os megy a helyére). Továbbá a későbbiekben folyamatosan cserélném 4/6TB-os lemezekre, attól függően, hogy az N40L mit ismer fel.

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

( gabrielakos v | 2018. 06. 02., szo – 11:55 )

Én a green-t kidobnám és akkor van 4 db egyforma diszked, arra tehetsz raid10-et vagy raid5-öt, attól függően h milyen teljesítményt akarsz.
Sőt ha szétszeded partíciókra akkor csinálhatsz mondjuk 4x200 raid10-et, a többit meg raid5-re.

Ha nem dobod ki a green-t akkor még mindig csinálhatsz egy raid5-öt 4x1.5T-val és egy másik raid5-öt 3x500G -val.
Nem lesz gyors.

Erre a setupra sima md raidet és ext4-et javaslok.

--
Gábriel Ákos

A nem túl távoli jövőben meg fog történni a green kidobása (a Load Cycle Count értéke 1.39 milliónál tart(!), eddig majdnem 7 év uptime-al, szóval amúgy sem húzza szerintem nagyon sokáig, mivel ez már bőven a két lábbal a sírban, de még küzdünk érték).

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

Mint írtam, bármi szóba jöhet, jelenleg tanulási fázis van, szóval részemről zfs is lehet.
A legfőbb szempont a minimális cpu/io igény és valamilyen szintű redundancia, hogy egy disk kiesése esetén azért ne vesszen minden.

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

( AiRLAC v | 2018. 06. 02., szo – 15:59 )

SnapRAID
https://www.snapraid.it/

--

"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."

( istii | 2018. 06. 02., szo – 17:55 )

A 2x2 TB-ból egy sw raid1, a 2Tb és 1.5 TB-ból egy 2x1.5 TB sw mirror, a fennmaradó 500Gb és a 250-esből egy 2x250 sw raid1. Ezekre LVM aztán ext4, vagy simán ext4. Az oprendszer is tükrözött területen legyen. Btrfs és zfs esetén szerintem túl nagy lesz a cpu és memória igény.

"takarékos legyen a cpu-val és memóriával" ha ez szempont akkor nem a legjobb választás zfs/btrfs. Persze lehet takarékoskodni, de az meg a teljesítmény rovására megy. Nyilván jó lett volna a CPU/RAM pontosabb meghatározása, de 1GB memóriával nagyon nem ajánlanám ezeket a fájlrendszereket éles környezetben, főleg évi egyszeri áramkimaradással...

annyira nem lehet éles a dolog ezzel a szerverrel + wd green diszkekkel...

ha már annyira éles a dolog, akkor sem zfs (mármint zfs on linux), sem btrfs... egyik sem production ready...

Persze, működik, csak lehet vele szívni... btrfsnél pl. elfogy a metadata... van hely a lemezen, de adja a ENOSPC-t. Nem szereti ha fogytán van a disk space. És (tapasztalatom szerint, bár elvileg úgy lett designolva...) nem túlzottan szereti az áramkieséseket sem...

zfs on linuxnál is lehetnek dolgok... ugye, múlt hónapban: https://github.com/zfsonlinux/zfs/commit/cc63068e95ee725cce03b1b7ce5017…

Ahogyan írtad is, nem egy root névszerver kiszolgálóról van szó.

A problémámat is azért írtam, mert jó lenne megoldani valahogyan, de ha több vele a szívás, mint amit nyernék, akkor marad a mostani felállásban és nem szívatom magamat.
A cél alapvetően az lenne, hogy a mostanitól egy kicsit nagyobb legyen az adatredundancia viszont ne legyen sokkal több szívás, mint a mostani több meghajtó redundancia nélkül.

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

"Nyilván jó lett volna a CPU/RAM pontosabb meghatározása"

G7-es HP N40L mikroszerver, a gyári 2GB ECC-s memóriával.

Elárulok egy titkot: mivel jelenleg sincs semmi redundancia a vason, így sejthető, hogy nem ezzel akarom megváltani a világot :).

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

ZFS-hez ugyan ajánlott a sok memória. Nekem volt egy "kis" fájlszerverem" 1GB RAM-mal, FreeNAS, 2x500GB mirror, soha nem volt semmi baja. Kb. 10 gépet szolgált ki Samba-val. Szóval ZFS +sok. Szerintem linux alatt is nyugodtan használható, nem kell FreeBSD, Solaris, ha linux az igény.

Kolléga, egy kicsit szerintem eltértél a nyitó problémától...

Írtam, hogy az OS nem érdekel, akár egy pendrive-ról is futhat, mivel egy óra alatt simán újrahúzható. Illetve a raid1 sem érdekel, nem helyet akarok pazarolni, hanem a semmitől egy kicsit nagyobb adatredundancia kell csak.

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

Mivel 6 év alatt egyszer húztam újra, így azt hiszem, hogy ennyi bőven belefér. Az újrahúzás is egy elcseszett Zentyal-os frissítés volt (kinyírták a DNS modult és vitte magával a fél hálózatot) és gyorsabb volt újratelepíteni, mint megreszelni, hogy működjön.

A raid1-es javaslatod pedig azért sem volt jó, mert jelenleg 4,1TB adat van, az összes elérhető lemez kapacitása 7,75TB, ennek a fele pedig kevesebb, mint amennyi adatom van jelenleg és ekkor a legoptimálisabb lemezkihasználásról beszünk, ami ugyebár a különböző méretű lemezek miatt eleve nem adott.

A két raid5-ös tömb viszont elgondolkodtató, de így meg tartok a wd green miatti teljesítmény csökkenéstől.

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

( iattilagy | 2018. 06. 02., szo – 18:17 )

A btrfs az jó, pont erre a való, én is használom itthon ilyenre jól működik (openSUSE Leap van a szerveren). Annyi, hogy ECC ram erősen ajánlott hozzá, mert ram hiba miatt teljesen szét tud menni.
Nem találkoztam semmiféle észrevehető problémával a sebesség terén pedig nem erős van (c2d @ 2ghz + 4 GB ram).

ez az ecc memóriadolog szerintem egy kicsit túl van pörgetve... ha ram problémád van, melyik filerendszer nem tud meghalni?

btrfs-nél szerintem sokkal valószínûbb a fs corruption, ha elkapsz egy kernel oops-ot, vagy netalán power outage-et.

szerk.: http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/

( andrej_ v | 2018. 06. 02., szo – 18:40 )

Csak annyit tennék hozzá, hogy egy legalább egy alap és az OS-ed által managelt (azaz le tudja állítani) szünetmentesbe érdemes beruházni. Egyrészt védi a teknyikát, másrészt a rövid kimaradások ellen roppant hasznos és ha egyébként pedig szépen leállítja a NAS-od. A tápod és a diszkjeid fogják leginkább meghálálni.

( fefy | 2018. 06. 04., h – 10:07 )

Összegezve az eddigieket:

  • btrfs és zfs nem production ready, btrfs-nél a raid5 csak félkész, például a szabad helyet rosszul jelzi (teszt rendszerben az 5,5GB helyett 7,5GB látszódott, másoláskor viszont +33%-al jobban fogyott a szabad hely, ami azért eléggé csúnya dolgokat eredményezhet később)
  • btrfs kipróbálva 3x2GB + 1x1,5GB virtuális diskekkel raid5-ben: 5,5GB-ig megtölthető, viszont ha elfogy a hely, újabb lemezt már csak szenvedéssel lehet hozzáadni
  • zfs 3x2GB + 1x1,5GB diskekkel: 4,5GB hely lesz belőle (4x1,5-1,5), teljesen megtöltve az új lemez hozzáadás kevésbé szenvedős, mint btrfs-nél
  • teljesítményben a btrfs egy hajszállal jobb volt a teszt környezetben, mint a zfs, erőforrásigényben viszont egyezett a kettő (nem reprezentatív, más vason és konfigurációban bármi lehet)
  • aufs, snapraid, mdadm: tesztelés alatt
  • ha bármelyik megoldás is lesz, a green lemez jó eséllyel megy a levesbe, mert csak a baj van vele
  • zfs és btrfs esetében is kb 50-50 "áramszünet" volt miközben írás is volt, nem lett fs hiba (megint csak lehet mázli faktor)
  • a "meghibásodott" és eltávolított lemezeket sikerült könnyen áthidalni, habár teljesen megtöltött btrfs esetén ugyanolyan szenvedés volt, mint a lemez hozzáadás
  • felmerült bennem az, hogy szerezzek hardveres raid kártyát, de szünetmentes nélkül ez eléggé öngyilkos dolognak tűnik, ráadásul három lemez kapásból kell hozzá, hogy egyáltalán legyen belőle valami
  • az eddigiek alapján eddig egyik sem győzött meg igazán arról,
    hogy vegyes méretű diskekkel belevágjak, mivel túlságosan sokszor volt olyan érzésem, hogy a csillagok állása is befolyásolja az egészet

Szerk.:
Természetesen továbbra is várom az építő jellegű hozzászólásokat, viszont a jelenlegi felállásban eléggé zsákutcának tűnik a dolog több ok miatt is.

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

Csak összeszedtem, ami elhangzott a hozzászólásokban, illetve amit tapasztaltam. A btrfs biztosan nincs kész, 1 óra alatt sok súlyos problémába belefutottam, a zfs (on linux) pedig szintén nem nyújtotta azt az érzést, hogy rábízzam az adataimat (ez lehet tudatlanság miatt, ezt aláírom, de azért a 1,5TB pazarlás eléggé fájó pont).

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.

Ezzel a felállással, mindenképpen ennyi lesz a "pazarlás", bármit választasz. Ha kell redundancia, akkor azért áldozni kell. Ha tükrözöl, akkor a fele, itt megcsinálhatod azt pl. hogy 2x2TB + 2x1,5TB tükrözve (ZFS-nél ezt 2 mirror vdev-nek), így 3,5TB lesz a vége. Vagy 4x1,5TB RAID-Z, ez kicsit számítás igényesebb, viszont így nyersz egy kevés kapacitást (esetleg partícionálva: 4x1,5TB + 3x0,5TB RAID-Z, de ez perverz). ZFS-t a "kötet" kezelés miatt ajánlom, rohadt egyszerű. Persze meg lehet csinálni linux softraid+lvm kombinációval is, de az nem annyira rugalmas véleményem szerint.

A 4x1,5+3x0,5-ös felállás a green lemez miatt elég bukó. SSD-n virtuális lemezekkel kipróbálva is lényegesen nagyobb volt az erőforrásigénye a dolognak (még a vbox alatti SSD-t is majdnem megfektette), ezzel szemben a raidz a 4x1,5 felállásban szinte észrevétlen volt.

Egyelőre viszont nagyon hajlok abba az irányba, hogy minden marad a régiben. Vagy tárhelyet kell beáldozni (sokkal többet, mint szeretnék), vagy indokolatlan mennyiségű erőforrást és annyit nem nyerek vele, mint amennyit veszítek.

Vizsgára felkészülés végett keresek "kidobásra" szánt menedzselhető Cisco switch-eket és routereket, leginkább Pest és Bács-Kiskun megye területén.