free v. opensource backup Linuxra

Segédprogramok

Sziasztok!

Van már pár téma a kérdésben és ott vannak is jó megoldások, de gondoltam hátha azóta valaki talált valami jobb megoldást :)
Olyan backup solutiont keresek, amivel könnyen lehet nagymennyiségű adatot akár lassab háttértárra is menteni (értsd sok diszkes sata nas-ra pl.) viszonylag kis időablakban és tud inkrementális mentést készíteni, plusz esetleg az inkrementálisakat képes upgradeelni fullra és onnan folytatni, vagy valami hasonló. Mindenképpen meg szeretném spórolni a folyamatos full-full mentéseket, ráadásul jelenleg egy picit szűk a tárterület is (folyamatban a bővítése)
Amire szükségem lenne mindenképpen:
- tömörítés
- nfs-re írás
- gyors visszaállíthatóság per fájl alapon
- acl támogatás (ettől spec. el tudok tekinteni)
- opcionálisan deduplikáció, de huszadrangú

Amit eddig próbáltam:
- rsnapshot (nfs-en nem a legjobb, nincs tömörítés, sem dedup)
- klasszikus tar,gz,stb. 3-4TB -nál nem vicces és nem nagyon van értelmes inkrementális megoldás
- duplicity duply-val (lassú)

Amit nem próbáltam, de ismerem máshonnan:
- amanda
- bacula

A Bacula még egy jó megoldás lenne a File storage-el, de arra gondoltam h. hátha valaki belefutott valami olyanba, ami ilyesmire kifejezetten alkalmas és nem kell napokig játszani vele, mire működik.

Köszönöm előre is!

Üdv,
Zoli

  • 2761 megtekintés

( locsemege v | 2017. 07. 07., p – 00:26 )

Nem vagyok egy súlycsoportban veled, csak desktop gépeken mentek. Az rdiff-backup nevű eszközt használom. Attól szép, hogy dekrementális backup-ot csinál, bár a doksija inkrementálisról beszél, de inkább leírom. :)

A legfrissebb backup mindig a bázis. Ehhez képest a korábbiak eltérését tárolja tömörítve, talán tar.gz-ben. Viszont a mindenkori legfrissebbet sem húzza át teljes mennyiségben, mert rsync-et használ, tehát csak azt módosítja, ami a forrás helyen változott az előző backup-óta. Külön jó benne, hogy simán file-osan tárolja a legfrisseb backup-ot, így bármivel visszamásolható bármelyik file. Egyedül a korábbi backup-ok használata esetén kell visszaállításhoz a saját eszközét használni.

http://www.nongnu.org/rdiff-backup/

Helyet felszabadatani a kellően régi tömörített backup differenciák törlésével lehet (--remove-older-than kapcsoló).

tr '[:lower:]' '[:upper:]' <<<locsemege
LOCSEMEGE

Az rdiff-backup ún. reverse-delta elve működik, ráadásul a változást menti el, nem pedig a változott állományt teljes egészében. Nagy adatmennyiségnél veszélyes és lassú lehet a visszaállítás.

A Bareos-t tudom javasolni, igen nagy adatmennyiséggel is lazán megbirkózik, bár arra számolni kell, hogy bare metal visszaállításra nem igazán alkalmas, inkább fájlok mentéséről szól ez is.

A legutolsó backup-ból könnyű visszaállítani, mert az megvan file-osan, az lényegében olyan, mintha rsync lett volna. Amit írsz, az legfeljebb a korábbi mentésekhez való hozzáférésre vonatkozik. A lassút ez utóbbi esetben még elhiszem, a veszélyes alatt meg nem tudom, mit kell érteni.

tr '[:lower:]' '[:upper:]' <<<locsemege
LOCSEMEGE

Ebbe nem is gondoltam bele. Fedora 26-ra van belőle csomag, nálam működik is. Szerintem bejelentek egy tüntetést az Oktogonra, amely azt szeretné elérni, hogy legyen az rdiff-backup C-ben megírva. És legyen ingyen sör is, mer' az kell! :)

tr '[:lower:]' '[:upper:]' <<<locsemege
LOCSEMEGE

Ebbe nem is gondoltam bele. Fedora 26-ra van belőle csomag, nálam működik is.

FreeBSD-n is van csomag, és még működik is :) Amíg van python2, addig talán nem lesz gond. Viszont úgy vélem, hogy ahogy a gtk1 (és lassan a gtk2) kb. eltűnt (meg a qt[1-3]), előbb-utóbb úgy fog a python2 is (ahogy már python1-et se nagyon lehet találni).

C-ben megírva

Pontosan ezért szemezek a dar-ral (és nem a borg-gal).

legyen ingyen sör

+húdenagyonsok :)

Fenntartásokkal nézem ezt. 5 hónapja javítottak egy elgépelést, 4 hónapja talán valami delete-t raktak bele, minden más legalább 8 éves. :) Lehet, hogy 1-2 évvel frissebb is van esetleg, annyira nem bogarásztam át. Szóval nem nagyon fejlődik, bár nem zavar. Az interpreter változásait kövessék le, hogy működőképes maradjon.

tr '[:lower:]' '[:upper:]' <<<locsemege
LOCSEMEGE

( zither | 2017. 07. 07., p – 08:49 )

Ugyan nagy valószínűséggel ismered, de hátha mégse: http://dar.linux.free.fr
Viszont bőven csak 1 TB alatti méretű adataink vannak, fogalmam sincs hogyan skálázódik több adat esetén.

Zavard össze a világot: mosolyogj hétfőn.

Igen, ismerem, de bevallom őszintén sosem használtam még.
Annyi h. átolvastam h. mit tud, aztán legtöbbször rsnapshot lett belőle.

Az rsnapshottal a tömörítés hiánya a legnagyobb gondom, mert átlagos fájlszerver adatai egész jól tömöríthetők (cc 30%-al összenyomhatók kb.), de egy sima tar.gz az azért nagyon fapados, plusz az inkrementális résznél elvérzik.

Lehet meg fogom vizsgálni a DAR-t is, köszi!

( fastline | 2017. 07. 07., p – 09:29 )

Magam is használom a BackupPC-t több helyen. Kezes webes felület (nem szép, de teszi a dolgát). Egy SSH kulcs másolással kb működik is. Rommá lehet scriptelni az előtte utána működést. Nem használ semmi pokolbéli technológiát.
http://backuppc.sourceforge.net/

És sub, hogy mi lesz még itt.

( maszili | 2017. 07. 07., p – 09:49 )

Szerintem a legegyszerűbb és eléggé hatékony és kényelmes az rsync és egy olyan fájlrendszer ami hardlinkeket támogat pl. ext4.

+ A mentési idő az előző mentéshez képest történt változások függvénye
+ Adatmozgás az előző mentéshez képest történt változások függvénye
+ Hardlinkekkel megoldott a deduplikáció, az archívok helyfoglalása a változások függvénye
+ A mentett adat könyvtárszerkezet szintjén egyszerűen hozzáférhető, nincs egy fájlba csomagolva
+ Minden archív teljes értékűen az összes adatot tartalmazza
+ A visszaállítás egyszerű file másolással megoldható akár egy file esetén is
(bonus) Ha a mentést tároló fájlrendszer tömörít akkor a mentés még kisebb lehet.

Napi 50+ TByte-ot mentünk így néhány óra alatt.

A borgbackup az attic forkja, mivel az eredeti fejlesztő egyszemélyben vitte/viszi és idő hiány miatt lelassult a fejlesztése. Ha melette maradsz akkor nézz rá erre: https://torsion.org/borgmatic/ Amúgy a borgnál nem véletlenül van kinn az oldalukon a figyelmeztetés, hogy változhat az archív formátum, már előfordult..
Ha mint írtad unixos ACL nélkül is tudsz élni, akkor esetleg nézz rá a http://wimlib.net/ -re, igaz Windows oldalról jött.
Ha konzervatívabb, unixos megoldás is megfelel, akkor inkább a DAR-t ajánlom.
--
Légy derűs, tégy mindent örömmel!

A dar-t is ki fogom próbálni, most a borg-ot futtattam meg, de elég meggyőző amit csinált (duply 3 napig csinálta ugyanezt és nem lett kisebb, nem volt dedup):

Duration: 9 hours 3 minutes 32.89 seconds
Number of files: 551061
------------------------------------------------------------------------------
Original size Compressed size Deduplicated size
This archive: 1.18 TB 1.18 TB 932.98 GB
All archives: 1.18 TB 1.18 TB 932.98 GB

Ez egy szimpatikus cucc.
Szerintem érdemes megnézni. Én első körben most a borg-nak szavaztam bizalmat, attól eltekintve teljesen megfelel minden célra, hogy változhat a formátum.
Ez akkor kellemetlen ha nagyon sok hostot vonunnk be a buliba 1 repo esetén, ha csak 1-2 gépet mentek akkor annyira nem fáj, illetve max. visszarakom a régit ha pont egy hülye helyzetben találom magam egy dist upgrade után.
De igazából csak utána kell olvasni h. változott-e a használt és az új verzió között a dolog.
A pythonnal nincs bajom, ha aktívan fejlesztik a cuccot (es sajnos rdiff-nél kicsit para).
Rsnapshot-nál jobb a hely kihasználtsága, akár NFS-re is működik a dolog, vissza lehet állítani belőle akár 1 fájlt is, kb. mindent tud amit most szerettem volna h. tudjon.

Ettől független a nagy esélyes nálam a DAR még, csak annak neki kellene ülni és a Borg után nem biztos h. most ezt meg fogom tenni, mert beállítottam, gyorsan, egyszerűen és teszi a dolgát.

( covix v | 2017. 07. 10., h – 12:58 )

mondjuk a tömörítés tekintetében nem annyira áll meg a dolog, de

UrBackup esetleg?

KoviX