Rsync inkrementális mentés probléma

Debian GNU/Linux

Sziasztok,

Adott egy Debian 11 alatt lévő backup script ami növekményes mentést készít több napra visszamenőleg egy másik gép tárhelyéről. Kb 30TB adat mentése készül el ilyen módon. Az első több napig tartó mentés után az újabb mentés viszonylag gyorsan lefutott, ám ma azt vettem észre, hogy az összes fájlt újramásolja, ami több napig tartana.
Jelenleg ezzel teszelem a mentést: rsync --delete-before --no-perms --no-owner --no-group –no-times --size-only --link-dest=/disk/backup/nas0/forgatott/.2 -avnv /rsync/* /disk/backup/nas0/forgatott/.1
--no-perms -no-owner --no-group: a forrás gépen a jogosultságok folyton változnak, a mentés gépen azonban ez mindegy, ne foglalkozzon azzal
--no-times: a fájl ideje sem számít
--link-dest=/disk/backup/nas0/forgatott/.2: ezt veszi mintának (utolsó mentés)
--size-only= csak a fáj méretét nézze
/rsync/: ide van felcsatolva NFS-en a forrás gép
/disk/backup/nas0/forgatott/.1: Ide megy a mentés

A /disk/backup/nas0/forgatott/.2 és az /rsync tartalma ugyanaz és a fájlok mérete is megegyezik, mégis mindent újra akar másolni ami több napig tartana. Mit hagytam figyelmen kívül?

  • 513 megtekintés

( uid_6201 v | 2021. 12. 17., p – 08:21 )

Elegánsabb szerintem, ha nem felcsatolod a mappát, hanem "rsync -e ssh" módon SSH-n keresztül a túloldal is futtat egy rsync-et és csak a különbség megy át a hálózaton.
Abból kifolyólag is, mert akkor a letárolt fájl állapotát közvetlenül látja az rsync és nem a samba által behazudottat.

Így van, az rsync-et ebben a formában (file propertykre nem hagyatkozhat) célszerűtlen nfs-en felcsatolt directoryval használni. Ha ssh-n át használod (server:/directory), akkor a túloldalon is fut egy rsync (--server) process, ami a checksumot ki tudja számolni a teljes file networkön át olvasása nélkül.

( zaphodb v | 2021. 12. 17., p – 08:25 )

/rsync/ * nélkül?
-avnv a többi kapcsolóval?
symlinkek vannak?
size-only, a forrás és a cél helyen a fájl méret ugyanaz? pl eltérő fs blocksize
a több napra hogy néz ki, mozgatod .1 .2 .3 .4 .5?

nincs aláírásom

- * nélkül ugyanaz

- nincsenek symlinkek

- fájl méretek ugyanazok

- többi napra mozgatom és a .20 mindig törlődik.

Most itt az a lényeg, hogy bárhogyan van felcsatolva forrás, mindig működjön az inkrementális mentés. Csak a fájl megléte és annak mérete számít, semmi más.

Jelenleg elég vegyes a környezet. A Windowsos gépek meghatározott meghajtóitól kezdve az ősrégi NAS-okon át van minden mint a búcsúban. Hosszútávon terv ennek az egységesítése és a fenti hozzászólás alapján megcsinálni.

( kovacsbela | 2021. 12. 17., p – 08:54 )

Próbáld ki a borg backupot. Imádni fogod.

( Atekka | 2021. 12. 17., p – 09:27 )

Az rsync-nek van egy -u kapcsolója a man szerint:

 -u, --update                skip files that are newer on the receiver

Nem azt keresed, nem az hiányzik neked?

( Elbandi v | 2021. 12. 17., p – 11:13 )

az ilyen kezzel takolt backup script helyett inkabb hasznalj rsnapshotot

A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

Jó, de ez azt írja, inkrementális, az rdiff-backup meg dekrementális. Már azt értem ezen, hogy az rdiff-backupnak a legfrissebb mentése friss, s ha korábbi kell, ahhoz vannak tömörített diffek, így sohasem kell teljes backupot csinálni, elég csak a kellően régi tömörített diffeket törölni.

tr '[:lower:]' '[:upper:]' <<<locsemege
LOCSEMEGE

( rascy | 2021. 12. 17., p – 14:20 )

A "-avnv" rész az nekem picit fura, mert egyrészt kétszer van a benne a "v"
De a lényeg, hogy a "-a" elvileg az --archive ami "equivalent to -rlptgoD", tehát szerintem felülcsapja az előtte lévő --size-only-t
Aztán a "-n" meg a --dry-run, bár ezt lehet most csak a tesztelés miatt tetted bele

( zaphodb v | 2021. 12. 19., v – 21:21 )

--size-only nem hülyeség eleve? :) módosíthatsz egy fájlt úgy hogy a mérete ugyanakkora maradjon.

nincs aláírásom

( igor | 2021. 12. 20., h – 07:26 )

Restic backupot nezd meg, ennyi adattal nagyon szepen elboldogul. 

( zaphodb v | 2021. 12. 20., h – 08:41 )

milyen az nfs export/mount? megnéztem két linux (lmde4 3.1.3 deb11 3.2.3) között rootként ugyanezen módon és ami már megvan arra írja "is uptodate" és csak az újat másolja.

nincs aláírásom