[Megoldva] ZFS dedup megszüntetése

ZFS Fan Club

Sziasztok!

Van 2x16 TB HDD-n egy "Backup" pool, azon belül további 7 zvol (1-1 TB quota-val). A dedup és a compress a Backuptól öröklődik a zvoloknak.

6-7 TB a helyfoglalás, de (7x) 180 nap inkrementális mentést is (tehát több 100 millió fájlt) tartalmaz a ZFS mirror.
Szeretném a dedupot megszüntetni.
2 lehetőséget látok erre, de nem tudom, melyik működhet és ha mindkettő, akkor melyik gyorsabb/egyszerűbb?

1. Van egy másik ZFS pool (nVME SSD-ken mirror) ebben a gépben 2-2,5 TB szabad hellyel. Kikapcsolom a dedupot a Backup poolon, egyesével lementem rsync.kel az nVME-re a zvolokat, megszüntetem, majd újra létrehozom őket és vissza rsync-elem a mentéseket.

2. Kiveszem a mirrorból az egyik HDD-t, létrehozok rajta egy új ZFS (féllábú) mirrort és átmásolok mindent rsync segítségével az új poolra. Ezután megszüntetem az eredeti Backup poolt és a HDD-t hozzáadom az új mirrorhoz.

Mindenről van mentés máshol is, de jó lenne, ha nem hálózaton kellene minden adatot átmásolni.
Mit javasoltok? ezek közül/helyett a dedup megszüntetésére?

Szerk.: Az 1. variációval sikerült megszüntetni a dedupot.
Köszi minden érdemi hozzászólást!

  • 447 megtekintés

( uid_720 | 2022. 06. 12., v – 15:32 )

A dedup ugye filerendszer-szintű beállítás, bármikor kikapcsolhatod. Utána csak át kell helyezned a file-okat, akár másik directoryba, és elmúlik a dedup.

Vagy nem helyezel át semmit sehova, pár hónap múlva amúgy is törődnek a régi adatok, az újak meg már dedup nélkül jönnek letre. 

Már pedig ez máshogy nem megy. Még btrfs-en sem. Bekapcsolni be lehet menet közben a dedup-ot, de az csak a később írt fájlokra, mappákra fog vonatkozni, azoknál már figyelembe veszi a fájlrendszer. A korábbi adatokat csak úgy, ha újraírod, átmásolás, újraírás. Ez ilyen műfaj sajnos, mindig is ilyen volt, ilyen lesz.

“Windows 95/98: 32 bit extension and a graphical shell for a 16 bit patch to an 8 bit operating system originally coded for a 4 bit microprocessor, written by a 2 bit company that can't stand 1 bit of competition.”

Tisztában vagyok azzal, hogyan működik a dedup a ZFS-en. Én arra reagáltam, hogy kolléga azt (is) javasolta, hogy a dedup kikapcsolása után hagyjam hónapok alatt "magától kikopni" a dedupot, amikor a régi fájlok törlődnek, az újak meg már dedup nélül jönnek létre.
Erre írtam, hogy most megcsinálom az adatmpzgatást, hogy megszabaduljlak e deduptól, nem várok hónapokig, míg magától "megszűnik" a deduplikált adat.

( sibike | 2022. 06. 12., v – 16:03 )

Egy kis pontosítás:

"Van 2x16 TB HDD-n egy "Backup" pool, azon belül további 7 pool (1-1 TB quota-val). A dedup és a compress a Backuptól öröklődik az al-pooloknak."

Itt gondolom set-ekre gondolsz. Backup pool (zpool parancs) és 7 set (zfs list parancs).

Amit én javasolnék ha van elég hely: zfs send-receive elvileg működik poolon belül. Tehát először dedup kikapcs, majd zfs send receive-vel átmásolod a set-eket, a régieket törlöd és átnevezed az újakat a régi nevére.

Köszönöm a pontosítást, igazad van.
A ZFS send/receive eszembe sem jutott, azt is köszönöm!

HDD-n belül nem lenne az pokolian lassú? Viszont az nVME-n létrehozott set-re át-, majd visszaküldhetném rsyncelés helyett... (igazából kérdezem, sosem használtam még, csak olvastam a send/receive-ről)

( dorsy v | 2022. 06. 17., p – 22:53 )

ha pontosak akarunk lenni: a dedup blokk alapu, nem FS.

Szerintem send-recieve lesz a jo megoldas, akar gepen belul.

Amugy nem igazan szerencses mirrort epiteni ketfajta lemezbol, ha van ra lehetoseg legyen egyforma.