tgz-bz2 transpipeline? megéri?

UNIX kezdő

van nettó 1 terás targz-m. nem lenne túl bonyi összerakni egy pipeline-t, ami transzkódolja bz2-re. Várom a tapasztalat alapú javaslatokat, h megéri-e? jellemzően bináris ganét tartalmaz az eredeti, éppen CPU is van rá, de feleslegesen nem akarok bindzsizni vele.

hosszú távon úgyis ki lesz bontva valahova az egész (demost kell a hely) nemtom mennyi volt az eredeti, de erre tudok hákolni vmi egyszerű szkriptet, h kiderüljön. Jellemző, h a tar tzvf egy 2.9G-s fájl listát állított elő, egy röpke fél nap alatt.

Konkrétan megfogalmazva és elméleti útra terelve a kérdést:
- mérettel hogyan változik a bzip hatékonysága
- mik a lejobb (-9?) kapcsolók
- érdemes-e pl. több kicsibb darabra szétszedni (mondjuk hosszú távon úgyis ki lesz bontva valahol az egész)

A bónusz pont nekem jár a transpipeline feltalálásáért. Megyek is iszok vmit még.

  • 3250 megtekintés

( uid_7086 | 2014. 08. 20., sze – 21:32 )

Az a "transpipeline" hogy értendő?

gunzip -c file.tar.gz | bzip2 -c >file.tar.bz2

Így gondolod? (ha nem, akkor nem jár a bónusz :) )
Sokban függ egyébként az eredmény attól, hogy mi volt eredetileg becsomagolva.
Ha van lehetőség kisebb darabokra bontva újracsomagolni, azzal szerintem jobban járnál - már csak azért is, mert ha helyet kell felszabadítani, egy terát felhőbe másolni elég macerás, pár gigát meg a mai szélessáv mellett nem lehetetlen adott esetben.

Azzal mindenképp számolj, hogy a bzip nagyon lassú tud lenni!

Jó, felhőt csak példának mondtam - eleve, ha oda akarsz valamit tolni és van benne bizalmas infó, akkor kódolni kell, akkor meg... na nem részletezem. ;)
De járhatsz úgy is, hogy kiraknád mondjuk USB-s diszkre az épp felesleges darabokat, hogy ideiglenesen helyet csinálj valaminek. Akkor is egyszerűbb lehet a kisebb méret. Viszont azzal dolgozni is kell ugye - azt nem javasolnám, hogy automatikusan daraboltasd a tar-t. Inkább tartalom szerint szórnám szét az anyagokat, ha lehet.

( andrej_ v | 2014. 08. 20., sze – 21:36 )

A tgzhez kepest 10-15% nyerheto bz2-vel es 20-25 xz -vel. Ez persze fugg a konkret alapanyagtol is, pl erosen tomoritett jpgken nem fog igazan segiteni.

( Elbandi v | 2014. 08. 21., cs – 02:11 )

ilyen bazinagy tar-t nem erdemes csinalni, ugyanis a tar seqvencialis felepitesu: nincs random fajl eleres, ahhoz hogy X fajlt kimasolj belole, vegig kell olvasni a fajlig az egesz tartalmat. ezert is volt lassu a fajllista generalas (ennyi ideig tartott az 1T felolvasasa)

--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!