bash-4.2$ md5sum *
8606408543f65daef5765a7f6c2963e4 forbz
8606408543f65daef5765a7f6c2963e4 fordefxz
8606408543f65daef5765a7f6c2963e4 forextxz
8606408543f65daef5765a7f6c2963e4 forgz1
8606408543f65daef5765a7f6c2963e4 forgz9
8606408543f65daef5765a7f6c2963e4 linux-3.9-rc2.tar
bash-4.2$ time bzip2 forbz ; time xz fordefxz ; time xz -e9 forextxz ; time gzip -1 forgz1 ; time gzip -9 forgz9 ; du -s *
real 1m57.710s
user 1m52.177s
sys 0m0.741s
real 7m13.139s
user 7m8.481s
sys 0m1.554s
real 12m41.579s
user 12m34.121s
sys 0m3.470s
real 0m16.545s
user 0m11.997s
sys 0m0.797s
real 0m57.928s
user 0m52.790s
sys 0m0.770s
83964 forbz.bz2
72652 fordefxz.xz
69528 forextxz.xz
133084 forgz1.gz
106112 forgz9.gz
501620 linux-3.9-rc2.tar
bash-4.2$
- uid_18247 blogja
- A hozzászóláshoz be kell jelentkezni
- 2687 megtekintés
Hozzászólások
Ha ad valaki egy 5-10 gigás átlagos logfájlt, örömmel megcsinálom azon is a tesztet. Most hirtelen nincs időm összekanyarítani egy fake logfile generatort, erőteljesen pedig semmi sem logol nálam.
- A hozzászóláshoz be kell jelentkezni
Fogsz egy apacsot, ami amugy nem logol sokat, es megkuldod egy keves szalon sok requestet futtato ab-vel. Ott az ahitott logfile.
Nekem van keznel ekkora logfile-m de tele van e-mail cimekkel - igy oda nem adnam.
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
ZPAQ kimaradt, mondjuk ahhoz izom gép kell, vagy sok idő.
- A hozzászóláshoz be kell jelentkezni
Köszi szépen, subscribe, még annyi, hogy még egy kitörömrítési teszt is érdekelne melléjük. :)
szerk.: megtaláltam amire kiváncsi voltam: http://pokecraft.first-world.info/wiki/Quick_Benchmark:_Gzip_vs_Bzip2_v…
- A hozzászóláshoz be kell jelentkezni
Az egy dolog, hogy valaki elcseszi a code taget, de hogy utána ne ellenőrizze le, hogy ha már egyszer használja és tudja jól, hogy ennyire fogyatékos a drupal....
----------------
Lvl86 Troll, "hobbifejlesztő" - Think Wishfully™
- A hozzászóláshoz be kell jelentkezni
+sok
- A hozzászóláshoz be kell jelentkezni
mennyire bonyolult lenne megirni egy algoritmust ami magatol lezar minden nyitott taget...
--
NetBSD - Simplicity is prerequisite for reliability
- A hozzászóláshoz be kell jelentkezni
Drupal 5-rol beszelunk, es csak a gyarirol. Trey nem nyul hozza. Szoval vegtelenul bonyolult.
- A hozzászóláshoz be kell jelentkezni
lol, ezt a "fícsört" nem ismertem. kipróbáltam néhány code zárási-nyitási elrendezést, de továbbra is elkúrja a blogomat. hgoyan kell megoldani?
- A hozzászóláshoz be kell jelentkezni
Ellentétben az itt fent tobzódó sok tudor-bugyor állításával, a tag le volt zárva. A blogger elfelejtette a <!--break-->-t használni. Nem kell mindent elhinni a webbölcseknek.
--
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
szerintem határozottan jó szándékúak, úgyis flame-ben reménykedtem :D
egyébként igen, önmagában a code tag le volt zárva. ezért néztem, mint rozi az új kapura.
- A hozzászóláshoz be kell jelentkezni
Ami odakinn annyit tesz, hogy nincs lezárva. HTML már csak egy ilyen suttyó dolog.
----------------
Lvl86 Troll, "hobbifejlesztő" - Think Wishfully™
- A hozzászóláshoz be kell jelentkezni
hmm, vegul is nem volt rossz valasztas a zlib...
- A hozzászóláshoz be kell jelentkezni
ez a poszt arrol szl, hog feltorted az md5-ot?
:)
tanulsag:
ha fotos a gyors tomorites:gz
ha van ido boven, de keves a hely: xz
altalaban: bzip2
--
Live free, or I f'ing kill you.
- A hozzászóláshoz be kell jelentkezni
bzip2 soha nem jó.
- A hozzászóláshoz be kell jelentkezni
Nem ertek egyet.
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
Hát ha terjesztésre megy a dolog (1x tömörít, sokszor továbbít és kibont), akkor lzma (xz), mivel ugyan a tömörítés lassú, viszont a fájl kicsi lesz és gyorsan kibontható.
Ha backup (1x tömörít, nem adod oda senkinek, lehet soha nem csomagolod ki, de az is lehet, hogy 1-2x igen), akkor deflate (gzip).
- A hozzászóláshoz be kell jelentkezni
A terjesztesre talalta ki a Google a Zopflit, pont ez a use-case az, ami nekik fontos.
- A hozzászóláshoz be kell jelentkezni
Zopflit eddig nem ismertem, de nem a zopfli megismerése fogja cáfolni az eredeti állításom, miszerint a "bzip2 soha nem jó."
- A hozzászóláshoz be kell jelentkezni
Nem, ha backup, akkor bzip2, mert azert nem mindegy, hogy mekkora szivlapatot kell venni a diskek backup szerverbe lapatolasahoz.
Pont backupra idealis amugy a bzip2, kicsit nagyobb lesz a backup idoablak, de mar alapbeallitason is kisebb csomagot csinal, nem sokkal hosszabb ido alatt, mint a gzip. Es ezt persze lehet tag hatarok kozt mozgatni.
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
Semmi meglepetés.
Tudjuk szépen, hogy a deflate (zip, gzip, zlib) gyorsan tömörít és gyorsan bont ki, viszont nem túl erősen.
Az LZMA (lzma, xz, lzip) lassan tömörít, gyorsan bont ki, és erősen tömörít.
A BWT (bzip2) lassan tömörít, lassan bont ki, és közepesen jól tömörít.
A három összehasonlítása
a) tömörítés sebességében
1. gzip (leggyorsabb)
2. bzip2
3. xz
b) kibontás sebességében
1. gzip (leggyorsabb)
2. xz (nem sokkal lassabb)
3. bzip2
c) tömörített fájl mérete
1. xz (legkisebb)
2. bzip2
3. gzip
- A hozzászóláshoz be kell jelentkezni
A c)-t tökéletesen követte a FreeBSD bináris csomagformátuma:
először: tar + gzip
aztán: tar + bzip2
jelenleg: tar + xz
(Mellegleg bele kellet volna tenni a nem-túl régen szereplő zlib kompatibilis tömörítőt.
- A hozzászóláshoz be kell jelentkezni
szlekknél is xz van, úgyhogy ma se állok át!
- A hozzászóláshoz be kell jelentkezni
Tipp: Archnal is.
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
Par eredmeny a gepemen.
Megcsinaltam ugyanazt gzip -9-cel is, hogy az adatokat a gepek kulonbsege ellenere valamennyire ossze lehessen hasonlitani.
(Futott mellette par masik program is, de magbol es memoriabol is volt meg boven, nem hiszem, hogy befolyasolta volna a merest.)
Ugyanugy linux-3.9-rc2.tar volt a bemenet, 8606408543f65daef5765a7f6c2963e4 a checksum.
7zip "ultimate" (Ubi default repo, 2 magot evett):
-t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on
real 3m39.472s
user 6m3.675s
sys 0m1.884s
72486987 byte
gzip -9 (Ubi default repo):
real 0m32.359s
user 0m32.086s
sys 0m0.252s
108657525 byte
zopfli (-O2-vel forgatva, ahogy a mellekelt makefile-ban volt):
--i15 (default):
real 59m43.137s
user 59m34.499s
sys 0m4.464s
104298989 byte
--i10:
real 44m12.757s
user 44m5.901s
sys 0m3.920s
104308289 byte
--i20:
real 71m36.597s
user 71m31.056s
sys 0m2.860s
104295598 byte
bzip2 -9 (Ubi repo)
real 0m59.795s
user 0m59.372s
sys 0m0.256s
2. futasra:
real 0m58.714s
user 0m58.340s
sys 0m0.252s
85977560 byte
bzip2 default block size:
real 1m1.009s
user 1m0.164s
sys 0m0.296s
85977560 byte <- man szerint ugyanaz, mint a -9, szoval ekkora a szorasa
i7 920, memoriabol meg a teszt vegen is volt szabadon 9GiB, a cache 4.5GiB korul mozgott
Akinek nem ismeros a Zopfli:
http://hup.hu/cikkek/20130302/zopfli_uj_nyilt_forrasu_tomoritesi_algori…
Nagyon ugy tunik, hogy ha nem szamit, hogy a gunzip-pel kompatibilis maradjon a kibontasa, akkor baromira nem eri meg sem sebessegben, sem tarhelyben, bar meg nemreg jelent meg, gyorsithatnak rajta.
szerk:
Trey bejegyzesen felbuzdulva, lefuttattam a zpaq-ot:
time zpaq sicmax.cfg,4 linux-3.9-rc2.tar.zpaq linux-3.9-rc2.tar
real 54m32.277s
user 54m26.452s
sys 0m3.492s
51711210 byte
Ugy tunik, nem csak a tomoritestol, hanem a bemenettol is fugg, hogy mennyi memoriat akar lefoglalni.
A kernel forrason eleg szepen raver a 7zip-lzma-ra, de sokkal lassabb (raadasul alapbol csak 1 magot hasznal). Ha lesz kedvem, lefuttatom kisebb tomoritessel is, mert lehet, hogy elviselheto ido alatt is meg tudja verni.
--
I can calculate the movement of the stars, but not the madness of men. -Sir Isaac Newton
- A hozzászóláshoz be kell jelentkezni