Duplikált fájl kereső, eltávolító progik

 ( bsteve | 2007. április 25., szerda - 10:48 )

Sziasztok!

Szeretném megtudni, hogy ti melyik progit használjátok erre a feladatra. Sajnos elég sok cuccom felgyülemlett az idők folyamán, és szeretnék egy igazán hatékony és okos progit találni. A win-es időkben a noclone-t használtam, és nagyon tetszett az, hogy volt smart marker funkciója, azzal nem kellett akár több ezer fájlt kézzel átböngészni, hanem megadott minta alapján egy mozdulattal kijelölhető volt a "felesleg".
Mivel nem ismerem a hasonló linuxos progikat, szeretnék itt segítséget kérni.
Ha már volt ilyen topic, akkor elnézéseteket kérem (bár én nem találtam).
Köszi!

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Hali, a feladatra scriptet irnek. Ha erre vetemedsz nehany tipp:
Ha az egyezo fajloknak esetleg mas nevuk is lehet, vagy ha nem akkor is, osszehasonlitasra checksum-ot hasznalnek. PL. md5 tokeletes a celra.
Elso korben egy findal kiiratnam a fajlok md5-jet, majd az outputot md5 szerint
rendezve csak meg kell keresni a tobszoros sorokat.
Amire szukseg van:
man find, man md5, man sort, man uniq, man rm
==
`Have some wine,' the March Hare said in an encouraging tone.
Alice looked all round the table, but there was nothing on it but tea.

Ez a megoldás tetszik, ki fogom próbálni.
Köszi!

Én mostanában írtam egy ilyet, amikor több ezer mappában több százezer fájlt kellett átfésülnöm.

Mondjuk az egy segghülye szkript lett: fixen beleírtam, hogy tárolja le a könyvtár prioritásokat, azaz, ha egyszer az A könyvtárban lévő fájlt tartottam meg, és a B könyvtárban lévőt töröltettem vele, akkor legközelebb, ha az A-ban és a B-ben azonos fájlt talált, már meg sem kérdezte, hogy melyik maradjon meg, hanem szó nélkül törölte a duplikált fájlt a B-ből.

Nagyon nem volt kedvem többezres fájllistát egyenként bögészgetni, hogy mi maradjon meg, mi ne :-(

---
Mondjon le!

néha használom ilyesmire az fdupes progit

azt én is próbáltam egyszer - úgy tűnik, csak az azonos nevű fájlokat találja meg.

- rezso -

fslint, aminek a kimenetét kézzel (najó scripttel) átbogarászom.
---
Reactor error - core dumped!

OUTF=rem-duplicates.sh;
echo "#! /bin/sh" > $OUTF;
find "$@" -type f -print0 |
xargs -0 -n1 md5sum |
sort --key=1,32 | uniq -w 32 -d --all-repeated=separate |
sed -r 's/^[0-9a-f]*( )*//;s/([^a-zA-Z0-9./_-])/\\\1/g;s/(.+)/#rm \1/' >> $OUTF;
chmod a+x $OUTF; ls -l $OUTF

http://elonen.iki.fi/code/misc-notes/remove-duplicate-files/index.html

KleanSweep