Jak najít duplicitní soubory?

[compaq]

Přátelé,

potřebuji na externím disku s fotografiemi (cca 290 GB) vyhledat duplicitní soubory. Soubory se mohou lišit názvem, datem, příponou, ale mají shodný obsah. Je to vůbec amatérsky možné?

Představuji si výpis:

duplicity:
svatba-013.jpg
/zaloha/fotky/PIC005429.JPG
-
svatba-019.jpg
/zaloha/fotky/PIC005488.JPG
/zaloha/fotky/svatba/PIC005488.JPG
-

Díky.

[Roman Vacho]

Tohle jsem kdysi taky řešil a myslím, že pomocí Digikamu(duplicity umí) úspěšně vyřešil a uvolnil pár desítek až stovek megabajtů.
Jen počítej s tím, že je to časově náročné. Nejprve se totiž tvoří databáze "otisku palce".

[compaq]

Tohle jsem kdysi taky řešil a myslím, že pomocí Digikamu(duplicity umí) úspěšně vyřešil a uvolnil pár desítek až stovek megabajtů.
Jen počítej s tím, že je to časově náročné. Nejprve se totiž tvoří databáze "otisku palce".

Díky vyzkouším, času mám dost, klidně to může běžet celej víkend. Problém, je, že si bude asi digikam ukládat mraky dat...

[Roman Vacho]

Otisk palce-40GB 13min 42s.
Vyhledání duplicit dle výkonu procesoru. U mě 40s.

[jmp]

$ sudo aptitude install fdupes
$ man fdupes


FDUPES(1)                                                            FDUPES(1)

NAME
       fdupes - finds duplicate files in a given set of directories

SYNOPSIS
       fdupes [ options ] DIRECTORY ...

DESCRIPTION
       Searches  the  given  path for duplicate files. Such files are found by
       comparing file sizes and MD5 signatures,  followed  by  a  byte-by-byte
       comparison.

[compaq]

$ sudo aptitude install fdupes
$ man fdupes

Díky.

[Roman Vacho]

Aktualizoval jsem časy.

Mimochodem díky za tip. Zjistil jsem, že mám některé fotky až 12krát


[příloha smazaná administrátorem]

[Martin Šácha]

Tak, ještě neco co by nahradilo duplicity hardlinkem
Ale to se poddá...

[Tadeáš Pařík]

$ sudo aptitude install fdupes
$ man fdupes


FDUPES(1)                                                            FDUPES(1)

NAME
       fdupes - finds duplicate files in a given set of directories

SYNOPSIS
       fdupes [ options ] DIRECTORY ...

DESCRIPTION
       Searches  the  given  path for duplicate files. Such files are found by
       comparing file sizes and MD5 signatures,  followed  by  a  byte-by-byte
       comparison.

Díky za tip.

Kód: [Vybrat]

fdupes -rnA cesta_k_adresari/
funguje bezvadně! +1

[Roman Vacho]

Najde to i ty, co se liší velikostí? Ale třeba obsah je na 99% stejnej?

[beer]

Tak, ještě neco co by nahradilo duplicity hardlinkem
Ale to se poddá...

Co takhle to přesypat na oddíl s BTRFS?

[jmp]

Najde to i ty, co se liší velikostí? Ale třeba obsah je na 99% stejnej?

IMHO ne

Searches  the  given  path for duplicate files. Such files are found by
       comparing file sizes and MD5 signatures,  followed  by  a  byte-by-byte
       comparison.

[Roman Vacho]

Tak už fachší. Snad nesežere celou paměť :-)
Edit: tak už je po něm :-( Asi jsem toho po něm chtěl moc.

[příloha smazaná administrátorem]

[compaq]

Ten digikam celou noc dělal otisky a ráno nějaký duplicity našel, ale zatím jsem neměl čas to ověřit...

[Martin Šácha]

Tak, ještě neco co by nahradilo duplicity hardlinkem
Ale to se poddá...

Co takhle to přesypat na oddíl s BTRFS?

Až bude btrfs šifrovatelný (truecryptem), tak klidně

[compaq]

Digikam funguje pěkně a i docela svižně, na to, že mám fotek 280GB. Mám však jeden problém, i při nastavení shody duplicity 100% najde snímky, které jsou pouze podobné. Respektive se jedná například o výřez, nebo mírnou změnu barvy, nebo i změnu rozlišení.

Nepřišel jsem na to, jak nastavit, že za 100% shodné považuji pouze snímky, kde se obraz 100% shoduje, tj pixel na pixel ani pixel jinak!

Dále prosím o radu, jak vyhledávat podle více štítků. Například všechny fotky, jde je Dryml i Šlouf.

Dále neumím nastavit, aby se pod náhledem snímku zobrazovala velikost souboru.

Díle neumím nastavit, aby si databázi o snímcích z externího disku ukládal na externí disk a databázi interních snímků na interní. Chtěl bych ho používat někdy s připojením externího disku, někdy bez.

Díky za tipy a rady.

[ntz_reloaded]

find $nekde -type f -exec md5sum {} \; >/soubor/s/logem

potom normalne pomoci grepu a sortu zjistis duplicity

[compaq]

find $nekde -type f -exec md5sum {} \; >/soubor/s/logem

potom normalne pomoci grepu a sortu zjistis duplicity

Pozor, snímky se liší (mírně) velikostí, názvem i EXIFem apod.

[Martin Šácha]

find $nekde -type f -exec md5sum {} \; >/soubor/s/logem

potom normalne pomoci grepu a sortu zjistis duplicity

Pozor, snímky se liší (mírně) velikostí, názvem i EXIFem apod.

Pak to nejsou duplicity. Mateš všechny okolo.

[compaq]

find $nekde -type f -exec md5sum {} \; >/soubor/s/logem

potom normalne pomoci grepu a sortu zjistis duplicity

Pozor, snímky se liší (mírně) velikostí, názvem i EXIFem apod.

Pak to nejsou duplicity. Mateš všechny okolo.

Čtěte pozorněji:
Nepřišel jsem na to, jak nastavit, že za 100% shodné považuji pouze snímky, kde se obraz 100% shoduje, tj pixel na pixel ani pixel jinak!

Jedná se o snímky. Duplicitní snímky, ne soubory. Nepsal jsem bit na bit, ale pixel na pixel.

[Martin Šácha]

potřebuji na externím disku s fotografiemi (cca 290 GB) vyhledat duplicitní soubory. Soubory se mohou lišit názvem, datem, příponou, ale mají shodný obsah. Je to vůbec amatérsky možné?

Piš pozorněji.

[beer]

find $nekde -type f -exec md5sum {} \; >/soubor/s/logem

potom normalne pomoci grepu a sortu zjistis duplicity

Toto by mělo fungovat tak jak potřebuješ. Jiná možnost zřejmě nebude, nežli přes kontrolní součty.

[compaq]

potřebuji na externím disku s fotografiemi (cca 290 GB) vyhledat duplicitní soubory. Soubory se mohou lišit názvem, datem, příponou, ale mají shodný obsah. Je to vůbec amatérsky možné?

Piš pozorněji.

Omlouvám se. Moje chyba.

[compaq]

find $nekde -type f -exec md5sum {} \; >/soubor/s/logem

potom normalne pomoci grepu a sortu zjistis duplicity

Toto by mělo fungovat tak jak potřebuješ. Jiná možnost zřejmě nebude, nežli přes kontrolní součty.

Pozor, snímky se liší (mírně) velikostí souboru, názvem i EXIFem apod.

[beer]

Tak v tom případě se nejedná o duplicitu.