efektivní ukládání duplicitních souborů

[corax]

Ahoj, mám na externím USB disku uložených šest záloh šesti různých webů, co jsem v poslední době lepil dohromady. Všechny ty weby vypadají jinak , ale veliké jsou proto, že obsahují stejné mp3 soubory. Dohromady mi to dělá  6 x 100 GB a to mě dost zatěžuje. Hledám nějakou vychytávku , která by takové složité adresářové struktury, které obsahují stejné soubory ukládala efektivně na disk bez duplicit.
O podobné vlastnosti  se neustále mluví kolem btrfs, ale nechce se mi pouštět se do experimentů  a napadlo mě, že musí existovat něco jednoduššího .
Kdyby to mělo podobu souborového systému , který by se dal přes FUSE připojit, tak by to bylo super, ale vlastně beru cokoliv :-)   
Dík za radu!

[Šuohob]

S tim BTRFS je to imho takle: mas na disku jeden soubor a zkopirujes ho, cili vidis ho dvakrat, ale fyzicky je soubor na disku jen jednou. Pokud vytvoris 2 soubory se stejnym obsahem, tak na disku budou fyzicky dvakrat. Tohle jsem netestoval, jen papouskuju, co jsem si nekde precetl (pokud kecam opravte me).

Tuhle vlastnost muzes implementovat i na normalnim ext filesystemu treba pomoci symbolickych linku, ale asi to nijak nezautomatizujes

[beer]

Nebylo by jednodušší mít ty mp3 na internetu jen jednou? Například v dropboxu? Ty weby by mohli využívat public url k těm souborům. Lokální záloha pro synchronizaci by mohla být na disku jen jednou. Takto se dá ušetřit i za kapacitu hostingu. A klidně můžeš mít více dropboxých účtů pod dalšími uživateli a tím sčítat kapacitu.

[corax]

Pomocí symlinků se mi to nechce dělat , jednak napsat na to skript asi přesahuje mojí znalost bashe a navíc ony zálohy jsou neustále aktualizované o malé změny pomocí rdiff-backup , takže se to sice malinko ale neustále mění. Navíc se obávám, že neuhlídám metadata souborů, které se můžou v jednotlivých zálohovacích kolekcích měnit......
Říkal jsem si , že takový problém musel už někdo řešit, a že na to existuje nějaká vychytávka , nejsem přeci jediný, kdo nemá místo na disku  pro spoustu stejných souborů pod jiným jménem (cestou).

[Šuohob]

a nebo by to jeste mohlo jit napriklad pomoci verzovaciho systemu - napriklad svn (a urcite i git a spousta dalsich) by tohle mohli umet

[ntz_reloaded]

pokud to mas vsechno v jednom filesystemu tak bych navrhoval udelat nejakej skript, kterej by duplicitni soubory (stejne md5) nahradil hardlinkama do nejakeho repositare