Prosíme přihlašte se nebo zaregistrujte.

Přihlašte se svým uživatelským jménem a heslem.
Vaše pomoc je stále potřeba!

Autor Téma: efektivní ukládání duplicitních souborů  (Přečteno 1133 krát)

corax

  • Návštěvník
  • *
  • Příspěvků: 20
efektivní ukládání duplicitních souborů
« kdy: 27 Března 2012, 22:04:46 »
Ahoj, mám na externím USB disku uložených šest záloh šesti různých webů, co jsem v poslední době lepil dohromady. Všechny ty weby vypadají jinak , ale veliké jsou proto, že obsahují stejné mp3 soubory. Dohromady mi to dělá  6 x 100 GB a to mě dost zatěžuje. Hledám nějakou vychytávku , která by takové složité adresářové struktury, které obsahují stejné soubory ukládala efektivně na disk bez duplicit.
O podobné vlastnosti  se neustále mluví kolem btrfs, ale nechce se mi pouštět se do experimentů  a napadlo mě, že musí existovat něco jednoduššího .
Kdyby to mělo podobu souborového systému , který by se dal přes FUSE připojit, tak by to bylo super, ale vlastně beru cokoliv :-)   
Dík za radu!

Šuohob

  • Závislák
  • ****
  • Příspěvků: 2171
Re:efektivní ukládání duplicitních souborů
« Odpověď #1 kdy: 28 Března 2012, 02:20:15 »
S tim BTRFS je to imho takle: mas na disku jeden soubor a zkopirujes ho, cili vidis ho dvakrat, ale fyzicky je soubor na disku jen jednou. Pokud vytvoris 2 soubory se stejnym obsahem, tak na disku budou fyzicky dvakrat. Tohle jsem netestoval, jen papouskuju, co jsem si nekde precetl (pokud kecam opravte me).

Tuhle vlastnost muzes implementovat i na normalnim ext filesystemu treba pomoci symbolickych linku, ale asi to nijak nezautomatizujes
Tak dlouho se vrzá s Acerem, až se displej utrhne.

beer

  • Host
Re:efektivní ukládání duplicitních souborů
« Odpověď #2 kdy: 28 Března 2012, 09:29:20 »
Nebylo by jednodušší mít ty mp3 na internetu jen jednou? Například v dropboxu? Ty weby by mohli využívat public url k těm souborům. Lokální záloha pro synchronizaci by mohla být na disku jen jednou. Takto se dá ušetřit i za kapacitu hostingu. A klidně můžeš mít více dropboxých účtů pod dalšími uživateli a tím sčítat kapacitu.

corax

  • Návštěvník
  • *
  • Příspěvků: 20
Re:efektivní ukládání duplicitních souborů
« Odpověď #3 kdy: 28 Března 2012, 09:35:39 »
Pomocí symlinků se mi to nechce dělat , jednak napsat na to skript asi přesahuje mojí znalost bashe a navíc ony zálohy jsou neustále aktualizované o malé změny pomocí rdiff-backup , takže se to sice malinko ale neustále mění. Navíc se obávám, že neuhlídám metadata souborů, které se můžou v jednotlivých zálohovacích kolekcích měnit......
Říkal jsem si , že takový problém musel už někdo řešit, a že na to existuje nějaká vychytávka , nejsem přeci jediný, kdo nemá místo na disku  pro spoustu stejných souborů pod jiným jménem (cestou).

Šuohob

  • Závislák
  • ****
  • Příspěvků: 2171
Re:efektivní ukládání duplicitních souborů
« Odpověď #4 kdy: 28 Března 2012, 12:25:41 »
a nebo by to jeste mohlo jit napriklad pomoci verzovaciho systemu - napriklad svn (a urcite i git a spousta dalsich) by tohle mohli umet
Tak dlouho se vrzá s Acerem, až se displej utrhne.

ntz_reloaded

  • Lokaj
  • Moderátor
  • Závislák
  • ***
  • Příspěvků: 3735
  • skill :: ur home erly
Re:efektivní ukládání duplicitních souborů
« Odpověď #5 kdy: 28 Března 2012, 13:29:06 »
pokud to mas vsechno v jednom filesystemu tak bych navrhoval udelat nejakej skript, kterej by duplicitni soubory (stejne md5) nahradil hardlinkama do nejakeho repositare
tikejte mi, taky Vam tikam ...
song of the day - openSUSE, openindiana, DuckDuckGo
The noise ain't noise anymore, who's to blame, WHO'S TO BLAME ??

 


Provoz zaštiťuje spolek OpenAlt.