Fórum Ubuntu CZ/SK

Ubuntu pro osobní počítače => Obecná podpora => Téma založeno: compaq 07 Května 2013, 11:48:08

Název: Kopírování více souborů, přerušení, navázání...
Přispěvatel: compaq 07 Května 2013, 11:48:08
Kopíruji například 100 filmů z disku na disk. V půlce se kopírování z nějakého důvodu přeruší (dítě vykopne USB kabel). Jak a čím navázat tak, aby se kompletní soubory přeskočily (nenahrazovaly) a jeden či více neúplně zkopírovaných, aby se nahradily a zbytek dokopíroval. Běžnou funkcí v Nautilu (přeskočit vše) je velice pravděpodobné, že jeden, či více souborů nebudou komplet.

Stručně: chybí mi funkce přeskočit kompletně a správě zkopírované soubory.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: jmp 07 Května 2013, 12:22:28
není jednodušší si pak ty adresáře porovnat a pořešit nesrovnalost(i)
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: pacholik 07 Května 2013, 12:23:08
rsync
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: Rover623 07 Května 2013, 12:56:39
Kopírování je odjakživa synchronní proces, tedy manažer bere soubory tak jak jsou seřazeny podle zobrazení jeden po druhém. Pokud se kopírování kdykoli přeruší vlivem nenadálých skutečností (do majitele uhodí blesk a ten vytrhne USB disk z počítače), poškozený je vždy poslední kopírovaný soubor. Takže se podívám na cíl, nastavím si řazení souborů stejně jako na zdroji (obvykle podle jména) a vymažu poslední soubor v seznamu, ten je nejpravděpodobněji poškozen.

Pak zahájím nové kopírování do cíle, zvolím "Přeskočit vše" a Nautilus přeskočí všechny již nakopírované soubory a doplní jen ty co chybí.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: Tadeáš Pařík 07 Května 2013, 12:59:59
Kopírování je odjakživa synchronní proces, tedy manažer bere soubory tak jak jsou seřazeny podle zobrazení jeden po druhém. Pokud se kopírování kdykoli přeruší vlivem nenadálých skutečností (do majitele uhodí blesk a ten vytrhne USB disk z počítače), poškozený je vždy poslední kopírovaný soubor. Takže se podívám na cíl, nastavím si řazení souborů stejně jako na zdroji (obvykle podle jména) a vymažu poslední soubor v seznamu, ten je nejpravděpodobněji poškozen.

Pak zahájím nové kopírování do cíle, zvolím "Přeskočit vše" a Nautilus přeskočí všechny již nakopírované soubory a doplní jen ty co chybí.

V tomto případě to ale za Compaqa bude muste dokončit někdo jiný, protože do něj uhodil blesk...  ;D

Jinak +1
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: TIBOR 07 Května 2013, 14:02:42
Kopírování je odjakživa synchronní proces, tedy manažer bere soubory tak jak jsou seřazeny podle zobrazení jeden po druhém. Pokud se kopírování kdykoli přeruší vlivem nenadálých skutečností (do majitele uhodí blesk a ten vytrhne USB disk z počítače), poškozený je vždy poslední kopírovaný soubor. Takže se podívám na cíl, nastavím si řazení souborů stejně jako na zdroji (obvykle podle jména) a vymažu poslední soubor v seznamu, ten je nejpravděpodobněji poškozen.

Pak zahájím nové kopírování do cíle, zvolím "Přeskočit vše" a Nautilus přeskočí všechny již nakopírované soubory a doplní jen ty co chybí.
Toto by platilo asi ak by boli vsetky subory rovnako velke co u filmov nemusi platit. Skor skonci mensi subor a tym sa poskodit nemusi posledny pridany na kopirovanie.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: compaq 07 Května 2013, 14:30:28
...a to nemluvím o situaci, když dám kopírovat nejdřív složku komedie, potom péčko a nakonec horrory... Jede to vše najednou...

Když je souborů mnoho (desítky tisíc fotek i filmů) ve stovkách složek, nelze zjistit, které byly poslední a "rozpracované".
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: beer 07 Května 2013, 14:44:42
...a to nemluvím o situaci, když dám kopírovat nejdřív složku komedie, potom péčko a nakonec horrory... Jede to vše najednou...

Když je souborů mnoho (desítky tisíc fotek i filmů) ve stovkách složek, nelze zjistit, které byly poslední a "rozpracované".

Já myslel, že vše doma sdílíš. Proč tedy kopíruješ, když můžeš na to své péčko koukat z jakéhokoliv zařízení ve své síti?

Není jednodušší si udělat nějaký NAS server, tam dát pár tera diskové kapacity, připíchnout to na nějaký wifi N router, případně do domácí gigabitové kabelové infrastruktury? Pak nebudeš muset řešit takovéhle věci.

A řešení zde již padlo. Rsync.

http://www.root.cz/clanky/pokrocile-zalohovani-s-rsync/ (http://www.root.cz/clanky/pokrocile-zalohovani-s-rsync/)
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: compaq 07 Května 2013, 14:51:23
OK. Díky za rady a tipy.

Vidím, že všichni považujete funkci kopírování přeskočit kompletně a správě zkopírované soubory za nadbytečnou. OK.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: beer 07 Května 2013, 14:57:39
OK. Díky za rady a tipy.

Vidím, že všichni považujete funkci kopírování přeskočit kompletně a správě zkopírované soubory za nadbytečnou. OK.

Nepovažujeme, ale musel by si porovnávat hashe, jestli jsou soubory ok, nebo ne, jestliže kopíruješ stylem, který si zde popsal. Pro nespolehlivé připojení je ideální rsync a pod.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: compaq 07 Května 2013, 15:08:09
OK. Díky za rady a tipy.

Vidím, že všichni považujete funkci kopírování přeskočit kompletně a správě zkopírované soubory za nadbytečnou. OK.

Nepovažujeme, ale musel by si porovnávat hashe, jestli jsou soubory ok, nebo ne, jestliže kopíruješ stylem, který si zde popsal. Pro nespolehlivé připojení je ideální rsync a pod.

Pravda. Lepší by byla možnost nastavení:

kontrolovat:
název souboru
velikost souboru
hash souboru
atd.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: beer 07 Května 2013, 15:57:00
Kontrolování velikosti souboru by bylo nadbytečné, pokud bys ověřoval hash. Že je soubor kompletní poznáš již podle hashe.

rsync tohle všechno řeší, pokud soubor není kompletní, tak ho stáhne znovu. Takže není nutné vymýšlet zesložiťování cp. Ale rsync není jediným nástrojem, který by bylo možné využít. Dal by se použít i rdiff-backup.

http://www.root.cz/clanky/zaloha-dat-pomoci-rdiff-backup/
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: compaq 07 Května 2013, 16:20:58
Díky za tipy.

Vysvětlím situaci. Jedeme s kámošema na víkend. Každej si vezme USB disk, já NB (windows nebereme), ty 2-4 disky připojíme do notebooku na stolku na zahradě vedle grilu. Grilování si zkracujeme kopírování typu: hele máš tohle, ne frkni mi to tam a já to tam šoupnu tohle, to chci já taky, kluci dejte mi tam všechno... Potom zpravidla jeden disk spadne na zem, druhej se poleje pivem, někdo ukopne prodlužku a když dojídám jehně, tak se mi vybije notebook. Pak to dávej dohromady. Ráno mám čtvrtinu souborů nefunkčních. Rsync ani terminál po několika pivech neumím používat.
:-)

(http://pochutnamsi.cz/media/images/grilovaneveprove.jpg)


Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: Matesax 07 Května 2013, 19:03:22
Od čeho tu je EXT? (žurnálování...)
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: compaq 07 Května 2013, 22:57:59
Od čeho tu je EXT? (žurnálování...)

Ti trubci maj FAT.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: GdH 07 Května 2013, 23:20:53
Od čeho tu je EXT? (žurnálování...)

Jak zmíněnou situaci vyřeší žurnál? To mě zajímá, v tomto nemám zcela jasno.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: Matesax 08 Května 2013, 05:46:06
Od čeho tu je EXT? (žurnálování...)

Ti trubci maj FAT.

A já mám asi HAM... :) (Ubuntu + FAT - hmmm...)

Wikipedie:

Citace
Žurnálovací systém souborů zapisuje změny, které mají být v počítačovém systému souborů provedeny, do speciálního záznamu nazývaného žurnál (anglicky journal). Žurnál je obvykle realizován jako cyklický buffer a jeho účelem je ochránit data na pevném disku před ztrátou integrity v případě neočekávaných havárií (výpadek napájení, neočekávané přerušení vykonávaného programu, pád systému apod.).

,,,

Souborové systémy jsou velmi komplexními datovými strukturami. Při změně v souborech nebo adresářích je nutné vykonat řadu jednotlivých (atomických) operací, což může vést k problému se souběhem (anglicky race condition). Sérii jednotlivých operací, které je potřeba provést, nazýváme transakce.
Při přerušení transakce může dojít k tomu, že data na disku ztratí integritu (jsou narušeny vazby, které data spojují ve smysluplný celek). Uvedení dat do opětovné integrity znamená naplánovanou transakci dokončit nebo se vrátit k původnímu stavu před započetím transakce. Žurnálování umožňuje velmi rychle a bezpečně uvést souborový systém do konzistentního stavu.
Souborové systémy, které žurnálování nepodporují, je nutné kompletně zkontrolovat speciálním programem (např. scandisk, fsck), což je časově velmi náročná operace a může to navíc způsobit ztrátu dostupnosti dat, které nebyly havárií postiženy přímo.

Takže by to v kopírování mělo normálně pokračovat...
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: petohl 08 Května 2013, 06:12:29
Odporucam program FreeFileSync. Ja pouzivam zatial iba jeho Win verziu, ale na SF je aj verzia pre ubuntu. 

Jednoducho v lavom paneli zvolis zdrojovy adresar, v pravom cielovy adresar. V nastaveniach zvolis rezim mirror-zrkadlenie (dolezite !), das porovnat (potom vpravo dolu skontrolujes statistiku kolko sa bude kopirovat novych, kolko sa prepise - toto su v tvojom pripade tie poskodene; a kolko sa zmaze -v tvojom pripade na zmazanie by mala byt 0) a das synchronizovat.

Je to velmi spolahlivy program aj pre 100-tisicku suborov v adresari. Pracuje aj so sietovymi miestami. Standardne porovnava cas suboru a velkost suboru, co je dostatocne pre vyhodnotenie ci je subor nakopirovany alebo nie.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: Matesax 08 Května 2013, 06:30:59
Vždyť stačí obyčejné cp s optionem -n... (Když už.)

Kód: [Vybrat]
cp /ddd/* /yyy -n
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: GdH 08 Května 2013, 10:09:27
Vždyť stačí obyčejné cp s optionem -n... (Když už.)

Kód: [Vybrat]
cp /ddd/* /yyy -n

Opět jsi nepochopil, co se tu řeší?
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: Matesax 08 Května 2013, 11:14:58
To ty jsi to nikdy nepochopil. Řeší se tu pokračování po přerušení kopírování - jak na to jsem napsal... n == never overwrite
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: GdH 08 Května 2013, 12:16:21
To ty jsi to nikdy nepochopil. Řeší se tu pokračování po přerušení kopírování - jak na to jsem napsal... n == never overwrite

A jak to řeší nekompletně zkopírované soubory?
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: Matesax 08 Května 2013, 12:57:14
No a ne? (Nenakopíruje již existující...)
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: GdH 08 Května 2013, 13:50:38
No a ne? (Nenakopíruje již existující...)

Opravdu si myslíš, že nepřepsání souboru stejného jména řeší problém tohoto vlákna? Filesystem byl odpojen uprostřed kopírování.
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: Matesax 08 Května 2013, 14:13:00
Od toho tu je žurnál - po znovupřipojení to bude pokračovat...
Název: Re:Kopírování více souborů, přerušení, navázání...
Přispěvatel: GdH 08 Května 2013, 14:26:58
Od toho tu je žurnál - po znovupřipojení to bude pokračovat...

Žurnál nic nekopíruje, ten je v těchto případech schopen zajistit integritu filesystému, protože ví co de dělo, mělo dít a stalo. Co máš ve své pohádkové knížce dál?