Jak na inkrementální zálohu? [vyřešeno]

[antelao]

Poněkolika dnech pokusů jsem se dostal do situace, že nevím jak dál. Vše co potřebuji je zazálohovat si data a po 14 dnech či měsíci spustit zálohu znovu - ale tak, aby mi už zazálohovala jen soubory, které se změnily, nebo které jsou nové. Jedná se hlavně o dokumenty a fotky. Bylo by fajn, kdyby program uměl i dokumenty zabalit a případně rozdělit po 700 MB.

Vyzkoušel jsem keep, konserve, kdar, simplebackup, flexbackup,  a ještě něco (už nevím ...) ale bez úspěchu. Buďto inkrementální zálohu neumí, nebo ji umí ale prakticky nezvládá (např. keep) anebo prostě neumím nakonfigurovat terminálové programy (např. flexbackup).

Velké naděje jsem vkládal do progranu keep, ale když jsem  v původních datech něco umazal nebo něco přidal anebo něco změnil tak se z toho při spuštění zálohy zhroutil :-(

Poradíte prosím jaký program na přírůstkové zálohování? Pod Windows jsem používal Cobian Backup a ten byl naprosto supr.

Jiří

[Jakub Lucký]

Jediné co mě na to napadá je napsat si na to bash skript a nacpat ho do Cronu...

[antelao]

Tak jsem ještě vyzkoušel rsync, dirvish, rfiff-backup, hdup a rsnapshot. No spíše nevyzkoušel, protože nevím jak je spustit, resp. nakonfigurovat aby program dělal to co potřebuju.

Můžete mi prosím někdo z vás zkušenějších poradit? Nějaký konkrétní příklad programu a jeho nastavení. Něco co máte vyzkoušené a funguje to.

Díky, Jiří.

PS: "napsat si na to bash skript a nacpat ho do Cronu..."
Cron - to asi zajistí že se bude script spouštět automaticky, že jo.
bash skript - můžete prosím dát konkrétní příklad? v této oblasti jsem začátečník, ještě jsem žádný "bash script" nenapsal. Script ve VBA (Excel) to jo, to znam, ale bash script - nee

[donny]

bash skript je vlastne skript pro bash (v dapperovi defaultne pouzivany shell; v edgy je to dash). Jen me nenapada, jak zjistit, jaky soubor se zmenil, vyjma toho, ze by si ten program zavedl nejakou databazi-jako index, a ten pak s casovym odstupem porovnaval s tim, co je.

[Skeletonix]

záloha: dump
obnova: restore

.. jednoduché a funkční !

[Pavelp]

Tohle vsechno resi program TAR. Tape ArchiveR. Puvodne urceny k zalohovani na pasku. Kdyz se podivate do dokumentace, najdete obrovske mnozstvi parametru. Umi inkrementalne cislovat zalohy a jine blbustky. Pouzit se da i smbtar, co dela je naznaceno v nazvu.

[TomAker]

Tak ten skript dejme dohromady, rád se poučím

Základem může být:

Kód: [Vybrat]

#!/bin/bash

tar -cf - -T /home/tomaker/Archiv/archivace.txt 2>/home/tomaker/Archiv/tar-error.txt | bzip2 -9 >/home/tomaker/Archiv/archiv-`date +%d-%m-%y`.tar.bz2 2>/home/tomaker/Archiv/bzip2-error.txtSeznam souborů určených k záloze se nachází v /home/tomaker/Archiv/archivace.txt
Napr.:

Kód: [Vybrat]

/home/tomaker/.mozilla
/home/tomaker/.mozilla-thunderbird
/home/tomaker/.gftp
...Chyby se pak vypisují do:
/home/tomaker/Archiv/tar-error.txt
/home/tomaker/Archiv/bzip2-error.txt

[TomAker]

Ahoj, sice jsem diskuzi nerozproudil (což je škoda), nicméně jsem vytvořil skript, který kombinuje úplnou a inkrementální zálohu.

Ke stažení je k dispozici ZDE

Dle libosti si můžete zakomentovat (napsáním znaku # před příkazem echo) zprávy o provádění činnosti a skript používat v neinteraktivním režimu.

Použití:
archivace.sh full - plná záloha
archivace.sh full <číslo> - plná záloha, která rozdělí archiv na části (číslo je velikost dílu archivu v bytech, ale můžete použít i 50k [pro rozdělení na části veliké 50kB], nebo 10m [pro rozdělení na části o velikosti 10 MB])
archivace.sh inc - inkrementální záloha
archivace.sh inc <číslo> - inkrementální záloha, která rozdělí archiv na části (číslo je velikost dílu archivu v bytech, ale můžete použít i 50k [pro rozdělení na části veliké 50kB], nebo 10m [pro rozdělení na části o velikosti 10 MB])

Extrakce archivu:
tar -xjf
tar -xjf archiv_17_03_07.tar.bz2

Extrakce rozdeleneho archivu
cat | tar -xj
cat /home/tomaker/temp/zaloha_17_03_07_a* | tar -xj
Hvězdička v názvu rozděleného archivu slouží k najití všech jeho částí a k jejich správnému spojení.

Důležité upozornění:
Při inkrementální záloze se vytvoří soubor archiv_i.txt, který uchovává informace o stavu zálohovaných souborů (které soubory přibyly nebo byly změněny).

Hlavně si nezapomeňte uvnitř skriptu změnit cesty k souborům podle vaší adresářové struktury. Dále si budete muset vytvořit seznam souborů, které chcete zálohovat (viz. předchozí příspěvek).
Pokud byste měli nějaké vylepšení tak neváhejte, skript předělejte a napište na fórum, co jste změnili.

[antelao]

Tak jsem asi konečně našel řešení: "flexbackup".

Po počátečním neúpěchu se způsobem nastavení se mi teď podařilo tento nástroj nakonfigurovat "k obrazu svému". Kdyby to náhodou někomu pomohlo, tady jen pár konfiguračních řádek, jak jsem je upravil:

Kód: [Vybrat]

$type = 'copy';                        # nechci komprimovat, jen copy
$set{'foto'} = "/media/G/FotoVideo";   # to je zdroj
$compress = 'false';                   # nechci komprimovat
$device = '/home/jirka/Backup';        # to je cíl

# abych flexbackup nemusel spouštět s právy roota, přesměroval jsem pracovní adresáře k sobě:
$logdir = '/home/jirka/Backup/.flexbackup_log';        # directory for log files
$tmpdir = '/home/jirka/.tmp';                          # used for temporary refdate files, etc
$stampdir = '/home/jirka/Backup/.flexbackup_lib';      # directory for backup timestamps
$index = '/home/jirka/Backup/.flexbackup_lib/index';   # DB filename for tape indexesPak už jen poprvé

Kód: [Vybrat]

flexbackup -set foto -fullA následně když uznám za vhodné:

Kód: [Vybrat]

flexbackup -set foto -incrementalJiří

PS: vyřešeno ... tedy aspoň doufám :-)

[J.C.]

Ahoj, sice jsem diskuzi nerozproudil (což je škoda), nicméně jsem vytvořil skript, který kombinuje úplnou a inkrementální zálohu.

Ke stažení je k dispozici ZDE

Dle libosti si můžete zakomentovat (napsáním znaku # před příkazem echo) zprávy o provádění činnosti a skript používat v neinteraktivním režimu.

Použití:
archivace.sh full - plná záloha
archivace.sh full <číslo> - plná záloha, která rozdělí archiv na části (číslo je velikost dílu archivu v bytech, ale můžete použít i 50k [pro rozdělení na části veliké 50kB], nebo 10m [pro rozdělení na části o velikosti 10 MB])
archivace.sh inc - inkrementální záloha
archivace.sh inc <číslo> - inkrementální záloha, která rozdělí archiv na části (číslo je velikost dílu archivu v bytech, ale můžete použít i 50k [pro rozdělení na části veliké 50kB], nebo 10m [pro rozdělení na části o velikosti 10 MB])

Extrakce archivu:
tar -xjf
tar -xjf archiv_17_03_07.tar.bz2

Extrakce rozdeleneho archivu
cat | tar -xj
cat /home/tomaker/temp/zaloha_17_03_07_a* | tar -xj
Hvězdička v názvu rozděleného archivu slouží k najití všech jeho částí a k jejich správnému spojení.

Důležité upozornění:
Při inkrementální záloze se vytvoří soubor archiv_i.txt, který uchovává informace o stavu zálohovaných souborů (které soubory přibyly nebo byly změněny).

Hlavně si nezapomeňte uvnitř skriptu změnit cesty k souborům podle vaší adresářové struktury. Dále si budete muset vytvořit seznam souborů, které chcete zálohovat (viz. předchozí příspěvek).
Pokud byste měli nějaké vylepšení tak neváhejte, skript předělejte a napište na fórum, co jste změnili.

zkousel jsem script a funguje pro me ucely temer dokonale. Jediny problem mam s inkrementalni zalohou rozdelenou na 4480m. Prvni zaloha je v poradku, avsak druha je opet kompletni, resp. jako kdybych ji spustil jako full.

nejdrive davam:
sh fotky.sh full 4480m
sh fotky.sh inc 4480m

je chyba mezi klavesnici a zidli ? sorry, jsem desna lama pomalu se rozkoukavam.

diky

[TomAker]

zkousel jsem script a funguje pro me ucely temer dokonale. Jediny problem mam s inkrementalni zalohou rozdelenou na 4480m. Prvni zaloha je v poradku, avsak druha je opet kompletni, resp. jako kdybych ji spustil jako full.

nejdrive davam:
sh fotky.sh full 4480m
sh fotky.sh inc 4480m

je chyba mezi klavesnici a zidli ? sorry, jsem desna lama pomalu se rozkoukavam.

diky

Inkrementální záloha funguje v zásadě takto:

Při prvním spuštění se zazálohuje komplet celý seznam adresářů, přičemž se vytvoří soubor archiv_i.txt
Tento soubor obsahuje data, která určují stav poslední zálohy. Při druhém (až N) spuštění se porovnává tento soubor s aktuálním stavem. To co přibylo se opět zazálohuje a v souboru (archiv_i.txt) se opraví příslušný záznam.

Pokud bych to shrnul:
Pokud chceš inkrementální zálohu spouštěj sh fotky.sh inc 4480m
Pozn. První záloha je vždy kompletní, resp. pokud soubor archiv_i.txt neexistuje, zálohuje se kompletně vše.

Pokud chceš občas spustit plnou zálohu, tak občas spusť sh fotky.sh full 4480m

PS:
Velice mě těší, že mimo mě používá tento skriptík ještě někdo jiný Taky se pořád učím (hlavně psát skripty ) Hodně štěstí při rozkoukávání se

[Pavelp]

Rdiff-backup

[Toman]

Zkuste se podivat na unison, je to nastroj pro synchronizaci souboru.

OT

[Tomáš Pikálek]

Ke stažení je k dispozici ZDE

Odkaz nefunguje. Bylo by možné jej znovu někam nahrát? Děkuji...

[Kaminar]

Pročti si toto: http://www.root.cz/clanky/pokrocile-zalohovani-s-rsync/

Na rsync existuje i grafická nadstavba grsync.

[TomAker]

Ke stažení je k dispozici ZDE

Odkaz nefunguje. Bylo by možné jej znovu někam nahrát? Děkuji...

Zatím jsem umístil skript na e-disk, než najdu nějaké nové vhodnější místo.

[Tomáš Pikálek]

Pročti si toto: http://www.root.cz/clanky/pokrocile-zalohovani-s-rsync/

Děkuji, ale není třeba. Píši si vlastní script na automatické zálohování (žádné již vytvořené metody zálohování mě nevyhovovaly), tak jsem jen potřeboval vědět, jakým způsobem je řešena ta inkrementální záloha a rozdělování na díly.

Zatím jsem umístil skript na e-disk, než najdu nějaké nové vhodnější místo.

Děkuji...

[min25]

Ahoj, sice jsem diskuzi nerozproudil (což je škoda), nicméně jsem vytvořil skript, který kombinuje úplnou a inkrementální zálohu.

Ke stažení je k dispozici ZDE

Dle libosti si můžete zakomentovat (napsáním znaku # před příkazem echo) zprávy o provádění činnosti a skript používat v neinteraktivním režimu.

Použití:
archivace.sh full - plná záloha
archivace.sh full <číslo> - plná záloha, která rozdělí archiv na části (číslo je velikost dílu archivu v bytech, ale můžete použít i 50k [pro rozdělení na části veliké 50kB], nebo 10m [pro rozdělení na části o velikosti 10 MB])
archivace.sh inc - inkrementální záloha
archivace.sh inc <číslo> - inkrementální záloha, která rozdělí archiv na části (číslo je velikost dílu archivu v bytech, ale můžete použít i 50k [pro rozdělení na části veliké 50kB], nebo 10m [pro rozdělení na části o velikosti 10 MB])

Extrakce archivu:
tar -xjf
tar -xjf archiv_17_03_07.tar.bz2

Extrakce rozdeleneho archivu
cat | tar -xj
cat /home/tomaker/temp/zaloha_17_03_07_a* | tar -xj
Hvězdička v názvu rozděleného archivu slouží k najití všech jeho částí a k jejich správnému spojení.

Důležité upozornění:
Při inkrementální záloze se vytvoří soubor archiv_i.txt, který uchovává informace o stavu zálohovaných souborů (které soubory přibyly nebo byly změněny).

Hlavně si nezapomeňte uvnitř skriptu změnit cesty k souborům podle vaší adresářové struktury. Dále si budete muset vytvořit seznam souborů, které chcete zálohovat (viz. předchozí příspěvek).
Pokud byste měli nějaké vylepšení tak neváhejte, skript předělejte a napište na fórum, co jste změnili.

Také bych rád vyzkoušel tento skript. Cesty jsem upravil a seznam souborů vytvořil, ale po spuštění se nic neděje.
Pouze se po zadání sh archivace.sh full objeví tato hláška: archivace.sh: 26: Syntax error: word unexpected (expecting "in")
Nevíte někdo čím to může být?

[Jakub Lucký]

Dejte sem okolí řádku 26 v tom skriptu

[min25]

Dejte sem okolí řádku 26 v tom skriptu

#!/bin/bash
#
# datum: 18.03.2007
# autor: TomAker (forum.ubuntu.cz)
#
#Definovani cest k zaloze
#------------------------
# Seznam souboru, ktere chceme zalohovat
SEZNAM_SOUBORU="/home/tomaker/Archiv/archivace.txt"
#
# Seznam souboru pro inkrementalni zalohu
ARCHIV_I="/home/tomaker/Archiv/archiv_i.txt"
#
# Chybove hlasky TARu
TAR_ERROR="/home/tomaker/Archiv/tar-error.txt"
#
# Zabaleny archiv (cesta/prefix)
BZ2_ARCHIV2="/home/tomaker/Archiv/archiv_"
#
# Chybove hlasky BZIP2
BZ2_ERROR="/home/tomaker/Archiv/bzip2-error.txt"
#
# Rozdeleny archiv (cesta/prefix)
ROZDELEN="/home/tomaker/Archiv/zaloha_"
#
case "$1" in
   full)
      echo Kompletni zaloha
      echo Vytvarim archiv...
      if [ "$#" -lt 2 ] || ( [ "$#" -eq 2 ] && [ "$#" -eq 0 ] ); then
         tar -c -T $SEZNAM_SOUBORU 2>$TAR_ERROR | bzip2 -9 >$BZ2_ARCHIV2`date +%y_%m_%d`'.tar.bz2' 2>$BZ2_ERROR;
      else
         tar -c -T $SEZNAM_SOUBORU 2>$TAR_ERROR | bzip2 -9 2>$BZ2_ERROR | split -b "$2" - $ROZDELEN`date +%y_%m_%d`'_'
      fi
      echo Zalohovani dokonceno..........
Cely skript je ke stažení viz odkaz výše.
Předem moc dík za radu

EDIT:
Tak na vině bylo špatné uloženi skriptu! Prý nějaké neviditelné znaky CR....Celý skript jsem uložil v editoru MC a vše je OK

[min25]

To: TomAker
Zalohovani je perfektni. Nedal by se nejak upravit skript tak aby z vytvorene zalohy podle seznamu souboru vse obnovil na puvodni mista? Ja to resil spoustecem nebo aliasem :sudo tar xzvf backup.tar.gz -T seznam.txt. Problem je v tom ze skript vytvori archiv s promennym nazvem /datem vytvoreni/.

[TomAker]

Pročti si toto: http://www.root.cz/clanky/pokrocile-zalohovani-s-rsync/

Děkuji, ale není třeba. Píši si vlastní script na automatické zálohování (žádné již vytvořené metody zálohování mě nevyhovovaly), tak jsem jen potřeboval vědět, jakým způsobem je řešena ta inkrementální záloha a rozdělování na díly.

Až budeš mít skript hotov, mohl bys ho zveřejnit ? Díky

To: TomAker
Zalohovani je perfektni. Nedal by se nejak upravit skript tak aby z vytvorene zalohy podle seznamu souboru vse obnovil na puvodni mista? Ja to resil spoustecem nebo aliasem :sudo tar xzvf backup.tar.gz -T seznam.txt. Problem je v tom ze skript vytvori archiv s promennym nazvem /datem vytvoreni/.

Pokud by ti vadil variabilní název, tak stačí vymazat `date +%y_%m_%d`

Co se týká obnovy, zatím jsem ji nepotřeboval, tak jsem to neřešil Zkusím si s tím pohrát a uvidíme

[kkaarreell]

Taky jsem si napsal vlastni skript na inkrementalni (full, weekly, daily) zalohu. Bohuzel jsem v zahranici a nemuzu jej sem nyni vlozit. Ale jelikoz jste jiz zrejme s vyse uvedenym programem spokojeni, tak pouze napisi par nametu, ktere jsem pri vytvareni sveho skriptu pouzil a mozna autora skriptu inspiruji v jeho dalsi tvorbe (aspon ja se naucil par novych veci).

1.  Pokud to chapu dobre (skript jsem nestudoval), tak se zalohuji soubory uvedene v nejakem seznamu. Obsahuje seznam jen soubory nebo i adresare? Predpokladam ze i adresare, samotne soubory by byly dost nestastne (pri vytvoreni noveho souboru jej pridavat do seznamu). Pak bych jeste doporucil pridat jeste jeden soubor a to seznam souboru/adresaru, ktere si zalohovat neprejeme (napriklad pri zalohovani domovskeho adresare muze byt vyhodne nezalohovat podadresar s cache prohlizece apod.).

2. Na spousteni zalohy jsem pomoci zenity vytvoril dialogy, takze nyni mam na plose zastupce pro zalohovani a pri jeho spusteni zadam v dialogu heslo roota (skript je spousten pres gtksudo), pak si v dialogu vyberu typ zalohy a po jejim dokonceni se mi jeste nabidne moznost presunout zalohy do predem definovaneho adresare (muj externi usb harddisk). Vse pekne v s okynky a komfortni. :-)