Skript na zalohovani

[Hyp]

Adij vsichni, mel bych dotaz ohledne zalohovani souboru. Mam takovoupredstavu, ze bych spoutel skrip n a zalohu, ale mam pozadavek, aby konroloval, zda soubor exituje a pokud ano a byl modifikovan, aby ho presunul do zaloh se zmeneym nazvem, napr dopis_Zmenen15-10-2013.doc. Zkousel jsem LuckyBackup a baci in time, ale nic takoveho neni.
Idealni by bylo, kdyby se to i komprimovalo, pripadne tam byla moznost
Na internetu jsem nasel skript, ale nevim, jestli by nebylo lepsi to resit klasickym backupem, pripadne pripojenim dsiku a opojenim disku s pravy root...
Diky HYP

Kód: [Vybrat]

#!/bin/bash
#Script to use rdiff-backup to backup files
#Joe McManus josephmc@andrew.cmu.edu

#This is your destination, I assume this will be a mounted usb drive, set to
#the mount point
BACKUPBASE="/backups"

#Check to see if backup drive is mounted.
if `df -h | grep $BACKUPBASE >/dev/null `
then
echo "Starting $0 `date`"
else
echo "ERROR: $BACKUPBASE not mounted"
echo "$0 exiting `date` "
exit 1
fi

function backup {
        DEST=$1$2
        SOURCE=$2
        echo  "Src : $SOURCE"
        if [ -d $DEST ]
        then
                echo "Dest: $DEST"
        else
                mkdir -p $DEST
                echo "Dest: $DEST -created"
                OPTS="--force"
        fi

        #Perform backup
        rdiff-backup -v2 --exclude-special-files $OPTS  $SOURCE  $DEST
        #Cleanup  version files older than 4weeks
        rdiff-backup -v2 --remove-older-than 4W --force  $DEST
        #Print a report of what we backed up and cleaned up
        rdiff-backup --list-changed-since 0D23h00m $DEST
}

#backup Destination Source
backup $BACKUPBASE /data
backup $BACKUPBASE /etc
backup $BACKUPBASE /usr/local
backup $BACKUPBASE /home


[RRRadek Neužil]

A co se ti nelíbí na předinstalovaným https://apps.ubuntu.com/cat/applications/deja-dup/ v Ubuntu. Funguje jak má.

[beer]

Na zálohování například /etc je asi nejlepším řešením etckeeper. Na zálohování můžeš použít cokoliv, asi bych tě odkázal na seriál o zálohování třeba na linuxexpresu, máš to tam i s příklady. Jaký zálohovací nástroj zvolit záleží na tvých potřebách. Obecně zálohy rozdělujeme na kompletní nebo přírůstkové. Pokud máš ale třeba filesystém BTRFS nebo LVM, tak můžeš dělat třeba snapshoty.

etckeeper funguje jako lokální git repozitář, git je verzovací software, který dokáže efektivně spravovat různé verze. Jednoduché zálohování je třeba pomocí duplicity:

http://www.linuxexpres.cz/praxe/sprava-linuxoveho-serveru-zalohovani-pomoci-duplicity

Kód: [Vybrat]

duplicity --no-encryption /home/co file:///backup/kam
Duplicity prozkoumá cíl a sám zjistí, jestli má provést plnou nebo rozdílovou zálohu. Po dokončení práce vypíše Duplicity statistiku o proběhlé záloze, která vypadá takto:


--------------[ Backup Statistics ]--------------
StartTime 1281416525.29 (Tue Aug 10 07:02:05 2010)
EndTime 1281416528.38 (Tue Aug 10 07:02:08 2010)
ElapsedTime 3.08 (3.08 seconds)
SourceFiles 1617
SourceFileSize 694597580 (662 MB)
NewFiles 0
NewFileSize 0 (0 bytes)
DeletedFiles 0
ChangedFiles 0
ChangedFileSize 0 (0 bytes)
ChangedDeltaSize 0 (0 bytes)
DeltaEntries 0
RawDeltaSize 0 (0 bytes)
TotalDestinationSizeChange 3438 (3.36 KB)
Errors 0


Ten tvůj skrypt používá rdiff-backup, který není vhodný ke kompresy - rdiff-backup komprimuje jen rozdíly.

http://www.linuxexpres.cz/praxe/sprava-linuxoveho-serveru-jednoduche-zalohovani-pomoci-rdiff

Archfs

Nasazení nástroje rdiff-backup může vhodně doplnit FUSE modul archfs, který umí připojit adresář se zálohami jako souborový systém, přes který je možné snadno prohlížet data jednotlivých záloh (ty jsou pak dostupné jako adresáře, jejichž název odpovídá datu pořízení).

Pokud tedy trváš na přístupnosti podle data, tak je pro tebe ideální Archfs.

[Martin Šácha]

Ten archfs vypada zajimave, diky

[beer]

Ten archfs vypada zajimave, diky

Vyzkoušeno ale nemám...

[Hyp]

Diky za odpovědi, já to asi blbě posal. Mě jde o to, aby byl jeden adresar se zalohou, kde se budo v podstate pouze kopirovat soubory. Jde me o to, ze nechci mit mraky rozdilovych zaloh, ale stalo se mi, ze uzivatel ulozil nekolikrat stejny soubor po d stejnym nazvem a dal prespsat. Ty klasicky zalohovaci nastroje bud udelaji prepis zalohy, pripadne prirustek zalohy, ale me jde o to, aby ten skript v tomto pripade vzdy soubor pridsal do zaloh, ale v tomto pripade ho prejm,enoval nap.
dopis1_zmeneno20131120v1315h
dopis1_zmeneno20131121v1315
Stacil by mi skript na kopirovani
Obcas se stane, ze uzivatel starou slozky smazne, ale to jde --delete zachytit, to jsem nasel......
V podstate by mi stacil skript na kopirovani a prejmenovani, ale kdyby to umelo i na vzdaleny server, pripadne sifrovcani, byl bych rad (nebo mozna by stacilo promountouvat Backup Partisnu a pak nakopirovat nove a zmeneno soubory prejmenovat a odhlasit)

[beer]

Diky za odpovědi, já to asi blbě posal. Mě jde o to, aby byl jeden adresar se zalohou, kde se budo v podstate pouze kopirovat soubory. Jde me o to, ze nechci mit mraky rozdilovych zaloh, ale stalo se mi, ze uzivatel ulozil nekolikrat stejny soubor po d stejnym nazvem a dal prespsat. Ty klasicky zalohovaci nastroje bud udelaji prepis zalohy, pripadne prirustek zalohy, ale me jde o to, aby ten skript v tomto pripade vzdy soubor pridsal do zaloh, ale v tomto pripade ho prejm,enoval nap.
dopis1_zmeneno20131120v1315h
dopis1_zmeneno20131121v1315
Stacil by mi skript na kopirovani
Obcas se stane, ze uzivatel starou slozky smazne, ale to jde --delete zachytit, to jsem nasel......
V podstate by mi stacil skript na kopirovani a prejmenovani, ale kdyby to umelo i na vzdaleny server, pripadne sifrovcani, byl bych rad (nebo mozna by stacilo promountouvat Backup Partisnu a pak nakopirovat nove a zmeneno soubory prejmenovat a odhlasit)

Ty máš představu, že uživatel má otevřený soubor a třeba každých pět minut ukládá (například v open office) svou práci, a ty bys chtěl každou jednotlivou změnu zachytit s datem a časem, ponechat aktuální verzi a starší zálohovat? To asi nevyřeší skript na kopírvání a přejmenování. To vyřeší spíše revize v souborech a proškolení, uživatelé, aby nepřepisovali staré verze + přírůstkové zálohování. Pokud používají jeden dokument, tak aby ho měli jako šablonu jen pro čtení a změny ukládaly pod aktuálním datem. Takto si dělám v práci reporty. Název_reportu-2013-11-22, to neřeší zálohovací nástroj.

[ntz_reloaded]

a neni v tomhle specifickem pripade nejjednodussi proste napsat jednoduchej skript a hodit ho do cronu ?

Kód: [Vybrat]

#!/bin/bash

md5_file=/var/tmp/zaloha.md5;
date_format="+%Y%m%d-%H%M%S";
backup_dest=/somewhere

if test ! -f "$1"; then
    echo "soubor $1 nenalezen" > /dev/tty10;
    exit 1;
fi

_md5=`md5sum "$1" | sed 's/\s.*//'`;
_md5_previous=`sed 's/\s.*//' "$md5_file"`;

if test "$_md5" == "$_md5_previous"; then
    echo "soubor je stejnej, netreba zalohovat" > /dev/tty10;
    exit 2;
fi

cp "$1" "$backup_dest/`basename $1`.$date_format" || \
( echo "nepodarilo se zalohovat soubor" > /dev/tty10; exit 1; );

echo $_md5 > $md5_file;

exit 0;
^^ skript jsem napsal z hlavy bez zkouseni, prosim overit pred pripadnym nasazenim

zdravim, ntz

[Hyp]

a neni v tomhle specifickem pripade nejjednodussi proste napsat jednoduchej skript a hodit ho do cronu ?

Kód: [Vybrat]

#!/bin/bash

md5_file=/var/tmp/zaloha.md5;
date_format="+%Y%m%d-%H%M%S";
backup_dest=/somewhere

if test ! -f "$1"; then
    echo "soubor $1 nenalezen" > /dev/tty10;
    exit 1;
fi

_md5=`md5sum "$1" | sed 's/\s.*//'`;
_md5_previous=`sed 's/\s.*//' "$md5_file"`;

if test "$_md5" == "$_md5_previous"; then
    echo "soubor je stejnej, netreba zalohovat" > /dev/tty10;
    exit 2;
fi

cp "$1" "$backup_dest/`basename $1`.$date_format" || \
( echo "nepodarilo se zalohovat soubor" > /dev/tty10; exit 1; );

echo $_md5 > $md5_file;

exit 0;
^^ skript jsem napsal z hlavy bez zkouseni, prosim overit pred pripadnym nasazenim

zdravim, ntz

DIky, skriptovani vubec neroizumim, je to pro me spanelska vesnice. Potreboval bych jenom home dir vcetne skrytych slozek (idealni treba jen nekterych, jak to upravit/nastavit. JInak asi toto by bylo nejjednosussi....Diky moc..Tohle asi zalohuje vse. A jeste posledni dotaz, jak pisu nize, mam 2 uzivatele, mohu v cronu nastavit zalohovani a provede se i kdyz uzivatel-admin neni prihlasen. DIky moc,

[Hyp]

Diky za odpovědi, já to asi blbě posal. Mě jde o to, aby byl jeden adresar se zalohou, kde se budo v podstate pouze kopirovat soubory. Jde me o to, ze nechci mit mraky rozdilovych zaloh, ale stalo se mi, ze uzivatel ulozil nekolikrat stejny soubor po d stejnym nazvem a dal prespsat. Ty klasicky zalohovaci nastroje bud udelaji prepis zalohy, pripadne prirustek zalohy, ale me jde o to, aby ten skript v tomto pripade vzdy soubor pridsal do zaloh, ale v tomto pripade ho prejm,enoval nap.
dopis1_zmeneno20131120v1315h
dopis1_zmeneno20131121v1315
Stacil by mi skript na kopirovani
Obcas se stane, ze uzivatel starou slozky smazne, ale to jde --delete zachytit, to jsem nasel......
V podstate by mi stacil skript na kopirovani a prejmenovani, ale kdyby to umelo i na vzdaleny server, pripadne sifrovcani, byl bych rad (nebo mozna by stacilo promountouvat Backup Partisnu a pak nakopirovat nove a zmeneno soubory prejmenovat a odhlasit)

Ty máš představu, že uživatel má otevřený soubor a třeba každých pět minut ukládá (například v open office) svou práci, a ty bys chtěl každou jednotlivou změnu zachytit s datem a časem, ponechat aktuální verzi a starší zálohovat? To asi nevyřeší skript na kopírvání a přejmenování. To vyřeší spíše revize v souborech a proškolení, uživatelé, aby nepřepisovali staré verze + přírůstkové zálohování. Pokud používají jeden dokument, tak aby ho měli jako šablonu jen pro čtení a změny ukládaly pod aktuálním datem. Takto si dělám v práci reporty. Název_reportu-2013-11-22, to neřeší zálohovací nástroj.

Jo jo, rozumni uzivatele jsou nejlepsi predstava, ale uz nekolikrat jsem potreboval takhle najit soubor, ketry jsem slozite obnovoval z clonezilla image, coz je asi 9h dekomprimace, primountovani a pak zjistim, ze soubor je prepsany.....Idealni by bylo asi nastaveni prav uzivatelu, ale i toto selhava, mam asi 8 PC 5Uzivatelu, kteri probihaji v roznych mistnostech a treba jenom potrebuji vzdy neco doplnit v databazi, napsat zpravu atd, tzn. kdysi jsem zavedl prihlasovani, ale to se stejne delalo blbe, a bylo to slozity, ze se muselo odhlasi/prihlasit/odhlesit........Ted mam v kazdym PC 2 uzivatele, usera a spravce....Vse funguje, akorat zalohovani je problem. Je treba ta situace, ze se doplni do existujic zpravy vyjadreni a ulozi pod stejnym nazvem, takto si zaznamenam pripadny nechteny zmeny..

[Hyp]

Zvladnul by nekdo udelat ten skript? To zalohovani jsem zkousel, ale to je zbytecny a hlavne to neplni, to co si predstavuju. Idealni by bylo:
1) pripojeni primountovani partisky
2) urceni co schvi zalohovat home nebo vsechny home
3) zda chci i skryte soubory
4) urceni cile
3) skript porovna, zda soubor existuje kdyz ne kopiruje, kdyz ano porovnava shodu (staci velikost a datum), kdyz je stejny preskakuje, kdyz ne kopiruje pod nazvem +napri zmena1, zmena 2 porad dal(nebo napr. soubor1Zmena11.11.2013)
4) ukonceni
5) odmoutovani partisny
Umisteni do kronu zvladnu, teda doufam:-)
Skriptovani je pro me vyssi divci....
Díky. Hyp

[Cuore]

to ti asi nikdo nenapíše, jedině pomocí placené podpory. Hold se budeš muset tím prokousat sám a tady si jen brát malé kousíčky výsledného scriptu. Já třeba na něčem podobném dělám, ale zatím jsem to pouze zprovoznil, abych byl schopen udržet konzistenci dat na externím síťovém disku a zálohovacím PC. Nějaký univerzálnější a ucelenější kabát tomu dám, až bude čas, tj. snad do konce roku  Pokud ti to pomůže máš to tady

Kód: [Vybrat]

#!/bin/sh
echo "připojuji disky"
mount //192.168.4.7/public
echo "disky připojeny"
sleep 1
echo "spouštím kontrolu dokumentů"
diff -q --recursive ~/Dokumenty "~/WDmyLive/Shared Dokument" > ~/synchronizace/dokumenty.txt
sleep 1
cat ~/synchronizace/dokumenty.txt
echo "dokumenty porovnány, mažu nechtěné neshody"
sleep 1
sed -i '/.AppleDouble\|Bonzo\|Má hudba\|Mé videa\|My Music\|My Pictures\|My Videos\|Moje obrázky/d' ~/synchronizace/dokumenty.txt
sleep 1
cat ~/synchronizace/dokumenty.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' ~/synchronizace/dokumenty.txt
sleep 1
cat ~/synchronizace/dokumenty.txt
echo "spouštím kontrolu písniček"
diff -q --recursive ~/DATA/MP3 "~/WDmyLive/Shared Music/MP3" > ~/synchronizace/pisnicky.txt
sleep 1
cat ~/synchronizace/pisnicky.txt
echo "písničky porovnány, mažu nechtěné neshody"
sleep 1
sed -i '/.AppleDouble/d' ~/synchronizace/pisnicky.txt
sleep 1
cat ~/synchronizace/pisnicky.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' ~/synchronizace/pisnicky.txt
sleep 1
cat ~/synchronizace/pisnicky.txt
echo "spouštím kontrolu fotek"
diff -q --recursive ~/Obrázky/Fotografie "~/WDmyLive/Shared Pictures/Fotografie" > ~/synchronizace/fotky.txt
sleep 1
cat ~/synchronizace/fotky.txt
echo "písničky porovnány, mažu nechtěné neshody"
sleep 1
sed -i '/.AppleDouble/d' ~/synchronizace/fotky.txt
sleep 1
cat ~/synchronizace/fotky.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' ~/synchronizace/fotky.txt
sleep 1
cat ~/synchronizace/fotky.txt
echo "spouštím kontrolu videa"
diff -q --recursive ~/Videa "~/WDmyLive/Shared Videos" > ~/synchronizace/videa.txt
sleep 1
cat ~/synchronizace/videa.txt
echo "videa porovnány, mažu nechtěné neshody"
sleep 1
sed -i '/.AppleDouble/d' ~/synchronizace/videa.txt
sleep 1
cat ~/synchronizace/videa.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' ~/synchronizace/videa.txt
sleep 1
cat ~/synchronizace/videa.txt
echo "spouštím kontrolu programů"
diff -q --recursive ~/DATA/cuore/prográmky "~/WDmyLive/Software" > ~/synchronizace/programy.txt
sleep 1
cat ~/synchronizace/programy.txt
echo "programy porovnány, mažu nechtěné neshody"
sleep 1
sed -i '/.AppleDouble/d' ~/synchronizace/programy.txt
sleep 1
cat ~/synchronizace/programy.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' ~/synchronizace/programy.txt
sleep 1
cat ~/synchronizace/programy.txt
echo "kontrala dokončena, odpojuji disky"
umount ~/WDmyLive
echo "disky odpojeny, za 30s vypínám PC"
sleep 30
dbus-send --system --print-reply --dest=org.freedesktop.ConsoleKit /org/freedesktop/ConsoleKit/Manager org.freedesktop.ConsoleKit.Manager.Stop

exit 0zatím mám vše zadáno napevno a získám textové dokumenty s neshodou. Má představa o finálním scriptu je cca. jak popisuješ

[Hyp]

Diky,  moc se mi do toho nechce, ale asi budu muset se tim prokousavat.....Kazdopadne diky, zkusim to nejak zmastit...

[GdH]

...

Ty sleepy.. to je nějaký druh masochismu, nebo rád čekáš?

[Cuore]

ne to jen předbíhám vývoji  pod echem budou notifikace. Pokaždý se snažím vše napsat jak pro terminál, tam většinou je nějaká obsáhlejší diagnostika, tak i pro nějaký stručný feedback do Xka a sám výš, že notifikace jsou trochu pomalé 

[GdH]

ne to jen předbíhám vývoji  pod echem budou notifikace. Pokaždý se snažím vše napsat jak pro terminál, tam většinou je nějaká obsáhlejší diagnostika, tak i pro nějaký stručný feedback do Xka a sám výš, že notifikace jsou trochu pomalé 

Notifikace nejsou pomalé, jen je některé desktopy nesnesitelně dlouho zobrazují a spaním to nijak neovlivníš

[ntz_reloaded]

...

Ty sleepy.. to je nějaký druh masochismu, nebo rád čekáš?

[Cuore]

Notifikace nejsou pomalé, jen je některé desktopy nesnesitelně dlouho zobrazují a spaním to nijak neovlivníš

to je mi jasné, ale ovlivním to, že script jede pomaleji a notifikace se stačí vykreslovat. Ono bylo dost hloupé, když notifikace psala teprve nějaké upozornění např. o startu nějaké aplikace a já v ní už půl minuty dělal apod. Navíc v tomto případě je pár vteřin nepodstatných, když vezmeme v potaz to, že je porovnáváno 2TB dat.

[Cuore]

Ahoj, během svátků jsem tomu moc nedal, jenom kosmetické úpravy a vypuštění sleepů 

Kód: [Vybrat]

#!/bin/sh
#----------------------------------------------------------------------------------------------------------------------------------------------------------------------
#
#
#----------------------------------------------------------------------------------------------------------------------------------------------------------------------
JA=$(whoami)
ZDROJ=$(echo /home/cuore/WDmyLive)
CIL=$(echo /home/$JA)
echo $JA
echo $ZDROJ
echo $CIL
echo "připojuji disky"
mount //192.168.1.12/public
echo "disky připojeny"
echo "spouštím kontrolu dokumentů"
diff -q --recursive "$ZDROJ/Shared Dokument" $CIL/Dokumenty > $CIL/synchronizace/dokumenty.txt
echo "dokumenty porovnány, mažu nechtěné neshody"
sed -i '/.AppleDouble\|Hesla\|Má hudba\|Mé videa\|My Music\|My Pictures\|My Videos\|Moje obrázky/d' $CIL/synchronizace/dokumenty.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' $CIL/synchronizace/dokumenty.txt
cat $CIL/synchronizace/dokumenty.txt
echo "spouštím kontrolu písniček"
diff -q --recursive "$ZDROJ/Shared Music/MP3" /home/cuore/DATA/MP3 > $CIL/synchronizace/pisnicky.txt
echo "písničky porovnány, mažu nechtěné neshody"
sed -i '/.AppleDouble/d' $CIL/synchronizace/pisnicky.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' $CIL/synchronizace/pisnicky.txt
cat $CIL/synchronizace/pisnicky.txt
echo "spouštím kontrolu fotek"
diff -q --recursive "$ZDROJ/Shared Pictures/Fotografie" /home/cuore/Obrázky/Fotografie > $CIL/synchronizace/fotky.txt
echo "písničky porovnány, mažu nechtěné neshody"
sed -i '/.AppleDouble/d' $CIL/synchronizace/fotky.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' $CIL/synchronizace/fotky.txt
cat $CIL/synchronizace/fotky.txt
echo "spouštím kontrolu videa"
diff -q --recursive "$ZDROJ/Shared Videos" /home/cuore/Videa > $CIL/synchronizace/videa.txt
echo "videa porovnány, mažu nechtěné neshody"
sed -i '/.AppleDouble/d' $CIL/synchronizace/videa.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' $CIL/synchronizace/videa.txt
cat $CIL/synchronizace/videa.txt
echo "spouštím kontrolu programů"
diff -q --recursive "$ZDROJ/Software" /home/cuore/DATA/cuore/prográmky > $CIL/synchronizace/programy.txt
echo "programy porovnány, mažu nechtěné neshody"
sed -i '/.AppleDouble/d' $CIL/synchronizace/programy.txt
echo "log vyfiltrován, mažu přebytečné řádky"
sed -i '/./!d' $CIL/synchronizace/programy.txt
cat $CIL/synchronizace/programy.txt
echo "kontrala dokončena, odpojuji disky"
umount $CIL/WDmyLive
echo "disky odpojeny, vypínám PC"
dbus-send --system --print-reply --dest=org.freedesktop.ConsoleKit /org/freedesktop/ConsoleKit/Manager org.freedesktop.ConsoleKit.Manager.Stop
exit 0výsledek je pak něco jako

Pouze /home/cuore/WDmyLive/Shared Dokument/Dokumenty/byt/text.ods
Soubory /home/cuore/WDmyLive/Shared Dokument/Dokumenty/prace rozpis.ods a /home/cuore/Dokumenty/Dokumenty/prace rozpis.ods jsou různé
Soubory /home/cuore/WDmyLive/Shared Dokument/Dokumenty/seznam filmů.ods a /home/cuore/Dokumenty/Dokumenty/seznam filmů.ods jsou různé

Za předpokladu, že je síťový disk jako hlavní uložiště a PC záloha dat, jak s tím naložit, aby se nemuselo ručně kopírovat z uložiště do záložního PC. Tedy  v případě, že je soubor "Pouze" tak ho překopírovat a pokud jsou "Soubory různé" nahradit starší novějším.
Díky za rady