[vyreseno] zaloha disku dd + bzip2 - problem s rychlosti

[karlitos]

Zdravim

Potreboval bych si zazalohovat svoje externi NAS uloziste WD MyBook. Problem je ze je na nem miniaturni linuxovy system, takze bootloader, presne rozdeleni disku je nesmirne dulezite. Ten system se neda nejak "normalne" obnovit, k tomu abych tu krabici zprovoznil ze stavu klinicke smrti jsem pouzil nejake bzip2 diskove image ktere hodni lide dali k dispozici na internetu.
Ted bych si rad ty image vytvoril. Na vlastni "ulozne" partition zatim defakto nic neni a navic se jedna o 2x500gb disky v RAID 0 poli (strip) a ja nemam zadny 1TB disk abych nejdriv udelal 500gb zalohu a tu pak komprimoval.
Existuje nejaky prikaz, ktery by si bral primo to co dd vytvari a rovnou to komprimoval ? Nebo jak mam ty diska zazalohovat ? Rikam nejde o data jako takova, jde o ten system jako takovy, uz sem na nem vse rozbehal, webvy server, transmission, ale ted chci jen udelat zalohu. Mozna by stacilo zazalohovat prvni 3 partition, tech par giga volnych na disku mam, ale jestli mam zalohovat tu ctvrtou partition na kterou s epak kopiruji data, tak proste nemam kam.
Doufam ze pochopite na co se ptam, milerad dovysvetlim.

Jinak pro predstavu, tady je popsane jak provest obnovu z tech zaloh aby bylo jasne o co mi jde : http://mybookworld.wikidot.com/rescue-procedure

Jinak nasel jsem podobny opis tady : http://patrick.wagstrom.net/weblog/2009/05/08/simple-full-disk-image-backups-with-dd/ ale nepochiópil jsem dve veci :
1. zdali to nejdriv udela XXXGB zalohu, kterou to kopiruje a pak tepv udela kompresi
2. ja to nechci posilat prez ssh, staci do image na disku

diky moc predem K

[karlitos]

U jsem to vykoumal :

Kód: [Vybrat]

dd if=/dev/sdxy bs=16065b | pv | bzip2 -9 -c > zaloha.image.bz2
if=/devsdxy udava ktera jednotka/oddil se ma kopirovat
bs=16065b udava ze se maji kopirovat cele bloky o dane velikosti - jde to pak rychleji
pv je tam kvuli tomu aby to neco vypisovalo do konzole - kolik dat se nacetlo. jak rychle
-9 je maximalni komprese
-c je dulezity - vystup do "standartniho vystupu" tedy terminalu kterej to pak rovnou > haze do daneho souboru

Komprese jede on-the-fky, pekne vytezuje processor, ale 500GB oddil - vesmes prazdny jsem zazalohoval na 210MB image

[MacHala]

par poznamek:
jestli se ti to povedlo zkomprimovat tolik, tak byl ten disk skoro urcite novy (po smazani souboru se data realne nesmazou, jen se bloky oznaci jako volne pro zapis), priste uz to tak slavne ani zdaleka nebude...

proc jsi vybral zrovna takovou blocksize? pro cteni z hardisku je to hodne divny cislo (neefektivni)

co vubec lidi maji na tech bitovych zalohach?

[karlitos]

To je strasne jednoduchy. Ten WD MyBook je desnej kram , ale dostal jsem tu krabici darem, takze "stacilo" tam narvat dva disky a pak to uvest v chod. No ta druha cast trvala skoro dva tydny, protoze veskerej system je ulozenej na jednom z tech disku - hola ! - a to vcetne treba MAC adresy zarizeni - HOLA !!! - ktera je zapsana v bootsektoru.

Kdyby neexistovaly ty wiki stranky kde je popsany jak to ozivit a kdyby nekteri dobri lide neposkytli image svych jendotek tak sem to moh rovnou hodit do kose. Kazdopadne vim jak to z tech zaloh obnovit - a trivialni to uplne neni. Ted jsem to rozbehal a nakonfiguroval a jeste NEZ tam budu cpat data, chtel jsem si zazalohovat system ve stavu v jakym je. Ty data budu zalohovat jinak a jinam. Ale ty prace to zase vsechno delat znova - ani myslet na to nechci.
Proto zalohuju jak zalohuju a i proto je disk - lepereceno oba jsou - temer prazdnej.

Jo a ta blocksize - nevim proste jsem vzal tu, kterou jsem nasel nekde na internetu, odkud jsem taky cerpal informace. Jaka blocksize by mela byt "spravna" ?

[karlitos]

Zdravim

Tak jeste to uplne bez vady neni.
 Jeden disk z toho NASu jsem uz zazalohoval, ted jsem u druheho. Disk je WD Caviar Green 500gb, pripojenej primo prez SATA na masinu Athlon X2 5000+ 4GB RAM. Kdyz spustim

Kód: [Vybrat]

dd if=/dev/sdb4 bs=1024b | pv | bzip2 -9 -c > sda4.driveB.bz2 na nejvetsi 480BG partition, tak se to nejdriv celkem slibne rozbehne a pv mi ukazuje 20-30 MB/s ale jakmile to prekroci prvnich 60-70 GB rychlost spadne na 700kB/s a pak jeste porad trochu klesa. A to jsem to prosim spustil tak ze jsem se akorat po restartu prihlasil do konzole, ani gnome jsem nespoustel. Takhle to bude trvat VEKY ! Co s tim sakra je ? Na prvnim disku se ta velka partition udelal prez noc, ale takhle to nebude ani za 24 hodin.
Navic je docela sila kolik to bere pameti :

Kód: [Vybrat]

total       used       free     shared    buffers     cached
Mem:       4121392    4104632      16760          0     759300    2562828
-/+ buffers/cache:     782504    3338888
Swap:      6253648          0    6253648
Nevim jestli to je tim ze ten druhy disk ma jen 8BM Cache. Ale potrebuju s tim neco udelat. Zkousel jsm i ruzne blocksize jako parametr a bez velkeho rozdilu.

[libor007]

NAS jsem nikdy nemel v rukach, takze se omlouvam, jestli ted vypustim blbost z pusy. Nepomohla by Vam clonezilla, ktera umi zalohovat partisny i komplet disky vcetne boot sektoru do komprimovanych image?

[karlitos]

GUUUUUUUUUUUUUUT , ksakru ja jsem strevo to by stalo za pokus.

Muj problem je - jak jsem uvadel vyse - ze musim ty disky zalohovat presne tak jak jsou - navic je to RAID0. ALe Clonezilla by mela udelat stejnou sluzbu ... zkusim ji spustit prez noc, protoze tohle se proste nehne, uz tady mam dva dny rozkyblenej pocitac a nemuzu poradne pracovat.
Ono by asi taky pomohlo kdybych misto bzip-u pouzival gzip, ale je trochu blbe to mit kazdej pes - jina ves. Jedny image pomoci bzip, jine pomoci gzip.
Stejnak je to ale divny - masina zrovna neni predpotopni a na tomhle totalne selhava

[jmp]

rychlost spadne na 700kB/s a pak jeste porad trochu klesa.

obdobne si mi take choval jeden novy disk - na zacatku se rozjel a pak sla rychlost dolu
pri podrobnejsim pruzkumu nedokazal udrzet konzistenci dat pri prenosu (CRC chyby) a postupne srazel prenosove rezimy z UDMA5 az na PIO4 (min neumel), S.M.A.R.T. utilitka od vyrobce to vyhodnotila jako chybu v elekronice disku a na zaklade tohoto jsem jej uspesne vyreklamoval...

[karlitos]

Diky to je zajimave, zkusim se podivat jestli WD nabizi nejakou diagnostiku. Kdyz se bude disk jevit OK zkusim udelat nejdriv zalohu do gzip a pripadne ji nasledne prekonvertovat do bzip2 - abych mel formaty konzistentni.

[libor007]

Dejte vedet, co clonezilla (ne)svedla.

[karlitos]

Nebudu riskovat clonezillu. Ptal jsem se na ABicku linuxu a odpovedeli a vypada to uz vim v cem je pes.
DiskA byl nove koupeny, jen jsem ho zformatoval a nahazel na nej ten image toho NASu. Ten druhy disk jsem puvodne pouzival, zrusil na nem dane oddily, nahral image ... ale neformatoval - takze na nem zustal salat z 1 a 0 !!! Takze dd + bzip2 nemusi jen "lehce komprimovat temer volny disk" ale komprimuji ty 1 a 0 rozhazene po tom disku co tam zbyly po predchozich datech.
Resenim je zapsani dostatecne velkeho souboru

Kód: [Vybrat]

dd if=/dev/zero of=nejaky_adresar pak ten soubor smazu a melo by to jet jedna radost.

Ted resim jak si vypsat velikost volneho mista v bytech.

Kód: [Vybrat]

df -k mito vyhazi v kb, ale asi bude stacit to vydelit 1024.

[karlitos]

Takze abych to tu vse uzavrel :
Problem byl opravdu v tom ze ty disky jez jsem chtel zalohovat nebyly radne "zformatovane" - system totiz data nemaze, pouze smaze informaci ze nejaka data byla v danem useku zapsana, ale ty 0/1 jsou tam stale pritomne. A dd je cte a bzip2 musi komprimovat.
Pote co jsem si pomoci

Kód: [Vybrat]

$ df -k --block-size=1 zjistil volne misto na dane partition jsem na ni zapsal soubor "smaz" o velikosti o neco malo mensi nez volne misto. Jako zdroj jsem pouzil /dev/zero takze dany soubor obsahoval jen 0, jako velikost se mi osvedcilo bs=4096
Po skonceni zapisu jsem soubor smazal a nasledujici zaloha pomoci dd problehla uz celkem bez problemu, 490GB za cca 6 hodin.