Fórum Ubuntu CZ/SK

Ubuntu pro osobní počítače => Obecná podpora => Téma založeno: Ventero 13 Ledna 2020, 19:58:11

Název: Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 13 Ledna 2020, 19:58:11
Někdo tady kdysi vypisoval příkaz dd s parametrem a příklad syntaxe, který do výsledného souboru nezahrnul volné místo - tedy jen čistou velikost dat z oddílu. Tedy šel použít na přenos většího oddílu na menší, pokud velikost dat byla menší než cílový oddíl. Už to hodinu hledám a nic - nevzpomene si někdo?
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: JirkaZ 13 Ledna 2020, 21:23:13
https://forum.ubuntu.cz/index.php?topic=58244.0 ?

Taky

https://askubuntu.com/questions/435694/can-i-dd-a-larger-drive-to-a-smaller-one

https://unix.stackexchange.com/questions/388998/how-to-backup-an-img-with-used-data-only-and-not-backup-blank-space

atd.

(https://duckduckgo.com/?q=dd+copy+only+used+space&t=h_&ia=web)
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 14 Ledna 2020, 09:19:21
To neni ono - vlakno, ktere hledam nebude starsi nez 2015 a max 2019 - spis 2018. Nejsem si jist, jestli to tam nevypsal Juwa. Proste tam byl nejaky parametr, ktery preskakoval volne sektory nebotakneco.
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: JirkaZ 14 Ledna 2020, 10:33:48
To neni ono - vlakno, ktere hledam nebude starsi nez 2015 a max 2019 - spis 2018. Nejsem si jist, jestli to tam nevypsal Juwa. Proste tam byl nejaky parametr, ktery preskakoval volne sektory nebotakneco.

No tak pak https://www.google.cz/search?q=dd+site%3A.forum.ubuntu.cz&tbs=cdr%3A1%2Ccd_min%3A1%2F1%2F2015%2Ccd_max%3A12%2F31%2F2019&tbm=

Relevantních odkazů je docela málo.
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 14 Ledna 2020, 11:33:13
Ano - presne takto jsem to vcera hledal pres hodinu a narazil jsem pouze na vlakno, kde jsem zminoval, ze uz to tu na foru nekdo nedavno psal  :(
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: JirkaZ 14 Ledna 2020, 11:56:50
Ano - presne takto jsem to vcera hledal pres hodinu a narazil jsem pouze na vlakno, kde jsem zminoval, ze uz to tu na foru nekdo nedavno psal  :(

Takže bych viděl cca tři verze:

a) z fóra to zmizelo (asi málo pravděpodobné)

b) bylo to někdy dřív (stačí upravit parametry hledání)

c) bylo to někde úplně jinde a mozek si časem vytvořil falešnou asociaci, stává se to poměrně běžně

Nicméně věc nějak řeší i ty jiné odkazy, jak píšu výše. V kostce jde o to, že někdo tvrdí, že to pomocí dd nejde, jiní říkají, že částečně ano (a popisují doplnění parametrů či dalších/jiných programů), zbytek doporučuje jiná řešení (rsync apod.).

Jo, taky někdy (často ;-) ) umanutě hledám něco, co mám "zaseknuté" v paměti, ale pokud je to dlouze neúspěšné, pak se orientuju na body a) až c).
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 14 Ledna 2020, 12:08:23
Kdyz si autor nevzpomene a nenapise to znovu, tak mi nic jineho nezbyde  :)
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: JirkaZ 14 Ledna 2020, 12:14:59
Kdyz si autor nevzpomene a nenapise to znovu, tak mi nic jineho nezbyde  :)

Třeba nemůže, pokud platí bod c) ;-)
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 14 Ledna 2020, 13:16:36
Kdyby platil bod c), tak by se nenasla ta zminka o tom vlaknu v jinem vlaknu - ta byla tenkrat celkem cerstva. Kdyby tady byl funkcni vyhledavac, tak to najdu - zuzil bych to. Jenze to neni - je skoro k nicemu. A pres site v google nemuzu dat casove parametry a dle autora ...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: juwa2 14 Ledna 2020, 13:55:28
1. Umí to Clonezilla s přísl. parametrem.
2. Umí to Acronis nebo Aomei (oba z boot media, pouze ext2,3,4).
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: JirkaZ 14 Ledna 2020, 13:56:46
Kdyby platil bod c), tak by se nenasla ta zminka o tom vlaknu v jinem vlaknu - ta byla tenkrat celkem cerstva. Kdyby tady byl funkcni vyhledavac, tak to najdu - zuzil bych to. Jenze to neni - je skoro k nicemu. A pres site v google nemuzu dat casove parametry a dle autora ...

Proč podle autora - vždyť to nemusel napsat on a navíc i bez této podmínky je výsledků vyhledání (2015 - 2019) závratných 17.

Sedmnáct! V čem je problém?
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 14 Ledna 2020, 18:35:56
No ze jsem to nenasel ani v jednom - ale to je tercialni problem - sekundarni je ten, ze manualove stranky linuxovych prikazu jsou skoro naprd - chybi tam vzdy omacka: vyklad a priklady. A primarni problem je moje pamet. Jednak si nedokazu vzpomenout u ceho se to resilo presneji a druhak si nedokazi vzpomenout, co mi nekdo radil (taky tady na foru), ze se relevantni a uplne informace o prikazech nehledaji v man, ale ... a to uz nevim kde ...
Zitra budu pokracovat v hledani ...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: JirkaZ 14 Ledna 2020, 19:34:54
No ze jsem to nenasel ani v jednom - ale to je tercialni problem - sekundarni je ten, ze manualove stranky linuxovych prikazu jsou skoro naprd - chybi tam vzdy omacka: vyklad a priklady.

No tak to je snad normální... Není to učebnice, ani základní kurs, ale rychlé připomenutí vlastností. Od toho jsou prostě jiné prameny (včetně knih) no a dnes už pár desítek let tak nějak ty internety... Stačí pochopit princip (klíčová slova v textu a v adrese, operátory vyhledavačů atd.) a hlavně se do vyhledavače nepřihlašovat (jsem přesvědčen, že to dělá většina BFU). Naopak mít v prohlížeči vhodné doplňky proti šmírování.

Proč ne? Protože Velký Bratr pak výsledky vyhledávání "inteligentně" filtruje dle úchylky znějící "my víme, co je pro vás nejlepší"....

A primarni problem je moje pamet. Jednak si nedokazu vzpomenout u ceho se to resilo presneji

"Problémy" s pamětí má asi kdekdo. Kromě objektivních problémů (snad menšina?) jde o přehlcení informacemi (bez ohledu na jejich skutečnou kvalitu a potřebnost) a v naprosté většině případů nesmyslnou rychlost všeho možného. Od toho ale jaksi máme poznámky (už Sumerové na hliněné desky...), případně dnes nejrůznější pomůcky typu záložek v prohlížeči. Ano, chce to mít nějaký systém.

Jo a jestliže to ve fóru nenašel ani Velký Bratr a ani před tím rokem 2015 (přestože má fórum indexované), tak to zřejmě opravdu bylo jinde.

druhak si nedokazi vzpomenout, co mi nekdo radil (taky tady na foru), ze se relevantni a uplne informace o prikazech nehledaji v man, ale ... a to uz nevim kde ...

Kromě man je ještě info, nebo help (vždy kombinováno s názvem aplikace).  No a nebo pak na těch internetech, jak píšu výše.

https://duckduckgo.com/?q=linux+complete+command+reference&t=h_&ia=web

https://duckduckgo.com/?q=linux+complete+command+reference+with+examples&t=h_&ia=web

https://duckduckgo.com/?q=dd+complete+command+reference+with+examples&t=h_&ia=web

atd.

Prostě jako obvykle to chce samostatnost a nespoléhat se na to, že si matně (možná špatně) vzpomínám, že někde někdo určitý něco konkrétního napsal. No a jelikož Linux je naštěstí decentralizovaný (autoři jsou po celém světě), tak i informace k jeho aplikacím nejsou vždy stejně relevantní a rozhodně nejsou na jednom místě.

Informací obecně jsou megatuny z všech možných zdrojů a neustále přibývají.
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: jmp 23 Ledna 2020, 14:11:12
imho to nemohl být dd - ten se o obsah tak nějak nestará, ale mohl to být ddrescue -S (nebo --sparse)
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 23 Ledna 2020, 14:17:48
No - tomu rikam stopa - to jsem si klidne za horsi pametove konstelace zamenit mohl ...
Zkusim pohledat ddrescue sparse.

U toho dd jsem hodne hledal a opravdu jsem nic takoveho nenasel - lze to pry, ale jen s nejakymi obezlickami, jako ze zbytek mista vyplnis nulami a ty pak nejak vyjmes nebo transferem pres gzip. A to uz fakt cas nesetri ...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: juwa2 23 Ledna 2020, 19:48:31
Ddrescue umí přeskakovat nečitelné sektory. Dokonce k němu existuje GUI  https://launchpad.net/~hamishmb/+archive/ubuntu/myppa/+packages
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 23 Ledna 2020, 20:45:00
To se taky hodi - ale hlavni je, aby preskakoval sektory oznacene pro prepis - tedy jako prazdne ...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: juwa2 23 Ledna 2020, 21:53:45
To se taky hodi - ale hlavni je, aby preskakoval sektory oznacene pro prepis - tedy jako prazdne ...

Co furt řešíš ;D  - to umí i obyčejná Clonezilla - dokonce i to přeskakování nečitelných sektorů (s přísl. parametrem) umí.
A ddrescue je umí dokonce načítat (pokoušet se) i opakovaně atd...
-------------------------------------------------------------------------------------------------------
Jinak velice doporučuji aplikaci HDDRegenerator (win).   Fyzicky špatný HDD (vadné sektory) sice natrvalo samozř. opravit nedokáže, ale umí "zařídit", aby je Clonezilla (i bez parametru) alespoň jednou bezchybně přečetla.  Vadný disk se tak dá v pohodě naklonovat na disk nový...
-------------------------------------------------------------------------------------------------------
Další výhodou je, že Clonezilla zachovává (na rozdíl od ostatního klonovacího SW) uuid diskových oddílů.
Naklonovaný disk proto bez potíží nabootuje.

V opačném případě je třeba dát do souladu obsah souboru /etc/fstab s uuid(y) přísl. oddílů. Není to sice nic světoborného, ale nezkušené uživatele to může převapit (pokud jim systém z naklonovaného disku nenaběhne).
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 23 Ledna 2020, 22:47:21
Ja uz to neresil - pocitam uz s tim, ze se poradne naucim s Clonezillou. Akorat jsem si rikal, ze dd by bylo lepsi, nebot ho defaualtne obsahuje kazdy distro - neni pak clovek vazan. Zjistim, jestli ddrescue je nebo neni soucasti vetsiny beznych dister.
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: juwa2 23 Ledna 2020, 22:54:23
Ja uz to neresil - pocitam uz s tim, ze se poradne naucim s Clonezillou. Akorat jsem si rikal, ze dd by bylo lepsi, nebot ho defaualtne obsahuje kazdy distro - neni pak clovek vazan. Zjistim, jestli ddrescue je nebo neni soucasti vetsiny beznych dister.

Není. Ale Clonezillu můžeš doinstalovat běžně - je součástí ofiko repo.. :)
Samozřejmě běží v Terminálu...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 23 Ledna 2020, 22:57:14
No takhle aano jednoduse, ale nebudu-li online? Jde ale spis o tu variabilitu, abych mohl udelat zalohu a obnovit z cehokoliv v defaultu.
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: juwa2 23 Ledna 2020, 23:24:33
No takhle aano jednoduse, ale nebudu-li online? Jde ale spis o tu variabilitu, abych mohl udelat zalohu a obnovit z cehokoliv v defaultu.

Fleška > dát tam live + persistence + doinstalovat cokoli (Clonezilla, Ddrescue).
Pak, vše kdykoli k dispozici samozřejmě i offline.  ;)
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 11 Února 2020, 17:44:53
Tak jsem našel k dd parametr conv=sparse a k mému velkému údivu proběhla záloha do souboru s tím, NE že se vynechalo volné místo, ale že se zálohovalo pouze nevyužité místo.
Může mi prosím někdo osvětlit komu, k čemu a na co je dobrá záloha nebo kopírování prázdného místa ? ! ? - to mi fakt hlava nebere.
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: West 11 Února 2020, 20:40:10
=> k čemu a na co je dobrá záloha nebo kopírování prázdného místa?
Analýza médíí u osôb obvinených z trestnej činnosti?
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: TIBOR 11 Února 2020, 21:19:14
Tak jsem našel k dd parametr conv=sparse a k mému velkému údivu proběhla záloha do souboru s tím, NE že se vynechalo volné místo, ale že se zálohovalo pouze nevyužité místo.
Může mi prosím někdo osvětlit komu, k čemu a na co je dobrá záloha nebo kopírování prázdného místa ? ! ? - to mi fakt hlava nebere.
Nebude to mat nieco spolocne s tymto?
https://wiki.archlinux.org/index.php/Sparse_file
Ak mam povedat pravdu dal som to do translatora a absolutne som nepochopil o co tam ide, ale pise sa tam ze to nepodporuje FAT. Cize ak si to robil na flash s FAT nemohla vzniknut chyba s tym vysledkom co si dostal?
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 12 Února 2020, 00:07:20
Byla to fleska s fat32 - zkusim to az zase budu mit tolik casu na flashce s ntfs ...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Petr Merlin Vaněček 12 Února 2020, 09:08:09
Já vám do toho nechci úplně kecat, od začátku tohle vlákno sleduji, ale není to náhodou tak, že souborové systémy si udržují cosi jako tabulku souborů (v případě NTFS je to MFT), tj. informace o tom, kde soubor je umístěn na disku (resp. jeho začátek, velikost a další parametry s tím, že poslední záznam bloku odkazuje na blok další, ne nutně ležící hned za ním - fragmentace), přičemž pokud je soubor "smazán", je toto místo pouze označeno v této tabulce jako volné a tudíž dd, který bere sektor po sektoru a fakt se nezajímá o filesystém pod sebou, prostě nemůže vědět, že místo je volné? Jistě, lze nastavit, že lze kopírovat jen bloky, které neobsahují nuly, ale každý trochu používaný disk bude mít takového místa docela malé množství, nebo myslíte, že při výmazu souboru se místo přepisuje nulami? To by pak mazání takového souboru trvalo stejně dlouho, jako jeho kopie ...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 12 Února 2020, 15:50:52
Takovy parametr na preskakovani bloku s nulami bych rad znal - jinde jsem totiz nasel navod, jak vyplnit volne misto nulami pomoci DD ...
Nicmene volba sparse volne misto zda se rozpozna a je pro me zahadou, proc ho do zalohy vybere misto toho, aby ho vyloucil ?
Nicmene toto bude zdlouhave - i samotna prace dd - jen zaloha - mi prijde pomala (part to part cca 2,5 MB/s), takze jsem smiren s tim, ze se naucim pouzivat poradne Clonezzilu - ta by to mela umet zalohovat jen tvrda data, ale pro pripad nouze je dobre znat alternativy ...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Petr Merlin Vaněček 12 Února 2020, 16:14:40
sparse = try to seek rather than write the output for NUL input blocks

Opět se nejedná o volné místo (myšleno filesystém), ale bloky obsahující nuly, nic. Netuším, proč udělal inverzi, asi by to chtělo vidět kompletní příkaz. Jinak odhaduji, že to je přesně ten správný parametr. Důvod pro malou rychlost může být špatně nastavená velikost bloku pro kopírování parametrem bs.

Nicméně bych se vykašlal na dd, to je ideální použít tak na malé particie; a používal clonezillu, ntfsclone, cp -a, partclone a podobné ... dd prostě ze svého principu je a bude pomalé, protože nepracuje na úrovni filesystému, ale více či méně tupě kopíruje blok po bloku (což se dost často hodí, ale ne zrovna pro klonování velkých disků)

Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Ventero 12 Února 2020, 17:42:11
Aha - myslel jsem opak s tím, že je to nízkoúrovňový nástroj - že bity s e kopírují rychleji, než soubory, kde se nejprve musí přečíst data určující umístění a velikost, než proběhne samotný přenos ...
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: Petr Merlin Vaněček 12 Února 2020, 19:28:33
Aha - myslel jsem opak s tím, že je to nízkoúrovňový nástroj - že bity s e kopírují rychleji, než soubory, kde se nejprve musí přečíst data určující umístění a velikost, než proběhne samotný přenos ...

Mrkni se, jak velký je sektor (kolik má bajtů) a nastav takovou velikost parametrem bs (block size), v takovém případě se bude číst ze zařízení po ideálním velikosti bloku a bude to rychlejší, než kopírování malých souborů. Problém nastane, pokud bude na jednotce volné místo - budeš kopírovat i to, dd to nemá jak poznat, že se nejedná o volné místo ve FS. Ještě je možnost provést zmenšení souborového systému na co nejmenší velikost, následně zmenšit i particii a pak dd kopírovat tu. Nicméně to je pořád přes ruku, existují na to spolehlivé, rychlé a jednoduché nástroje, které operují na úrovni FS a volné místo tak ignorují, fakt není (až na hromadu specifických případů) důvod používat na takhle jednoduchou operaci dd
Název: Re:Parametr DD jen pro čistá data, ne volné místo.
Přispěvatel: juwa2 12 Února 2020, 19:32:17
Aha - myslel jsem opak s tím, že je to nízkoúrovňový nástroj - že bity s e kopírují rychleji, než soubory, kde se nejprve musí přečíst data určující umístění a velikost, než proběhne samotný přenos ...

Nic lepšího jak Clonezilla nevymyslíš. A pokud s ní budeš pracovat, dozajista si všimneš, že ke klonování "inteligentně" používá (v "beginners mode") nástroj nejlépe ke konkrétní úloze vhodný.  Samozřejmě můžeš v "advanced mode" vynutit cokoli.
Klonování/zálohování pouze obsazených bloků je samozřejmostí.  Značně to urychlí celý proces.