Fórum Ubuntu CZ/SK

Ubuntu pro osobní počítače => Internet a sítě => Téma založeno: juwa2 06 Února 2020, 11:42:39

Název: Stažení obrázku z webu
Přispěvatel: juwa2 06 Února 2020, 11:42:39

Zdravím.
Potřebuji pravidelně stahovat tento obrázek (https://static.die.net/earth/mercator/1366.jpg) (používám ho jako tapetu).
Do teď jsem na to používal příkaz

Kód: [Vybrat]

wget https://static.die.net/earth/mercator/1366.jpg
který řadu let fungoval bez probému. Ale nyní to vyhodí tuto chybu:

Kód: [Vybrat]

juwa@p-5738:~/Obrazky$ wget https://static.die.net/earth/mercator/1366.jpg
--2020-02-06 11:39:04--  https://static.die.net/earth/mercator/1366.jpg
Překládám static.die.net (static.die.net)… 2606:4700:3031::681b:9772, 2606:4700:3037::681b:9672, 104.27.151.114, ...
Navazuje se spojení s static.die.net (static.die.net)|2606:4700:3031::681b:9772|:443… spojeno.
HTTP požadavek odeslán, program čeká na odpověď… 503 Service Temporarily Unavailable
2020-02-06 11:39:04 CHYBA 503: Service Temporarily Unavailable.

Přitom z prohlížeče je adresa dostupná a obrázek normálně stáhnout jde.
Věděl by někdo jak ho stáhnout pomocí příkazu? Tuším, že to nějak souvisí s cloudflare...

Název: Re:Stažení obrázku z webu
Přispěvatel: singularis 06 Července 2020, 10:06:19

Zkoušel/a jsem to, ale vypadá to, že opravdu nechtějí, aby to někdo stahoval automaticky. Po několika pokusech to dokonce chtělo vyplnit captcha. Doporučuji zřídit si na to virtuální počítač, v něm otevřít Firefox, naprogramovat si skript, který pomocí xdotool každých 30 minut stiskne F5 a pokusí se uložit stránku, zkontroluje, co to uložilo (zda je to obrázek, nebo výzva k zadání captcha), a nechat ho běžet 24 hodin. Totéž zopakovat čtyřikrát ročně (nebo jednou měsíčně) a za rok si z nastřádaných obrázků možná budeš moci sestavit simulaci na celý rok (pokud budeš mít štěstí, že tě mezitím nezabanují na základě IP adresy). Druhá možnost je vyslat na oběžnou dráhu vlastní satelit a pořídit si vlastní fotografie...

Název: Re:Stažení obrázku z webu
Přispěvatel: jmp 06 Července 2020, 22:13:09

zkuste se tvářit jako jiný klient pomocí:
 -U agent-string
 --user-agent=agent-string
           Bude se HTTP serveru identifikovat jako agent-string.

pokud toho chcete tahat víc, tak zkuste ještě:
--random-wait
           Některé www servery mohou provádět analýzu záznamů za účelem identifikace programů jako je Wget hledáním statisticky podobných časů mezi požadavky. Tato volba způsobí, že čas mezi požadavky se bude pohybovat mezi 0 a 2 *
           wait vteřinami, kde wait je hodnota daná volbou --wait, aby nemohl být Wget identifikován.