Prosíme přihlašte se nebo zaregistrujte.

Přihlašte se svým uživatelským jménem a heslem.
Vaše pomoc je stále potřeba!

Autor Téma: Stažení obrázku z webu  (Přečteno 4365 krát)

juwa2

  • Závislák
  • ***
  • Příspěvků: 4935
Stažení obrázku z webu
« kdy: 06 Února 2020, 11:42:39 »
Zdravím.
Potřebuji pravidelně stahovat tento obrázek (používám ho jako tapetu).
Do teď jsem na to používal příkaz
Kód: [Vybrat]
wget https://static.die.net/earth/mercator/1366.jpg
který řadu let fungoval bez probému. Ale nyní to vyhodí tuto chybu:
Kód: [Vybrat]
juwa@p-5738:~/Obrazky$ wget https://static.die.net/earth/mercator/1366.jpg
--2020-02-06 11:39:04--  https://static.die.net/earth/mercator/1366.jpg
Překládám static.die.net (static.die.net)… 2606:4700:3031::681b:9772, 2606:4700:3037::681b:9672, 104.27.151.114, ...
Navazuje se spojení s static.die.net (static.die.net)|2606:4700:3031::681b:9772|:443… spojeno.
HTTP požadavek odeslán, program čeká na odpověď… 503 Service Temporarily Unavailable
2020-02-06 11:39:04 CHYBA 503: Service Temporarily Unavailable.

Přitom z prohlížeče je adresa dostupná a obrázek normálně stáhnout jde.
Věděl by někdo jak ho stáhnout pomocí příkazu? Tuším, že to nějak souvisí s cloudflare...

« Poslední změna: 06 Února 2020, 12:06:27 od juwa2 »

singularis

  • Aktivní člen
  • *
  • Příspěvků: 176
Re:Stažení obrázku z webu
« Odpověď #1 kdy: 06 Července 2020, 10:06:19 »
Zkoušel/a jsem to, ale vypadá to, že opravdu nechtějí, aby to někdo stahoval automaticky. Po několika pokusech to dokonce chtělo vyplnit captcha. Doporučuji zřídit si na to virtuální počítač, v něm otevřít Firefox, naprogramovat si skript, který pomocí xdotool každých 30 minut stiskne F5 a pokusí se uložit stránku, zkontroluje, co to uložilo (zda je to obrázek, nebo výzva k zadání captcha), a nechat ho běžet 24 hodin. Totéž zopakovat čtyřikrát ročně (nebo jednou měsíčně) a za rok si z nastřádaných obrázků možná budeš moci sestavit simulaci na celý rok (pokud budeš mít štěstí, že tě mezitím nezabanují na základě IP adresy). Druhá možnost je vyslat na oběžnou dráhu vlastní satelit a pořídit si vlastní fotografie...

jmp

  • Host
Re:Stažení obrázku z webu
« Odpověď #2 kdy: 06 Července 2020, 22:13:09 »
zkuste se tvářit jako jiný klient pomocí:
 -U agent-string
 --user-agent=agent-string
           Bude se HTTP serveru identifikovat jako agent-string.

pokud toho chcete tahat víc, tak zkuste ještě:
--random-wait
           Některé www servery mohou provádět analýzu záznamů za účelem identifikace programů jako je Wget hledáním statisticky podobných časů mezi požadavky. Tato volba způsobí, že čas mezi požadavky se bude pohybovat mezi 0 a 2 *
           wait vteřinami, kde wait je hodnota daná volbou --wait, aby nemohl být Wget identifikován.

 

Provoz zaštiťuje spolek OpenAlt.