Prosíme přihlašte se nebo zaregistrujte.

Přihlašte se svým uživatelským jménem a heslem.

Autor Téma: Stažení obrázku z webu  (Přečteno 984 krát)

juwa2

  • Závislák
  • ****
  • Příspěvků: 3720
    • Zobrazit profil
Stažení obrázku z webu
« kdy: 06 Únor 2020, 11:42:39 »
Zdravím.
Potřebuji pravidelně stahovat tento obrázek (používám ho jako tapetu).
Do teď jsem na to používal příkaz
Kód: [Vybrat]
wget https://static.die.net/earth/mercator/1366.jpg
který řadu let fungoval bez probému. Ale nyní to vyhodí tuto chybu:
Kód: [Vybrat]
juwa@p-5738:~/Obrazky$ wget https://static.die.net/earth/mercator/1366.jpg
--2020-02-06 11:39:04--  https://static.die.net/earth/mercator/1366.jpg
Překládám static.die.net (static.die.net)… 2606:4700:3031::681b:9772, 2606:4700:3037::681b:9672, 104.27.151.114, ...
Navazuje se spojení s static.die.net (static.die.net)|2606:4700:3031::681b:9772|:443… spojeno.
HTTP požadavek odeslán, program čeká na odpověď… 503 Service Temporarily Unavailable
2020-02-06 11:39:04 CHYBA 503: Service Temporarily Unavailable.

Přitom z prohlížeče je adresa dostupná a obrázek normálně stáhnout jde.
Věděl by někdo jak ho stáhnout pomocí příkazu? Tuším, že to nějak souvisí s cloudflare...

« Poslední změna: 06 Únor 2020, 12:06:27 od juwa2 »

singularis

  • Návštěvník
  • *
  • Příspěvků: 80
    • Zobrazit profil
Re:Stažení obrázku z webu
« Odpověď #1 kdy: 06 Červenec 2020, 10:06:19 »
Zkoušel/a jsem to, ale vypadá to, že opravdu nechtějí, aby to někdo stahoval automaticky. Po několika pokusech to dokonce chtělo vyplnit captcha. Doporučuji zřídit si na to virtuální počítač, v něm otevřít Firefox, naprogramovat si skript, který pomocí xdotool každých 30 minut stiskne F5 a pokusí se uložit stránku, zkontroluje, co to uložilo (zda je to obrázek, nebo výzva k zadání captcha), a nechat ho běžet 24 hodin. Totéž zopakovat čtyřikrát ročně (nebo jednou měsíčně) a za rok si z nastřádaných obrázků možná budeš moci sestavit simulaci na celý rok (pokud budeš mít štěstí, že tě mezitím nezabanují na základě IP adresy). Druhá možnost je vyslat na oběžnou dráhu vlastní satelit a pořídit si vlastní fotografie...

jmp

  • Závislák
  • ****
  • Příspěvků: 2613
    • Zobrazit profil
Re:Stažení obrázku z webu
« Odpověď #2 kdy: 06 Červenec 2020, 22:13:09 »
zkuste se tvářit jako jiný klient pomocí:
 -U agent-string
 --user-agent=agent-string
           Bude se HTTP serveru identifikovat jako agent-string.

pokud toho chcete tahat víc, tak zkuste ještě:
--random-wait
           Některé www servery mohou provádět analýzu záznamů za účelem identifikace programů jako je Wget hledáním statisticky podobných časů mezi požadavky. Tato volba způsobí, že čas mezi požadavky se bude pohybovat mezi 0 a 2 *
           wait vteřinami, kde wait je hodnota daná volbou --wait, aby nemohl být Wget identifikován.