Fórum Ubuntu CZ/SK
Ubuntu pro osobní počítače => Software => Příkazový řádek a programování pro GNU/Linux => Téma založeno: zaoral 10 Dubna 2013, 12:00:45
-
Zdravím všechny,
existuje způsob, jak zjistit jakoukoliv změnu webu za určitý čas? Update scanner není úplně to pravé, tam je nutné zadat _konkrétní_ podstránku. Potřeboval bych například: Ráno sednu k PC a chci vědět, co je nového na doméně www.uohs.cz - jde o jakoukoliv změnu kterékoliv části toho webu.
Díky moc za pomoc:-)
-
omg .. pokud ten web nevlastnis (a neni pod Tvou spravou), tak se to samozrejme neda udelat jinak, nez porovnanim stare kopie obsahu s aktualni ..
co to je za hloupou otazku ?
Pavel Hrnčíř: Otázka jako každá jiná...
-
Rekurzivní wget a diff jsou tví přátelé...
-
Rekurzivní wget a diff jsou tví přátelé...
v podstate nejsou, protoze stahovat rekurzivne obsah portalu a jeho diffovani je naprosto nesmyslna aktivita ..
-
http://www.google.com/alerts/feeds/11634531760494108306/15545797126149503735 (http://www.google.com/alerts/feeds/11634531760494108306/15545797126149503735)
Udělej si svoje upozornění dle libosti na http://www.google.com/alerts/ (http://www.google.com/alerts/).
-
http://www.google.com/alerts/feeds/11634531760494108306/15545797126149503735 (http://www.google.com/alerts/feeds/11634531760494108306/15545797126149503735)
Udělej si svoje upozornění dle libosti na http://www.google.com/alerts/ (http://www.google.com/alerts/).
fair (kdybych mel rad gugl) .. ale jinak dobrej hint .. beer++
-
http://www.google.com/alerts/feeds/11634531760494108306/15545797126149503735 (http://www.google.com/alerts/feeds/11634531760494108306/15545797126149503735)
Udělej si svoje upozornění dle libosti na http://www.google.com/alerts/ (http://www.google.com/alerts/).
fair (kdybych mel rad gugl) .. ale jinak dobrej hint .. beer++
Díky :)
-
Rekurzivní wget a diff jsou tví přátelé...
v podstate nejsou, protoze stahovat rekurzivne obsah portalu a jeho diffovani je naprosto nesmyslna aktivita ..
"Jakéholi změny na webu" (viz zadání) jinak nepostihneš. Google nezaindexuje všechno (díkybohu), a kde nemá index, tam ani alert nealertuje ;)
-
Rekurzivní wget a diff jsou tví přátelé...
v podstate nejsou, protoze stahovat rekurzivne obsah portalu a jeho diffovani je naprosto nesmyslna aktivita ..
"Jakéholi změny na webu" (viz zadání) jinak nepostihneš. Google nezaindexuje všechno (díkybohu), a kde nemá index, tam ani alert nealertuje ;)
To je pravda. Záleží na nastavení v souboru robots.txt.
Viz například:
http://www.uohs.cz/robots.txt (http://www.uohs.cz/robots.txt)
User-agent: *
Disallow: /img/
Disallow: /download/chranena-zona/
Z toho vyplívá, že změny v http://www.uohs.cz/download/chranena-zona/ se nezaindexují a změny v www.uohs.cz/img/ také ne. Jestli tomu souboru správně rozumím :).
Pak ještě na sitemap a jestli vůbec je web indexovaný, jestli má zpětné odkazy, atd.
-
omg .. pokud ten web nevlastnis (a neni pod Tvou spravou), tak se to samozrejme neda udelat jinak, nez porovnanim stare kopie obsahu s aktualni ..
OK, naběhl jsem si, zasloužím si to.
Já samozřejmě VÍM, že to nejde jinak než porovnat staré s novým. Netušil jsem, že mě hned pane kolego budete považovat za dementa:-)
Ten Update Scanner je v podstatě směr mých myšlenek. Jde mi o to najít nebo vytvořit něco podobného, co ale zkoumá zadaný web celý, nejen podstránku.
Ocenil bych jinou techniku než pravidelný download webu a srovnávání s předešlou kopií. Na to se ptám - existuje takový způsob?
Co já vím třeba robot co ten web proleze a udělá hashe souborů.
-
Já samozřejmě VÍM, že to nejde jinak než porovnat staré s novým. Netušil jsem, že mě hned pane kolego budete považovat za dementa:-)
...
Na to se ptám - existuje takový způsob?
Co já vím třeba robot co ten web proleze a udělá hashe souborů.
Odpovídáš si sám...
Hmm zajímavá úvaha - a jak robot ty hashe získá? Inu stáhne si soubor a porovná s předchozím hashem...
-
opakuji znova: pokud provozovatel daneho webu nepodporuje podobne pozadavky napriklad pomoci RSS tak se to nejakou smyslupnou metodou neda udelat ze Tve pozice !!
rekurzivni stahovani celeho webu a srovnavani obsahu je naprosto nesmyslne a nejspise skonci tim, ze te admini daneho webu daji na blacklist jakozto potencionalniho nevimco
-
opakuji znova: pokud provozovatel daneho webu nepodporuje podobne pozadavky napriklad pomoci RSS tak se to nejakou smyslupnou metodou neda udelat ze Tve pozice !!
myslim že tak radikální bych nebyl.
1) určitý workaround je třeba uohs site:uohs.cz a nastavení minulosti. (pro ten konkrétní příklad)
2) prohlížeč dokáže v index.of zobrazit data modifikace a určitě ty soubory nestahuje
to mě vede k doufání:-) že by to mohlo jít
rekurzivni stahovani celeho webu a srovnavani obsahu je naprosto nesmyslne a nejspise skonci tim, ze te admini daneho webu daji na blacklist jakozto potencionalniho nevimco 100 pro souhlas
-
Wow...
1) budeš dělat požadavky na všechny stránky jestli se během posledních 10 minut nezměnily (status 303 myslim) -> admin tě do tejdne zabanuje za kopec požadavků (nehledě na to že web server stránku generuje pořád znova takže se pořád znova mění)
2) budeš jednou denně (jak sám říkáš ráno) stahovat wgetem všechny stránky pro porovnání -> admin tě do tejne zabanuje za datovej tok
jiný cesty nejsou, smiř se s tím
-
jiný cesty nejsou, smiř se s tím
Tak jo, vzdávám to. Ale pociťuju nespravedlnost světa a frustraci
:-))
-
opakuji znova: pokud provozovatel daneho webu nepodporuje podobne pozadavky napriklad pomoci RSS tak se to nejakou smyslupnou metodou neda udelat ze Tve pozice !!
rekurzivni stahovani celeho webu a srovnavani obsahu je naprosto nesmyslne a nejspise skonci tim, ze te admini daneho webu daji na blacklist jakozto potencionalniho nevimco
ano, pokud to delas hloupe. dej do user agenta (http hlavicka) GoogleBot a neblokne te nikdo ;)
-
opakuji znova: pokud provozovatel daneho webu nepodporuje podobne pozadavky napriklad pomoci RSS tak se to nejakou smyslupnou metodou neda udelat ze Tve pozice !!
rekurzivni stahovani celeho webu a srovnavani obsahu je naprosto nesmyslne a nejspise skonci tim, ze te admini daneho webu daji na blacklist jakozto potencionalniho nevimco
ano, pokud to delas hloupe. dej do user agenta (http hlavicka) GoogleBot a neblokne te nikdo ;)
Až mi bude GoogleBot ignorovat robots.txt/nofollow linky, tak si piš že to řešit budu... Ale ve státní správě bych se toho nebál, takže dobrý nápad...
-
jasne, toho si vsimnout muzes, ale a jak to budes resit? docela by me to zajimalo...
-
Ban na IP? Whitelist GoogleBotu (chodi porat ze stejnych rozsahu)? Forwarding *bot ze "zakazane zony" na mainpage? Nikdy jsem to dělat nemusel ale tohle jsou asi první tři cesty ktere bych zkusil...
-
1. nikdy nebudes vedet ktera, nemusim (ja) chodit z jedny
2. pochybuju
3. ok..
-
1) než by to postahoval přes tor, tak má druhej den ráno... takže bude chodit z několika málo adres
2) no tech officialnich rozsahu zas tolik nebude (jeden, dva /16 a nejake /24), nepochybuju ze se to da
-
jen k tem adresam GoogleBota - http://support.google.com/webmasters/bin/answer.py?hl=cs&answer=80553
jinak si ale fakt nedokazu predstavit pripad, kdy by bylo potreba kontrolovat celou domenu - vzdycky staci vytipovat jen par konkretnich stranek, kde se ty zmeny promitnou a z nich pripadne sledovat zmeny hloubejc
-
www.woko.cz