Fórum Ubuntu CZ/SK

Ubuntu pro osobní počítače => Internet a sítě => Téma založeno: Peterx 07 Ledna 2010, 13:06:11

Název: kontrola stranok
Přispěvatel: Peterx 07 Ledna 2010, 13:06:11
Zdravim kazdeho, hladam nejaku utilitu, najlepsie z spustitelnu z command line, ktora dokaze otestovat ci nejaka stranka je funkcna. Nie ping, ale potrebujem zistit ci dana stranka naozaj funguje...
Název: Re: kontrola stranok
Přispěvatel: 8472 07 Ledna 2010, 13:26:19
co tak napr. http://specto.sourceforge.net/ ?
Název: Re: kontrola stranok
Přispěvatel: MacHala 07 Ledna 2010, 13:28:00
curl, wget? ale vzdycky se muze stat, ze ti server posle stranku ala "Hledana stranka se na servru bohuzel nenaleza"... takze je potreba nejaky postprocessing
Název: Re: kontrola stranok
Přispěvatel: Peterx 07 Ledna 2010, 13:47:44
Dik za odpoved, myslim ze curl bude pouzitelny.
Název: Re: kontrola stranok
Přispěvatel: Peterx 07 Ledna 2010, 18:25:28
Takze specto je nepouzitelne, kedze sa s nim neda poslat ani len mail...
Skusal som curl, no tam mam problem s tym ze to vracia html kod a naviem ako napisat skript asi takyto:

curl www.stranka.nieco
ak na tej stranke najdes text tak ok ak nie tak...
Název: Re: kontrola stranok
Přispěvatel: MacHala 07 Ledna 2010, 19:29:16
Kód: [Vybrat]
curl www.stranka.nieco | grep -q "hledany text" && echo "Text nalezen"
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 07:15:14
Dik
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 10:09:55
Tak a uz som natrafil na dalsi problem, aj ked sa tohoto netika.
Mam zoznam srtanok v textovom subore a napisal som si script:

Kód: [Vybrat]
cat zoznam | while read line; do curl $line; done
Vysledok je takyto:

Kód: [Vybrat]
'url: (6) Couldn't resolve host 'www.stranka.nieco
Vobec netusim kde sa vzalo to '
Název: Re: kontrola stranok
Přispěvatel: MacHala 08 Ledna 2010, 10:50:06
az na umisteni toho apostrofu ve vypisu chyby to vypada uplne normalne... (spravne by to melo vypadat:
Kód: [Vybrat]
curl: (6) Couldn't resolve host 'www.stranka.nieco' )
mimochodem, proc mas v seznamu neexistujici domeny? jestli chces napriklad nejake domeny kupovat a chces zjistit, jestli jsou obsazene, tak tohle ti vubec nepomuze...
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 10:56:43
To URL som tam napisal nezmyselne len sem, aby to niekoho neplietlo.
Uz som zistil ze chyba je v textovom subore, ale vobec netusim aka.

Chcel som to takto:
vytvorim textovy subor s adresamy
Kód: [Vybrat]
grep www. /adresar/subor1 | sed 's/^[ \t]*//;s/[ \t]*$//' >>/adresar/subor2
Potom:
Kód: [Vybrat]
cat /adresar/subor2 | while read line; do curl $line; done
A toto mi uz nefunguje.
Ked ale subor2 vytvorim manualne, cize napisem tam zoznam stranok, tak to funguje a vobec netusim pre co.
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 11:47:27
Este prikladam subor, vie niekto co je na nom vadneho?

Kód: [Vybrat]
www.adminko.sk/ubuntu/l1.tar.gz
Název: Re: kontrola stranok
Přispěvatel: MacHala 08 Ledna 2010, 11:53:07
windowsacke (crlf) konce radku, pouzij
Kód: [Vybrat]
cat soubor2 | sed 's/.$//' | while read line; do curl $line; done
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 11:56:17
Prave som to zistil aj ja...
Dovod pre co ma to nenapadlo je ten ze mam iny skritp z ktorym takto vytvoreny subor funguje bez problemov.
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 12:08:40
Namiesto curl sa nenajde nieco co dokaze overit funkcnost stranok. Problem s tym curl je taky ze ak ho pouzijem tak musim nieco na tej stranke hladat, ale ak mate niekolko 100 stranok co chcete skontrolovat tak to je problem. Co je horsie stranky su pisane od HTML, ASP, .NET az po PHP, takze je to problem..
Hladam nieco ako je T4eWebPing pod windowsami.
Název: Re: kontrola stranok
Přispěvatel: MacHala 08 Ledna 2010, 15:07:00
takze ti vlastne zalezi na headru, jo?
zkus
Kód: [Vybrat]
wget --server-response http://www.seznam.cz/ -O /dev/null 2>&1 | head -20
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 15:42:24
Tak to to uz je lepsie riesenie, aj ked nie dokonale :)
Idem skusat..
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 16:05:10
Nie je to zle, postaci kym nenajdem lepsie, idealne by bolo nieco co dokaze nacitat stranku a ak sa ju podary nacitat do urcitej doby tak ok, ak nie tak je problem.
Název: Re: kontrola stranok
Přispěvatel: MacHala 08 Ledna 2010, 18:09:38
jde to taky pomoci wgetu >> zkus man wget / utfg / projev vlastni iniciativu
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 18:52:57
Man wget som skusil, no nie je tam nikde nic o tom ze ma pockat az sa stranka cela natiahne a nenasiel som tam ani u z toho co si pisal / utfg /.
Na linuxe som zaciatocnik a to co je pre niekoho samozrejme pre mna este nie je.
Ale aj tak dik za pomoc
Název: Re: kontrola stranok
Přispěvatel: MacHala 08 Ledna 2010, 19:18:03
z man wget:
Kód: [Vybrat]
       -T vteřin
       --timeout=vteřin
           Nastavení časového limitu sítě na zadaný počet vteřin.  Je ekvivalentní společnému nastavení
           --dns-timeout, --connect-timeout a --read-timeout.

           Kdykoliv probíhá síťová operace, Wget může ověřovat prodlevu a operaci přerušit, pokud trvá příliš
           dlouho. Tak lze zabránit zamrznutí nebo nekonečným spojením.  Jediným časovým limitem, který je jako
           výchozí nastaven, je 900 vteřin na čtení.  Nastavením na 0 se vyřadí. Výchozí hodnotu je záhodno měnit
           pouze v případě, že skutečně víte, co děláte.

           Všechny volby týkající se časových limitů akceptují hodnoty v desítkové soustavě, včetně hodnot pod
           vteřinu. Např. 0.1 vteřin je platnou (ačkoliv nevhodnou) hodnotou.  Hodnoty pod vteřinu se hodí při
           testování časů odpovědi serveru nebo latence sítě.

utfg znamena "use the f*** google"
Název: Re: kontrola stranok
Přispěvatel: Peterx 08 Ledna 2010, 20:27:52
Ta skratka je dobra, ale velky brat google mi v tom nepomohol a to som skusal dost
Název: Re: kontrola stranok
Přispěvatel: MacHala 08 Ledna 2010, 20:48:51
a co ta citace z manualu wgetu? pripadne zkombinuj s http://www.root.cz/clanky/hratky-z-radky-navratove-hodnoty/ a libovolnym bash tutorialem
Název: Re: kontrola stranok
Přispěvatel: Peterx 09 Ledna 2010, 11:58:10
jj, uz studujem, dik.
Název: Re: kontrola stranok
Přispěvatel: mka 09 Ledna 2010, 16:41:25
Možná by pomohlo, kdyby ses s námi podělil o to - řečeno s majorem - čo také si predstavuješ pod pojmom funkčnost stránok. Třeba by ti pak někdo poradil lépe :-)
Název: Re: kontrola stranok
Přispěvatel: Peterx 09 Ledna 2010, 20:29:02
Tak na toto je tazke odpovedat, mne ide o to aby som zistil nefunkcnost aj v pripade ze IIS nevrati chybu, ale stranka nie je funkcna dajme tomu pre to ze nema dostupnu databazu.
Název: Re: kontrola stranok
Přispěvatel: mka 10 Ledna 2010, 09:22:41
Hmm,
tak to budeš asi muset trochu programovat....
Název: Re: kontrola stranok
Přispěvatel: Peterx 11 Ledna 2010, 06:52:30
:) asi sa budem musiet naucit :)
Název: Re: kontrola stranok
Přispěvatel: mka 11 Ledna 2010, 10:35:51
Asi ano.
Pro začátek by bylo potřeba si stanovit nějaké jednoznačné rozpoznávací znaky, kdy je stránka funkční resp. kdy je nefunkční. Aby bylo vůbec co testovat...
Název: Re: kontrola stranok
Přispěvatel: Peterx 11 Ledna 2010, 10:47:31
Ano a to je moj problem kedze sa jedna o rozne stranky v roznych formatovh...
Název: Re: kontrola stranok
Přispěvatel: stderr 11 Ledna 2010, 16:20:24
A co kontrolovat zvášť web a zvlášť DB - předpokládáme, že když jede web i DB, pak se stránka zobrazuje korektně (a jestli ne, tak vyhodíme programátora..)
Web můžeš kontrolovat pomocí "HTTP status codes" (jak to přeložit do češtiny?) např. pomocí curl:
Kód: [Vybrat]
curl --write-out "%{http_code}\n" -o /dev/null <webova_stranka>
což vypíše 200 při úspěchu a jiné při chybách (viz. http://www.w3.org/Protocols/HTTP/HTRESP.html)

A MySQL (nebo jinou DB) se bude kontrolovat třeba přístupem na nějakého uživatele bez jakýchkoliv práv: příhlásí se, pak můžem prohlásit, že DB jede. Nepřihlásí se, pak DB nejede.

Btw, nějak takto (ehm, v trošku komplexnější formě) funguje např. dohled pomocí Nagiosu.
Název: Re: kontrola stranok
Přispěvatel: Peterx 11 Ledna 2010, 16:26:03
No na databazu sa z vonku nedostanem a pokial nejde databaza tak IIS nevrati 404 a ak aj ano, nemozem sa na to spolahnut, lebo niektore stranky vyuzivaju chybu 404 na redirect. Inak DB su hlavne MSSQL...
Název: Re: kontrola stranok
Přispěvatel: LuciusMare 11 Ledna 2010, 18:40:09
A co kontrolovat zvášť web a zvlášť DB - předpokládáme, že když jede web i DB, pak se stránka zobrazuje korektně (a jestli ne, tak vyhodíme programátora..)...
;D



 Pokud je to tvoje stránka tak bych si to nějak ošéfoval tam, třeba se na stránce zobrazí "Stránka nefachá" pokud nějak nefunguje (DB nejede...) a to potom vyhledat grepem.
Název: Re: kontrola stranok
Přispěvatel: ufaak 11 Ledna 2010, 18:46:47
kontrolovat statusy HTTP jak bylo uvedeno drive, pokud je status OK, nacist stranku pomoci wget a grepnout ji na Error hlasky. Pokud se tam nejake vyskytnou, ejhle, pruser je na svete.

Problem by samozrejme mohl nastat v pripade ńejakeho clanku popisujiciho nejaky Error, a byl by tam vypis te chyby, ale to uz je na tobe, jak se s tim poperes :)
Název: Re: kontrola stranok
Přispěvatel: stderr 11 Ledna 2010, 20:47:35
Problem by samozrejme mohl nastat v pripade ńejakeho clanku popisujiciho nejaky Error, a byl by tam vypis te chyby, ale to uz je na tobe, jak se s tim poperes :)
Mno, jestli jde jen o kontrolu, zda jede DB, tak při chybě spojení by to mohlo (třeba jen do poznámky v kódu, ne na web) vypsat nějakou předem definovanou chybu s několika nesmyslnými (řekněme tak unikátními, že se v textu ani kódu normálně nevyskytují) znaky, třeba: "<!-- Hapala mi databaze! !324*^& -->" :) Přece napsat toto do kódu pár stránkám je na pár minut..
Název: Re: kontrola stranok
Přispěvatel: ufaak 11 Ledna 2010, 21:14:56
otazka je, jestli ma takovou moznost... (myslim upravu kodu stranek, ktere chce testovat - ja predpokladam ze nema)
Název: Re: kontrola stranok
Přispěvatel: stderr 11 Ledna 2010, 22:06:26
otazka je, jestli ma takovou moznost... (myslim upravu kodu stranek, ktere chce testovat - ja predpokladam ze nema)
nj, tak kontrolování něčeho, na co nemám aspoň nějaký rozumný přístup, je holt omezené. Na to bych univerzální algoritmus nechtěl vymýšlet... :)
Název: Re: kontrola stranok
Přispěvatel: Peterx 12 Ledna 2010, 07:07:17
Sak to, ani ja, no musim :(
Název: Re: kontrola stranok
Přispěvatel: petergula 12 Ledna 2010, 08:55:54
Sak to, ani ja, no musim :(

Obcas treba kapitulovat a zvolit kompromis(tie kontroly, co uz tu su navrhnute), alebo potom kodit kazdu kontrolu rucne, co je slusne povedane hovadina. 
Název: Re: kontrola stranok
Přispěvatel: Peterx 12 Ledna 2010, 09:00:09
To viete, vysvetlite to sefovy ze to nejde....
:)
Název: Re: kontrola stranok
Přispěvatel: mka 12 Ledna 2010, 09:24:59
Hoď sem schválně seznam těch webů.
Název: Re: kontrola stranok
Přispěvatel: Peterx 12 Ledna 2010, 14:42:23
To asi nie je dobry napad, ale aj tak sa to meni...
Název: Re: kontrola stranok
Přispěvatel: mka 12 Ledna 2010, 14:49:44
No dobrá, ale pak si uvědom, že zde máme poněkud zapeklitý problém:
Jak ověřit, zda se nějaká soustava nachází či nenachází v určitém stavu, když neznáme definici tohoto stavu?
A včíl mudruj...
Název: Re: kontrola stranok
Přispěvatel: Peterx 12 Ledna 2010, 14:55:16
Mne je to uplne jasne...
Nechcem aby sef nasiel odkazi na stranky, no ani tak by to nepomohlo...
Název: Re: kontrola stranok
Přispěvatel: mka 12 Ledna 2010, 14:57:52
Mne je to uplne jasne...
Nechcem aby sef nasiel odkazi na stranky, no ani tak by to nepomohlo...

Ááá, tak to budou zřejmě nějaké hrozně tajné stránky. Mě osobně taky vždycky strašně rozčílí, když zjistím, že na moje stránky někdo někde odkazuje!!!
Název: Re: kontrola stranok
Přispěvatel: Peterx 12 Ledna 2010, 15:01:10
Kazdy mame nejakeho sefa...
Název: Re: kontrola stranok
Přispěvatel: LuciusMare 12 Ledna 2010, 15:37:50
Jestli chceš pomoct, dej nám prostředky. Pokud ne, měním na [nevyřešitelné] ;)
Název: Re: kontrola stranok
Přispěvatel: Peterx 12 Ledna 2010, 15:43:30
Myslym ze to bude neriesitelne...

Jedine co ma napadlo je to ze pre kazdu stranku nadefinujem nejaky text ktory sa tam nachadza a potom budem kontrolovat ci ho tam najdem a ak nie znamena to ze stranka nejde. Bude to ale pracne...
Název: Re: kontrola stranok
Přispěvatel: LuciusMare 12 Ledna 2010, 16:22:46
Fíha, to jsi vymyslel úplně sám?
Problem by samozrejme mohl nastat v pripade ńejakeho clanku popisujiciho nejaky Error, a byl by tam vypis te chyby, ale to uz je na tobe, jak se s tim poperes :)
Mno, jestli jde jen o kontrolu, zda jede DB, tak při chybě spojení by to mohlo (třeba jen do poznámky v kódu, ne na web) vypsat nějakou předem definovanou chybu s několika nesmyslnými (řekněme tak unikátními, že se v textu ani kódu normálně nevyskytují) znaky, třeba: "<!-- Hapala mi databaze! !324*^& -->" :) Přece napsat toto do kódu pár stránkám je na pár minut..
kontrolovat statusy HTTP jak bylo uvedeno drive, pokud je status OK, nacist stranku pomoci wget a grepnout ji na Error hlasky. Pokud se tam nejake vyskytnou, ejhle, pruser je na svete.

Problem by samozrejme mohl nastat v pripade ńejakeho clanku popisujiciho nejaky Error, a byl by tam vypis te chyby, ale to uz je na tobe, jak se s tim poperes :)
Název: Re: kontrola stranok
Přispěvatel: Peterx 12 Ledna 2010, 16:28:30
Vidim ze moja odpoved bola nepochopena... Myslel som to ironicky...
Prave tomu som sa chcel vyhnut...