Rychlé vícevláknové stahování celých webů

[beer]

Ahoj, zajímalo by mne, jak z terminálu stahovat třeba obsah nějakého webu, chtěl bych otestovat rychlost, kterou ten web posílá.

Zkoušel jsem wget, ale ten není schopen využít mého 25 Mb/s internetu, nepoužívá více vláken a  nerozumí znakům * a ?.
Nepodařilo se mi dostat přes 4 Mb/s na downloadu, to jsem měl navíc otevřeno skript asi 30 x současně.

Kód: [Vybrat]

#!/bin/bash
mkdir /tmp/null
cd /tmp/null
wget -t 0 -r -l 5 -e robots=off -U mozilla --no-directories --page-requisites --no-cache -v nejakaurl   --delete-after

[beer]

nikdo nestahuje weby?

[Petr Merlin Vaněček]

Pokud nejde o stažená data (pro pozdější zpracování), zkusil bych z balíků apache nástroje k tomu určené

Podotýkám, že je fuk, na který http server se to pustí ...

[starenka]

ab, siege nebo klidne nejakej web app sec scanner ala skipfish. Nicmene porad nevim, jesli chces zmerit rychlost pripojeni, nebo webu.

[beer]

Díky za reakce, zkusím pročíst, jak se třeba ten ab používá. Musím nainstalovat tedy celé apache, jestli to chápu a pak použít ty nástroje...
To siege je taky apache?
Pokud bude rychlost výrazně nižší, než je rychlost 25 Mbps mého připojení, tak to zjistím. Jde mi spíše o změření rychlosti nějakého webu, jakou je schopen data odesílat.

[starenka]

pokud chces zjistit "kolik to vytahne" - tak bych na misto malejch souboru s lagem serveru (coz stranky budou), radsi vzal nejakej rychlej mirror (nejaka univ/vs) a zkusil neco potahnout (vetsiho) ...

Kód: [Vybrat]

starenka@kosmik1:/tmp$ wget -v http://cdimage.debian.org/debian-cd/6.0.4/amd64/iso-cd/debian-6.0.4-amd64-netinst.iso
--2012-02-03 16:28:07--  http://cdimage.debian.org/debian-cd/6.0.4/amd64/iso-cd/debian-6.0.4-amd64-netinst.iso
Resolving cdimage.debian.org (cdimage.debian.org)... 130.239.18.138, 130.239.18.163, 2001:6b0:e:2018::163, ...
Connecting to cdimage.debian.org (cdimage.debian.org)|130.239.18.138|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://hammurabi.acc.umu.se/debian-cd/6.0.4/amd64/iso-cd/debian-6.0.4-amd64-netinst.iso [following]
--2012-02-03 16:28:07--  http://hammurabi.acc.umu.se/debian-cd/6.0.4/amd64/iso-cd/debian-6.0.4-amd64-netinst.iso
Resolving hammurabi.acc.umu.se (hammurabi.acc.umu.se)... 130.239.18.165, 2001:6b0:e:2018::165
Connecting to hammurabi.acc.umu.se (hammurabi.acc.umu.se)|130.239.18.165|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 176160768 (168M) [application/octet-stream]
Saving to: `debian-6.0.4-amd64-netinst.iso.1'

100%[============================================================================================================================================>] 176,160,768 2.14M/s   in 88s     

2012-02-03 16:29:35 (1.92 MB/s) - `debian-6.0.4-amd64-netinst.iso.1' saved [176160768/176160768]

na konci vydis prumernou rychlost, behem stahovani vydis aktualni

siege nema s apachem nic spolecnyho, ale stejne jako ab, simuluje zatizeni serveru.