Fórum Ubuntu CZ/SK

Ubuntu pro osobní počítače => Software => Příkazový řádek a programování pro GNU/Linux => Téma založeno: flashrobot 29 Prosince 2010, 23:36:55

Název: Bash Ukladanie dat do premennej alebo do suboru
Přispěvatel: flashrobot 29 Prosince 2010, 23:36:55

Zdar,
mam tento usek kodu:

WEBCMD=$(wget -r --spider --no-parent -t 2 http://${HOST} 2>&1 | grep "http://" | cut -d " " -f 4)
for FILE IN ${WEBCMD}
do
...
done

Chcel by som sa ale opytat ci by nebolo vhodnejsie ukladat tie linky do suboru ako do premennej napr. v pripade ak by na serveri bolo strasne vela linkov a celkove ci by to potom malo nejaky vplyv na rychlost ich spracovania v nasledovnom for cykle....
Diky za odpoved.

Název: Re: Bash Ukladanie dat do premennej alebo do suboru
Přispěvatel: Šuohob 30 Prosince 2010, 08:50:02

takle se to uklada do RAM a ta je vzdy rychlejsi, nez zapis/cteni na disk
Podstatne je, jestli se ty linky do pameti vejdou, aby to nemuselo swapovat.

Název: Re: Bash Ukladanie dat do premennej alebo do suboru
Přispěvatel: flashrobot 30 Prosince 2010, 20:30:49

Citace: Bohouš  30 Prosince 2010, 08:50:02

takle se to uklada do RAM a ta je vzdy rychlejsi, nez zapis/cteni na disk
Podstatne je, jestli se ty linky do pameti vejdou, aby to nemuselo swapovat.

Diky, asi to teda budem do toho suboru ukladat, ale este ma napadlo, ci by nebolo najlepsie ten crawling rovno do cyklu vsunut takto:

for FILE in $(wget -r --spider --no-parent -t 2 http://${HOST} 2>&1 | grep "http://" | cut -d " " -f 4)
do
...
done

Ale nie som si isty, ci to neni rovnake ako ked som najprv vsetky tie linky ukladal do premennej pred cyklom....

Název: Re: Bash Ukladanie dat do premennej alebo do suboru
Přispěvatel: pacholik 30 Prosince 2010, 20:51:01

je to to samý

Název: Re: Bash Ukladanie dat do premennej alebo do suboru
Přispěvatel: GdH 30 Prosince 2010, 20:59:27

Citace: flashrobot  30 Prosince 2010, 20:30:49

Citace: Bohouš  30 Prosince 2010, 08:50:02

takle se to uklada do RAM a ta je vzdy rychlejsi, nez zapis/cteni na disk
Podstatne je, jestli se ty linky do pameti vejdou, aby to nemuselo swapovat.

Diky, asi to teda budem do toho suboru ukladat, ale este ma napadlo, ci by nebolo najlepsie ten crawling rovno do cyklu vsunut takto:

for FILE in $(wget -r --spider --no-parent -t 2 http://${HOST} 2>&1 | grep "http://" | cut -d " " -f 4)
do
...
done


Ale nie som si isty, ci to neni rovnake ako ked som najprv vsetky tie linky ukladal do premennej pred cyklom....

A máš vůbec představu kolik těch linků budeš řádově zpracovávat? Například linků na tohle vlákno se vejde do 1MiB necelých 17 tisíc.

Název: Re: Bash Ukladanie dat do premennej alebo do suboru
Přispěvatel: flashrobot 01 Ledna 2011, 13:27:26

Citace: GdH  30 Prosince 2010, 20:59:27

A máš vůbec představu kolik těch linků budeš řádově zpracovávat? Například linků na tohle vlákno se vejde do 1MiB necelých 17 tisíc.

Tak je mi to jasne ze to moze byt niekedy vela linkov. Asi by bolo najvhodnejsie ich ukladat do databazy nejakej a z tade spracovavat. Ale to sa mi uz nechce a ani nemam na to cas, tak bude musiet stacit obycajny textovy subor:)