Bash Ukladanie dat do premennej alebo do suboru

[flashrobot]

Zdar,
mam tento usek kodu:

WEBCMD=$(wget -r --spider --no-parent -t 2 http://${HOST} 2>&1 | grep "http://" | cut -d " " -f 4)
for FILE IN ${WEBCMD}
do
...
done

Chcel by som sa ale opytat ci by nebolo vhodnejsie ukladat tie linky do suboru ako do premennej napr. v pripade ak by na serveri bolo strasne vela linkov a celkove ci by to potom malo nejaky vplyv na rychlost ich spracovania v nasledovnom for cykle....
Diky za odpoved.

[Šuohob]

takle se to uklada do RAM a ta je vzdy rychlejsi, nez zapis/cteni na disk
Podstatne je, jestli se ty linky do pameti vejdou, aby to nemuselo swapovat.

[flashrobot]

takle se to uklada do RAM a ta je vzdy rychlejsi, nez zapis/cteni na disk
Podstatne je, jestli se ty linky do pameti vejdou, aby to nemuselo swapovat.

Diky, asi to teda budem do toho suboru ukladat, ale este ma napadlo, ci by nebolo najlepsie ten crawling rovno do cyklu vsunut takto:

for FILE in $(wget -r --spider --no-parent -t 2 http://${HOST} 2>&1 | grep "http://" | cut -d " " -f 4)
do
...
done

Ale nie som si isty, ci to neni rovnake ako ked som najprv vsetky tie linky ukladal do premennej pred cyklom....

[pacholik]

je to to samý

[GdH]

takle se to uklada do RAM a ta je vzdy rychlejsi, nez zapis/cteni na disk
Podstatne je, jestli se ty linky do pameti vejdou, aby to nemuselo swapovat.

Diky, asi to teda budem do toho suboru ukladat, ale este ma napadlo, ci by nebolo najlepsie ten crawling rovno do cyklu vsunut takto:

for FILE in $(wget -r --spider --no-parent -t 2 http://${HOST} 2>&1 | grep "http://" | cut -d " " -f 4)
do
...
done


Ale nie som si isty, ci to neni rovnake ako ked som najprv vsetky tie linky ukladal do premennej pred cyklom....

A máš vůbec představu kolik těch linků budeš řádově zpracovávat? Například linků na tohle vlákno se vejde do 1MiB necelých 17 tisíc.

[flashrobot]

A máš vůbec představu kolik těch linků budeš řádově zpracovávat? Například linků na tohle vlákno se vejde do 1MiB necelých 17 tisíc.

Tak je mi to jasne ze to moze byt niekedy vela linkov. Asi by bolo najvhodnejsie ich ukladat do databazy nejakej a z tade spracovavat. Ale to sa mi uz nechce a ani nemam na to cas, tak bude musiet stacit obycajny textovy subor:)