Projekt "pixelpick" - CUDA problém?

[Thomas_Kr]

Dobrý den,
rozjel jsem projekt "pixelpick", kde mi asi polovina modulů chodí, ale v jedné části stále narážím na chybu.

Příkazy spouštím z příkazového řádku Ubuntu 20.04 instalovaného přes WSL na Windows 10.
Zdroj projektu je na adrese https://github.com/NoelShin/PixelPick
v úložišti GitHub.

Z příkazového řádku spouštím skript sh pixelpick-dl-cv.sh:
#!/home/gishin-temp/bin/sh
python3 ../main_al.py  --dataset_name 'cv' --n_pixels_by_us 10 -qs "margin_sampling"

[Thomas_Kr]

Dostávám chybu:
Traceback (most recent call last):
   File "../main_al.py", line 20, in <module>
     args = Arguments().parse_args()
   File "/usr/local/pixelpick/args.py", line 79, in parse_args
     if args.p_dataset_config is not None:
AttributeError: 'Namespace' object has no attribute 'p_dataset_config'

Mám podezření na nastavení proměnné prostředí CUDA_VISIBLE_DEVICES, o které není v readme souborech žádná zmínka. Také zde není žádná zmínka o GPU. Používám jen jednu GPU, která by měla mít podle příkazu nvidia_smi číslo 0.
Zkoušel jsem nastavení export CUDA_VISIBLE_DEVICES=0 (případně =1) beze změny.

Proměnná --p_dataset_config je v jiném případě nastavena na:
  "/usr/local/pixelpick/datasets/configs/custom.yaml"
Významné soubory jsou v příloze. V souboru args.py jsou upraveny cesty k adresářům.

[Thomas_Kr]

Dobrý den,
tak tu první chybu jsem již vyřešil a teď jsem se ve stejném modulu o kousek
dále zasekl na chybě: No module named 'datasets.custom_dataset'

pip list:
dataset                  1.5.2
datasets                 2.8.0

system1@pc-hruby:/usr/local/PixelPick/scripts$ sh pixelpick-dl-cv.sh
model name: camvid_deeplab_margin_sampling_10_p0.05_0
Traceback (most recent call last):
  File "../main_al.py", line 21, in <module>
    main(args)
  File "../main_al.py", line 15, in main
    Model(args)()
  File "/usr/local/PixelPick/model.py", line 34, in __init__
    self.dataloader = get_dataloader(deepcopy(args), val=False, query=False,
  File "/usr/local/PixelPick/utils/utils.py", line 98, in get_dataloader
    from datasets.custom_dataset import CustomDataset
ModuleNotFoundError: No module named 'datasets.custom_dataset'
system1@pc-hruby:/usr/local/PixelPick/scripts$

Když na úroveň /usr/local/PixelPick/ umístím fiktivní soubor
"dataset.py" vytvořený z textového souboru s obsahem:
fff

........ změní se chyba na:
File "/usr/local/PixelPick/utils/utils.py", line 98, in get_dataloader
    from datasets.custom_dataset import CustomDataset
  File "/usr/local/PixelPick/datasets.py", line 1, in <module>
    fff
NameError: name 'fff' is not defined
system1@pc-hruby:/usr/local/PixelPick/scripts$

Tedy na nějaký modul datasets.py to reaguje, ale žádný takový v projektu
není. Přitom na úrovni /usr/local/PixelPick/ je adresář /datasets/, který by
mohl mít tuto úlohu, např. pokud by byl nastaven jako symbolický link.
Ta chyba je okamžitě po čisté instalaci, a toto je první modul, který se v rámci
projektu spouští. Nějak to autorům přece muselo chodit, ale nemohu přijít na to,
co je špatně.

[Thomas_Kr]

Je tady změna. Chybu jsem odstranil docela zajímavým způsobem.

Tu knihovnu datasets jsem nainstaloval už jako součást instalace python 3.8,
což byl základní předpoklad další instalace projektu PixelPick.

Asi na 20-ti webech jsem našel doporučení na tu chybu ModuleNotFoundError:
No module named 'datasets.....:  pip install datasets

Ze zoufalství jsem zkusil, jak se to projeví, když naopak knihovnu
datasets odinstaluji:   pip uninstall datasets

A paradoxně ta původní chyba zmizela. Sice to později zase na něčem
skončilo, ale hlavně jsem se posunul a vypadá to nadějně.

[ramael]

Jen technická poznámka. Pokud se koukneš do souboru utils.py tak tam najdeš mimo jiné toto:

Kód: [Vybrat]

else:
        # add your dataset script
        from datasets.custom_dataset import CustomDataset
        dataset = CustomDataset(args, val=val, query=query, generate_init_queries=generate_init_queries)
        # raise ValueError(args.dataset_name)
Což dle mne znamená, že si máš přidat svůj vlastní script custom_dataset s třídou nebo funkcí CustomDataset a to v rámci knihovny(namespace) datasets.  Nebo aby ses této chybě vyhnul měl bys použít jeden z těchto argumentů:
cs
cv
voc
Pakliže je nepoužiješ, dojde na konečné vyhodnocení podmínky else a jsme tam co jsem psal hned v úvodu.