Po dlouhé době jsem si našel čas a pošťoural se v tom. Pokud někdo má ten samý problém, tak ať po spuštění nastaví ono magické
setxkbmapPro přepínání mezi layouty jsem musel změnit zkratku z alt+alt na alt+shift, jinak to prostě nereagovalo. Navíc pokud používáte multimediální klávesy, musíte je znovu nastavit PO spuštění výše zmíněného programu. Např. místo předchozího X86WWW se nastavilo 0x82. Teď už vše běhá jak má.