Vem to jenom jako ideu a nejlépe si to dopředu vyzkoušej virtuálně, aby sis nedodrbal svůj server (tak to dělám já).
Ono je na NETu dost různých návodů a pokud bys chtěl desktop, který budeš ovládat přes VNC, tak se inspiruj např. v
tomhle videu. Nic není striktní, co si tam dáš za desktop (nemusí to být XFCE), je tvá volba, i TightVNC můžeš nahradit vino-serverem, který bývá defaultně v ubuntu desktopu atd. Také se může trochu lišit návod pro 16.04 od nynější 18.04.