Můj problém s SSH přihlášením byl způsoben mojí blbostí, že jsem si soubor .ssh/authorized_keys pojmenoval jako .ssh/autorized_keys, no a zadělal jsem si na hodinové zkoumání konfiguráků.
Takže návod na zdejší wiki pro SSH je plně funkční

Omlouvám se za způsobené trauma autorovi ;-)