SSH-zás engedélyezése csak 1 felhasználónak

Valaki tudna abban segíteni, hogy hogyan tudok csak egy felhasználónak engedni azt hogy ssh-val kapcsolódjon a gépre? Mert a gépen van még további 4 és nem szeretném, hogy ők távolról beléphessenek, csak én. (helyileg mindenkinek be kell tudnia lépnie)
Állítólag az /etc/ssh/sshd_configot kell nézni. én néztem, de nem sok erre vonatkozó részt találtam (meg angolul sem valami hajde tudok)

Köszi a segítséget.

1000thx a gyors válaszért! Köszi