no meg a publikus kulcsot jól elzárod mástól
A privát kulcsra gondoltál, nem? A publikus kulcs szerepét, már a neve is hordozza, ahogy a privát kulcsét is.
Egyébként tényleg hasznos lehet nem a default porton futtatni, csak kulcsos hitelesítést elfogadni és csak azokat a usereket engedni, akiknek szükséges, hogy elérjék a net felől is a gépedet ssh-n keresztül.