távoli hozzáférés biztonságosabban

Sziasztok!

Munkahelyi szerverhez szeretnék otthonról is hozzáférni.
Az iptables input lánca mindent eldob, csak kivételek vannak:
Többek közt felvettem az otthoni szolgáltatóm külső címét (legyen xxx.xxx.xxx.xxx) is, de mivel az otthoni gépemnek belső címe van, ezért valamilyen módon tovább akarom korlátozni, hogy az xxx.xxx.xxx.xxx címről se tudjon akárki bejönni, csak én.
Tudomásom szerint az iptables --mac-source illesztése csak belső hálózatoknál alkalmazható, tehát hiába adnám meg a munkahelyi szerveren az otthoni hálókártyám mac címét, mert az el sem jutna a munkahelyhez...
Ötleteket kérnék, hogy lehetne tovább fokozni az otthonról történő bejelentkezésem biztonságát, hogy tényleg csak én jussak be a gépre!

2.
ssh kulcsoknál be lehet-e állítani az sshd-ben, hogy csak és kizárólag kulcsos bejelentkezést engedjen
(Természetesen permitrootlogin=no, AllowUsers=jómagam beállítások megvannak!)

Thx, Sanyi