Ja elírtam: ~/.ssh/authorized_keys -hez lehet első induláskor ügyes scripttel hozzávenni az instance létrehozásához használt kulcs publikus felét. Ennek a privát párja az a pem fájl amit a kulcs létrehozásakor letölt.