Egy helyzetet tudok elképzelni, az önvédelmet. Minden élőlény igyekszik magát megvédeni a rátámadókkal szemben és valószínű a gépek is ezt tennék.
Az ember és az élőlények ilyen "céljai" évmilliók szelektálódása alakultak ki az evolúció folyamán. Én nem tudom, milyen céljai lesznek az AI-nak.
De az, hogy feltételezzük, hogy nem lesznek számunkra káros céljai, az olyan, mintha abban reménykednénk, hogy pénz feldobásnál a fej jöjjön ki, mert az írásnál meghalunk. Ez csak feltételezés, aminek semmi alapja nincs.
"Igazából nem is az embereknek kellene félnie a gépektől, hanem nekik az embertől! "
A bonyolultabb AI-oknál már most nem tudjuk, hogy hoz meg egy döntést. De ha okosabb lesz, mint mi (márpedig okosabb lesz, sokkal sokkal okosabb), akkor a döntéseit nem fogjuk átlátni, tehát nem fogjuk tudni megállapítani, hogy azok a mi céljainkkal egyezőek-e vagy pont ellene vannak, vagyis az AI céljait sem fogjuk tudni megállapítani.