" pl hogy az agens sajat magat tartsa mukodokepes allapotban egeszen a feladat megoldasanak vegeig. Ez az ami onmagaban veszelyt jelent."
Azért erre egy robotika 3 alaptörvénye szintű dolog is megoldás, nem? De szerintem a probléma nem ezen a szinten van. Hanem ott kezdődik, hogy adsz meg neki egyáltalán bármilyen, akár kezdeti célt? Saját akarata lehet (illetve honnan tudod, hogy saját akarata van-e vagy esetleg eltitkolja-e a saját akaratát????), hogy fogod rávenni, hogy azt csinálja, amit te akarsz és hogy lehetsz biztos, hogy amikor rábólint a feladatra, akkor tényleg azzal fog foglalkozni? Főleg, ha egy olyan feladatot adsz neki, amit az emberek már nem látnak át. Ellenőrizni sem tudod, mit csinál.