"Nem pontosan értem, hogy jön ide ez a consciousness és self-awareness" - nem tudom az elottem szolot kerdezd, o hozta fel. En pont azt mondom, hogy az emberihez hasonlo ontudatot idekeverni felrevezeto.
"Egy gépnél én nem tudom, hogy mi lesz ez a(z alap) cél és azt sem, hogy tudjuk befolyásolni." - tok egyszeru, a celfuggvenyt mi hatarozzuk meg az elejen.
A problema leginkabb azzal van, hogy az eredeti feladat megoldasa kozben - itt nyilvan valamelyest magunkbol indulunk ki - az agensnek reszfeladatokat kell meghataroznia. Es vannak olyan jellegzetes reszfeladatok, amik logikus elofeltetelei szinte barmilyen fofeladatnak, pl hogy az agens sajat magat tartsa mukodokepes allapotban egeszen a feladat megoldasanak vegeig. Ez az ami onmagaban veszelyt jelent.
Ha mar a "hogy tudjuk befolyasolni" kerdest felhoztad, az igazi problema azzal van, hogy a kezdeti celfuggveny meghatarozasa _utan_ hogy tudjuk modositani a gep feladatat. Pl, ha a megoldas soran azt latjuk, hogy a gep valami nagyon karos/veszelyes dolgot keszul tenni, es akkor jovunk ra, hogy ezt bele kellett volna fogalmazni a celfuggvenybe. Az agens valoszinuleg ellen fog allni a celfuggveny utolagos modositasanak, azon egyszeru oknal fogva, hogy a meglevo celfuggvenye szerint fogja kiertekelni a potencialis uj celfuggvenyt. Es ha ez rossz pontszamot fog kapni (marpedig nyilvan azert valtoztatjuk meg, mert nekunk nem tetszik amerre a megoldas megy), a gep ugy fogja ertekelni, hogy nem viszi kozelebb az eredeti celjahoz az uj cel elfogadasa, sot ellenkezoleg, akkor jobb megakadalyozni.