Hát én személy szerint abban látom a nehézséget, hogy ez a "humánus"-ság eléggé különbözik az egyes embereknél, csomó dolog, ami a leginkább a "jövő felé" törtető cégek szerint elfogadható, az szerintem nem feltétlenül az.
Én szeretném pl. betiltani az embernél intelligensebb AI-ra való törekvést, de nem akarok kulturálisan a szabadságot végletesen korlátozó állam felé se menni, pedig ugye Kínánál látjuk, hogy az állam a technológiát szégyen nélkül a polgárai ellen fordítja, és onnan jönnek az etikai elveket leginkább figyelmen kívül hagyó kísérletek (lásd pl. embriók génmódosítása, Sinopharm oltás dokumentáció nélküli kiadása stb.)
Jobb lenne abban bízni, hogy a közvélemény valamilyen egyetértésre jut, és kikényszeríti az úgynevezett humánus elveket, és kontrollálja a fejlődést, de ez a fentebb részletezett komplexitás és alulinformáltság miatt nehéz feladat.
Valamint a világ tele van koordinációs problémákkal (úgy tudom, így hívják a fogolydilemma általánosítását N szereplőre), amelyben kevés defektáló szereplő fel tud borítani egy egyensúlyt, ami miatt mindenkinek valamennyire defektálni kell önérdekből, senki nem kooperálhat tökéletesen. Ilyen pl. a klímaváltozás, és ez még szerintem a megoldhatóbbak egyike, de a kapitalizmus új és új ilyeneket alkot...