"A veszélyessége sehol sincs egy hidrogénbombához képest."
Még.
Egy hidrogénbomba veszélyessége sehol nincs egy korlátozás nélküli AGI-hez képest.
Nézd meg, hogy 10 éve hol tartottunk és hol tartunk most. Szerintem bőven kevesebb, mint 10 év van hátra az első AGI-ig.
A hasonlatom egyébként arról szólt, hogy egykoron az USA a tríciumbomba fejlesztésekor arra jutott, hogy ezzel a módszerrel a hidrogénbombákat tetszőlegesen nagy méretig fel lehet skálázni. Ezek után azt csinálták, ami látszólag teljesen értelmetlen: megosztották a kutatási eredményeiket a Szovjetúnióval. Ezután az történt, hogy mindkét hatalom abbahagyta a tríciumbombák fejlesztését. Gyakorlatilag belátták, hogy ebben a játékban mindkét fél garantáltan veszít, minél tovább játsszák, annál nagyobbat. Az egyetlen nyerő stratégia, ha el sem kezdik.
Ezt kéne itt is belátni. Ha mindenki fejvesztve rohan előre és azon spórol, amin a legegyszerűbb és a legtöbb időt lehet nyerni vele (természetesen az AI safety az, mi más), az valójában egyik félnek sem érdeke.