A mérnöki tervezés korlátai

1. Emergens viselkedés - egy rendszer tervezése/kódolása erősen formalizált eszközökkel történik, ám ettől a működése még nem tekinthető a tervező által teljesen átláthatónak. Az idevágó filozófiai kifejezés az episztemikus emergencia, ami minden kellően komplex géppel kapcsolatban felmerül.
2. Input fizikai folyamatok kiszámíthatatlansága - azt, hogy mi fogja érni a szenzorokat, a számítási hardvert és a többit, inkább csak sejtjük a tervezés során... Jó példa erre az [1]-ben, a kapcsolódó irodalomnál olvasható fedélzeti kamerák elleni lézeres támadás esete. Ezek közül a lézer általi teljes kamera tönkretétel az ijesztőbb elsőre, ám valószínűleg a részleges rongálás a veszélyesebb, mert nem egyértelmű, hogy baj van.
3. Architekturális kérdések: ezek a rendszerek szokványosan elérhető hardverekből épülnek fel egyelőre (GPU-k, x86 procik). Ezekről tudjuk, hogy pl. adott hőmérséklet esetén szabályozzák magukat, miközben a rendszerrel szemben real time követelmények vannak, pl. 100ms-os reakcióidő büdzsé [3]. Nyilván ezek a jövőben kezelhetők lesznek, de kérdés, hogy milyen költséggel.
4. Embodiment effects - magyar nevét még keresem, talán megtestesülési hatások (...). Gondoljunk el két teljesen egyforma rendszert két egyforma autóban, kivéve, hogy az egyik rikító sárgára, a másik meg szürke színűre van festve. Könnyű elképzelni, hogy statisztikailag a rikító színű biztonságosabb lesz (u.i. jobban látják a gyalogosok, stb.) Egy ilyen paraméter gyakran meg sem jelenik a tervben vagy a statisztika gyűjtésekor, így a rendszer hatékonysága látszólag az algoritmus sikere lesz kizárólag. A rendszereket egész jármű osztályokra tervezik, a külső majd később dől el, ezért az a tervezéskor nem is ismerhető pontosan. A fenti autó-láthatósági felvetésre mondhatja valaki, hogy mostantól ezt a paramétert tervezéskor figyeljük. Csakhogy a szín mindössze egy példa - az érv lényege épp az, hogy nem tudjuk teljes körűen felsorolni a releváns megtestesülési paramétereket.
5. A gépi tanulás kapcsán jól ismerjük a különféle felidézés és a pontosság mértékeket, meg a konfidencia szinteket, és azt is, hogy ezek ritkán érik el a 100%-ot. A tragikus Über vs. kerékpáros esetben is volt ennek szerepe, a rendszer tűnődött, hogy mi is az objektum amit lát és ettől függően különféle becsült haladási vektorokat rendelt hozzá.
6. Neurális hálók hackelhetősége - lásd a bevezető példát!
7. Az autonóm cselekvés hatásának kiszámíthatatlansága - amikor a rendszer a fékre tapos, a fékút csak hozzávetőlegesen ismerhető, de ugyanez igaz minden más manőverre is. Márpedig az efféle becsült adatok a bemenetei kell, hogy legyenek az autonóm döntésnek.
8. A környezet kiszámíthatatlan cselekvése: ha a gyalogos az úttesten áll, jó ötletnek tűnik, hogy kerüljük ki, amerről lehet. Ha a gyalogos úgy dönt, hogy elugrik, miközben a rendszer ugyanarra kitér, akkor kész a baj. Sajnos biztosan tudjuk, hogy emberi reakciókat legfeljebb csak becsülni tudunk majd a jövőben is.
9. Tervezési szituáció - Az autó nem morális ágens a kultúránkban. Az én morális ágensség tesztem erre a következő: elfogadnánk-e büntetésként egy önvezető autóval szemben azt, hogy kitiltjuk a forgalomból (börtön analógia), vagy akár megsemmisítést (halálbüntetés analógia)? Minden általam ismert információ arra utal, hogy egyelőre nem. Márpedig akkor vagy a tervező lesz a felelős, vagy a környezet, esetleg valamiféle átfogóbb rendszer, vagy senki sem. Akárhogyis, a tervezőnek a tervezési fázisban kell minden morális vonatkozású kérdést megoldania ami felmerül, mert a rendszer működése közben nem lesz ott. Ez azért nehéz mert a hagyományos etikai és döntés-elméletek, ha nem is kizárólag, de többnyire konkrét szituációkat kezelnek és nem előre alig látható problémaosztályokat.

Nos, ezek a főbb kihívások. Visszatérve a drónos hackerekre, védekezési javaslataik között szerepel a közlekedési táblák digitális aláírása, amely a táblán elhelyezett QR kódból lenne kiolvasható. Az aláírt payload-nak nyilván a tábla helyét is kell tartalmaznia (különben semmi értelme), viszont az autó helye GPS spoofing-gal támadható. Egy másik javaslat a domború táblák használata mindenütt, és akkor egy falra vetített projekció nem csapja be a rendszert. Nem kezdek bele abba, hogy ezzel a javaslattal mik a problémák.. Végül felvetik alternatívaként azt is, hogy a táblák regisztrálása lehetséges valamilyen közösségi navigációs alkalmazásban, mint pl. Waze (a GPS spoofing ellen nyilván ez se véd). Kicsit hiányolom a cikkből azokat a megoldásokat, amelyek a gépi tanulás szenzorfúzióval (pl. képi+lidar input) való megerősítésével kapcsolatosak, úgy sokkal komolyabb írás lenne.

Köszönettel tartozom az ELTE-nek és az MTA-nak, amiért Bolyai és UNKP ösztöndíjakkal támogattak kutatásaimat, amelyekből többek között a fentiekben összefoglalóan ismertetett kategóriarendszer is létrejöhetett.

[1] https://arxiv.org/abs/1906.09765
Nassi, Dudi, et al. "MobilBye: Attacking ADAS with Camera Spoofing." arXiv preprint arXiv:1906.09765 (2019).
[2] https://arstechnica.com/cars/2019/06/spoofing-car-ai-with-projected-str…
[3] Lin, S. C., Zhang, Y., Hsu, C. H., Skach, M., Haque, M. E., Tang, L., & Mars, J. (2018). The Architectural Implications of Autonomous Driving: Constraints and Acceleration. In Proceedings of the Twenty-Third International Conference on Architectural Support for Programming Languages and Operating Systems (pp. 751-766). ACM.