Kutatók egy olcsó projektorral átverték az AI rendszert, hogy figyelmen kívül hagyja a Stop táblát
A Purdue kutatóhármasa közzétette kutatását, amelyben egy számítógépes látási rendszer elleni támadást mutat be, amellyel elérik, hogy az AI rendszer azt lássa – vagy ne lássa -, amit a támadó akar. Eredményeik hatással lehetnek az olyan önvezető járművekre, mint a Teslák, amelyek kamerákra támaszkodnak a tárgyak észlelésében és a navigálásban.
A kutatók a digitális manipuláció lehetőségét akarták megvizsgálni a fizikai világban. Elég könnyű feltörni egy számítógépet vagy becsapni egy mesterséges intelligencia rendszert, ha fizikailag hozzáférünk, de egy zárt rendszert becsapni sokkal nehezebb.
A kutatásról szóló előzetes jelentésben azt írják:
Az ellenséges támadások vagy védekezések ma elsősorban a digitális világon alapulnak, ahol a támadó egy digitális képet manipulál a számítógépen. Fizikai támadásokról is van szó a szakirodalomban, de ezek legtöbbször nagyobb beavatkozást igényelnek, mivel meg kell érinteni hozzá a tárgyat, például festeni egy stop jelzést.
Ebben a cikkben egy nem invazív támadást mutatunk be strukturált megvilágítással. Az új támadás, az úgynevezett OPtical ADversarial attack (OPAD), egy olcsó kivetítő-kamera rendszerre épül, ahol meghatározott mintákat vetítünk a 3D objektumok megjelenésének megváltoztatására.
Az AI látási rendszer tesztelésének sokféle módja van. Fényképezőgépek segítségével rögzítik a képeket, majd ezeket lefuttatják egy adatbázisban, hogy összevessék őket hasonló képekkel.
Ha meg akarjuk akadályozni, hogy egy mesterséges intelligencia letapogassa az arcunkat, viseljünk Halloween maszkot. És ha meg akarjuk akadályozni, hogy az AI egyáltalán lásson, le tudjuk fedni a kameráit. De ezek a megoldások olyan szintű fizikai hozzáférést igényelnek, amely gyakran meggátolja a támadásokat.
Ami a jelen kutatásban újdonság, hogy a kutatók új módszert találtak ki a digitális rendszer fizikai világban való megtámadására. Egy „olcsó projektort” használtak, amivel egy ellentmondásos mintát – a fény, képek és árnyékok egy speciális elrendezését – vetítették ki, ami eléri, hogy az AI félreértelmezze, amit lát. Az ilyenfajta kutatások fő célja, hogy felfedezzék a lehetséges veszélyeket, és aztán megtalálják a módot a kivédésére.
Sajnos ez az a fajta támadás, amelynek kivédéséhez vagy infrastruktúrára van szükség a helyszínen, vagy a rendszer előzetes kiképzésére a védekezéshez. Elméletileg ez azt jelenti, hogy ez a támadás bármikor életveszélyes lehet a kamera-alapú AI rendszerekre.
Ez jelentős hibát tár fel a Tesla csak látáson alapul rendszerére nézve. A legtöbb más autógyártó autonóm jármű rendszere különböző szenzor típusok kombinációját alkalmazza.
De korai lenne elítélni a Tesla döntését a csak látáson alapuló rendszerre való áttérésről.
Először is a kutatók nem tesztelték a támadást önvezető járműveken. Lehet, hogy a nagy technológiai cégek vagy autógyártól már megoldották ezt a kérdést. Ennek ellenére a támadási technika akár továbbfejleszthető annyira, hogy bármilyen látáson alapuló rendszerre fenyegetést jelentsen. Ha egy laptopon működő AI rendszert egy támadó át tud verni annyira, hogy az a stop táblát sebességkorlátozó táblaként észlelje, akkor valószínűleg egy autó AI rendszerével is képes ugyanerre.
Másodszor ennek a fajta támadásnak másfajta lehetséges alkalmazásai is veszélyesek lehetek. A kutatás az alábbi állítással zár:
Az OPAD sikere megmutatja annak a lehetőségét, hogy egy optikai rendszert használjanak az arcok megváltoztatására vagy hosszútávú megfigyelési feladatokra.
A kutatást részben az Egyesült Államok hadserege finanszírozta, ami megmagyarázza, hogy miért érdekes az arcfelismerő rendszerek átverésének kérdése is.
Forrás: The Next Web
https://thenextweb.com/news/researchers-tricked-ai-ignoring-stop-signs-using-cheap-projector