A SeoulTech mesterséges intelligencia keretrendszert fejlesztett ki a látórendszer robusztusságának felmérésére
A Szöuli Nemzeti Tudományos és Technológiai Egyetem (SeoulTech) által kifejlesztett új, mesterséges intelligencia alapú keretrendszert, az AdvWT-t használták annak bemutatására, hogy a közlekedési táblákban természetes módon bekövetkező sérülések hogyan okozhatják a DNN-alapú látásrendszerek téves osztályozását. A modell több AI-architektúrán történő tesztelése a támadások átvihetőségét és a fizikai világban való robusztusságot mutatta, a kutatók pedig kijelentették, hogy az AdvWT által generált sérült táblákkal rendelkező betanítási modellek segíthetnek a sebezhetőségek azonosításában és a mesterséges intelligencia általi általánosítás javításában.
A számítógépes látás és a robotika területén egyre nagyobb kihívást jelent annak biztosítása, hogy a mesterséges intelligencia (AI) rendszerek valós körülmények között is megbízhatóak maradjanak. A mély neurális hálózatokon alapuló látórendszereket egyre inkább használják olyan biztonságkritikus alkalmazásokban, mint az önvezető autók, ahol a közlekedési táblák félreértelmezése potenciálisan veszélyes döntésekhez vezethet. A mindennapi kopás és elhasználódás finoman megváltoztathatja a közlekedési táblákat, ami felveti a kérdést, hogy vajon a természetes úton bekövetkező sérülések is feltárhatják-e a AI-alapú felismerő rendszerek sebezhetőségeit.
A probléma megértése és megoldása érdekében a Kyung Hee Egyetem Seong Tae Kim docense és a SeoulTech Hong Joo Lee adjunktusa által vezetett kutatócsoport kifejlesztette az Adversarial Wear and Tear (AdvWT) keretrendszert, amely a természetes kopást és elhasználódást ellenséges jelzésként értelmezi.
„A közlekedési táblákra koncentráltunk, mivel ezek élettartamuk során ki vannak téve az időjárási és környezeti károknak, és pontos felismerésük elengedhetetlen a biztonságkritikus alkalmazásokhoz” – magyarázta Dr. Lee. „Az átmeneti optikai támadásokkal ellentétben a természetes romlás mindaddig fennállhat, amíg egy fizikai tárgyat meg nem javítanak vagy ki nem cserélnek.”
Az AdvWT létrehozásához a csapat egy generatív kép-kép fordítási modellt képezett ki, hogy megtanulja a sérült és sértetlen közlekedési táblák vizuális jellemzőit. A StarGAN-v2-n alapuló modell egy látens „károsodási stílus” reprezentációt tanult meg, amely képes a valósághű romlás különféle formáit reprodukálni, miközben megőrzi a tábla identitását és jelentését.
A sérülésábrázolás fokozatos módosításával olyan táblákat generáltak, amelyek természetesen leromlottnak tűntek, de nagyobb valószínűséggel voltak tévesek egy mesterséges intelligencia rendszer általi osztályozás során. Egy 32 résztvevővel végzett emberi vizsgálatban az AdvWT által generált képek magas természetességi értékelést kaptak, ami szorosan megfelelt a valódi sérült közlekedési táblák észlelt realizmusának.
A keretrendszert két közlekedési tábla adathalmazon értékelték, és nyolc felismerő architektúrával tesztelték. Az értékelt modellek és adathalmazok esetében az AdvWT közel tökéletes támadási sikerarányt ért el könnyűsúlyú CNN-eken, mint például a ResNet-18 és a MobileNet, miközben hatékony maradt a transzformátor alapú modellekkel szemben is. Az AdvWT a legtöbb tesztelt modellkombinációban a legmagasabb átlagos átvihetőséget is elérte, ami arra utal, hogy a káros perturbációk átvihetők a különböző modellarchitektúrák között.
A keretrendszer fizikai környezetben történő teszteléséhez a kutatók tiszta és ellentétes értelmű sebességkorlátozó táblákat nyomtattak, majd különböző távolságokból, látószögekből, valamint beltéri és kültéri körülmények között lefényképezték azokat. Az így kapott képek továbbra is hatékonyan félrevezették a közlekedési tábla-osztályozót, ami azt mutatja, hogy az ellentétes hatás a nyomtatás és a különböző fizikai körülmények közötti újbóli rögzítés után is fennmaradt.
A kutatók azt is kimutatták, hogy ugyanaz a kétirányú modell használható a természetes úton sérült közlekedési táblák helyreállítására, ami a versenytesztelésen túlmutató potenciális alkalmazási lehetőségeket sugall. Fontos kiemelni, hogy az AdvWT által generált sérült táblákkal rendelkező betanító modellek javították a valós sérült közlekedési táblákra való általánosíthatóságukat, ami arra utal, hogy a szimulált természetes romlás felhasználható a látórendszerek gyengeségeinek azonosítására és megerősítésére.
„A megbízható mesterséges intelligencia kiépítése többet igényel, mint az átlagos teljesítmény javítását. Folyamatosan azonosítani kell a mesterséges intelligenciarendszerek hibáit, meg kell érteni, hogy ezek a hibák miért fordulnak elő, és ezeket az információkat fel kell használni a rendszerek robusztusabbá tételéhez” – mondta Dr. Kim. „A következő öt-tíz évben az ilyen irányú kutatások fontos szerepet játszhatnak olyan mesterséges intelligenciarendszerek fejlesztésében, amelyek megbízhatóbban alkalmazhatók a valós, nagy téttel bíró területeken, mint például az egészségügy és a pénzügy.”
