Фахівці з кібербезпеки та систем штучного інтелекту продемонстрували черговий унікальний спосіб обходу систем автоматичного розпізнавання об’єктів. Під час експерименту на кузов звичайного автомобіля марки Toyota було нанесено спеціально розрахований геометричний візерунок із високим контрастом. У результаті одна з сучасних камер спостереження, оснащена комплексом комп’ютерного зору, втратила здатність правильно ідентифікувати об’єкт і перестала класифікувати транспортний засіб як автомобіль.
Подібні маніпуляції у професійному середовищі розробників штучного інтелекту називають змагальними атаками або adversarial attacks. Їхня суть полягає у навмисному створенні спеціальних візуальних сигналів або шумів, які непомітні або цілком звичні для людського ока, але повністю дезорієнтують алгоритми машинного навчання. Людина, спостерігаючи за такою Toyota, бачить звичайну машину з незвичним виразним вініловим оклеюванням або графічним дизайном. Проте комп’ютерний зір аналізує зображення абсолютно інакше: він розбиває картинку на окремі пікселі, аналізує локальні контрасти, контури та текстури.
Складний графічний малюнок, розроблений дослідником, був сформований таким чином, щоб спотворити саме ті ключові математичні ознаки, за якими нейромережа визначає наявність автомобіля в кадрі. Замість того, щоб зчитувати звичний силует машини, алгоритм сприймає контрастні плями як елементи зовсім іншого об’єкта або взагалі як фоновий візуальний шум. Це вкотре підкреслює фундаментальну різницю між тим, як сприймає навколишній світ людський мозок, і тим, як це робить цифрова математична модель.
Проблема вразливості систем комп’ютерного зору виходить далеко за межі звичайних вуличних камер відеоспостереження або фотофіксації порушень ПДР. Сьогодні подібні технології масово впроваджуються в автомобільну галузь. Вони лежать в основі роботи електронних асистентів водія (ADAS), систем автовідключення та автономного кермування, автоматизованих паркінгів, а також інтелектуальних систем управління міським трафіком. Якщо нейромережа автономного автомобіля через подібний візерунок на сусідній машині не зможе вчасно розпізнати її на дорозі, це створить пряму загрозу безпеці руху.
Водночас експерти зазначають, що один успішний експеримент не означає, що такий автомобіль стане абсолютно невидимим для всіх розпізнавальних систем. Сучасні комплекси контролю часто використовують різні алгоритми, різну роздільну здатність оптичних сенсорів, а також додаткові джерела даних, такі як лідари або радари. Крім того, камери автоматичного зчитування державних номерних знаків зазвичай працюють за іншими алгоритмами, які шукають безпосередньо табличку з номером, незалежно від того, як розпізнається сам кузов машини. Тим не менш, подібні демонстрації є критично важливими для розробників, оскільки вони дозволяють виявляти слабкі місця в нейромережах і тренувати їх бути стійкішими до нестандартних умов та візуальних завад.