Cybersecurity 연구자 Bill Swearingen은 일부 Surveillance System이 사람이나 차량을 자동 탐지하지 못하게 하는 컴퓨터 생성 패턴을 개발했다고 밝혔습니다.
**noRecognition**이라는 프로젝트는 카메라 녹화를 막는 것이 아니라 영상 분석에 사용되는 Computer Vision Algorithm을 혼란시키는 방식입니다.
Swearingen은 약 **3,100만 회의 테스트**를 수행했으며 현재 Reinforcement Learning으로 새로운 패턴을 계속 생성하고 있습니다. Las Vegas에서 열린 DEF CON에서는 차량을 이용한 실제 테스트도 진행했습니다.
카메라가 아니라 탐지 알고리즘을 겨냥
현대 Surveillance System은 차량, 번호판, 사람, 얼굴 등을 자동으로 찾아내기 위해 Computer Vision을 사용합니다.
noRecognition 패턴을 사용해도 카메라는 계속 영상을 촬영합니다.
다만 Detection Model이 패턴으로 덮인 대상을 제대로 분류하지 못하게 만들어 자동 Alert가 생성되지 않을 수 있습니다.
3,100만 번의 테스트
Swearingen은 Open Source Detection Algorithm을 하나씩 테스트하는 Proof of Concept Lab에서 프로젝트를 시작했습니다.
이후 컴퓨팅 자원을 늘리며 Reinforcement Learning Model로 발전시켰습니다.
패턴이 실패할 때마다 모델은 새로운 패턴을 만들어 다시 시도했습니다.
결과적으로 테스트한 **11개의 Open Source Detection Algorithm** 모두를 회피하는 패턴을 찾았다고 설명했습니다.
여기에는 Flock Safety 번호판 리더, Axon Body Camera, Clearview AI 관련 Software가 포함됐습니다.
매분 새로운 패턴 생성
모델은 매분 새로운 디자인을 만들 수 있습니다.
이전 테스트의 성공과 실패를 바탕으로 수학적으로 패턴을 개선합니다.
감시업체가 대응 모델을 훈련할 가능성을 줄이기 위해 가장 강력한 디자인은 공개하지 않고 있습니다.
DEF CON에서 Toyota Yaris 테스트
DEF CON에서 **Donut Media**와 함께 **2009 Toyota Yaris**에 noRecognition 패턴을 적용해 Flock Camera 탐지를 시험했습니다.
Swearingen은 테스트가 효과적이었다고 밝혔지만 바퀴 부분은 여전히 어려운 요소였다고 설명했습니다.
관련 영상은 향후 몇 주 내 공개될 예정입니다.
의류와 차량용 제품으로 확대
noRecognition은 Crowdfunding을 통해 T-shirt와 Hoodie 등 초기 제품을 준비하고 있습니다.
향후 차량용 Skin도 개발될 수 있습니다.
실제 활용을 위해서는 멀리서도 Detection System에 영향을 줄 수 있는 해상도를 유지하면서 일반적인 의류처럼 사용할 수 있어야 합니다.
기존 Anti-Facial Recognition 연구와의 차이
Computer Vision을 방해하는 의류, 화장, 안경 등의 실험은 이전부터 있었습니다.
하지만 다른 카메라나 조명, 거리, 업데이트된 Algorithm에서는 효과가 달라질 수 있습니다.
noRecognition은 Reinforcement Learning과 대규모 Automated Testing을 활용해 여러 Algorithm에 동시에 효과적인 패턴을 자동으로 찾는다는 점이 특징입니다.
Surveillance AI와 Adversarial AI의 경쟁
AI 기반 Computer Vision은 Surveillance System이 대규모 영상을 자동 분석할 수 있게 했습니다.
반대로 Adversarial AI는 Machine Learning을 이용해 Detection Model의 약점을 찾을 수 있습니다.
Swearingen의 모델은 계속 새로운 Pattern을 만들고 있으며 실패한 패턴 역시 다음 세대의 성능을 높이는 학습 데이터가 됩니다.
