우리의 눈 앞에 99개의 원형 쿠키와 한 개의 사각형 쿠키가 있다. 뭔가 다른 것을 고르라고 했을 때, 어떤 것을 고를 것인가? 대부분은 사각형 쿠키가 다르다고 할 것이다. 만약 사각형 쿠키 대신 원형 동전이라면? 역시 동전을 많이 고를 것이다. 이처럼 우리는 대부분의 비슷한 패턴(원형 쿠키)과 동떨어진 다른 패턴(사각형 쿠키, 원형 동전)을 구분해낼 수 있다. 이런 다른 패턴은 이상한 것일 수도 있고, 앞서 보지 못했던 새로운 것일 수도 있다. 이러한 분류 방식을 연구하는 기계학습의 한 분야를 이상 검출(Anomaly detection) 또는 새로움 검출(Novelty detection)이라고 칭한다. 본 고에서는 이상 검출에 대한 간단한 소개와 이를 차량 주행에 적용하여 주행 중 이상 상황을 검출하는 최근의 연구 동향을 간략히 정리하였다.

이상 검출이 적용되는 분야의 특징은 정상 데이터가 대부분이고 이상 데이터의 수는 매우 부족한 경우가 많다는 것이다. 이렇게 한쪽으로 편중된 데이터의 경우 ImageNet과 같은 일반적인 분류 문제로 인공지능 모델을 학습시키면 소수의 데이터는 무시되어 편중된 데이터에 대한 정확도만 높게 나타나는 현상이 발생하게 된다. 그렇기 때문에 편중된 데이터의 경우 이상 검출 방법을 적용하는 것이 바람직하다.

인공지능을 이용한 이상 검출은 여러 방법으로 가능한 데 가장 기본적인 방법으로는 훈련에 사용되는 다양한 데이터가 ‘정상’으로 정의된, 한 가지만으로 이루어진 데이터를 훈련 데이터로 사용해, 정상을 표현할 수 있는 패턴을 찾아내는 것이다. 앞서 예를 들었던 원형 쿠키에 대한 데이터라면 원형이 가장 중요한 정상패턴일 것이다. 이렇게 훈련이 끝난 이상 검출 모델에 새로운 데이터를 입력하면 새로운 데이터가 정상에 속한 것인 지 아닌 지를 분류해주고 만약 정상분류에 속하지 않는다면 이상한 것으로 판단해 준다.

이렇게, 정상 데이터만으로 학습할 수 있는 이상 검출의 특징을 사용하여 다양한 분야에서 이상 검출 연구가 되어왔다. 모두에게 친숙한 CCTV를 이용한 감시 시스템에서는 인도에서 스케이트 보드를 타거나(그림 1a, b, g, i, j) 잔디밭을 걷는 것(그림 1c), 자전거(그림 1d, f, g, h, i, j), 휠체어(그림 1e), 차량(그림 1d, i) 진입 등을 탐지하는 것에 적용될 수 있다. 의료 분야에서는 여러가지의 의료 영상에서 변병을 찾아내거나, 제조 산업의 경우 제품의 불량 여부, IT 산업의 경우 DDoS 공격으로 갑작스런 트래픽 증가와 같은 이상 현상을 검출하는 연구가 이루어지고 있다.

영상 기반 이상 검출을 수행하기 위해선 첫째로 입력된 영상/이미지로부터 적절한 특징을 추출해야 한다. 이는 입력되는 데이터의 차원을 감소시켜 이상 검출 알고리즘이 효율적으로 훈련될 수 있도록 하며, 데이터 차원 감소 시 중요한 정보를 유지하는 것으로 검출 성능을 향상시킬 수 있다. 추출되는 특징의 경우 다양한 종류가 있는데 전문가가 정의한 함수로부터 계산된 것과 인공신경망을 이용하는, 크게 두 가지 방법이 있다. 전자의 경우 이미지에서 모서리 검출, 이미지 구배, SIFT(scale invariant feature transform) 등이 있으며 인공신경망에서 특징 추출은 CNN(convolutional neural network)의 합성곱 계층 출력을 주로 이용하게 된다.

이렇게 추출된 특징은 다음으로 이상 검출 알고리즘에 입력되어 입력된 데이터가 이상한지 유무를 판가름하게 된다. 이상 검출 알고리즘은 다양한 방법이 존재하지만 이 글에서는 차량 주행 중 이상 검출에서 다루었던 방법에 대해서 요약했다. 첫째로 복원 기반 이상 검출 알고리즘은 Autoencoder로 대표되는데 Encoder로 데이터를 입력하여 데이터의 차원을 감소시키고 이 Encoder의 출력을 다시 Decoder에서 입력 데이터로 복원시킨다. 이때 복원된 데이터와 입력된 데이터의 차이를 복원 오차라고 정의하고 복원 오차가 크면 이상 데이터라고 분류할 수 있다. 두 번째로 영역 기반 이상 검출 알고리즘의 경우 훈련 데이터인 정상 데이터를 대부분 포함하는 어떤 범위를 찾아 입력된 데이터가 해당 범위에 포함되면 정상, 그렇지 않으면 이상 데이터로 분류한다. 영역 기반, 그리고 이상 검출의 대표적인 알고리즘은 One-class support vector machine(OC-SVM)이 있다. 마지막으로 가장 최근에 제안된 방법으로 예측 기반 이상 검출 알고리즘은 이전 시점의 데이터들을 입력 받아 미래의 데이터(이미지 또는 다른 차량의 위치 등)를 예측한 뒤 예측한 데이터와 실제 관측된 데이터의 차이를 이용해 차이가 클 경우 이상 데이터로 분류한다.

앞서 언급한 이상 검출이 적용되는 분야의 특징은 정상 데이터가 이상 데이터보다 월등히 많다는 것이다. 이는 차량 운전도 마찬가지로 수천 시간의 주행 중 사고가 발생하거나 그에 준하는 상황은 길어야 수십 초로, 정상 주행에 대한 데이터로 크게 편중되어 있다. 그렇기 때문에 차량 주행에 이상 검출을 적용하면 갑자기 끼어드는 차량, 급감속 하는 전방 차량, 도로 위의 보행자, 도로 상의 장애물 등 다양한 이상 상황에 대해 예측하여 운전자에게 경고를 제공하거나 충돌 회피 알고리즘을 작동시키는 등의 기능이 가능하다. 이를 통해 ADAS(Advanced driving-assistance system)나 자율주행 알고리즘에 도움을 주어 더욱 안전한 주행을 가능케 한다.

하지만 이런 예상되는 주행 중 이상 검출의 장점에도 불구하고 관련 연구는 최근 들어 나타나기 시작했다. 그 이유로는 대규모의 차량 주행 데이터가 공개되기 시작한 것이 심층 학습 등장 이후로 오래되지 않았기 때문이기도 하고, 다른 분야와 달리 사용되는 영상 데이터가 카메라가 움직이는 상황에서 촬영되기 때문에 조명의 변화가 극단적이며 배경의 움직임, 차량의 진동에 의한 영상의 왜곡 등으로 데이터를 다루기 어렵기 때문으로 생각된다. 

복원 기반 이상 검출 알고리즘을 차량 주행 영상에 적용한 연구 중 한 가지3는 Optical flow 이미지를 이용했으며, 이 연구의 정확도는 약 87.90%, Faster-RCNN과 함께 이상 검출을 했을 땐 93.11%의 정확도를 나타냈다. 복원 오차를 이용한 또 다른 연구의 경우 CNN의 마지막 합성곱 계층 출력을 특징으로 사용했다. 이 연구의 정확도는 약 80.30%를 나타냈다.

영역 기반인 OC-SVM을 적용한 한 연구는 복원 기반 연구의 특징을 동일하게 사용했으며 이를 이용해 OC-SVM을 훈련시켰다. 검출 정확도는 약 75.33%를 나타냈다. 또 다른 연구의 경우 SIFT 특징을 이용했으며 정확도는 약 93.93%를 나타냈다.

마지막으로 2019년에 발표된 예측 기반 이상 검출은 RNN(Recurrent Neural Network)의 일종인 LSTM(Long Short-Term Memory)이 미래의 주변 차량 위치를 예측하도록 훈련시켰다. 그리고 실제 관측된 주변 차량의 위치와 예측한 위치의 차이를 이용해 이상 여부를 판단했으며 약 60.2%의 결과를 나타냈다. <그림 2>는 예측 기반 이상 검출 결과를 나타낸 것으로 세 번째 프레임에서 맞은편 차로의 접촉사고를 검출해냈다. <그림 2>의 적색 그래프는 각 프레임에서 이상 여부로 0이면 정상, 1은 이상 데이터이다. 청색 그래프가 주행 중 이상 검출 결과로 세 번째 프레임에서 높은 수치를 나타냈으며, 녹색 그래프는 예측 기반 이상 검출을 최초로 제안한 CCTV 관련 연구의 방법을 그대로 사용한 것으로 교통사고에 대해서는 제대로 예측하지 못하고 있다.

위의 연구들 중 예측 기반 및 복원 오차 기반의 연구를 제외하면 사용된 데이터셋은 그 수가 적고 공개가 되어 있지 않아 얼마나 다양한 환경에서 이상 검출이 작동하는지 알기 어렵다. 복원 오차 기반의 경우는 이상 주행 데이터로 검증한 것이 아니라 Udacity 정상 주행 데이터 중 일부 낯선 장면에 대한 데이터를 이용해 검증한 것이라서 사고를 예측한다고 할 수 없다. 그나마 가장 최근에 발표된 예측 기반의 경우 1,500가지의 교통사고 영상을 이용해 검증을 했기 때문에 어느 정도 다양한 주행 환경에 대해 검증을 했다고 볼 수 있으며, 이때의 정확도가 60% 정도인 것을 고려하면 다른 연구들을 예측 기반의 데이터로 검증할 경우 논문에 나타난 성능보다 하락할 것으로 예상된다. 예측 기반은 자신들이 수집한 이상 주행 데이터 A3D(An accident detection) 데이터셋을 공개했으며 추후 연구들은 이와 같은 공개된 이상 주행 데이터셋을 이용해 자신들의 기술을 검증할 것으로 생각된다.

차량 주행 중 이상 검출은 안전과 직결되어 매우 중요하고 또한 정상 주행 데이터만으로 학습시켜도 끼어들기, 급감속, 무단횡단, 장애물 등 다양한 이상 상황에 대해 작동할 수 있다는 점에서 그 가능성이 상당하다. 하지만 차량에 적용되기 시작한 건 얼마 되지 않아 이를 잘 적용하기 위한 분석이 부족하며 검증을 위한 데이터도 아직 많지 않은 상황이다. 그나마 다양한 검증 데이터를 이용했던 예측 기반의 연구가 약 60%의 정확도를 나타내고 있으며 이것이 현재 차량 주행 중 이상 검출의 성능이라고 보아야 할 것이다. 차량 주행 중 이상 검출이 실제 차량에 적용되기 위해서는 이보다 높은 성능을 나타내는 알고리즘과 더욱 다양한 주행 중 이상 상황에 대한 데이터의 효과적인 수집, 그리고 실시간 연산이 가능하면서 차량에 탑재할 수 있는 하드웨어 및 소프트웨어 연산 최적화 등이 해결해야 할 과제로 남아 있다.

출처 / 오토저널 2020년 3월호 (http://www.ksae.org)