ADAS는 “Advanced Driver Assistance Systems”의 약어로, 운전자의 운전 편의성과 안전성을 향상시키는 기술이다. 이 시스템은 자동차 내부와 외부에서 일어나는 상황을 모니터링하고, 운전자에게 정보를 제공하거나 자동으로 조종하는 기능을 제공한다.

ADAS는 <그림 1>과 같이 다수/다종의 센서를 사용하여 구현될 수 있는데 그 중 절대 빠질 수 없는 센서 중 하나가 카메라 센서이다. 카메라는 주로 차량의 전방, 후방, 측면 등에 설치되어 주행 중 일어나는 상황을 실시간으로 감지하고 분석하며 이를 통해 운전자에게 정보를 제공하거나 자동으로 조종하는 기능을 수행한다. 지금까지 상용화된 카메라 기술 중 차량 전방에 설치된 카메라는 차선 이탈, 전방 객체 인식, 신호등의 상태 등을 감지할 수 있으며, 이 정보는 운전자에게 경고를 보내거나, 차선 유지나 자동 비상 제동 등의 기능을 자동으로 수행하는데 사용된다.

또한 후방 모니터링 시스템과 결합하여 후진할 때 주위 환경을 모니터링하고 장애물을 감지하여 충돌을 방지하는 등의 운전자 편의 기능도 제공할 수 있다. 최근 미국의 테슬라社에서는 차량 전 방위 인지를 위해 카메라를 활용하고 있으며, 기능을 더욱 고도화하여 자율주행 시스템(AutoPilot)을 개발, 성능을 계속적으로 육성하고 있는 단계이다.

ADAS 및 자율주행에 활용되는 카메라 기술은 기능으로 구분하면 영상 전처리 기능, 영상 분석 및 판단 기능으로 구분될 수 있다. 먼저 영상 전처리 기능은 카메라 렌즈와 CMOS 센서를 통하여 영상을 입력 받고 보정 등의 전처리 단계를 거치는 기능이며, 영상 분석 및 판단 기능은 입력 및 보정된 영상을 분석하여 객체를 탐지 및 구분하고 그에 따른 의사결정 기능으로 구분된다.

최근에 활용되는 차량용 카메라는 일반적으로 고해상도의 디지털 카메라를 사용하고 있으며 이 카메라는 차량 주변의 영상을 캡처하고, 렌즈 광학계를 통해 올바른 영상정보를 가져온 뒤 이미지를 RGB, YUV 등의 색 공간으로 변환하고, 노이즈 제거 및 보정, 기하학적 왜곡 보정 등의 전처리 작업을 수행한다. 영상 분석과 판단 기능을 수행하는 컴퓨터 비전 알고리즘은 영상에서 유용한 정보를 추출하고, 운전자에게 경고를 제공하거나 차량을 자동으로 제어하기 위해 상황을 판단한다. 이를 위해 이미지 인식, 객체 추적, 세그먼테이션(Segmentation), 군집화 등의 기술을 사용한다. 

이러한 기술은 머신 러닝(Machine-learning), 딥러닝(Deep Learning) 등의 인공지능 기술과 결합하여 좀 더 정확하고 빠른 의사결정을 내릴 수 있도록 한다. 카메라 기반의 ADAS 기능은 운전자의 안전성과 편의성을 향상시키기 위해 빠르게 발전해 왔으며, 자동차 자율주행을 현실화하는데 있어 매우 중요한 역할을 한다. 카메라 시스템의 구성차량용 카메라 시스템을 구현하는데 있어 많은 고려대상이 있으며 그 중 아래의 구성요소들은 반드시 고민되어야 한다.

•카메라 하드웨어 : 렌즈, CMOS 센서, ISP 등으로 구성되는 카메라는 차량 주변 환경을 촬영하고, 이를 이용하여 인지 정보를 만들어 내기 위한 가장 기본 센서이다. 사용되는 렌즈, CMOS 센서, ISP 튜닝에 따라 입력 영상의 형태 등이 많이 바뀌기 때문에 구현하고자 하는 시스템에 맞게 설계되는 것이 매우 중요하다.

•영상처리 장치 : 영상처리 장치는 카메라에서 수집한 영상을 전처리하고 분석하는 역할을 한다. PC에서 구현될 경우 주로 내장형 CPU나 GPU를 사용하지만, 임베디드로 구현될 경우 시스템의 성능을 가장 크게 좌우하는 부분이다. 최근에 임베디드 시스템으로 가장 널리 사용되는 플랫폼은 NVIDIA社, TI社, QUALCOMM社 등이 있으며, 성능 면에서는 NVIDIA 社의 제품이 가장 우수하여 널리 활용되고 있고, 가격적인 면에서는 TI社 제품이 가장 경쟁력 있다.

•인터페이스 : 인터페이스는 카메라 및 센서와 영상처리 장치의 연결을 담당한다. 또한 영상처리 장치에서 차량 또는 운전자에게 정보를 전달하기 위한 인터페이스 또한 중요하게 고민되어야 할 사항이다. 카메라와 영상처리 장치 사이에는 MIPI, LVDS 등 다양한 인터페이스가 정의될 수 있으며, 영상처리 장치와 주변의 인터페이스는 주로 CAN (Controller Area Network) 또는 Ethernet 등이 사용된다.

•소프트웨어 : 소프트웨어는 카메라와 센서가 수집한 데이터를 처리하고, 결과를 분석하여 운전자에게 경고를 제공하거나 차량을 제어하는데 사용된다. 이를 위해 컴퓨터 비전 기술과 인공지능 기술을 사용되는데 최근에는 대부분 딥러닝 모델이 활용되고 있으며 다양한 형태의 알고리즘들이 개발되고 있다. 차량에 탑재하기 위해서는 높은 인식률도 매우 중요하지만, 대상 영상처리 장치에 탑재하기 위해 경량화, 최적화 기술에 대한 연구도 매우 중요하다. 때문에 대상 영상처리 장치 기반 운용 소프트웨어 개발도 중요하며, 최근에는 ROS/ROS2 기반 소프트웨어 프레임웍(Software Framework) 개발도 중요시되고 있다.

차량용 카메라의 발전 과정은 주로 차량 안전에 대한 필요성과 기술의 발전으로 이루어져 왔다.

•후방 카메라 시스템 : 초창기 차량용 카메라는 단순히 운전자에게 정보제공의 역할로 활용되었다. 차량용 후방 카메라 시스템은 차량 후면에 부착된 카메라를 통해 후방의 상황을 화면에 표시하여 운전자가 주행 중에 후방 상황을 쉽게 확인할 수 있도록 하는 시스템이다. 일반적으로 후방 카메라는 차량의 후미등 근처에 위치하며, 후진 중 운전자가 후방에 위치한 다른 차량이나 장애물을 직관적으로 인식할 수 있도록 도움을 주어 사고의 예방이나 주차 가이드라인을 제시할 수 있다.

•주행 보조 카메라 시스템 : 차량의 주행 보조 카메라 시스템은 차량 주행 중 발생할 수 있는 사고의 예방과 주행 편의성을 높이기 위해 활용된다. 일반적으로 차량 전방에 부착되는 주행 보조 카메라 시스템은 차선 유지, 자동 긴급 제동, 차간 거리 유지 등과 같은 운전 보조 기능을 제공한다. 주행 보조 카메라 시스템은 카메라 단일로 사용했을 때 발생할 수 있는 거리 추정 정확도의 문제를 개선하기 위해 레이더 센서와 병행하여 사용될 수 있으며, 운전자의 시야가 부족한 부분을 쉽게 인식하고 조치를 취할 수 있도록 한다. 최근에는 주행 보조 카메라 시스템에 인공지능 기술을 적용하여 더욱 정확하고 빠른 정보를 제공하며, 거리 추정 정확도 문제도 개선하여 단일센서의 활용으로도 운전자의 안전과 편의성을 높이는 기능을 개발하고 있다.

•360도 카메라 시스템 : 360도 카메라 시스템은 차량 주행 중 차량의 주변 상황을 360도로 인식하여 탑뷰(Topview) 형태로 실시간 영상을 제공하는 시스템이다. 이 시스템은 여러 대의 카메라가 설치되어, 차량의 주행 중 전방, 후방, 좌측, 우측 등 모든 방향의 상황을 인식하고, 이를 하나의 화면으로 통합하여 제공한다.

초기의 360도 카메라 시스템은 버드아이뷰(bird-eye view) 형태로 차량 주변의 근거리만을 단순 영상정보로 표출하는 형태로 개발 및 양산되었다. 이 시스템을 사용하면 주차할 때, 주행 중 차선 변경이나 추월 작업 등을 할 때, 또는 좁은 도로에서의 주행 등 다양한 상황에서 눈에 보이지 않는 부분까지 인식할 수 있어 운전자의 안전 및 편의성을 크게 높이는 기술이었다.

최근에는 차량의 전, 후, 좌, 우 영상에서 물체를 인식하는 기능까지 포함한 제품들이 나오고 있다. 이러한 기능은 두가지 형태로 구현될 수 있는데, 첫 번째는 전, 후, 좌, 우 영상을 먼저 정합하여 하나의 영상으로 만든 뒤, AI 모델을 활용하여 객체를 인지하고 좌표정보와 함께 사용자에게 제공하는 형태이다. 이러한 방식은 운전자에게 직관적인 정보의 전달이 가능하다는 장점이 있으나 구현의 측면에서 어려움이 있다. 일반적으로 차량의 전방에 나타나는 객체들의 형태와 후방에 나타나는 객체들의 형태가 다르며, 측방에서 나타나는 객체의 형태 와도 다른 경향을 가진다. 때문에 통합 AI 모델을 만들고 구현하는데 있어 높은 성능을 보장하기 어려움이 있다. 두 번째는 <그림 4>와 같이 차량의 전, 후, 좌, 우 영상에 대해 별도의 AI 모델을 적용하여 객체를 인지한 뒤 영상을 정합하여 운전자에게 정보를 제공하는 방식이다. 이러한 경우 입력되는 각 영상 정보에 대해 별도로 특화된 AI 모델을 적용함으로써 높은 인식 성능을 보일 수 있다. 하지만 그만큼 높은 비용(Computing power)이 요구되는 단점이 있다.

최근에는 자율주행시스템을 개발하는데 있어 절대적이었던 LiDAR 센서를 대체하여 360도 카메라 시스템을 활용하는 연구가 계속되고 있다. 입력 영상에서 단순히 객체 인식 정보만 추출하는 것이 아니라, 단일 카메라 기반 깊이 정보 추출(Depth map Extraction) 기술까지 적용하여 인지한 객체 정보의 거리 정보까지 매우 높은 수준으로 확보 가능하다. 또한, 360 카메라 시스템과 GPS, 지도 등의 기술을 결합하여, 운전자가 차량 주행 중 위치 정보와 함께 주변 환경을 확인하고, 운전 경로를 최적화할 수 있는 기능도 같이 적용되고 있다.

•자율 주행용 카메라 : 지금까지 자율주행에 활용된 센서들은 자율 주행 차량의 성능한계 때문에(제한속도 25km/h 등) 카메라 보다는 LiDAR가 더 적합한 형태였다. LiDAR 센서는 카메라가 가진 거리 정확도나 화각 등의 문제에 있어서 매우 우수한 센서였기 때문에 카메라는 단지 LiDAR가 대체할 수 없는 색상정보, 표지판정보, 객체의 인지에 많이 활용되었다. 하지만 LiDAR 센서도 내구성 등에서 아직까지는 한계가 명확한 센서이기 때문에 최근에는 앞서 언급한 바와 같이 LiDAR 센서를 360도 카메라나 4D 이미지 레이더 등으로 대체하려는 연구들이 진행되고 있다. 카메라를 활용한 시스템은 가격적인 측면에서 매우 큰 장점을 가지기 때문에 성능의 제약을 계속적으로 개선해 나간다면 무엇보다 강력한 센서라 할 수 있다.

카메라 시스템에서 AI(인공지능)은 차량뿐만 아니라 다양한 분야에 활용된다.

•이미지 분석 및 객체 탐지 : AI 알고리즘은 이미지를 분석하고, 이미지 내에 있는 객체를 탐지하는데 사용된다. 예를 들어, CCTV 시스템에서 AI를 사용하여 실시간으로 사람, 차량, 동물 등을 탐지하고, 이를 기반으로 이상 징후를 탐지하거나 사고 예방 및 범죄 예방에 활용할 수 있다. 차량에서는 차량 주행 경로에 있는 객체들을 구분하고 도로를 구분하여 주행 가능영역을 추출해 낼 수 있다.

•얼굴 인식 및 검색 : AI 알고리즘은 카메라 시스템에서 얼굴을 인식하고, 이를 기반으로 특정 개인을 검색하는데 사용된다. 이를 활용하면 범죄자나 실종자 등을 빠르게 찾을 수 있다. 차량에서는 DMS(Driver Monitoring System)로 구현이 가능하며, 운전자의 졸음 등을 감지하여 경고를 주는 시스템으로 구현될 수 있다.

•자동 추적 : AI 알고리즘은 특정 객체나 개인을 추적하는데에도 사용된다. 이를 활용하면, 예를 들어 스포츠 경기나 촬영용 드론 등에서 움직이는 객체를 자동으로 추적하여 촬영하는 등의 용도로 활용할 수 있다. 차량에서는 본 기능을 활용하여 영상에서 매 프레임마다 인지되는 정보들과 결합하여 인지 정확도를 높이는 기술로 사용될 수 있다.

•스마트 분석 : AI 알고리즘은 영상 데이터를 분석하여, 특정 패턴이나 이상 현상 등을 탐지하고 분석하는데 사용된다. 이를 활용하면, 예를 들어, 제조업 분야에서 생산 라인에서 일어나는 이상 현상을 실시간으로 탐지하고 대처할 수 있다.

•감정 인식 : AI 알고리즘은 얼굴 표정, 말투 등을 분석하여 감정을 인식하는데 사용된다. 이를 활용하면, 예를 들어, 서비스 분야에서 고객의 감정을 실시간으로 파악

하여 서비스 품질을 개선할 수 있다. 이러한 기능은 최근에 OMS(Occupant Monitoring System), ICMS(In-Cabin Monitoring System)으로 구현되어 운전자의 행동 패턴이나 운전 패턴 등을 파악하는 것뿐 아니라 차량 내 다양한 상태 감지에 활용된다.

본 고에서는 차량의 안전 및 편의성을 위해 활용되는 다양한 센서 및 시스템 중 카메라 센서와 이를 활용한 시스템들에 대해 전반적으로 소개하였다. 초기에 단순 모니터링으로 활용되던 카메라 시스템에서 차량을 자동으로 제어할 수 있는 시스템으로 발전하고 있으며, AI 모델을 적용하여 차량 주변 환경을 인식함에 있어 다방면에서 가장 효율적인 센서임을 알 수 있다. 또한 자율주행시스템의 개발이 진행됨에 따라 카메라 시스템 단독으로, 혹은 다른 시스템 기술들과 서로 융합하여 새로운 미래 기술을 만들어 낼 수 있다고 확신한다.