바야흐로 자동차 산업에 있어서 소프트웨어가 중심이 되는 SDV(Software Defined Vehicle) 시대가 도래하고 있다. SDV는 중앙 집중식 E/E 아키텍처를 통해 차량 내부의 소프트웨어, 하드웨어, 센서, 제어기 네트워크 등 다양한 요소들을 소프트웨어로 정의하고, 프로그램을 통해 주행에 필요한 기능과 성능을 구현할 수 있도록 설계한 자동차를 말한다. 특히 SDV는 인터넷 연결과 빅데이터 분석 등을 활용하여 차량과 운전자 간의 상호 작용을 강화함으로써 고객의 주행 경험과 차량의 성능을 개선할 수 있다. 앞으로 SDV는 자동차 산업의 미래 생태계를 대폭 변화시킬 것으로 전망된다.

SDV에 있어서 한가지 중요한 특징은 스마트 폰과 같이 무선 통신(OTA)을 통해 장치 운용의 핵심 기능을 자동으로 업데이트할 수 있는 구조를 지향한다는 점이다. 특히 차량에 적용된 다양한 AI 모델의 성능이 지속적으로 개선되기 위해서는 주행 환경으로부터 학습한 각종 딥러닝 파라미터의 주기적 업데이트가 가능해야 하므로 미래 모빌리티의 지능화를 위해서는 SDV와 AI라는 두 가지 요소는 동시에 고려되어야 한다.

본 고에서는 SDV 시대에 더욱 강력한 모빌리티의 지능화를 구현하는데 있어서 온디바이스 AI가 왜 중요하며 또 이것은 어떤 방향으로 전개되어야 하는가에 대해 논의해 보고자 한다​.

왜 온디바이스 AI가 중요한가?

자동차 제어를 위해 사용되는 수많은 소프트웨어의 레거시 코드(Legacy Code)는 대부분 규칙 기반(Rule-based)의 전통적 제어 알고리즘(Conventional Control Algorithm)으로 구성되어 있다. 기존의 전통적 알고리즘은 정해진 규칙 또는 물리 모델 기반의 제어 로직이므로 다양한 환경 변화나 품질 편차 등의 예측 불가성에 시스템이 능동적으로 대처하기 어렵다. 따라서 가능한 모든 제어 상황을 대비하기 위해서는 상정 가능한 다양한 시나리오를 사전에 고려하는 형태로 제어 로직이 복잡하게 분기되어야 하고, 적절한 분기 조건과 각 조건에 해당되는 물리량을 결정하는데 엔지니어의 매핑 공수가 과다하게 투입된다. 즉, 사람의 잘못된 개입으로 인

한 실수가 발생할 여지가 있으며, 시스템이 고도화될수록 복잡성에 대응하기 어렵다는 한계를 지닌다.

이를 극복하기 위해 기존의 전통적 제어 방법을 AI로 대체하면 어떨까 라는 질문을 누구나 쉽게 던져 볼 수 있을 것이다. 최근 들어서 AI가 인간의 반복 작업을 대체하거나 심지어 일부 영역에서는 인간의 능력을 뛰어 넘는 결과를 여러 사례를 통해 경험할 수 있기 때문이다.

원리적으로, AI를 기계 시스템의 제어에 활용하면 사람의 개입 없이 주행 환경과 모빌리티의 제조 편차에 스스로 적응하여 사람보다 우월한 조작 성능이 구현되는 지능적인 자동화 제어기의 구성이 가능하다. AI 알고리즘은 시스템 또는 변수의 복잡성, 상황의 예측 불가성을 극복하여 확률적으로 가장 이상적인 최적값에 근접한 해를 실현할 수 있는 매우 강력한 방법론이기 때문이다.

그러나 이를 자동차와 같은 모빌리티 시스템 내부에 구현하는 데에는 많은 기술적 한계가 따른다. 고도화된 추론 성능을 제공하는 심층 신경망 모델의 경우, AI 모델 파라미터의 용량이 지나치게 커서 통상적인 차량 제어기에서는 구동이 불가능하다. 일반적인 고성능 딥러닝 모델은 수 천만 또는 수 억 개 이상의 파라미터를 지닌 거대 규모의 모델(Largescale Model)이므로 주로 클라우드 기반의 슈퍼 컴퓨팅 환경에서 작동할 수 있기 때문이다. 대부분의 고성능 AI 기술은 자동차의 제어기와 같은 에지 디바이스(Edge Device)에서의 구동을 고려하지 않고 고가의 대용량 GPU에서 최적의 성능을 내도록 고안된 뉴럴넷 구조로 구성되어 있으므로 실시간성과 저 연산 자원을 요구하는 종단 제어기에 대한 적용에는 적합하지 않다.

이를 극복하기 위해 모빌리티 제어를 클라우드 서버(Cloud Server)에 연결하여 운용할 경우, 통신 지연, 연결 끊김, 트래픽 과다, 데이터 보안 등의 문제로 인해 추론 결과의 비동기적 전송 목적이라면 관계없지만 실시간 제어의 용도로는 사용하기 곤란하다. 따라서 모빌리티 탑재 환경에 특화하여 비교적 낮은 컴퓨팅 성능의 저전력 에지 디바이스에서 동작할 수 있는 ‘실시간 온디바이스 AI’ 제어 솔루션이 요구된다.

온디바이스 AI 기술

모빌리티의 종단 제어 장치에 적용되는 온디바이스 AI의 특징은 다음과 같다.

•온 디바이스 AI는 디바이스 자체에서 인공지능을 구현하는 기술이다.

•컴퓨팅 성능이 열악한 상황에서도 AI를 원활하게 지원할 수 있고 반응 속도가 빠르다.

•데이터를 클라우드에 업로드하지 않기 때문에 개인 정보의 보호가 가능하다.

온디바이스 AI에 있어서는 제어기 하드웨어 및 소프트웨어의 저전력 설계가 매우 중요하기 때문에, 결국 AI 모델의 성능을 유지하면서 모델 사이즈를 얼마나 작고 컴팩트하게 구현할 수 있는가가 관건이 된다. <그림 1>과 <표 1>은 각각 클라우드 AI와 온디바이스 AI의 특징을 비교한 것이다.온디바이스 AI는 클라우드 AI 기술이 실 서비스 환경에서 트래픽 폭증으로 인해 발생하는 성능 저하, 탄소 배출 및 개인 정보 유출 등의 한계를 극복하면서 보편적 일상에 AI 기술이 더욱 깊숙이 침투하게 만드는 촉매 역할을 할 것으로 기대된다. 

이에 미국 매사추세츠 공과대학(MIT)은 온디바이스 AI를 향후 5년 안에 우리 사회에 큰 변화를 가져올 10대 혁신 기술​ 중 하나로 선정한 바 있다.

시스템 제어용 AI 모델의 개발

시스템 제어에 AI 알고리즘을 적용하기 위해서는 기존의 레거시 소프트웨어의 성능을 능가할 수 있어야 한다. 이 AI 알고리즘은 독립적으로 작동할 수도 있지만 통상 기존의 레거시 소프트웨어와 연계해서 그 장점이 부각될 수 있도록 합리적인 설계 기준을 통해 구성되어야 한다.

일반적으로는 사람의 매핑 공수가 많이 수반되는 이른바 캘리브레이션 파라미터가 과다한 알고리즘을 데이터 기반의 뉴럴넷 모델로 대체할 경우 개발 공수 저감 뿐만 아니라 개발자의 휴면 에러를 최소화하는 효과를 얻을 수 있다. 이 외에도 운전자의 행동 패턴에 최적으로 적응하여 개인화된 성능을 제공한다든가, 다수의 센서 데이터로부터 주행 상황의 맥락을 인지하여 차기 행동의 최적값을 예측하는 제어 알고리즘 등에 강화학습 등의 신경망 기법이 도움될 수 있다.

즉, 인지, 판단, 실행이라는 3단계 제어 프로세스에 있어서 결정론적(Deterministic)이지 않은 확률론적(Stochastic)인 예측 또는 분류 문제를 풀거나 인간의 행동 패턴과 같이 수학적으로 모델링 될 수 없는 현상을 데이터 기반으로 모델링하는데 심층 신경망을 활용하는 것이 효과적이라고 할 수 있다. 특히 최근에는 과거에 주로 사용되었던 회귀 모델(Regression Model) 기반의 결정론적 네트워크가 아닌, 입력 데이터의 확률적 분포를 학습하고 이를 기반으로 새로운 데이터를 만들어내는 생성 모델(Generative Model)이 효과적으로 사용되기도 한다. 

GAN(Generative Adversarial Network)이나 VAE (Variational Autoencoder)와 같은 생성 모델은 이미지 생성, 음성 생성, 자연어 처리 등 다양한 분야에서 활용되고 있으며, 더 나아가 미래 예측에도 활용될 수 있다. 예를 들어, 이미지 데이터를 입력 받아 특정 상황에서의 다른 이미지를 예측해 내거나, 또는 전방의 도로 및 교통 흐름 데이터를 입력으로 미래의 주행 속도를 예측하는 기술로도 응용될 수 있다.1

그러나 어떤 특정 목적에 AI 기술을 적용함에 있어서 “가능한 모든 시나리오에 가장 잘 부합하는 단일한 분류기는 존재하지 않는다” 라는 David Wolpert의 <No Free Lunch Theorem>과 같이, 활용 목적에 정확히 부합하는 AI 모델의 구성과 최적 데이터 셋을 결정하는 일은 도메인 지식과 AI 기술을 모두 요구하는 복잡하고 정교한 엔지니어링 과정을 필요로 한다.

AI 모델의 경량화 기술

AI 모델의 경량화 기술이란 딥러닝 모델의 학습 파라미터 규모를 줄이거나 변수의 정밀도를 축소함으로써 동일한 성능을 유지하면서 뉴럴넷을 소형화하는 기술이다. 어떤 특정한 태스크를 수행할 수 있는 AI 알고리즘이 구성되면, 학습 과정에서 크게 유효하지 않거나 중복된 파라미터가 다수 포함되므로 이를 선별하여 삭제해 줄 경우 성능의 손실 없이 딥러닝 모델의 용량을 크게 줄일 수 있다.

일반적으로 딥러닝 모델의 노드간 미약한 연결 고리를 끊어버리는 프루닝(Pruning)이라는 기법이 사용된다. 다만, 특정 값 이하의 작은 가중치를 단순히 0으로 치환하면 시스템의 추론 성능이 저하될 뿐 아니라 결국 ‘0’이라는 파라미터에 부가되는 연산 태스크는 전혀 축소되지 않으므로 모델의 용량을 줄이거나 추론 속도를 빠르게 하는데 도움이 되지 못한다. 따라서 파라미터가 0인 항을 계산하지 않고 건너뛰는 제로 스킵(Zero skip) 기능이 있는 경량화 가속기를 시스템 반도체 상에 부가하거나, <그림 2>와 같이 정규자(Regularizer)를 사용하여 학습 과정에서 프루닝과 동시에 파라미터 값이 0이 되는 매트릭스의 행 또는 열을 재정렬하고 해당 행 또는 열을 일괄 삭제함으로써 딥러닝 파라미터를 작은 매트릭스 형태로 축소하는 희소화 코딩(Sparse Coding) 기법 등이 효과적이다.

한편 AI 파라미터의 정밀도를 32비트의 부동 소수점(Floating Point) 보다 더 낮은 비트 단위로 다운그레이드 하여 모델의 메모리 점유를 줄이면서 추론에 소요되는 전력 소모를 절감하는 <그림 3>과 같은 양자화(Quantization) 기술의 적용도 가능하다. 양자화의 경우, 변수 정밀도 저하에 따른 추론 성능 손실을 최소화하기 위해 각 뉴럴넷의 레이어 별로 서로 다른 정밀도를 갖도록 설계하는 혼합 정밀도(Mixed Precision) 방식도 연구되고 있다. 이 밖에도 AI 모델 경량화를 위해 지식 증류(Knowledge Distillation), NAS(Neural Architecture Search) 등의 기술도 유용하게 사용될 수 있다.

AI 모델이 경량화된 이후, 그 딥러닝 코드를 디바이스에 전개(Deploy)하는 과정에서 코어와 메모리 간의 데이터 이동을 효율화하도록 설계함으로써 더욱 빠른 추론 시간을 확보함과 동시에 전력 사용을 최소화하는 AI 임베딩 방법 역시 중요하다. 따라서 딥러닝 모델 크기, 추론 속도, 전력 소모 등의 인자는 모빌리티에 탑재된 에지 디바이스에서 매우 중요한 이슈가 되므로 AI 모델 경량화와 소프트웨어 임베딩 기술은 온디바이스 AI의 실용화를 위해 심도있게 다루어져야 한다.

AI 모델의 설명 기술(Explainable AI)

전통적인 소프트웨어의 경우는 모든 코드의 연산 경로가 추적 가능하고 디버깅이 비교적 용이하지만, AI와 같은 뉴럴넷의 경우는 그 자체가 블랙박스로 취급되므로 내부에서 어떤 연산이 이루어지는지를 추적하는 것이 매우 어렵다. 따라서 안전이 가장 중요한 이슈인 자동차 소프트웨어의 경우 실제 양산 적용을 위해서는 AI 기반의 알고리즘이 지닌 성능상의 장점에도 불구하고 AI의 신뢰성을 보장할 수 있는 새로운 기술이 요구된다.

미국의 국방부 산하 고등 연구 기관인 DARPA를 중심으로 블랙박스(Black Box)로 다루어지던 AI의 내부 작동을 화이트박스(White Box)화 하려는 설명 가능한 인공지능(Explainable AI, XAI) 기술의 개발이 시작되었으며, 지금은 AI 분야의 전반에 걸쳐 인공 신경망이 내린 의사 결정의 이유를 투명하게 설명하려는 연구가 크게 급부상하고 있다.

설명 가능한 AI란 딥러닝 모델의 학습과 추론 과정을 이해하고 설명할 수 있도록 하는 기술로서 인공지능 모델이 어떤 입력을 받았을 때 어떤 결과를 출력하는지, 더 나아가 AI 모델이 왜 그런 결과를 도출했는지, 그리고 추론 과정에서 어떤 특징을 고려하고 각각의 변수에 어떤 가중치를 두었는지 등 AI가 내린 의사 결정의 근거를 이해할 수 있도록 도와주는 기술이다. 이를 통하여 AI 모델의 구조적 적합성과 잠재적 편향성 등의 객관적 분석이 가능하므로 XAI 기법이 적용되면 AI 모델 설계의 신뢰성이 향상될 수 있다.

자율주행차에 AI 모델이 탑재된다면 AI 모델의 의사 결정이 운전자와 탑승객 그리고 보행자의 안전을 보장할 수 있음을 객관적으로 입증할 수 있어야 한다. 이를 위해 인간의 생명을 다루는 의료 분야 AI와 마찬가지로 매우 엄중하게 그 안전성을 검증할 수 있도록 자동차 분야의 AI 기술에 특화된 인증 표준이 마련될 것으로 예상된다. 특히 AI 모델의 설계 과정에서 적용되는 XAI와 같은 설명 기법과 더불어 AI 모델의 오작동을 실시간 감지하는 새로운 고장 안전(Fail-safe) 기능 역시 제어 시스템 내부에 준비되어야 한다.

<그림 4>는 미국 엔비디아(NVidia)사의 XAI 기술로서 자사의 자율주행 AI 시범 차량이 실시간 의사 결정 과정에 중요하게 사용한 객체의 위치를 연두색 이미지로 강조하고 있는 사례이다. XAI 기술은 아직 전 세계적으로 연구의 초기 단계로서, 설계된 AI 모델의 용도와 네트워크 구조, 설명 수준에 따라 다양한 설명 기법이 복합적으로 활용되고 있다. <표 2>는 현재 주류가 되는 대표적인 XAI 기술의 사례이다. 이와 같은 딥러닝 설명 방법론들은 AI 모델의 발전과 더불어 더욱 다양하게 진화될 것으로 예상된다.

이 밖에도 특징량(Feature)의 값을 재배열한 후 모델의 예측 오차 변화를 측정하여 특징량과 추론 결과 사이의 관계를 밝히는 순열 중요도(Permutation Importance) 기술, AI 모델의 변수가 모델의 예측 결과에 미치는 영향력을 시각적으로 표현하는 부분 의존도 그래프/개별 조건부 예측(Partial Dependence Plot/Individual Conditional Expectation) 등이 AI 모델의 설명을 위해 사용되기도 한다.

딥러닝의 보안성 이슈

AI가 지닌 보안 취약성은 딥러닝 모델에 대한 적대적 공격(Adversarial Attack) 사례가 소개되면서부터 비교적 최근 본격적으로 알려지게 되었다. 적대적 공격은 AI 모델의 입력을 적절히 변조함으로써 공격자의 의도대로 심층 신경망의 추론 결과를 바꾸는 공격 방식이다. 대부분의 딥러닝 모델에 이 같은 취약성이 존재하므로 AI를 활용하는 알고리즘에서는 이런 취약성에 대비하는 보안 대책이 필요하다. AI 모델에 대한 적대적 공격 기법에는 모델 탈취(Model Stealing), 데이터 오염(Data Poisoning), AI 백도어(AI Backdoor) 공격 등 다양한 방법이 알려져 있다. 미국의 구글(Google) 연구진은 입력 이미지의 픽셀에 작은 조작을 가해 공격 대상 AI 모델

의 출력에 큰 변화를 야기할 수 있음을 보였다. <그림 5>는 FGSM(Fast Gradient Sign Method)이라고 명명된 적대적 공격의 예시를 보여주는 사례이다.2

이 그림을 보면 팬더곰의 원본 사진에 특정 노이즈를 혼입시킬 경우, 사람의 육안으로는 그대로 팬더곰으로 보이지만 이미지 판별을 하는 딥러닝 모델은 이것을 긴팔원숭이(Gibbon)로 오판하는 것을 알 수 있다. 이것은 특정 목적의 오판정을 유발하도록 원본 이미지에 대한 노이즈의 형상을 학습시킨 것으로서 딥러닝의 추론 결과는 공격자의 의도에 따라 얼마든지 왜곡될 수 있음이 입증되는 결과이다. 이와 같은 결과를 볼 때, 자율주행차와 같이 다양한 AI 모델의 추론 결과에 따라 주행 안전이 직접적으로 영향을 받는 상황을 고려한다면 자동차 딥러닝 모델에 대한 적대적 공격은 사회적 안전에 있어서도 심각한 위협이 된다. 실제로 지난 2020년, 미국 캘리포니아주의 산타클라라에 위치한 보안 소프트웨어 전문 서비스 회사인 McAfee사의 연구진은 테슬라의 2016 모델 S와 모델 X 차량에 탑재된 모빌아이(Mobileye) 카메라의 속도 제한 표지판 인식 알고리즘을 쉽게 오동작시킬 수 있음을 보인 바 있다.3

<그림 6>은 제한 속도가 35mph로 인쇄된 도로 표지판에 특정 형상의 스티커를 붙일 경우 테슬라 차량에 탑재된 이미지 인식 AI 알고리즘이 표지판의 제한 차속을 85mph로 오판정하도록 조작 가능함을 보여준 사례로서 자율주행차에 적용되는 고성능 이미지 인식 딥러닝 알고리즘조차 비교적 어렵지 않게 공격당할 수 있음을 알 수 있다. 이와 같은 예시는 자동차에 탑재된 카메라와 같이 정상적인 입력 경로를 통해 의도적인 왜곡 이미지를 부가하여 공격할 경우 딥러닝 알고리즘은 이를 정상적인 신호와 구분하지 못하므로 앞서 FGSM의 공격 사례에서 보았듯이 AI 모델은 구조적인 보안 취약성을 내재하고 있다고 볼 수 있다.

딥러닝의 취약성과 그 대응 방안에 대한 연구는 AI 신뢰성이라는 이슈와 맞물려 최근 중요한 AI 연구 주제로 부상하고 있다. 결국 전술했던 설명 가능한 인공지능(Explainable AI)의 연구 분야는 AI의 설명성을 넘어서 신뢰성까지 보장할 수 있는 ‘신뢰 가능한 인공지능’(Trustworthy AI, Reliable AI)의 영역으로 조속히 중심 이동을 해야 할 것이다.

고품질 데이터의 수집

AI 모델은 데이터를 활용하여 학습하는 알고리즘이므로 결국 어떤 데이터를 사용하느냐에 따라 모델의 성능이 크게 달라질 수밖에 없다. 따라서 데이터의 품질은 딥러닝 모델을 개발하는 데 있어서 가장 중요한 인자라고 해도 과언이 아니다. 데이터를 편향성 없이 수집하고 적절하게 전처리하는 것은 딥러닝 모델의 학습을 위해 필수적이다. 이 과정에서 충분한 양과 희소 케이스를 포함하는 다양한 조건의 데이터를 확보하지 못하면 AI 모델은 각종 상황에서 올바른 판단을 내리는 데 어려움을 겪게 된다. 이런 이유로 모빌리티 제어를 위한 AI 모델을 개발하기 위해서는 고품질의 데이터 확보가 매우 중요하다.

데이터의 수집 방법은 AI 모델의 목적과 용도에 따라 다르므로 이를 일반화하여 정의할 수는 없지만, 데이터의 취득 경로에 따라 실차에서 수집된 실제 데이터(Real-world Data)와 가상 현실을 기반으로 수집된 합성 데이터(Synthetic Data)로 구분할 수 있다. 모든 주행 조건을 포괄할 수 있도록 실차 데이터를 대량으로 수집하는 것은 현실적으로 매우 어려운 일이므로 최근 AI 분야에서 주목되고 있는 것은 가상 현실을 기반으로 하는 합성 데이터이다. 합성 데이터는 실제로 존재하지 않고 인공적으로 생성된 데이터를 말한다. 이를 통해 기존의 데이터셋에서 부족한 부분을 보완하거나 기존 데이터셋의 다양성을 증가시킬 수도 있다. 합성 데이터의 장점은 데이터 수집 및 전처리에 드는 비용을 줄일 수 있다는 점이다. 합성 데이터는 데이터 수집이 어려운 경우나 레이블링 비용이 높은 경우, 또는 데이터의 다양성을 추구할 목적으로 사용된다. 최근에는 GAN, VAE 등의 생성 딥러닝 모델을 이용해 실제 데이터와 유사한 고품질의 합성 데이터를 생성할 수 있는 기술들이 다양하게 연구되고 있다​.

​<그림 7>은 향후 AI 모델 개발에 합성 데이터가 얼마나 크게 기여할 것인가를 전망한 그래프로서 미래의 AI 분야 발전은 합성 데이터의 활용과 그 궤를 같이 할 것이라는 점을 짐작할 수 있다​.

​●모빌리티 지능화를 위해 온디바이스 AI 기술을 적용하고자 한다면 아래와 같은 사항이 고려되어야 한다.

 –모빌리티용 에지 디바이스에 AI 제어 기술을 구현하기 위해서는 AI 모델 설계 기술 뿐만 아니라, 신경망의 경량화를 통한 고속 추론, 메모리 점유 용량 축소, 저전력화 달성 및 디바이스에 대한 효율적 임베딩 기술과 함께 AI 모델에 대한 신뢰성 확보 기술이 동시에 반영되어야 한다.

 –AI 기술 적용을 위해 적절한 딥러닝 네트워크의 선정도 중요하지만, 시스템 거동과 관련한 빅데이터의 고도화된 분석이 AI 모델의 성능 최적화를 위해 더욱 중요하다고 할 수 있다.

 –발생 가능한 모든 상황에 대처하는 AI 모델 설계를 위해서는 희소 케이스를 충분히 반영할 수 있도록 가상 주행 환경을 활용한 학습 및 검증 기술과 더불어 시스템 동적 거동의 물리적 제약성을 반영할 수 있는 물리 모델 연계 신경망 기술 등의 활용이 필요하다.

 –AI 기반의 제어 기술이 실제 모빌리티에 적용되기 위해서는 자동차의 주행과 관련한 AI의 안전성을 보장할 수 있도록 하는 설계 및 검증 표준이 반드시 수립되어야 한다. 특히 산/학/연을 포함, AI 안전성과 신뢰성 확보 기술을 연구하고 개발하는 전문 인력의 체계적 육성과 과감한 투자가 요구된다​.

글 / 전병욱 (현대자동차)

출처 / 오토저널 2023년 6월호    

​<참고문헌>

1. D. H. Jeong and B. W. Jeon, Development of a Near-Future Vehicle Speed Prediction Technology Using Generative Deep Learning 

Model, Transactions of KSAE, Vol.29, No.7, pp.629-637, 2021.

2. Goodfellow, Shlens, and Szegedy, Explaining and harnessing adversarial examples, International Conference on Learning 

Representations, 2015.

3. Povolny and Trivedi, Model Hacking ADAS to Pave Safer Roads for Autonomous Vehicles, McAfee Blogs, 2020​​​