글로벌오토뉴스

상단배너

  • 검색
  • 시승기검색
ä ۷ιλƮ  ͼ  ī 󱳼 ڵδ ʱ ڵ 躴 ͽ ǽ ȣٱ Ÿ̾ Auto Journal  Productive Product

[오토저널] 테슬라의 딥스케일 자율주행 특허 분석

페이지 정보

글 : 오토저널(ksae@ksae.org)
승인 2021-01-25 11:34:30

본문

2019년 10월경 테슬라는 인공지능 스타트업인 DeepScale(딥스케일)을 인수하였다고 발표하였다. 테슬라가 인수한 딥스케일은 어떠한 회사이고 테슬라는 무슨 이유로 딥스케일을 인수하였을까? 테슬라는 인공지능 이미지 처리를 위한 3D 라벨링 기술을 가속화하기 위하여 DeepScale을 인수하였다. 이하에서는 DeepScale의 주요 특허와, 테슬라가 왜 이러한 기술을 필요로 하는지 살펴보고자 한다.

자율주행차와 전기차에 대한 시장이 점점 커지고 있다. 자율주행차와 전기자동차를 생각하면 바로 떠오르는 기업이 테슬라 모터스이다. 테슬라 모터스는 2014년 자신의 특허를 모두 개방한 바 있다. 그렇다면, 과연 테슬라의 특허 포트폴리오는 어떠한 방향으로 구축되고 있을까? 본 고에서는 테슬라 모터스의 특허 포트폴리오 현황에 대해 살펴보고자 한다.

DeepScale에 대하여
현재까지 테슬라가 인수한 기업은, DeepScale, Maxwell, SolarCity, Grohmann Engineering, Perbix의 6개 정도이다. 테슬라는 2019년 10월 실리콘밸리 소재의 4년차 스타트업인 딥스케일을 인수한다. 딥스케일은 충돌회피에 사용되는 기술을 개발하기 위하여, 비전 중심의 DNN(Deep Neural Network)를 연구하는 회사로 알려져 있다. 저전력 프로세스에 집중하며, 반자율 및 자율 자동차의 인지 시스템(Perceptual system)을 향상시키는 게 핵심 기술로 알려져 있다. 엔지니어링팀의 25%가 박사출신으로, DeepScale의 인수를 통하여 테슬라는 오토파일럿 기술을 개발하는데 인력을 보강할 수 있었다.

딥스케일은 초기에 18M.5$를 벤처캐피탈로부터 투자를 받았다. 딥스케일이 얼마의 가격으로 테슬라에 인수되었는지는 밝혀지고 있지 않다.

TESLA가 인수한 특허는?
테슬라의 보유 특허 중에서, 다른 기업으로부터 인수된 특허가 있는지를 특허 DB인 WISDOMAIN을 이용하여 살펴보았다. 흥미로운 사실은, 미국 특허청에 등록된 특허만을 기준으로 볼 때, 테슬라가 인수한 특허는 DeepScale 특허만이 유일한 것으로 나타났다. 이전호의 글에서, 테슬라의 특허 포트폴리오가 배터리 기술에 집중이 된 것을 볼 때, 배터리 분야가 아닌 자율주행 기술에, 그것도 DeepScale의 특허만을 인수한 것이 흥미로우며, 이들 회사의 보유 특허 기술이 뛰어나다는 것을 짐작할 수 있다.

DeepScale의 특허포트폴리오
분석은 딥스케일이 출원한 특허에 대하여, 특허검색 DB인 키워트를 이용하여 검색하였다. 한국, 미국, 유럽, 일본 및 중국에 출원된 특허를 대상으로 하였으며, 출원인을 “딥스케일(Deepscale)”로 한정하여 특허들을 추출하였다.

● DeepScale의 특허 포트폴리오
딥스케일이 설립된 2017년부터 최근까지 총 8건의 미국 특허가 공개되었다. 특허는 출원일로부터 1년 6개월 이후에 공개되기 때문에, 2019년 하반기에 출원된 미공개된 특허들이 다수 있을 수 있다.

afd5b4c4b50859122d58ffee76fcad3c_1611542

<표 2>에는 8건의 특허 목록이 나와 있으며, 2017년에 1건, 2018년에 3건, 2019년에 4건이 출원 후 공개되었다. 생각보다 특허를 다량으로 출원하는 기업은 아닌 것으로 평가된다. 여기서, US1/598956호는 딥스케일이 테슬라에 인수된 후에 동일 발명자가 후속해서 출원한 특허로 엄밀하게는 테슬라가 출원 특허로 볼 수 있지만 딥스케일 특허 목록에 포함시켰다. 딥스케일이 출원한 특허는 자율주행차에서 가장 필요한 핵심적인 기술들로서, 크게 4가지 분야로 구분될 수 있다. 1) 인공지능 모델 학습을 위한 데이터 합성 기술, 2) 채널 센서 시뮬레이션 기술, 3) 어노테이션 라벨링 기술, 4) 임베디드용 뉴럴 네트워크 기술로 구분할 수 있다.

<표 3>에서 볼 수 있듯이 대상건이 많지 않지만, IPC 분류상에 따르면, 딥스케일 특허는 제어 및 신경망 모델, 이미지 데이터 처리에 대한 기술로 분류된다.

현재까지 총 1건의 특허가 등록이 되었고, 나머지 특허들은 현재까지 심사중인 상태로 등록여부가 아직 결정되지는 않은 특허들이다. 이하에서는 딥스케일의 보유 특허 중에서 주요특허 몇 가지에 대한 기술을 분석해 보기로 한다.

● 미국등록특허 US10678244 (자율주행 제어 시스템을 위한 데이터 합성 기술)
본 특허기술은 매우 흥미롭다. 본 특허의 기술은 자동차의 자율 주행을 위한 인고지능 모델 학습을 위해, 시뮬레이션 된 환경을 반영하는 합성 데이터를 생성하는 기술에 관한 것이다.

복수의 센서 관점에서 시뮬레이션 된 환경의 센서 데이터를 제공하고, 자율주행 제어 시스템은 합성 데이터를 이용하여 다양한 감지 및 제어 알고리즘을 위한 인공지능 모델을 트레이닝 시킬 수 있다. 즉 인공지능 모델의 성능 향상을 위해서는 많은 데이터를 통한 훈련(학습)이 필요한데, 현실적으로 도로상에 많은 자율주행차들을 통한 데이터를 확보하기 전까지는 인공지능 데이터 모델을 위한 다양한 환경 데이터를 확보하는 데에도 많은 애로 사항이 있다. 이를 위해 딥스케일은 다양한 센서 데이터를 기초로 가상의 합성 데이터를 증강시킴으로써 기존 훈련 데이터에 포함되지 않은 시나리오를 생성하여 시뮬레이션이 가능할 수 있다.

● 특허의 강도
특허에서는 권리를 청구하는 부분인 청구항의 구성요소가 간단하고 향후 제품에 적용됨으로써, 자사 뿐만 아니라 타사가 사용하고 싶게 하게끔 하는 특허가 ‘가치가 있는 특허’로 볼 수 있다. 따라서, 특허에서 가장 중요한 부분인 청구항의 구성이 얼마나 간결하고, 각 구성이 군더더기 없이 실제 제품에 필요한 필수적인 구성요소로만 구성이 되어 있는 특허가 강하고 좋은 특허라 말할 수 있다.

afd5b4c4b50859122d58ffee76fcad3c_1611542

이러한 관점에서, 딥스케일의 특허 청구항의 구성은, 1) 복수의 센서 데이터를 획득하는 단계, 2) 인공물의 세트를 마련하고, 인공물 세트에 대하여 가상의 시뮬레이션 된 합성 센서 데이터를 생성하는 단계, 3) 합성된 센서 데이터를 이용하여 인공지능 컴퓨터 모델을 트레이닝 시키는 단계, 4) 훈련된 인공지능 모델을 실제 측정 데이터에 적용하는 단계로만 구성되어 있다.

실제로, 대부분의 인공지능 모델은 실제 물리량을 측정한 데이터를 가지고서 훈련을 하면서 최적의 정확도를 갖는 모델을 만든다는 점에서, 해당 특허의 내용은 가상의 인공물이 형성된 데이터를 시뮬레이션하여 학습한다는 점에서 그 차별적인 특징이 있다. 즉, 증강현실로 구현된 가상의 데이터를 머신러닝 모델로 트레이닝을 하는 것이다. 예컨대, 주행 중에 사람과 표지판을 인식한 실제 데이터에, 우천시의 환경 또는 도로에 물이 있는 환경을 시뮬레이션 한 가상의 데이터를 생성하여 데이터를 증강시키고 학습하는 기술은, 향후에 자율주행 차량의 모델 학습을 위해 반드시 필요한 부분으로 생각된다. 해당 특허는 실제 적용 가능성이 매우 높은 특허로 볼 수 있다.

afd5b4c4b50859122d58ffee76fcad3c_1611542

● 미국공개특허 US2020-0117953A  (Systems and Methods for Training Machine Models with Augmented Data)
테슬라는 딥스케일의 증강기술을 많이 중요시한 것으로 판단된다. 테슬라에 인수된 후에도 딥스케일의 주요 발명자들은 테슬라에서 근무를 하면서 유사한 핵심기술을 특허출원 하였다. 바로 “Systems and Methods for Training Machine Models with Augmented Data”라는 발명의 명칭을 갖는 특허가 2019년 10월에 출원되었다. 

해당 내용은 증강현실로 만들어진 데이터를 머신러닝 모델로 트레이닝 하는 것으로, 다양한 카메라로 획득한 이미지에 대하여 학습을 수행하고, 각 이미지에 대한 카메라 속성정보를 보유한 상태로 이미지를 조작하여 증강 이미지를 생성하고, 증강된 이미지를 재 학습하는 과정을 포함하고 있다. 카메라의 속성은 센서의 특징, 카메라의 화각, 초점거리, 렌즈의 왜곡도 등에 대한 정보, 그리고 카메라의 앵글, 스케일, 위치를 포함하고 있다. 이는 복수의 센서로부터 들어오는 이미지들을 다양한 시점에서 변경하여 이미지 데이터를 조작할 수도 있고, <그림 3>에서와 같이 일부 객체를 컷오프 하거나 증강하면서 조작할 수도 있다.

이상에서 살펴본 바와 같이, 테슬라 자동차의 자율주행 기술의 핵심은 인공지능을 이용한 오브젝트 인식이고, 인공지능 모델을 가속화하기 위해 실제 이미지 데이터와 이에 기반을 둔 증강 이미지 데이터의 합성 기술이라 볼 수 있다. 딥스케일의 인수이후에도 핵심 발병자들은 관련 관련 기술에 대한 출원을 지속적으로 하고 있는 것을 볼 때, 이는 테슬라가 중요하게 생각하는 핵심기술로 볼 수 있다. 아직까지는 대부분의 특허가 등록전의 심사중인 단계로서, 최종 권리화 시에 특허의 권리범위가 어떠한 범위로 확정될 지에 대해서, 자율주행차를 연구 개발하는 회사들은 주의 깊게 모니터링을 할 필요가 있다.

글 / 류원림 (인벤트고 특허법률사무소)
출처 / 오토저널 2020년 11월호 (http://www.ksae.org)
  • 페이스북으로 보내기
  • 트위터로 보내기
  • 구글플러스로 보내기
하단배너
우측배너(위)
우측배너(아래)