Ⅰ. 서 론

자율주행 기술의 고도화에 따라 차량 운전자의 전방주시 및 차량 제어를 위한 역할이 감소하고 차량 내부에서 운전자와 탑승자의 구분이 사라지고 있다. 이에 따라 탑승자가 차량 내부에서 소비하고자 하는 인포테인먼트(Infotainment)의 수요가 증가하고 있다. 기존의 차량 인포테인먼트는 자동차의 오디오 및 정보 전달의 목적에서 최근 AR(Augmented Reality) 및 VR(Virtual Reality) 기술의 발전에 따라 시각적인 정보 전달 서비스 및 다양한 콘텐츠 소비로 이어지고 있다[1].

자율주행 차량에서의 증강현실 기술은 운전자가 차량 정보에 접근하기 위해 시선을 고정해야 하는 HDD(Head-Down Display)와 달리 운전자의 전방 시야에 직접 다양한 차량 정보를 제공하는 HUD(Head-Up Display)로 발전되기 시작하였다[2]. 이러한 HUD 기술은 차량 전면 유리의 협소한 공간으로부터 시작하여 현재는 대면적의 플렉서블 디스플레이(Flexible Display)를 설치하는 기술로 발전하고 있고 더 나아가 차량의 모든 방향의 창문을 이용하여 활용하는 인터랙티브 콘텐츠도 등장하고 있다[3,4]. 또한 차량의 탑승자가 아닌 외부 보행자를 위한 증강현실 기술도 같이 발전하고 있다[5].

증강현실을 이용한 가이드 시스템은 알고리즘의 처리 속도의 향상과 경량화로 인해 단순 정보 전달의 기능에서 공간과 사용자 그리고 주변 환경까지 포함하여 상황을 인지하고 정보를 가시화하는 분야로 확대되고 있다. 구글의 경우 스마트폰 카메라를 이용하여 구글 스트리트 뷰의 이미지 비교를 통하여 카메라의 위치와 방향을 추정하는 VPS(Visual PositioningSystem)를 기반으로 증강현실 내비게이션 서비스를 하는 Google Maps Live View를 서비스하였다. 또한 최근에는 다양한 자동차 회사들이 전장 시장에 들어서면서 차량 내부의 인포테인먼트 기술, 콘텐츠 및 UI(User Interface)의 발전을 주도하고 있다. 폭스바겐과 LG전자는 신형 전기차 ID.3와 ID.4에 LG전자가 개발한 차량용 증강현실 기반 HUD를 채택하였다. 이 기술은 외부환경의 정보를 동적 및 정적 두 부분으로 나누어 입체적으로 표현하여 가시화한다. 삼성전자의 자동차 전장 회사인 하만은 AI 및 AR 기술을 이용하여 운전자의 상태 검출 및 이용자 경험을 위한 서비스를 준비하고 있다.

초창기 증강현실 가이드 콘텐츠는 기본적인 HUD 기술로 AR 윈드실드 기반 도로 유형 및 지형 정보, GPS 기반 잔여 거리, 가상 표지판 등의 정보 전달이 주류였다[6,7]. 그 이후 운전자의 시선을 집중시키기 위한 2.5D 조감도 지도기반 오버레이 내비게이션 정보[8]와 차량의 카메라 영상을 기반으로 가려진 도로 정보를 영상정합에 의한 이미지로 시각화하는 기술로 발전되었다[9]. 기존 다수의 증강현실 가이드 서비스들은 지면 위의 2차원 위치정보를 사용하여 부가 정보를 이미지 기반으로 오버레이 하는 가이드 서비스들이 주류를 이루고 있으며, 그에 따라 탑승자 및 주변 환경과의 상호작용하는 서비스 및 가상 객체의 실 객체 가림 현상을 처리하는데 있어서 제약이 있다.

본 논문에서는 위에서 언급한 문제점을 해결하고 실시간 증강현실 실감가이드를 제공하기 위하여 자율주행 차량으로부터 받은 정보를 기반으로 3차원 증강현실 공간을 구축하여 투명 디스플레이를 통한 자율주행 차량의 탑승자, 지형/지물 그리고 가상 객체가 상호 작용하는 증강현실 실감가이드 시스템을 설계 및 개발하고 테스트 베드를 통한 실증서비스를 수행하였다.

Ⅱ. 증강현실 실감가이드 시스템 개발

제안한 자율주행 차량의 증강현실 실감가이드 서비스는 크게 3가지 부분으로 구성된다. 처음으로 자율주행 차량에서 사용하는 2차원 정밀 맵을 기반으로 증강현실 가상 객체를 정확한 위치에 배치 및 가림 현상을 해결하기 위한 증강현실용 3D 공간 맵 생성하는 부분과 증강현실 가이드 시스템 설계 및 개발 부분 마지막으로 차량 주행 데이터 기반 공간 반응형 증강 콘텐츠 제작 부분으로 구성된다.

2.1 실감가이드 콘텐츠 증강을 위한 3D 공간 맵 생성

증강현실을 생동감 있게 체험하기 위해서는 정확한 주변 공간의 지도와 위치정보가 필수적이다. 특히 기존 정보가 없는 공간의 경우 실시간으로 공간을 스캔하여 공간맵을 구축하는 동시에 위치를 추정하는 기술이 필요하지만 자율주행 차량의 주행을 위해서는 기 구축된 2D 정밀 맵이 존재하므로, 정보의 효율적 활용을 위하여 자율주행용 2D 정밀 맵을 증강현실용 3차원 공간 맵으로 재구축하는 과정이 필요하게 된다.

기존 자율주행 차량용 정밀 맵은 자율주행 서비스 장소의 GPS 데이터와 차량의 센서 정보를 기반으로 2차원 맵 구조로 제작되었기 때문에 증강현실용 3차원 구성을 위해 주변 공간의 실측 정보를 추가하여 생성하였다. 실측된 정보를 기반으로 서비스 공간 건물의 증강현실 상호작용 콘텐츠 제작을 위하여 정밀 3차원 복원이 아닌 콘텐츠 제작 및 렌더링 프로그램에서 동작 가능한 경량화된 데이터 형태로 개발되었다. 그림1은 실측 데이터 기반 테스트 베드 내부 건물의 3차원 모델링 데이터이다.

그림(Fig.) 1.

실측 데이터 기반 건물 3차원 모델링 데이터 (The 3D modeling data of buildings based on measurement data)

제작한 건물 모델링 데이터와 2D 정밀 맵을 정합하여 그림 2와 같이 증강현실 실감가이드를 위한 3차원 공간 맵을 생성하였다. 그림 3은 실제 증강현실 실감가이드 서비스를 실시간으로 하기 위한 경량화된 3차원 공간 맵을 보여준다.

그림(Fig.) 2.

자율주행용 2D 정밀 맵과 정합된 증강현실 실감가이드 서비스용 3차원 공간 맵 (The 3D spatial map for AR immersive guide service matched with 2D detailed map for autonomous driving)

그림(Fig.) 3.

경량화된 자율주행 실감가이드 서비스용 3차원 공간 맵 (The light-weighted 3D spatial map for autonomous immersive guide service)

2.2 증강현실 실감가이드 시스템 설계 및 구현

증강현실 실감가이드 시스템은 자율주행 차량의 탑승자가 차량 내부에서 증강현실을 이용하여 차량 및 공간에 대한 정보를 얻도록 실시간으로 중계하고 가시화하는 기능을 수행한다. 기본적으로 앞서 구축한 3차원 증강현실 공간 맵을 저장하고 로드하며, 자율주행 차량과의 실시간 통신 기능, 그리고 실감가이드 콘텐츠의 증강 가시화 기능이 요구된다. 자율주행 차량 시스템의 프로토콜을 이용하여 차량과의 실시간 통신을 통해 그림 4와 같이 자율주행용 정밀 맵 기반 차량의 위치와 주행 방향 및 주행 속도를 받아오게 된다. 이 정보를 토대로 로드된 3차원 증강현실 공간 맵 상 차량 시점을 추정하여 콘텐츠 증강을 위한 관심 영역(Region of Interest)을 지정하게 된다. 이 관심 영역을 기반으로 탑승자는 자율주행 차량에서 차량 경로에 따른 증강현실 인터랙티브 콘텐츠를 투명 디스플레이를 통하여 경험하게 된다.

그림(Fig.) 4.

자율주행 차량 내부 통신을 이용한 차량 주행 데이터 취득 및 가시화 (Acquisition & visualization of vehicle driving data using communication module with an autonomous vehicle)

차량의 위치 및 주행 방향에 따라 상호작용이 가능한 실감가이드를 투명 디스플레이에 실시간으로 증강하기 위하여 인터랙티브 콘텐츠 시스템의 렌더링 엔진으로는 Unity3D 프로그램을 사용하였고, 탑승자 이벤트를 기반으로 콘텐츠 인터랙티브 시스템을 구현하였다. 시스템은 그림 5와 같이 5개의 모듈로 되어 있으며, 하위에 다수의 세부 모듈로 이루어져 있다.

그림(Fig.) 5.

증강현실 실감가이드 시스템 구조도 (The structure of AR immersive guide system)

증강현실 실감가이드 시스템의 최상위 클래스는 Manager 클래스 및 Controller 클래스를 관리한다. 주요 모듈로는 건물 및 도로 정보가 저장된 공간 맵 데이터를 로드하여 가시화하는 HDMapManager 모듈, UDP 통신을 통한 자율주행 차량의 현재 위치, 방향 및 속도 정보를 수신하는 OutdoorLocationSystem 모듈, 자율주행 차량의 시점과 3차원 콘텐츠의 시점을 일치시키기 위한 카메라 제어를 하는 CameraController 모듈, 인터랙티브 콘텐츠의 상태 및 동작 등 전반적인 제어를 담당하는 ContentController 모듈, 그리고 시스템의 카메라 위치와 방향을 기록하는 모듈이 있다. ContentController 모듈의 세부 모듈은 공간 반응형 인터랙티브 콘텐츠의 이벤트 생성을 위한 모듈이다. 이 세부 모듈들의 주요 기능으로는 자율주행 차량 중심의 지속적인 콘텐츠 이벤트를 위한 속도 및 범위를 지정해 주는 기능과 화면을 지우고 그리는 연출 및 캐릭터 모델을 관리하는 기능을 지원하는 모듈이 있다. 또한 3차원 건물에 대한 특징과 정보를 표출하기 위하여 3차원 모델을 선으로 변환하여 맵의 전역 좌표에서 가시화하고 터치를 이용한 피드백으로 설명창을 팝업하는 기능을 수행하는 모듈을 구현하였다. 그리고 증강현실 실감가이드 공간 내부의 특정 이벤트 지역에서 차량의 움직임과 동기화되는 상호작용이 가능한 콘텐츠를 위하여 차량의 주행 제어에 필요한 정보와 상태 메시지를 생성 및 저장하는 기능을 수행한다. 마지막으로 건물의 설명을 위한 3차원 가상 객체와 애니메이션을 담당하는 세부 모듈을 구현하였다.

2.3 차량정보기반 공간 반응형 증강 콘텐츠 제작

앞서 구현한 증강현실 실감가이드 시스템을 이용하여 실제 공간에서 서비스를 위한 증강현실 콘텐츠를 제작하였다. 우선 투명 디스플레이의 화면 구성은 두 개의 영역으로 구분된다. 첫 번째 영역은 디스플레이의 상단 자율주행 차량의 창문 영역으로 가상 객체를 가시화하여 증강현실 실감가이드를 제공하는 부분이며, 두 번째 영역은 하단 상태 창으로 서비스 전 기간동안 차량의 방향과 속도 및 맵 상의 위치 표시해주는 부분이다. 서비스 공간의 건물 및 이벤트 랜드마크의 3차원 모델링 및 리소스를 구축하고, 정보제공에 필요한 이벤트성 가상 객체와 캐릭터를 리깅이 가능하도록 제작하였다. 캐릭터의 애니메이션으로는 걷기, 날기 등 5가지의 애니메이션을 생성하였다. 공간 맵을 활용하여 외부 바닥 위치를 기반으로 라인을 증강하고 바닥 면을 추정하여 가상 캐릭터가 도로를 이동하는 것을 표현하였으며 자율주행 차량의 정보를 이용하여 탑승자의 시선에 위치하는 건물의 정보를 증강하는 가상 객체를 제작하였다. 그림 6은 증강현실 서비스를 위하여 제작된 실감가이드 가상콘텐츠를 보여준다.

그림(Fig.) 6.

실감가이드 가상콘텐츠 제작 (Creation of virtual content for immersive guide)

Ⅲ. 증강현실 실감가이드 실증서비스

증강현실 실감가이드 시스템을 이용하여 공간 반응형 증강 콘텐츠 실증서비스를 하기 위하여 자율주행 정밀 2D 맵이 있는 한국전자통신연구원 내부를 테스트 베드로 선정하였다. 연구원의 자율주행 셔틀인 오토비(AutoVe)는 운전대가 없는 형태로 카메라와 라이다 센서에서 얻은 정보를 실시간으로 처리하여 연구원의 내부를 운행한다[10]. 셔틀 탑승자가 증강현실 실감가이드 서비스를 제공받기 위하여 차량 내부 좌측 창문에 55인치 투명 OLED 디스플레이를 설치하였다. 이 디스플레이는 인터랙티브 콘텐츠를 위하여 탑승자의 터치 입력이 가능하며, 투명 디스플레이와 터치패널이 결합 된 형태의 디스플레이로 제작하였다. 일반적인 차량이 아닌 자율주행 셔틀의 차량 구조에 맞게 설치하기 위해 OLED 패널, 터치패널, 전원, 설치대, 가림막 등으로 구성된 브래킷 및 설치대를 착탈식으로 설계하였으며, HDMI 단자 입력을 받아들일 수 있는 입력단자를 포함하여 제작하였다. 이 디스플레이는 패널 종류에 따라 해상도가 조절되는 보드를 포함하고 있으며 해상도는 FHD 및 UHD, 60Hz를 지원한다. 그림 7은 제작된 자율주행 셔틀용 투명 OLED 디스플레이 및 거치대와 투명 디스플레이가 설치된 자율주행 셔틀의 내부이다.

그림(Fig.) 7.

자율주행 셔틀용 투명 OLED 디스플레이 설치 (Installation of transparent OLED display for autonomous shuttle)

자율주행 셔틀의 탑승자와 가상 객체 간의 자연스러운 실감가이드 제공과 상호작용을 위하여 시트 포지션에 따른 탑승자의 화각을 분석하였다. 이 정보를 바탕으로 실감가이드 콘텐츠에서 탑승자의 뷰포인트를 설정하고 투명 디스플레이에 렌더링 되도록 적용하였다. 그림 8은 실측 데이터 기반 시트 포지션에 따른 탑승자의 화각을 분석하여 실제 콘텐츠에 적용한 결과를 보여준다.

그림(Fig.) 8.

시트 포지션에 따른 탑승자의 화각 분석 (Analysis of the field of view of the passenger according to the seat position)

증강현실 실감가이드 시스템은 Intel i7 CPU를 탑재한 미니 PC를 자율주행 셔틀 내부에 설치하여 구동하였다. 탑승자에게 증강현실 실감가이드를 실시간으로 제공하기 위해 실제 공간과 가상 객체의 콘텐츠 정합 시간이 30ms 이하를 만족하도록 개발하였다. 자율주행 셔틀과 내부 통신을 이용하여 차량의 위치, 방향 및 속도 정보를 취득하였다. 취득된 정보를 이용하여 차량의 위치와 자세에 따른 공간 반응형 실감가이드 콘텐츠를 그림 9와 같이 투명 디스플레이에 증강하였다. 공간 연동 콘텐츠는 4종이 개발되었다. 외부 바닥의 정보를 반영하여 바닥에 라인을 증강하고, 가상 객체 및 캐릭터가 도로에서 걷는 것을 표현하였다. 또한, 셔틀의 위치 및 방향과 탑승자의 시선에 일치하는 건물의 정보를 증강하였다.

그림(Fig.) 9.

공간 연동 실감가이드 콘텐츠 (The space-linked immersive guide content)

다음은 자율주행 셔틀 경로에 연동되는 인터랙티브 증강현실 콘텐츠를 시연하였다. 그림 10은 셔틀의 위치에 따라 발생하는 증강현실 이벤트를 보여준다. 처음 서비스 시작은 어두운 화면에서 장막이 없어지는 효과로 시작한다. 다음 콘텐츠는 셔틀이 노선을 움직이면서 특정 랜드마크가 탑승자의 시야에 들어오면 구조물을 기반으로 하는 증강현실 이벤트와 정보를 증강하는 것이다. 이 실증 랜드마크의 구조물 모델링을 기반으로 가상 드론이 상하좌우에서 움직이고, 가림 현상에 따라 생동감 있게 체험할 수 있도록 하였다. 또한 차량의 위치를 기반으로 하는 가상 객체와 차량의 충돌 콘텐츠와 가상 날씨를 증강하는 이벤트를 시연하였다.

그림(Fig.) 10.

자율주행 셔틀 경로 연동 증강현실 콘텐츠 시연 (Demonstration of AR contents according to autonomous shuttle routes)

Ⅳ. 결 론

본 논문은 자율주행 차량의 탑승자가 차량 내부에서 인터랙티브 증강현실 콘텐츠 체험을 가능하게 하는 증강현실 실감가이드 시스템을 제안하였다. 또한 개발된 시스템을 실제 환경의 테스트 베드를 통하여 검증하였다. 탑승자에게 인터랙티브한 증강현실 콘텐츠를 제공하기 위하여 자율주행 차량 내부에 터치가 가능한 투명 OLED 디스플레이를 제작 및 장착하였다. 자율주행 2D 정밀 맵을 기반으로 3차원 건물 및 랜드마크 모델을 정합하여 증강현실 서비스를 위한 경량화된 3D 공간 맵을 생성하였다. 이러한 맵과 자율주행 차량에서 제공되는 위치, 방향 및 속도 정보를 기반으로 공간과 상호작용이 가능한 인터랙티브 콘텐츠를 제작하였으며, 탑승자의 시선을 분석하여 현실감 넘치는 증강현실 콘텐츠를 실시간으로 경험할 수 있도록 구현하였다. 향후에는 자율주행 차량 내부 탑승자의 시선을 차량 내부 카메라 영상을 기반으로 검출하여 탑승자가 바라보는 시점을 정확하게 검출하고 적용하여 가상콘텐츠 정합도를 높이고 다수의 탑승자를 위한 증강현실 정보 전달을 가능하게 하는 연구를 진행하고자 한다. 또한 자율주행 차량 내부에서 탑승자 중심의 인터랙션 및 효율적인 정보 전달을 위한 증강현실 콘텐츠에 관한 연구가 필요하다.