Ⅰ. 서 론
자율주행자동차와 관련된 기술개발은 2010년대에 딥러닝 기술을 이용함으로써 급진적으로 이뤄지고 있으며 현재 국내에서는 2021년부터 자율주행기술 레벨 4+를 목표로 인프라 센서를 기반으로 자율주행 기술을 고도화하는 과제가 진행되고 있다[1-3]. “융합형 레벨4+ 자율주행”은 도심로, 전용도로, 비정형도로에서 다양한 물체(비포장도로, 경찰수신호 포함)에 대응하여 주행하고, 차량-클라우드-도로교통 등의 인프라 융합 및 사회적 현안 해결용 융합서비스를 포함하는 넓은 범위의 자율주행을 의미한다.
자율주행 차량에 탑재된 자율주행 기술 단독으로는 위험 및 돌발상황과 회전 및 무신호 교차로 등에서 판단에 한계를 가진다. 이를 해결하기위해 도로 인프라에 대한 고도의 상황인지를 기반으로 자율주행 차량에게 가이던스를 제공함으로써 자율주행 레벨4+ 차량의 안전하고 유연한 운행을 지원하는 기술개발이 요구된다.
자율주행을 위한 도로 인프라의 폭넓고 다양한 정보 수집을 위해 센서 네트워크를 이용하여 지능화 도로 인프라를 구축하려는 움직임이 IoT 기술의 발달에 힘입어 전세계적으로 이루어지고 있다[4].
TTA(Telecommunications Technology Association)에서는 자율주행을 위한 IoT(Internet of Things) 기반 교통안전 장치에 대한 표준화가 진행되고 있고, 경찰청은 “IoT 기반 교통안전시설 정보제공 및 운영관리 기술 개발”과제(2019년~2021년)를 통해 IoT 기반의 교통안전시설(안전표지, 노면표시, 신호기) 정보를 실시간으로 제공하고 관리하는 기술을 개발하였다.
1990년대에 레이더 센서가 차량에 장착되기 시작한 것에 비해 1960년대부터 교통량, 속도 등 교통 데이터를 감지하기 위한 다양한 센서가 도로 인프라에 적용되고 있다[5]. 도로의 인프라 기반 센서들은 Lidar, 지능형 카메라 등이 주를 이루며 많은 정보와 고속의 데이터 수집이 가능한 필수 센서이지만 적용범위가 좁고, 정교하고 복잡한 센서 융합, 지능화 처리 단계를 거친다.
도로상의 상황을 분석 및 인지하기 위해 딥러닝 기술을 이용하여 영상에서 관심 객체를 추출 및 분류하는 기술이 활용되고 있다[6]. 이에 기반하여, 도로 현장의 딥러닝 기반 영상 플랫폼 장치와 관제 센터간 실시간으로 정보를 송수신하여 보행자 및 운전자 안전 사고를 예방하는 기술에 대한 연구개발이 이루어지고 있다[7].
도로 상황을 인지할 수 있는 스마트 도로 인프라를 위한 플랫폼 개발과 인프라 구축에 대한 수요가 있지만 현재까지 국내외적으로 시작단계에 불과하다[8].
본 논문은 자율주행 차량에서 도로의 상황 정보를 판단할 수 있도록 인프라 센서로부터 도로의 센싱 정보를 수집하고 전달하는 무선 센서 네트워크 기반의 도로 상황 인지 시스템에 대한 내용이다. 자율주행 차량의 판단능력의 향상을 위한 스마트 노변 인프라 시스템에서 기초적인 도로 주변의 상황 정보를 지연없이 수집하기 위한 무선 센서 네트워크를 설계하여 구현 및 현장시험을 진행하였다. II장에서는 도로 상황 인지 시스템의 구조 및 설계 내용, III장에서는 시스템 구현 및 성능 시험 결과와 테스트베드 구축 내용, IV장에서는 결론 및 향후 연구 내용에 대하여 기술하였다.
Ⅱ. 도로 상황 인지 시스템 설계
2.1 시스템 구조
자율 주행 차량에 대한 도로 환경 정보는 센서 네트워크를 통해 수집되고 MEC(Mobile Edge Computer)로 전달이 되며 LDM(Local Dynamic Map)에 도로환경 정보로 저장된다. LDM에 적용된 도로 환경 정보는 V2X(Vehicle to Everything)망을 통하여 자율 주행 차량의 OBU(On-Board Unit)또는 운전자에게 가이던스 제공에 활용된다.
자율주행 서비스 제공을 위하여 일정한 위치에 고정되어 도로 상황 정보를 제공하는 센서 네트워크가 있으며, 차량 사고 현장이나 도로 공사 구간에 필요시 이동형 센서 노드를 설치하여 도로 상황 정보를 제공하는 이동형 게이트웨이로 구성되는 이동형 센서 네트워크가 있다. 그림 1은 고정형 게이트웨이 및 이동형 게이트웨이를 적용한 시스템 구성을 나타내고 있다.
그림 1에서 제시된 도로 상황 인지 시스템은 센서, 센서 단말, 게이트웨이 등의 서브시스템들로 구성된다. 한편 내부 시스템과 연동하는 외부 시스템으로는 V2X RSU(Road Side Unit)시스템과 MEC 시스템이 연결된다.
도로 상황 인지 시스템 구성 (Road situational awareness system configuration)
2.2 센서 단말
센서 단말은 도로 상황을 계측하는 다양한 센서들과 연결되어 계측된 정보를 수집하고 센서 네트워크를 통하여 게이트웨이로 도로 상황 정보를 전달한다. 상황 정보는 메타 데이터 형태로 전송된다. RF(Radio Frequency)신호 안정화를 위해 그림 2와 같이 MCU(Micro Controller Unit) 및 RF 통합 단일 모듈을 적용하여 설계하였다. 위치정보를 위해 GPS가 연결된다.
센서 단말 기능 구조 (Sensor terminal functional structure)
2.3 게이트웨이
게이트웨이는 센서 단말로부터 송신되는 도로 상황 정보를 수신하여 MEC로 전달하는 역할을 수행하며, MEC로부터의 하향 제어 메시지를 센서 단말로 송신하는 기능을 가진다. 여러 개의 센서 단말과 원활한 통신을 수행하기 위해 그림 3과 같이 무선전송 충돌제어, 멀티채널 Concentrator 기능을 적용하여 설계하였다.
게이트웨이 기능 구조 (Gateway function structure)
2.4 이동형 센서 노드
도로상에서 도로공사 구간 및 사고현장 수습에 따라 실시간으로 도로 상황을 제공하기 위하여 필요시 사용하는 센서 노드이다. 그림 4와 같이 공사현장에 주로 사용되는 라바콘 상단에 꽂아서 사용이 가능하도록 설계하였다.
이동형 센서 노드 형상 (Mobile sensor node architecture)
위치 정보 획득을 위하여 GPS 수신 및 무선 통신 제어부, 전원부 등으로 구성되며, 다수의 긴급 상황 현장의 범위를 제공하기 위하여 다수의 위치점 표기 기능을 가진다.
이동형 센서 노드의 구조는 그림 5와 같이 기본적으로 센서 노드와 거의 동일한 구조를 가지며 이동형태로 사용하기 위해 배터리로 동작되도록 설계되었다.
이동형 센서 노드 구조 (Mobile sensor node structure)
그림 6은 이동형 센서 노드를 사용한 응용 서비스 개념을 보여주고 있다. 도로 공사 및 사고 수습 등과 같은 도로의 긴급 상황에 대하여 해당 구역에 이동형 센서 노드를 설치하여 실시간으로 통제 내용, 시간, 위치 등의 정보를 게이트웨이로 전송한다.
이동형 센서 노드 응용 서비스 개념도 (Mobile sensor node application service concept)
2.5 지능형 센서 노드
이미지(영상) 정보를 기반으로 도로변에서 낙하물을 탐지하여 센서 네트워크를 통해 정보 탐지 정보를 전송한다. Edge Computer를 탑재하여 카메라로부터 수집되는 이미지를 분석하여 도로 낙하물로 탐지한 결과를 저용량의 메타 데이터(낙하물 발생 위치, 크기, 발생시간 등)로 구성하여 게이트웨이로 전송한다.
그림 7은 지능형 센서 노드의 응용 서비스 개념을 보여주고 있다. 도로주변에 설치된 IoT카메라로부터의 영상정보를 지능화 프로세서 모듈에서 분석하여 낙하된 물체에 대한 탐지 정보를 센서 네트워크를 통해 게이트웨이로 전송한다.
지능형 센서 노드 응용 서비스 개념도 (Intelligent sensor node application service concept)
2.6 센서 네트워크 기능
2.6.1 무선전송 충돌 방지
센서 네트워크에서 다수의 센서 단말 및 게이트웨이 간 무선 데이터 전송시 충돌로 인한 데이터 손실이 발생 할 수 있다. 이와 같이 데이터 유실을 방지하기 위하여 LBT(Listen–before–Talk) 알고리즘을 적용하였다. 이 방식은 그림 8과 같이 송신 준비중인 센서 단말이 전송전에 일정 레벨(-65dBm) 이상의 수신신호세기를 감지한 경우 데이터를 전송하지 않고 일정시간 동안 기다렸다가 전송하는 기법이다.
LBT 기능 동작 (LBT function operation)
2.6.2 멀티 채널 데이터 송수신
게이트웨이는 그림 9와 같이 다수의 센서 단말들 간에 8개의 멀티채널을 분산 적용하여 데이터 송수신을 할 수 있다. 8개의 멀티 채널에 대한 채널 ID와 해당 주파수, 그리고 최대 출력은 전파 규격에 따라 표 1에 준해서 적용하였다.
멀티 채널 운영 (Multi-channel operation)
채널 ID 및 중심 주파수 (Channel ID and center frequency)
2.6.3 전파환경 적응형 전송제어
게이트웨이와 센서 단말 간에 데이터 전송시 무선 경로상의 전파환경에 따라 전송 속도를 변경할 수 있는 기능을 적용하였다. 무선 데이터 송수신에 따른 수신신호세기인 RSSI(Received Signal Strength Indicator)를 기반으로 하여 데이터 전송 속도를 조정하도록 하였다. 전파 환경이 양호한 경우에는 전송 속도를 빠르게 하여 전송 효율을 높이고, 전파 환경이 열악한 경우에는 전송 속도를 느리게 하여 수신 성공률을 높이는 것이다. 즉 데이터 송수신 중에 RSSI를 체크하면서 무선 전송 환경이 나빠지는 경우 데이터 전송 속도를 결정하는 SF(Spreading Factor)값을 변경하여 수신 감도의 마진을 증가시켜 수신 성공률을 향상시키는 방법이다.
표 2는 대역폭 125KHz, 코드비율 1일 때 SF에 따른 신호 감도와 데이터 전송 속도를 나타내고 있다. SF값이 높아짐에 따라 Data Rate 이 감소하게 되고 이는 전송지연이 발생되는 결과를 나타내게 된다.
SF에 따른 신호 감도 및 데이터 전송 속도 (Signal sensitivity and data transmission rate according to SF)
2.6.4 데이터 송수신 프로토콜
센서 네트워크를 구성하는 센서 단말과 게이트웨이 간 데이터 송수신 프로토콜은 표 3과 같은 프레임 구조로 설계하였다. 센서 단말은 일정 주기로 기상, 가시거리, 노면 등의 정보를 게이트웨이로 전송하게 된다.
센서 네트워크를 구성하여 게이트웨이와 다수의 센서 단말간에 도로 상황인지 센싱 데이터를 송수신하기 위한 처리 절차는 그림 10과 같다. 송수신 모두 IRQ(Interrupt Request)가 적용되어 이뤄진다.
데이터 송수신 절차 (Sequence of Data transmit and receive)
센서 네트워크 프로토콜 기본 프레임 구조 (Sensor network protocol basic frame structure)
Ⅲ. 도로 상황 인지 시스템 구현
3.1 센서 단말
센서 단말은 다양한 센서로부터 도로상황 정보를 수집하여 무선 전송을 통하여 게이트웨이로 전달하는 장치로 MCU 및 RF 모듈로 구성하였다. 센서 데이터 처리 및 전송을 위한 규격은 다음과 같다.
· 센서 단말 제어부는 32bit ARM기반 Cortex-M0+/ M4 Dual Core MCU 적용
· 메모리는 256KB Flash, 64KB SRAM 내장형 적용
· RF 통신을 위한 변조 방식은 LoRa, (G)FSK, (G)MSK and BPSK 통신 방식 지원
· RF Sensitivity : -148 dBm for LoRa, -123 dBm for 2-FSK
· Tx high output power : Up to +22 dBm
· Tx low output power : Up to +15 dBm
· 센서 인터페이스 : RS-485/RS-232C
· 기타 외부 인터페이스 : I2C, SPI, PIO, ADC
또한 도로 환경에서의 단말 구축시 위치 정보 데이터 수집을 위하여 GPS, GLONASS, Galileo, BeiDou 등의 위성으로부터 위치 신호 수신이 가능하도록 하였다.
센서 단말 통신 모듈 (Sensor terminal communication module)
3.2 게이트웨이
게이트웨이는 센서 단말로부터 전송된 무선 데이터를 수신하여 MEC 서버로 전달하는 역할을 수행한다. 게이트웨이는 ARM Quad Core 64비트 MCU기반의 제어 모듈과 8채널 Concentrator 및 RF 수신 모듈로 구성하였다. 제어 모듈과 RF 모듈간에는 SPI (Serial Peripheral Interface)인터페이스를 통하여 데이터 교환을 수행한다. LoRa(Long Range) 전송 방식을 사용할 경우 전송 속도를 동적으로 변경할 수 있도록 구현하였으며, RF 수신 민감도는 -141dBm까지 지원한다.
게이트웨이 통신 모듈 (Gateway communication module)
그림 13은 SF와 데이터 패킷 전송 시간의 관계를 측정한 결과를 보여주고 있다. Chip spread 방식을 사용하는 LPWA(Low Power Wide Area) 모드의 SF를 가변하는 기술을 적용하여 52Bytes의 메시지를 4/5 Coding Rate 설정하여 SF 값을 7로 설정할 경우 약 55msec의 시간이 소요되고, SF 12는 경우 약 2sec의 시간이 소요됨을확인하였다. 각센서 노드의 신호특성을 분석하여 최적의 SF를 선택하는 알고리즘이 적용되어 전송된다. 하지만 자율주행차량에 가이던스 전달에 걸리는 end-to-end 100ms의 요구조건을 만족시키기 위해서는 센서 네트워크 구간에서의 latency를 최소화 하기위해 주로 SF 7로 설정되어 전송이 이뤄져야 한다.
SF와 데이터 패킷 전송시간 측정 결과 (SF and data packet transmission time measurement results)
3.3 센서 인터페이스
도로 상황 정보를 인지하기 위하여 기상센서, 가시거리센서, 노면센서 등을 적용하였으며, 센서 종류별 인터페이스 규격에 따라 전기적 연결이 가능하도록 RS-232C와 RS-485 방식을 적용하였다. 적용된 센서들은 그림 14와 같이 Modbus 프로토콜로이 적용되어 센서 단말이 Master로 센서 모듈이 Slave로 동작된다.
센서 인터페이스 프로토콜 프레임 구조 (Sensor interface protocol fame structure)
도로 상황 정보 수집을 위하여 적용된 기상 센서, 노면센서, 가시거리 센서 등으로부터 수집되는 정보는 표 4와 같다.
도로상황 인지 수집 데이터 항목 (Road situational awareness collection data)
3.4 센서 데이터 수집 체계 및 전송
3.4.1 센서 노드와 데이터 로거간
센서 네트워크 구조는 그림 15와 같이 구성된다. 센서 노드는 센서 인터페이스로 센서와 연결된 데이터 로거와 Serial로 연결된다. 센서 노드와 게이트웨이는 LPWA 무선망으로 구성되고 게이트웨이는 유선망으로 MEC와 연결되어 구성된다.
센서 네트워크 구조도 (Sensor network architecture)
기상센서7개, 가시거리센서 2개, 노면센서 8개 센서 항목으로 구성된다. 메시지 구성은 표5와 같다. 센서 노드는 10분마다 GPS로부터 시간 동기화를 수행한 후에 데이터 로거와시간 동기화를 수행한다. 센서 노드는 게이트웨이에 900MHz 대역 LPWA 무선망을 통해 패킷을 전송한다. 또한 센서 노드는 packet forwarder의 역할도 수행한다.
센서 노드와 데이터 로거간 메시지 (Messages between sensor nodes and data loggers)
센서 노드는 그림 16과 같이 데이터 로거는 기상센서, 가시거리센서, 노면센서와 UMB(Universal Measurement Bus)-Binary 프로토콜로 데이터를 모아서 RS-232 통신으로 센서 노드로 데이터를 보낸다.
센서 노드 하위 시스템 구성 (Configuring the sensor node subsystem)
3.4.2 게이트웨이와 MEC간
센서 데이터는 매 10분 단위로 측정한 값 또는 평균 값을 MEC로 보고된다. 실시간 센서 데이터는 MEC로부터 polling 방식으로 수집된다. 게이트웨이는 Time 서버로부터 10분마다 시간 동기화를 수행한다. 표 6은 게이트웨이와 MEC간 메시지 구성을 나타내고 있다.
게이트웨이와 MEC간 메시지 (Messages between gateway and MEC)
3.4.3 센서 데이터 수집
인프라 시스템 또는 내부 시스템간 데이터 연계를 위한 센서 데이터를 정의하였다. 표 7과 같이 MEC에서 센서별 데이터 정의에 따라 해석되고 데이터베이스에 저장된다.
3.5 이동형 센서 노드
그림 17은 제작된 이동형 센서 노드의 형상 및 적용 형태를 나타내고 있다. 배터리 타입으로 동작되며 도로변 또는 도로상에 설치되는 표지판, 임시 설치물 등에 내장이 가능하도록 기구물을 제작하여 설치하였고, 위치식별 및 위치 정보 업데이트 기능 시험을 완료하였다.
이동형 센서 노드 및 적용 (Mobile sensor nodes and applications)
그림 18은 기능시험을 위해 도로상에 임시 구역을 설정하여 4개의 이동형 센서 노드를 설치하여 지도상에 해당되는 위치의 위험 구역이 표시되는 것을 확인하였다.
이동형 센서 노드 데이터 수집 및 위험 구역 설정 데모 (Mobile Sensor Node Data Collection and Risk Zone Setting Demo)
3.6 지능형 센서 노드
지능형 센서 노드는 연결된 카메라 이미지로부터 도로의 낙하물을 탐지하여 결과정보를 게이트웨이로 전송한다.
도로의 낙화물 탐지를 수행하기 위해 Semantic Segmentation 알고리즘을 응용한 도로 장애물 탐지를 사용하여 고정된 카메라 환경에서의 도로위의 이상 물체를 탐지하기 위한 시스템을 구성하였다.
Cityscapes pretrain 된 모델을 사용했으며, 국내 도로에 최적화하기 위해 국내 오픈 데이터셋 교통문제 해결을 위한 CCTV교통 영상, 교통 CCTV 인공지능 학습용 데이터를 이용해 모델 전이학습을 진행하였다. 그림 19는 처리과정을 보여주고 있다.
낙화물 감지 신호 처리 과정 (Falling cargo detection signal processing process)
3.7 테스트베드 구축
실제 도로상황 정보를 수집하고 전달하기 위한 기능 검증을 위해 한국교통대학교에 센서 노드, 게이트웨이, 지능형 센서 노드를 설치하였고 센서 네트워크 구축을 통한 데이터 수집을 진행하였다. 도로상태 인지 지능형 센서, 도로상태및 환경 감지센서를 설치하여 게이트웨이에서 수집되는 데이터를 데이터베이스에 저장하였다. 이러한 수집된 정보는 모니터링을 위해 웹서비스를 구현하여 제공하였다.
그림 20은 테스트베드 구성도를 보여주고 있다. 도로 주변에 설치된 폴대에 도로상태 및 환경 센서를 설치하고 센서로부터 수집되는 센싱 데이터는 LPWA 센서노드를 통해 게이트웨이로 수집된다. 수집된 센싱 데이터는 유선망으로 MEC를 거쳐 관제 센터에서 관리된다.
테스트베드 구성도 (Testbed configuration)
그림 21은 한국교통대학교 교내 회전교차로에 설치된 모습이다. 교차로 중앙 폴대의 상단에 카메라, 노면센서, 기상센서, 가시거리 센서를 설치하였고 하단에 센서 노드와 게이트웨이를 설치하였다. 센서와 센서 노드는 1:1로 구성하였다.
테스트베드 도로환경 센서 및 통신 시스템 설치 현황(한국교통대학교 교내 회전교차로) (Testbed Road Environment Sensor and Communication System Installation Status (Korea Transport University On-campus Roundabout))
지능형 센서 노드는 카메라 이미지를 획득하여 Edge AI Processing 후에 위치 정보를 포함하여 게이트웨이로 전송한다. 게이트웨이는 센서 데이터를 수집하여 저장하고 MEC로 전송한다.
그림 22는 도로환경 센서 수집용 모니터링 시스템 구성도를 보여주고 있다. 센서 단말에서 도로 상황과 환경 센싱 정보를 수집하여 LPWA 통신망으로 게이트웨이로 전송된다. 게이트웨이로 수집되는 데이터에 대한 확인과 분석을 위해 도로환경 센서 수집용 모니터링 시스템을 구축하였다. 웹 형태의 서비스도 가능하도록 구현하여 수집되는 센싱 데이터에 대한 상태와 분석이 가능하다.
도로환경 센서 수집용 모니터링 시스템 구성도 (Monitoring system configuration for collecting road environment sensors)
그림 23은 도로환경 센서 데이터 모니터링 웹 서비스 화면을 보여주고 있다. 웹 기반으로 설치된 각 센서의 측정값은 주기적으로 수집되어지는 현재 상태값을 보여주게 되고, 데이터베이스에 저장된 누적된 데이터는 시계열 행태로 제공된다.
도로환경 센서 데이터 모니터링 웹 서비스 (Road Environment Sensor Data Monitoring Web Service)
그림 24는 한달간 수집된 센서 단말에서 보낸 데이터와 게이트웨이에서 수집된 데이터를 비교한 결과를 분석한 결과로 수집율은 98%의 성능을 보여주었다. 센싱 데이터 수집율에 대한 요구사항은 97%로 만족한 성능을 보여주었다.
도로환경 기상센서 데이터 수집(수집율 98%) (Road environment weather sensor data collection(collection rate 98%))
그림 25는 일부 K-City의 교차로 폴대에 설치된 도로환경 센서와 센서 노드, 게이트웨이 모습을 보여주고 있다. 향후 K-City에서 진행되는 자율주행 차량에 도로 상황을 판단할 수 있는 센싱 데이터에 따른 가이던스가 제공될 것이다.
K-City 센서네트워크 테스트베드 구축 (Construction of K-City Sensor Network Testbed)
Ⅳ. 결 론
본 논문은 자율주행 자동차에게 주행에 필요한 가이던스 정보를 제공하기 위해 개발되고 있는 무선 센서네트워크 기반의 도로 상황 인지 시스템을 설계하고 구현한 사례를 기술하였다. 회전교차로에 테스트베드를 구축하였고, 실제 도로상황에서 노면 상태 정보, 가시거리, 국부적인 기상 상황, 낙하물 발생 등 다양한 센서정보를 무선 센서네트워크로 수집하고 모니터링 시스템을 통해 확인하였다.
Edge computing을 통해 meta data 형태로 변환된 센싱 정보의 수집을 통해 도로 상황 정보를 LPWA 센서네트워크 통신망으로 넓은 범위에서 수집 가능하도록 시스템을 구성하였고 확장이 용이한 구조로 설계되었다. 또한 멀티채널 전송 및 RSSI와 같은 주변 무선 상황에 따라 수신율과 latency를 제어할 수 있게 구현하였다.
향후 연구에서는 단위 시스템을 통합하여 센서-MEC-V2X망 통합시스템을 자율주행 실험도시(K-City)와 화성시의 리빙랩에 적용하여 통합 시스템 평가에 기반한 센서 네트워크 성능 평가와 검증이 이루어질 예정이다.