Index


Figures


Tables

Woo and Kwon: Implementation of a Deep Learning Image Analysis-Based Disabled Parking Space Management System in an Embedded System

Chae-Yul Woo♦ and Soon-Ryang Kwon°

Implementation of a Deep Learning Image Analysis-Based Disabled Parking Space Management System in an Embedded System

Abstract: Managing parking spaces for people with disabilities is one of the socially significant issues. To address this issue, there is a need to develop a system that can monitor and manage disabled parking spaces in real-time efficiently, utilizing IoT sensors, deep learning, and video analysistechnologies. This paper aims to implement a disabled parking space management system using deep learning-based video analysis in an embedded environment. To achieve this goal, we defined 15 types of South Korean vehicle license plates and constructed a corresponding dataset. Furthermore, to improve the real-time license plate recognition accuracy, we trained license plate detection and character recognition models based on YOLOv8, applying the most superior performing model to the embedded system. By enhancing Korean character recognition rates and implementing character combination algorithms, the system's stability and accuracy were improved. This approach enables efficient management of illegal parking for various license plates in real disabled parking spaces.

Keywords: Embedded System , IoT Sensor , Deep Learning , Video Analysis , Management of Disabled ParkingSpaces

우채율♦, 권순량°

임베디드 시스템에서의 딥러닝 영상 분석 기반 장애인 주차구역 관리 시스템 구현

요 약: 본 논문은 3GPP Release 19에서 표준화되는 NTN(Non-Terrestrial Network) 장애인 주차구역 관리 문제는 사회적으로 중요한 문제 중 하나이다. 이러한 문제를 해결하기 위해서 IoT 센서, 딥러닝, 영상분석 기술을 활용하여 장애인 주차공간을 실시간으로 모니터링하고 효율적으로 관리할 수 있는 시스템 개발이 필요하다. 본 논문은 임베디드 환경에서 딥러닝 기반의 영상분석을 활용한 장애인 주차구역 관리 시스템을 구현하는 것을 목표로 한다. 이를 위해 대한민국 차량 번호판 15종을 정의하고 해당 데이터셋을 구축하였다. 또한 실시간 번호판 인식 정확도를 높이기 위해 번호판 검출 모델과 번호판 문자 검출 모델을 YOLOv8 기반으로학습하여 가장 우수한 성능의 모델을 임베디드 시스템에 적용하였다. 한글 문자 인식률 증대와 문자 조합 알고리즘 구현을 통해 시스템의 안정성과 정확성을 향상시킬 수 있었다. 이를 통해 실제 장애인 주차구역에서 다양한 번호판에 대해 인식하여 효율적인 불법 주차관리가 가능하도록 하였다.

키워드: 임베디드 시스템, IoT 센서, 딥러닝, 영상분석, 장애인 주차구역 관리

Ⅰ. 서 론

현재 도시의 인구 밀집 현상과 소득 증대의 영향으로 자동차 대수 증대로 인한 주차 공간 부족 문제가 심각한 사회문제로 부각되고 있다. 특히, 장애를 가진 사람들은 일반적으로 보행에 제약이 있거나 휠체어를 사용하므로 특별한 주차 시설이 필요하다. 그러나 장애인 주차 공간이 일반인 주차공간 부족으로 인해 불법 주차 차량에 의해 점유되거나 남용되는 사례가 빈번히 발생하고 있다.

이러한 문제를 해결하기 위해서는 엄격한 불법 주차 단속과 벌금 제도를 시행하여 장애인 주차 공간을 올바르게 관리할 수 있도록 보장하여야 한다. 하지만 현재 장애인 주차구역 관리는 주로 인력에 의존하여 이루어지고 있어 실시간으로 감시하고 관리하는 것에 한계가 있고, 인력과 시간 낭비가 발생하고 있다. 따라서, 효율적인 장애인 주차구역 관리를 위해 자동화된 주차구역 관리 시스템이 구축되어야 한다.

자동화된 주차구역 관리 시스템을 구축하기 위해 그동안 이미지 처리 및 딥러닝 기반의 번호판 인식 기술과 관련하여 다양한 연구들이 이루어져 왔다[1,2]. 하지만 대부분의 연구들은 장애인 주차구역 관리보다는 주로 입차 관리, 요금 정산 등과 같은 기초 연구 분야에 초점을 맞추고 있다.

본 논문에서는 임베디드 시스템에 IoT 센서 기술과 딥러닝 영상분석 기술을 결합하여 장애인 주차구역을 실시간으로 효율적으로 관리하는 시스템을 구현하고자 한다.

그 구체적인 내용은 다음과 같다.

첫째, 실제 주차장 내 제한된 공간에서도 쉽게 배치하고 설치할 수 있도록 작고 경량화된 임베디드 환경에 IoT 센서와 딥러닝 기반의 영상 분석 기술이 탑재된 번호판 인식장치를 구현한다.

○ 센서, 카메라, 연산장치 등의 효율적인 하드웨어 구성을 고려

○ 번호판 인식장치의 IoT 센서를 통해 실시간으로 주차 구역의 사용 여부를 감지하고 딥러닝 기반의 영상분석 기술을 사용하여 자동으로 차량의 번호판을 인식

둘째, 장애인 주차관리 플랫폼을 개발한다.

○ 현재 주차 차량이 장애인 등록 차량인지 판별

○ 불법 주차로 간주되는 경우, 알람을 발생시켜 차량 소유자의 불법 주차 상황 인지를 돕고 관리자에게 차량 정보를 제공하여 불법 주차 문제를 신속하게 해결

셋째, 번호판 인식의 성능을 향상시켜 실제 주차구역 환경에서 실용성 있는 주차관리 시스템을 구현한다.

○ 번호판 디자인 생성과 데이터 증강 기법 활용으로 차량 번호판 데이터의 다양성을 높이고 딥러닝 모델 학습에 부족한 데이터를 보완

본 논문의 구성으로는 1장 서론에 이어 2장에서는 관련 연구를 제시한다. 3장에서는 제안하는 장애인 주차구역 관리시스템의 주요 구성요소를 설명하고, 시스템을 설계 및 구현한다. 4장에서는 시스템의 기능과 성능을 실험하고 실험 결과를 검토한다. 마지막으로 5장에서는 결론을 도출한다.

Ⅱ. 관련 연구

2.1 이미지 처리 기반 번호판 인식시스템

기존 번호판 인식시스템에서 이미지 처리 기술은 그림 1과 같이 번호판의 테두리에서 발생하는 수평 에지 후보영역을 찾는 데 중요한 역할을 한다[1]. 수평 에지는 번호판 인식 알고리즘 초기 단계에서 번호판 영역과 위치를 추정하여 번호판 문자 인식에 활용할 수 있기 때문이다.

하지만 실제 주차구역에서는 조명 변화, 그림자, 반사 등의 환경 요인으로 인해 이미지의 품질이 저하되거나 노이즈가 추가될 수 있다. 이로 인해 수평 에지 감지에 악영향을 줄 수 있다.

실제 주차구역 환경에서 후보 영역을 정확하게 식별하고 번호판을 인식하려면 복잡한 이미지 처리 기술이 필요하다. 이진화, 블러, 모폴로지 연산, 영역 분할, 관심 영역 추출 등 다양한 이미지 처리 기술이 사용될 수 있다.

그림(Fig.) 1.

이미지 처리 기반 번호판 인식 알고리즘 (License Plate Recognition Algorithm based on Image Processing.)
1.png
2.2 딥러닝 기반 자동차 번호판 인식시스템

딥러닝 기반의 번호판 인식 기술은 최근에 매우 활발하게 연구되고 있지만, 대량의 학습 데이터가 필요하며 이는 번호판 인식시스템의 성능을 보장하는 데 중요한 요소가 된다. 하지만 개인정보 보호법에 따라 개인정보가 포함된 차량 번호판을 수집하고 사용하는 것은 법적으로 제한될 수 있다. 이로 인해 다양한 학습 데이터셋을 구축하는 것이 어려울 수 있다[2].

기존 연구들도 번호판 데이터를 확보하지 못해 성능을 보장하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 데이터 증강 기술을 활용하여 학습 데이터셋을 보완할 수 있다. 데이터 증강은 기존의 적은 학습 데이터셋을 다양한 방법으로 변형하여 데이터의 다양성을 높이는 기술이다.

2.3 OCR 모델 기반 자동차 번호판 인식시스템

OCR(Optical Character Recognition)은 이미지 내의 다양한 형식의 문자를 인식하여 기계가 입력받을 수 있는 문자코드로 변환하는 과정이다. 차량 번호판 문자 인식에도 OCR 기술을 활용하는 연구가 많다[3].

하지만 OCR 기술은 일반적으로 수평으로 정렬된 문서나 문자에 대해 최적화되어 있다. 따라서 수직으로 기울어진 텍스트, 또는 일부 특수한 폰트나 손글씨 등의 경우에는 OCR의 성능이 떨어진다. 특히, 문자의 각도나 왜곡이 심한 경우에는 OCR이 제대로 동작하지 않는다. OCR은 번호판의 문자를 추출하고 인식하는 데 중요한 역할을 하지만 수평 정렬을 위해 번호판 문자 인식 전에 이미지 전처리 과정을 거쳐야 한다.

그림(Fig.) 2.

OCR 모델 기반 번호판 인식 프로세스 (License Plate Recognition Process based on OCR Models)
2.png

Ⅲ. 시스템 설계 및 구현

3.1 장애인 주차구역 관리 시스템 구성도

그림 3은 본 논문에서 구현하고자 하는 장애인 주차 관리를 위한 임베디드 기반 시스템 구성도를 나타낸 것이다.

본 시스템의 동작 절차는 다음과 같다.

○ 자동차 번호판 영역 검출 학습과 번호판 숫자 및 문자를 학습하여 가장 우수한 학습 모델을 저장

○ 임베디드 환경에 학습 모델 탑재

○ 임베디드 환경에서 센서 동작 및 카메라 캡처

○ 번호판 영역 및 번호판 문자 검출

○ 정렬 알고리즘으로 번호판 문자 조합

○ 조합된 번호를 장애인 주차구역 관리 플랫폼에 전송

○ 장애인 차량 등록 데이터베이스와 비교하여 장애인 차량 여부 판단

○ 불법차량 판단 시 경광등 점멸 및 알람 발생 후, 차량 계도 수행(일정 시간 이후 과태료 부과 대상 지정)

○ 차량번호, 날짜, 시간, 영상 등을 데이터베이스에 저장

그림(Fig.) 3.

장애인 주차구역 관리를 위한 임베디드 시스템 구성도 (Embedded-based System Architecture for Disabled Parking Space Management.)
3.png
3.2 딥러닝 영상 분석 기반 번호판 인식 구현

3.2.1 번호판 데이터 정의

대한민국의 차량 번호판은 1910년에 처음 사용되었으며, 시간의 흐름에 따라 여러 차례 개정되었다[4]. 번호판은 조합 방식과 색상 등 형태상 큰 변화가 있었는데 본 논문에서는 1973년부터 2023년까지 주요 개정된 번호판을 토대로 그림 4와 같이 15종의 번호판에 대한 이미지 데이터를 정의하였다.

대한민국의 번호판은 일반적으로 1줄로 구성되어 있다. 하지만 특수한 용도의 건설기계 차량이나 영업용 차량, 일부 과거에 사용되던 차량은 2줄 번호판을 사용한다. 2줄 번호판의 경우 상단에는 해당 차량의 등록 지역을 나타내는 지역 문자와 용도 기호가 표시되고 하단에는 차량번호가 표시된다. 지역은 17개로 구분되어있다.

그림(Fig.) 4.

대한민국 차량 번호판 정의(15종) (Definition of South Korean Vehicle License Plates (15 Types).)
4.png

3.2.2 데이터 수집

딥러닝 기반의 차량번호 인식을 위해서는 충분한 양의 차량 번호판 이미지 학습 데이터가 필요하다. 학습 데이터의 다양성과 품질이 모델의 성능에 큰 영향을 미치기 때문이다. 그러나 국내에서는 ‘개인정보보호법’으로 인해 차량 번호판 데이터 확보가 어려운 실정이다[5].

본 논문에서는 위에서 정의한 15종 번호판 데이터를 수집하기 위해 AI-Hub에서 공개된 데이터셋을 활용한다. AI-Hub는 한국정보화진흥원이 운영하는 AI 통합 플랫폼으로 개발 및 활용을 위한 인프라 및 데이터셋 등의 서비스를 제공하고 있다[6].

3.2.3 데이터 생성 및 증강

본 논문에서 정의한 15종의 번호판에 대한 데이터를 AI-Hub에서 모두 확보하는 것은 어려움이 있다. 건설 기계 번호판이나 최근 시행된 법인 번호판의 경우 일반 차량 번호판에 비해 상대적으로 데이터 수집이 어렵다.

본 논문에서는 학습 데이터가 부족한 문제를 해결하기 위해 구현한 차량 번호판 생성 프로그램으로 실제 번호판 데이터와 유사한 형태로 그림 5와 같이 각 번호판의 체계에 맞춘 번호판 이미지 데이터를 생성한다.

또한, 이미지 데이터 증강 기법을 통해 생성된 번호판 데이터의 크기, 각도, 밝기, 잡음 등을 조정하여 데이터를 증강한다. 실제 데이터와 생성 데이터의 비율은 8:2로 학습 데이터셋을 구축한다. 실제 데이터의 비중을 높게 설정함으로써 모델이 실제 환경에서 직면할 수 있는 다양한 상황과 조건에 대해 더 잘 학습하도록 한다.

그림(Fig.) 5.

생성 학습 데이터 (Generated Training Data.)
5.png

3.2.4 번호판 학습

데이터 수집, 생성 및 증강을 통해 데이터셋이 구축되면 그림 6과 같이 딥러닝 기반의 번호판 인식을 위해 절차에 따라 번호판 학습을 수행한다. 최종적으로 가장 높은 성능의 모델은 임베디드 기반의 번호판 인식 장치에 탑재하여 번호판 인식을 수행한다.

○ 데이터 라벨링 : YOLO-Mark는 YOLO 객체 검출을 위한 라벨링 도구로 YOLO-Mark를 사용하여 이미지 내 번호판 객체의 경계 상자를 레이블링

○ 데이터 분할 : 라벨링이 완료되면 데이터셋을 Train, Validation, Test Data Set으로 분할

○ 번호판 영역 검출 모델 학습: YOLOv8 모델 기반으로 학습에 활용할 Train 및 Validation Data Set을 설정하고 번호판 영역 검출 모델 훈련

○ 번호판 영역 검출 : 학습이 완료된 모델을 활용하여 앞서 수집한 데이터셋에서 차량 번호판 영역을 검출하고, 해당 위치 좌표 값을 활용하여 차량 번호판 영역을 자름(Crop)

○ 번호판 문자 검출 데이터셋 구축 : Crop된 이미지 내 번호판 문자 객체의 경계 상자를 레이블링하고 데이터 분할 과정을 거친 후 최종적으로 데이터셋 구축

○ 번호판 문자 검출 모델 학습: YOLOv8 모델 기반으로 학습에 활용할 Train 및 Validation Data Set을 설정하고 번호판 문자 검출 모델 훈련

그림(Fig.) 6.

딥러닝 기반의 번호판 인식 (Deep Learning-based License Plate Recognition.)
6.png

총 31,176장의 차량 번호판 이미지 데이터를 구축하였다. 이 중 29,015장은 Train Set으로 사용하고, 1,080장은 모델의 학습 성능을 평가하기 위한 Validation Set으로 사용하였다. 나머지 1,081장은 Test Set으로 사용하여 모델의 최종 성능을 평가하였다.

번호판 영역 검출에 대한 모델은 YOLOv8 기반으로 image size 640, batch 16, epoch 100의 값을 설정하여 학습하였다.

그림 7은 학습과 검증 단계에서의 박스 및 클래스에 대한 손실율을 보여준다. 그래프는 epoch 횟수에 따라 손실되는 정도를 나타낸다. x축이 epoch 횟수이고 y축이 손실되는 정도이다.

그림(Fig.) 7.

번호판 영역 검출 모델 학습 결과 (Results of License Plate Region Detection Model Training.)
7.png

3.2.5 번호판 문자 학습

3.2.5.1 OCR 모델 기반의 번호판 문자 인식

OCR은 이미지나 스캔된 문서에서 텍스트를 자동으로 감지하고 읽어내는 기술이다. OCR 기술은 문서 스캐닝, 자동차 번호판 인식, 신용카드 인식, 자동 번역 및 자막 생성 등 다양한 응용 분야에서 사용되고 있다.

주로 사용되는 OCR 모델은 Microsoft Azure OCR, Google Cloud Vision OCR, Tesseract OCR, Easy OCR 등이 있다. 그러나 주로 오픈 소스로 제공되는 Tesseract OCR, Easy OCR을 활용하여 개발하는 경우가 많다.

본 논문에서는 번호판의 문자를 인식하기 위해 Easy OCR 모델로 번호판 문자를 학습하여 해당 모델을 검증한 결과, 테스트 이미지 총 1,081장 중 508장만 True로 인식하여 47%의 낮은 정확도를 나타내는 것을 확인하였다. 특히 번호판 숫자 문자 5를 3으로 오인식하거나 3을 8로 오인식하는 경우가 있었다.

OCR 모델의 경우 번호판의 왜곡으로 인해 오 인식되는 경우가 많았다. 또한, Easy OCR은 문자 인식에 많은 시간이 소요되었고, 이미지의 해상도에 따라 인식률에 많은 차이가 발생하였다. OCR은 여러 요소에 의해 영향을 받는 기술로 다양한 환경에서의 번호판 인식에는 적합하지 않아 다른 접근 방법이 필요하였다.

3.2.5.2 Object Detection 모델 기반의 번호판 문자 인식

Object Detection은 컴퓨터 비전 분야에서 이미지나 비디오 데이터에서 특정 객체의 위치와 해당 객체의 클래스를 탐지하는 작업이다. 즉, 입력 이미지에서 객체의 존재 여부와 위치를 식별하고, 각 객체가 어떤 클래스에 속하는지 분류한다. Object Detection은 객체의 위치를 경계 상자(Bounding Box)로 표시할 수 있으며, 일반적으로 경계 상자는 객체의 외부에 둘러싸여 있다. 경계 상자는 상단 좌측 점의 좌표와 너비 및 높이로 정의될 수 있고, 객체의 위치와 크기 정보가 포함되어 있다.

본 논문에서는 실시간으로 번호판 문자를 빠른 속도로 검출하기 위해 Object Detection 모델 중 YOLOv8 기반으로 번호판 문자를 학습하고 검출하고자 한다. 최신 버전의 YOLO 모델은 높은 정확도를 제공함으로써 번호판 문자를 정확하게 검출할 수 있다.

번호판 문자 인식을 위한 모델도 번호판 영역 검출 모델과 마찬가지로 YOLOv8 기반으로 image size 640, batch 16, epoch 100의 값을 설정하여 학습하였다.

그림 8은 학습과 검증 단계에서의 박스 및 클래스에 대한 손실율을 보여준다.

번호판의 문자를 인식하기 위해 YOLOv8 모델로 번호판 문자를 학습하여 해당 모델을 검증한 결과, 테스트 이미지 총 1,081장 중 1,070장을 정확하게 인식하였고 99%의 높은 정확도를 나타냈다. OCR 모델로 번호판 문자를 검출한 경우보다 Object Detection 모델로 번호판 문자를 검출하였을 때 더 높은 정확도를 나타내는 것을 확인할 수 있었다.

인식이 제대로 이루어지지 않은 11장 중 4장의 이미지는 번호판 문자 객체가 부분적으로 가려져 있거나 이미지 노이즈로 인해 사람의 눈으로는 판별하기 어려운 데이터였다. 나머지 7장은 대부분 건설기계 차량 데이터로 번호판에 대해서는 올바르게 인식하였으나 번호판과 유사한 객체를 오인식한 경우였다.

오인식 문제는 해당 데이터에 대한 학습을 통해 모델을 개선하거나 클래스 가중치를 조정하여 해결할 수 있다.

그림(Fig.) 8.

번호판 문자 검출 모델 학습 결과 (Results of the License Plate Character Detection Model Training.)
8.png

3.2.6 번호판 문자 조합 알고리즘

Object Detection 모델로 차량 번호판의 문자나 숫자를 검출할 때, 일반적으로 모델은 이미지에서 랜덤으로 문자나 숫자를 검출한다. 따라서 검출된 문자나 숫자가 순서대로 나타나지 않는다.

예를 들어 ‘112가2345’이라는 차량의 문자를 검출하는 경우 ‘5가324112’의 순서로 검출될 수도 있기 때문에 검출된 문자를 번호판의 순서와 형식을 고려하여 조합하는 과정이 필요하다.

본 논문에서는 1줄 번호판, 2줄 번호판의 정확한 문자 조합을 위해 번호판 문자 조합 알고리즘을 구현하였다.

1줄 번호판의 경우, 문자 검출 좌표의 x값을 기반으로 왼쪽에서 오른쪽으로 문자와 순자를 조합하면 된다. 하지만 2줄 번호판의 경우에는 문자가 위아래로 구성되어 있어 줄 구분이 필요하다.

2줄 번호판의 경우, 문자 검출 좌표의 y값을 기반으로 위아래 문자의 높이 차이를 활용하여 문자 조합을 할 수 있다. 하지만, 번호판 문자 간 높낮이 차이가 크거나 차량 번호판이 기울어져 있는 경우에는 그림 9와 같이 문자 조합에 실패하였다.

그림(Fig.) 9.

문자 조합에 실패한 번호판 (Number Plate with Failed Character Combination.)
9.png

해당 문제점을 해결하기 위해서 객체 검출 좌표의 최댓값과 최솟값의 평균을 계산하여 두 줄의 선을 나누는 기준점을 만들고 높이가 기준점보다 작은 객체들을 Top Line, 기준점보다 큰 객체들을 Bottom Line으로 나누는 알고리즘을 구현하였다. 그리고 각 라인의 검출 좌표의 x값을 계산하여 최종적으로 번호판 문자를 조합하였다.

일반적으로 번호판이 기울어져 있는 경우, 이미지 전처리를 통해 기울어진 번호판을 정면으로 보정하여 문자를 인식하는 연구도 있다. 하지만, 다양한 이미지 해상도 및 각도로 인해 오히려 번호판의 문자 변형이 일어나서 보정에 실패하는 경우도 있다.

본 논문에서는 Object Detection 모델로 다양한 환경에서도 높은 정확도로 문자를 검출할 수 있도록 증강 데이터로 모델을 학습하였고, 모델이 검출한 좌표 값을 활용하여 구현한 문자 조합 알고리즘을 통해 이미지에 번호판이 기울어져 있어도 별도의 이미지 전처리 없이 검출 좌표 값을 기반으로 문자를 조합하여 높은 정확도로 번호판 문자 인식이 가능하도록 하였다.

이를 통해 그림 10과 같이 차량 번호판이 기울어져 있어도 문자 조합에 성공하는 것을 확인할 수 있었다.

그림(Fig.) 10.

문자 조합에 성공한 번호판 (Number Plate with Successful Character Combination.)
10.png

Ⅳ. 실 험

본 논문에서는 임베디드 환경에서 딥러닝과 IoT 센서 기술을 활용하여 ‘번호판 인식장치’와 ‘장애인 주차 구역 관리 플랫폼’을 개발하였다.

‘번호판 인식장치’는 장애인 주차구역에 주차된 차량의 번호판을 인식하고, 불법 차량 감지 시 경고 및 알림을 통해 올바른 주차규칙을 유도할 수 있는 임베디드 기반의 장치이다. Rasberry Pi 4를 사용하였고 번호판 인식을 위한 YOLOv8 기반 딥러닝 학습 모델(번호판 및 문자 검출)과 번호판 인식 알고리즘을 탑재하였다. 라즈베리 OS로 Bullseye를 설치하였고 코드 동작을 위해 Python 3.9와 관련된 라이브러리와 프레임워크를 설치하고 구성하였다.

‘장애인 주차구역 관리 플랫폼’은 실시간으로 주차 상황을 모니터링할 수 있는 플랫폼이다. 도커(Docker) 기반으로 구축하였고 데이터베이스는 InfluxDB를 사용하였다.

데이터베이스에 저장된 장애인 차량번호와 현재 주차되어 있는 차량번호를 비교하여 불법 주차 차량을 식별한다. 번호판 인식장치와 장애인 주차구역 관리 플랫폼은 서로 정보와 신호를 송수신하면서 장애인 주차구역을 효율적으로 관리하고 운영한다.

그림 11과 같이 번호판 인식장치와 장애인 주차구역 관리 플랫폼, 그리고 주차 번호판 15종을 구성하고 실시간으로 아래와 같은 주요 기능들의 동작을 확인하면서 번호판 인식 성능을 실험하였다.

○번호판 문자 인식 : 번호판 인식장치에 탑재된 번호판 및 문자 검출 모델과 문자 조합 알고리즘으로 주차 번호판 인식 및 정보 추출

○ 데이터 전송 : 실시간으로 감지된 번호판 정보를 장애인 주차구역 관리 플랫폼으로 전송

○ 불법 주차 식별 : 장애인 주차구역 관리 플랫폼은 번호판 정보, 촬영 이미지, 날짜, 시간 등을 데이터 베이스에 저장하고, 장애인 등록 차량 번호와 비교하여 불법 주차 차량 식별

○ 경고음 발생 : 불법 주차 차량이 감지되면, 번호판 인식장치는 경광등 점멸 및 경고음을 발생시켜 불법 주차 차량의 주인에게 경고 알림 전달

그림(Fig.) 11.

장애인 주차구역 관리 시스템 구성 화면 (Configuration Screen of Disabled Parking Space Management System.)
11.png

실험을 위해 준비된 차량 번호판 총 15종 중 2종은 장애인 차량번호로, 나머지 13종은 일반 차량번호로 DB에 등록하였다.

실험 결과, 번호판 인식장치는 해당 차량 번호판 15종에 대해서 100% 정확도로 인식하였다. 일반 차량번호가 인식되면 그림 12와 같이 번호판 인식장치 상단에 있는 경광등의 빨간색 점멸과 함께 ‘해당 주차면은 장애인 전용 주차구역이오니 차량을 신속히 이동해 주세요’라는 알림으로 불법 주차 차량을 계도하였다.

그림(Fig.) 12.

불법 주차 시 장애인 주차구역 관리 시스템 동작 화면 (Operation Screen of Disabled Parking Space Management System for Illegal Parking.)
12.png

Ⅴ. 결 론

본 논문에서는 장애인 주차구역의 불법 주차를 관리하고 장애인들의 주차 편의성을 향상시키기 위해 임베디드 시스템에서의 딥러닝 영상분석 기반 장애인 주차 구역 관리 시스템을 구현하였다.

다양한 종류의 번호판을 인식하기 위해 15종의 번호판을 정의하고 AI-Hub를 활용하여 데이터를 수집하였다. 그러나 특정 유형의 번호판 데이터를 수집하는 것은 어려움이 있었다. 이를 해결하기 위해 번호판 생성 프로그램을 통해 유사한 형태의 이미지 데이터를 생성하고, 데이터 증강 기법을 적용하여 최종 데이터셋을 구축하였다.

이 데이터셋을 기반으로 번호판 인식 정확도를 높이기 위해 번호판 및 문자 검출을 위한 모델을 학습하였다. 문자 인식률을 높이기 위해 OCR 모델과 객체 검출 모델의 성능을 비교하여 최적의 모델을 선정하고, 문자 조합 알고리즘을 구현하여 시스템의 안정성과 정확성을 향상시켰다.

총 31,176장의 차량 번호판 이미지 데이터를 구축하였고, 이를 Train Set, Validation Set, Test Set으로 나누어 모델의 학습과 평가를 진행하였다. Test Set은 다양한 주차환경에서의 15종 번호판이 모두 포함된 데이터셋으로, Test Set 차량 이미지 데이터 총 1,081장을 실험한 결과, 1,070장을 올바르게 인식하여 99%의 높은 정확도를 달성하였다.

또한, 번호판 인식 장치 등 주요 기능들의 동작을 확인하면서 실시간으로 움직이는 15종의 번호판에 대해 성능을 평가한 실험에서도 100%의 정확도 결과를 달성하였다. 해당 실험들을 통해 다양한 주차환경에서의 번호판 인식 정확도를 검증하였고, ‘번호판 인식 장치’와 ‘장애인 주차구역 플랫폼’에 대한 실시간 기능 동작과 동적으로 주차되는 차량 번호판 15종에 대한 인식 성능도 검증하였다.

따라서 본 논문에서 구현한 시스템은 실제 환경에서 장애인들에게 주차 편의성을 제공하고 불법 주차를 예방하는 데 효과적인 도구로 활용될 수 있음을 확인할 수 있었다.

장애인 주차구역 관리 시스템과 같은 응용 분야에서는 빠른 응답 시간과 높은 정확도가 중요하므로, 이를 위해 딥러닝 모델 및 알고리즘의 최적화와 하드웨어 가속화 기술 개발이 향후 과제로 남아 있다.

Biography

우 채 율 (Chae-Yul Woo)

2014년 2월: 동명대학교 전자 공학과 졸업(공학사)

2016년 2월: 동명대학교 전기 전자정보통신 공학과 졸업 (공학석사)

2016년 3월~현재: 동명대학교 전기전자정보통신공학과 박사과정

<관심분야> 통신공학, 딥러닝, 영상처리

[ORCID:0009-0008-0389-3218]

Biography

권 순 량 (Soon-Ryang Kwon)

1982년 2월 : 동아대학교 전자 공학과 졸업(공학사)

1984년 2월 : 부산대학교 전자 공학과 졸업(공학석사)

1999년 9월 : 충남대학교 전자 공학과 졸업(공학박사)

1984년~1999년 : 한국전자통신 연구원 책임연구원

1999년 9월~현재 : 동명대학교 의료기기학과 교수

<관심분야> 딥러닝, 위치기반서비스, 센서네트워크, 홈네트워크, 이동통신시스템, ITS

[ORCID:0009-0007-6060-8914]

References

  • 1 J. S. Heo and S. W. Heo, "A novel license plate detection algorithm for an embedded system," J. IEIE Trans. on Smart Process. & Comput., vol. 8, no. 1, pp. 14-21, Feb. 2019. (https://doi.org/10.5573/ieiespc.2019.8.1.014)doi:[[[10.5573/ieiespc.2019.8.1.014]]]
  • 2 D. H. Kim, D. H. Kim, and D. H. Lee, "A robust real-time license plate recognition system using anchor-free method and convolutional neural network," J. The Korea Soc. of Comput. Inf., vol. 27, no. 4, pp. 1926, Apr. 2022. (https://doi.org/10.9708/jksci.2022.27.04.019)doi:[[[10.9708/jksci.2022.27.04.019]]]
  • 3 H. J. Park, S. H. Lee, and Y. H. Lee, "License plate detection, and recognition system using OCR," in Proc. KIIT Conf., pp. 430-434, Jeju Island, Korea, Dec. 2022.custom:[[[-]]]
  • 4 Wikipedia, Vehicle registration plates of South Korea, Retrieved Feb. 29, 2024, from https://e n.wikipedia.org/wiki/Vehicle_registration_plate s_of_South_Korea.custom:[[[https://en.wikipedia.org/wiki/Vehicle_registration_plates_of_South_Korea]]]
  • 5 G. S. Lee, B. J. Hak, and C. G. Sung, "Development of vehicle number generation program for artificial intelligence," J. The Korean Cadastre Inf. Assoc., vol. 25, no. 2, pp. 143-158, Aug. 2023.custom:[[[-]]]
  • 6 National Information Society Agency, Dataset for Recognizing Car Models/Y ear/Number Plates from Video, Retrieved Feb. 29, 2024, from https://www.aihub.or.kr/aihubdata/data/view.d o?currMenu=115&topMenu=100&aihubDataSe =data&dataSetSn=172 1020custom:[[[https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=1721020]]]

Statistics


Related Articles

Implementation of a Reliable VUI System on Edge Device
J. Kim, P. A. Oroceo, W. Lim
Suppressing the Acoustic Effects of UAV Propellers through Deep Learning-Based Active Noise Cancellation
F. A. Khan and S. Y. Shin
런타임 이벤트 및 상태 로깅을 통한 차량용 ECU의 리셋 원인 분석 방법
J. Choi, S. Jung, J. Bae, M. Ryu
인지 라디오 RF 하베스팅 IoT 네트워크의 자원 최적화
D. Seo, H. Nam, J. Oh, S. Choi
비암호화 데이터 학습을 통한 응용 트래픽 분류
J. Kim, Y. Jang, U. Baek, M. Kim
비콘을 활용한 청각장애인용 화재 대피 시스템의 구현
J. Park, S. Lee, M. Jung, D. Kim
CRANet을 활용한 블라인드 채널코딩 인식
S. Shin and W. Lim
다중 복합센서를 이용한 과학화 경계시스템 설계 및 테스트베드를 통한 성능 고찰
S. MOON and W. CHO
딥러닝을 이용한 동일 주파수 대역에 공존하는 통신 및 레이더 신호 분리
S. Jung and H. Nam
Lightweight LiDAR—Camera Online Extrinsic Calibration with Multi-Dilation Encoder Blocks
S. Kim and Y. Jang

Cite this article

IEEE Style
C. Woo and S. Kwon, "Implementation of a Deep Learning Image Analysis-Based Disabled Parking Space Management System in an Embedded System," The Journal of Korean Institute of Communications and Information Sciences, vol. 49, no. 7, pp. 1012-1020, 2024. DOI: 10.7840/kics.2024.49.7.1012.


ACM Style
Chae-Yul Woo and Soon-Ryang Kwon. 2024. Implementation of a Deep Learning Image Analysis-Based Disabled Parking Space Management System in an Embedded System. The Journal of Korean Institute of Communications and Information Sciences, 49, 7, (2024), 1012-1020. DOI: 10.7840/kics.2024.49.7.1012.


KICS Style
Chae-Yul Woo and Soon-Ryang Kwon, "Implementation of a Deep Learning Image Analysis-Based Disabled Parking Space Management System in an Embedded System," The Journal of Korean Institute of Communications and Information Sciences, vol. 49, no. 7, pp. 1012-1020, 7. 2024. (https://doi.org/10.7840/kics.2024.49.7.1012)