Index


Figures


Tables

Lim , Lee , Oh , and Kim: YOLO-Based Electric Scooter Crackdown Platform

Young-Hoon Lim♦ , Seung-Hyun Lee* , Sung-Hyun Oh* and Jeong-Gon Kim°

YOLO-Based Electric Scooter Crackdown Platform

Abstract: Recently, with the popularity of electric kickboards, concerns over traffic safety problems are increasing. The government revised the Road Traffic Act to expand the allowable range of electric kickboards to strengthen traffic safety, but there are also negative aspects. Most of the shared kickboard users appear to violate the regulations, and traffic accidents are also rapidly increasing. In this situation, this paper developed a model that detects kickboard misconduct using You Only Look Once Version 5. The developed model detects non-worn helmets and multi-seater boarding in real time, identifies users, and collects fines through the web page. Through actual tests, it was confirmed that each model is commercially available as mAP50 = 99.5, mAP50-90 = 99.457, mAP50 = 99.5 and mAP = 81.813. The proposed system based on these results can achieve two major expected effects. First, in terms of strengthening traffic safety, drivers will be fined immediately if they violate the regulations, which is expected to form more responsible and safe driving habits. In addition, it is expected that efficient traffic control will be possible as road safety can be maintained while saving human monitoring personnel.

Keywords: AI , Illegal driving detecting , Web , YOLOv5 , Electric KickBoard

임영훈♦, 이승현*, 오성현*, 김정곤°

YOLO 기반 전동 킥보드 단속 플랫폼

요 약: 최근 전동 킥보드의 인기와 함께 발생하는 교통안전 문제에 대해 고민이 높아지고 있다. 정부는 교통안전 강화를 위해 ꡔ도로교통법ꡕ을 개정하여 전동 킥보드의 허용 범위를 확대했지만, 이에 따른 부정적인 부분도 나타나고있다. 공유 킥보드 이용자들 중 대다수가 규정을 위반하는 것으로 나타나며, 교통사고 또한 급증하고 있다. 이러한문제를 해결하기 위해, 본 논문에서는 YOLOv5(You Only Look Once Version 5) 기반 전동 킥보드 단속 플랫폼을 개발하였다. 개발된 플랫폼은 YOLO를 통해 헬멧 미착용 및 다인승 탑승을 실시간으로 감지하고 사용자를 식별한 후 과태료를 웹페이지를 통해 징수한다. 실제 테스트를 통해 각 모델이 mAP50= 99.5, mAP50-90 = 99.457 와 mAP50 = 99.5, mAP50-95 = 81.813로서 상용 가능함을 확인하였다. 이러한 결과를 바탕으로 제안하는 시스템은 두 가지 주요한 기대효과를 얻을 수 있다. 먼저, 교통안전 강화 측면에서는 운전자들이 규정을 어길 경우 즉시 벌금을 납부해야 되므로, 보다 책임감 있고 안전한 운전 습관을 형성할 것으로 예상된다. 또한, 사람 감시 인력을 절약하면서도 도로 안전을 유지할 수 있어 효율적인 교통 단속이 가능해질 것으로 기대된다.

키워드: 인공지능, 불법 주행 감지, 웹, Yolov5, 전동 킥보드

Ⅰ. 서 론

최근 전동 킥보드로 대표되는 PM(Personal Mobility)은 가까운 거리를 이동할 때 언제, 어디서든 쉽게 이용할 수 있어, 매년 이용자가 증가하고 있다. 시장조사 기관인 'Grand View Research'에 따르면, 전세계 PM 시장은 2020년 13조원 규모에서 2028년까지 연평균 5.8% 성장할 것으로 전망되며, 국내 시장은 더 빠른 속도로 성장 중이다[1]. 한국교통연구원은 국내 PM 시장이 연평균 20% 이상 성장할 것으로 예상한다[2]. 이에 따라 국회는 PM의 편의성 제고를 위해 자전거도로 이용을 허용하는 등 『도로교통법』을 개정하여 2020년 12월부터 시행하였다.

전동 킥보드 시스템이 교통체계에 도입되면서 PM 이용 향상에 긍정적인 영향도 있었지만, 부정적인 부분 또한 제기되었다. 이는 공유 킥보드를 이용자 수의 대다수가 해당 교통법규를 지키지 않는다는 점이다. PM 관련 사고가 증가하는 만큼 정부는 『개정 도로교통법』을 2021년 5월 13일부터 적용했다[3].

그러나 경찰청의 자료에 따르면 『개정 도로교통법』이 시행된 지 약 1년간(‘21.5~’22.6) 법규 위반 건수는 총 13.6만 건이며, 이에 따른 범칙금만 43억에 이른다. 전체 교통법규 위반 건수 중 65%는 수도권에 쏠려있는 것으로 나타났다. 표 1에 제시된 바와 같이, 교통법규 위반 사유별로 살펴보면 안전모 미착용이 106,451건으로 가장 높은 비중을 차지했다.

표(Table) 1.

킥보드 법규 위반 단속 관련 통계현황 (Statistics related to crackdown on violations of electric scooter laws)
Year Total Non helmet Multi person boarding Unlicensed driving Drunk driving Others
2021 73,631 58,579 416 7,168 2,589 4,879
2022.6 62,590 47,872 412 6,641 3,164 4,501

표 2에서 볼 수 있듯이, 전동 킥보드 사용량이 급증하여 교통사고 건수도 크게 늘었다. 경찰청에 따르면 전동 킥보드 사고 건수는 2018년 225건, 2019년 447건, 2020년 897건, 지난해 1,735건으로 매년 약 2배씩 증가하고 있다[4]. 이중 킥보드 사고로 인한 사망사고 또한 크게 늘었다. 2018년 4건이었으나, 2021년 사망사고는 21건으로 비율상으로는 5배 이상 늘었다.

표(Table) 2.

개인형 이동장치 교통사고 현황 (Traffic accidents in personal mobility unit (Unit : Number of people))
Category 2018 2019 2020 2021 2022(B) Total B/A
Number of Cases 225 447 897 1735 2386 5690 10.6
Number of Deaths 4 8 10 19 26 67 6.5
Number of Injuries 238 473 985 1901 2684 6281 11.3

이와 같은 사고의 주요 원인으로는 헬멧 미착용이 지목된다. 기존 연구에 따르면, 헬멧 착용은 사고 발생 시 두부 손상률을 약 70% 감소시키고, 사망률을 약 40% 낮출 수 있는 중요한 보호 장치로 작용한다[5]. 반면, 헬멧을 착용하지 않을 경우 두부 손상 위험이 크게 증가하며, 이는 사망사고로 이어질 가능성을 높인다.

그럼에도, 헬멧 착용의 중요성이 충분히 인식되지 않아 법규 위반이 빈번하게 발생하고 있다. 『개정 도로교통법』은 전동 킥보드와 같은 PM(Personal Mobility)의 법규 위반에 대한 처벌이 제한적이어서, 헬멧 미착용을 비롯한 법규 위반 행위가 지속적으로 증가하고 있다. 현재 단속은 주로 경찰의 인력과 자원을 통해 이루어지고 있으나, 제한된 인력으로 인해 모든 지역과 시간에 걸쳐 효과적인 단속이 어려운 상황이다.

또한, 많은 전동 킥보드 이용자들이 관련 도로교통법을 충분히 숙지하지 못해 반복적인 법규 위반이 발생하는 원인이 되고 있다.

전동 킥보드 안전 문제를 해결하기 위해, 기존 연구에서는 센서 기반 데이터 수집이나 YOLO 모델과 같은 다양한 기법을 시도해 왔다. 그러나 이러한 시도들은 몇 가지 한계로 인해 실제 법규 단속 체계와 완전히 접목되지 못하고 있다.

먼저, CNN·LSTM을 이용해 전동 킥보드 주행 데이터를 분석하거나, 초음파·압력 센서로 다인승 탑승을 감지하는 방식이 제안된 바 있다[6,7]. 이러한 센서 기반 접근은 비교적 직관적인 방법으로 위반 상황을 감지할 수 있으나, 추가 하드웨어 설치에 따른 비용과 환경적 부담이 크며, 헬멧 미착용처럼 시각적 분석이 필요한 위반 상황에 대응하기 어려운 문제가 있다.

한편, 전동 킥보드 탑승자의 헬멧 착용 여부를 인식하기 위해 YOLO 모델이 적용된 연구도 보고되었다[8]. YOLO는 높은 정확도와 빠른 처리 속도로 실시간 객체 인식에 적합하지만, 다인승 탑승이나 GPS 기반 기록 등 복합적인 법규 위반 상황을 동시에 처리하기에는 제약이 많았고, 인식 결과를 즉시 과태료 부과나 서버 기록으로 연결할 수 있는 후속 절차도 미흡해 실제 단속 단계로 확장하기 어렵다는 문제가 있다.

본 연구에서는 이러한 한계를 극복하기 위하여, 전동 킥보드 헬멧 미착용 및 다인승 탑승을 YOLO 기반으로 실시간 탐지하고, 탐지된 위반 정보를 GPS 데이터와 결합하여 자동으로 기록·관리하는 단속 플랫폼을 제안한다. AWS 기반 웹 애플리케이션을 통합하여 위반 사항 조회 및 과태료 납부 기능을 제공함으로써, 기존 단속 방식의 효율성과 확장성을 높이고자 한다. 이를 통해 단순 안전 안내 수준을 넘어, 실제 법규 준수를 강화할 수 있는 구체적인 IoT·클라우드 융합 솔루션을 마련하고자 한다.

본 연구의 주요 성과는 다음과 같다. 첫째, 이중 객체 인식 모델(RIDE 모델·VIOLATION 모델) 설계하였다. 전동 킥보드가 지나가는 순간 촬영된 이미지를 RIDE 모델로 먼저 분석하여 킥보드 탑승 여부를 분류한 뒤, 탑승자로 판별된 이미지를 VIOLATION 모델에서 헬멧 착용 여부·다인승 탑승 여부로 세분화한다. 이러한 계층적 구조를 통해 보다 정교하고 향상된 객체 인식과 위반 행위 검출이 가능해졌다. 실제 실험 결과, mAP50 기준 99.5%의 높은 검출 성능을 달성하였다.

둘째, 제한된 연산 자원 환경에서도 실시간 탐지 구현하였다. 평균 20~25 FPS의 실시간 처리 속도를 확보하면서도 GPU 의존도를 최소화하여, 고사양 장비 없이도 전동 킥보드 위반 행위를 안정적으로 탐지할 수 있도록 하였다.

셋째, GPS 데이터 연계 및 즉시 과태료 부과 프로세스를 확립하였다. 전동 킥보드의 위반 행위 발생위치를 GPS 데이터로 자동 기록하고, AWS 기반 서버와 연동하여 실시간 위반 정보를 제공하였다. 특히, 위반 시 즉시 과태료를 징수하는 체계를 통합함으로써 기존 연구들이 ‘탐지’에서 그쳤던 한계를 넘어, 실제 법규 준수 효과를 극대화하였다.

본 논문의 구조는 다음과 같다. 2절에서는 제안하는 YOLO 기반 킥보드 단속 플랫폼 개발 개요, 3절에서는 제안하는 YOLOv5 모델의 학습 성능을 평가한다. 이후, 4절에서는 사용자 구분 시스템의 동작을 설명한다. 5절에서는 구현된 공유형 킥보드 단속 플랫폼의 테스트 결과를 제시한다. 끝으로, 6절에서는 추후 연구 방향을 제시하며 본 논문의 결론을 맺는다.

Ⅱ. YOLO 기반 킥보드 단속 플랫폼 개발 개요

2.1 개발 시스템 구성 개요

본 절에서는 제안하는 시스템의 전체적인 개요를 설명한다. 먼저, 제안하는 시스템의 개념도는 그림 1과 같다.

그림(Fig.) 1.

전체 시스템 구성도 (Overall system configuration)
1.png

그림 1에서 볼 수 있듯이, 제안하는 플랫폼은 세 가지 주요 구성 요소로 구분할 수 있다.

첫 번째 구성 요소는 적외선 카메라를 포함한 실시간 촬영부로, 도로 환경을 지속적으로 모니터링하며 킥보드 이용자가 탐지 범위를 통과할 때 이미지를 캡처한다. 이 과정에서 촬영된 이미지는 시스템의 다음 단계로 전달된다, 동시에, 공유형 킥보드에 부착된 GPS 모듈이 위치 데이터를 수집하여 Sever에 송신한다.

두 번째 구성 요소는 YOLOv5s 기반의 AI 엔진으로, 촬영된 이미지를 분석하여 헬멧 착용 여부 및 다인 탑승 여부와 같은 법규 위반 행위를 검출한다. 이 엔진은 오프라인 학습 단계에서 실시간 데이터를 기반으로 훈련되며, 학습된 모델을 실제환경에 적용하여 위반행위를 실시간으로 탐지한다.

세 번째 구성 요소는 사용자 알림 및 데이터 관리 시스템으로, AI 엔진에서 검출된 위반 데이터와 GPS 모듈에서 수집된 위치 정보를 결합하여, 웹페이지(WebPage)에 법규 위반 기록을 저장·관리한다. 이 웹페이지를 통해 위반 시간, 발생 위치, 벌금 등을 직관적으로 확인할 수 있으며, 필요한 경우 즉시 과태료 납부 등 후속 조치가 가능하도록 설계하였다.

2.2 YOLOv5(You Only Look Once Version 5)

본 연구는 전동 킥보드 법규 위반을 실시간으로 탐지하기 위해 YOLOv5 모델을 채택하였다. YOLOv5는 이미지를 한 번만 분석하는 단일 신경망 구조로, 후보 영역을 반복 생성하는 R-CNN 계열 대비 연산량이 적고 추론 속도가 빠르다는 장점을 갖는다[9-11].

그림 2는 Ultralytics GitHub에서 공개된 YOLOv5(s, m, l, x)와 EfficientDet 모델을 COCO val2017 데이터셋 기준으로 비교한 결과로, AWS V100 인스턴스에서 batch size=32로 측정되었다[12].

그림(Fig.) 2.

YOLOv5 성능 비교 (YOLOv5 performance comparison)
2.png

EfficientDet 모델은 Google AutoML 환경에서 batch size=8 설정으로 평가된 자료를 인용한 것이며, GPU Latency는 약 15ms 이하로 크지 않았다. 그러나 모델 크기와 연산 효율성을 고려할 때, Raspberry Pi 5 같은 저전력 임베디드 환경에서는 YOLOv5s가 가장 적합하다고 판단하였다.

본 논문은 전동 킥보드 위반 행위를 실시간으로 탐지하기 위한 구현 논문(implementation paper)으로, 고사양 GPU 없이도 정확도와 연산 속도를 만족해야 하므로 YOLOv5s의 경량화와 최적화에 집중하였다. 따라서, 다양한 객체 인식 모델과의 폭넓은 비교보다는, 임베디드 환경에서 실제 적용성을 극대화하기 위해 YOLOv5s를 최종 채택하였으며, 추가 모델 비교 실험은 본 연구 범위를 벗어난다고 판단했다.

2.3 이중 객체 인식 모델

본 연구에서는 전동 킥보드의 법규 위반 행위를 효과적으로 탐지하기 위해 두 가지 객체 인식 모델을 설계하였다. 첫 번째 모델인 “RIDE”와 두 번째 모델인 “VIOLATION”은 각각의 역할과 목적에 따라 직접 수집한 데이터 셋을 기반으로 학습되었다.

RIDE 모델은 전동 킥보드 탑승자를 인식하고 탑승여부를 구분하는 것을 주요 목적으로 한다. 이를 위해 총 1,256장의 이미지를 포함한 데이터 셋이 활용되었으며, Ride(킥보드 탑승)와 Non-Ride(보행자 또는 킥보드 미탑승) 두 클래스로 라벨링 되었다. 두 클래스의 데이터는 각각 50%씩 균등하게 분포되었으며, 이 데이터를 학습한 RIDE 모델은 탑승 여부를 정확히 식별하여 후속 분석에 필요한 데이터를 제공한다.

RIDE 모델에서 Ride로 분류된 데이터는 VIOLATION 모델로 전달되어, 헬멧 착용 여부와 다인 탑승 여부를 탐지하기 위한 입력 데이터로 활용된다. VIOLATION 모델은 총 1,689장의 이미지로 구성된 데이터 셋을 기반으로 학습되었으며, 다양한 법규 위반 시나리오를 반영하여 다음과 같은 5가지 클래스로 정의되었다. Helmet(헬멧 착용), Non_Helmet(헬멧 미착용), Kick_Board(킥보드 탑승), People(다인 탑승), Person(탑승자 수). 데이터 셋의 클래스 분포는 헬멧 미착용 1명(30%), 다인 탑승(헬멧 미착용)(25%), 다인 탑승(한 명만 헬멧 착용)(20%), 다인 탑승(두 명 모두 헬멧 착용)(15%), 헬멧 착용 1명(단일 탑승)(10%)으로 구성되어, 다양한 상황에서의 탐지를 가능하게 하였다.

이 과정에서, 본 연구는 그림 3과 같이 데이터 셋을 직접 확보하고 가공하여 모델 학습의 효율성을 높였다. RIDE 모델의 detect.py를 수정하여 전동 킥보드 탑승자가 감지되면 이를 객체로 인식하고 저장하도록 설정하였다. 이후 저장된 이미지에서 라벨링 Box로 지정된 부분만 crop 하여 VIOLATION 모델의 학습에 사용되었다. 이러한 crop 과정은 불필요한 배경 정보를 제거하고, VIOLATION 모델이 법규 위반 행위를 보다 정확히 탐지할 수 있도록 데이터 품질을 개선하는 역할을 한다[13].

그림(Fig.) 3.

데이터셋 라벨링(RIDE 모델) (Dataset labeling(RIDE model))
3.png

그림 4에서 확인할 수 있듯, crop된 데이터는 VIOLATION 모델 학습에 활용되며, 추가적으로 1차 필터링 과정을 거친다. 이 과정에서는 킥보드만 감지된 경우와 같은 불필요한 데이터는 저장되지 않도록 하여 학습 데이터의 정확성을 더욱 높였다. 최종적으로, VIOLATION 모델은 헬멧 미착용과 다인 탑승이라는 두 가지 주요 법규 위반 행위를 효과적으로 탐지할 수 있도록 학습되었다.

그림(Fig.) 4.

데이터셋 라벨링(VIOLATION 모델) (Dataset labeling(VIOLATION model))
4.png

Ⅲ. 제안된 YOLO 모델 학습 성능 평가

본 절에서는 제안된 YOLO 모델의 성능을 보다 객관적으로 평가하기 위하여 다양한 지표를 사용한다. 대표적으로 Confusion Matrix, Precision(정밀도), Recall(재현율), F1 Score와 더불어 mAP(Mean Average Precision) 지표를 병행하여 측정하였다. 추가적으로, 객체 탐지 분야에서는 Intersection over Union(IoU), AP(Average Precision), FPS(Frame per Second) 등의 지표도 중요한 성능 지표로 활용될 수 있으며, 본 연구에서는 mAP와 IoU 임계값 변화(mAP50, mAP50-95)를 중점적으로 분석하였다. Precision과 Recall은 각각 수식 (1), (2)와 같이 정의된다.

(1)
[TeX:] $$\text { Precision }=\frac{T P}{T P+F P}$$

(2)
[TeX:] $$\text { Recall }=\frac{T P}{T P+F N}$$

3.1 Confusion Matrix 및 Precision, Recall

객체 인식 모델의 성능을 평가할 때 가장 먼저 살펴볼 수 있는 지표로 Confusion Matrix가 있다. 이는 예측 결과와 실제 레이블 간의 관계를 행렬 형태로 표현하여, True Positive(TP), False Positive(FP), False Negative(FN), True Negative(TN)를 한눈에 확인할 수 있게 한다[14].

여기서 TP(True Positive)는 모델이 Positive로 예측했을 때 실제로도 Positive인 경우를 나타내고, FP(False Positive)는 모델이 Positive로 잘못 예측한 경우를 의미한다. FN(False Negative)는 모델이 Negative로 예측했지만 실제는 Positive였던 경우이며, TN(True Negative)는 모델이 Negative로 예측했을 때 실제도 Negative인 경우를 의미한다[15].

본 연구에서는 전동 킥보드 탑승 여부를 판별하는 RIDE 모델과, 헬멧 미착용/다인 탑승 등을 판별하는 VIOLATION 모델 모두에 대해 Confusion Matrix를 구성하였다. RIDE 모델 학습 데이터 셋은 총 1,256장 중 70%(877장)를 Train, 20%(252장)를 Valid, 10%(127장)를 Test로 분할하였고, VIOLATION 모델은 1,689장 중 같은 비율(Train:Valid:Test = 7:2:1)로 구성하였다. 두 모델의 batch size는 32, epoch는 250으로 설정하였다.

3.2 RIDE 모델 혼동행렬 결과

그림 5는 RIDE 모델의 Confusion Matrix로, Non Ride, Ride, Background 세 가지 클래스를 대상으로 한다. X축은 실제 클래스, Y축은 모델의 예측 클래스를 나타낸다. 해당 결과에서 Non Ride와 Ride에 대한 오분류 사례가 거의 없음을 확인하였고, Background 클래스 또한 별도의 검출 오류가 발생하지 않았다. 표 3은 Confusion Matrix를 통해 계산한 각 클래스별 Precision이다. 모든 클래스에서 Precision이 1.0으로 나타나 매우 높은 정확도를 보였다.

그림(Fig.) 5.

RIDE 모델 혼동행렬 (Confusion matrix of RIDE model)
5.png

표(Table) 3.

RIDE 모델의 각 클래스별 정밀도 (Precision for each class of RIDE model)
Class Non-Ride Ride
Precision 1.0 1.0
3.3 VIOLATION 모델 혼동행렬 결과

그림 6은 헬멧 미착용, 다인 탑승 등 불법 주행 여부를 판단하는 VIOLATION 모델의 Confusion Matrix로, Helmet, Kick_Board, Non_Helmet, People, Person의 다섯 클래스를 학습하였다. 전체적으로 잘못된 예측(FP, FN)이 거의 없었으며, 각 클래스별 Precision과 Recall 모두 우수하게 나타났다. 표 4는 각 클래스별 Precision을 요약한 결과로, 모두 1.0의 값을 나타내어 높은 성능을 보였다.

그림(Fig.) 6.

VIOLATION 모델 혼동행렬 (Confusion matrix of VIOLATION model)
6.png

표(Table) 4.

VIOLATION 모델의 각 클래스별 정밀도 (Precision for each class of VIOLATION model)
Class helmet kickboard nonhelmet people person
Precision 1.0 1.0 1.0 1.0 1.0
3.4 F1 Score 평가

F1 Score는 Precision과 Recall의 조화평균으로, 두 지표가 균형을 잘 이루고 있는지를 확인하기 위한 척도이다[16]. 불균형 데이터 셋에서 성능을 평가할 때 특히 유용하다. F1 Score는 다음 식 (3)과 같이 정의된다.

(3)
[TeX:] $$F 1=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}$$

그림 7과 그림 8은 각 모델(RIDE, VIOLATION)의 F1 Score를 Confidence 값에 따라 측정한 결과이다. RIDE 모델은 Confidence = 0.822일 때 모든 클래스에서 F1 = 1이 도출되었으며, VIOLATION 모델은 Confidence = 0.742에서 F1 = 1을 달성하였다. 이는 실제 환경에서 해당 Confidence 값을 적용하였을 때 오탐(false positive) 및 미탐(false negative) 모두 최소화됨을 시사한다.

그림(Fig.) 7.

RIDE 모델의 F1 신뢰곡선 (F1 confidence curve of RIDE model)
7.png

그림(Fig.) 8.

VIOLATION 모델의 F1 신뢰곡선 (F1 confidence curve of VIOLATION model)
8.png
3.5 mAP

객체 탐지(Detection) 분야에서 mAP(Mean Average Precision)는 매우 널리 사용되는 지표로, 예측된 Bounding Box와 실제 객체 Bounding Box 간의 IoU(Intersection over Union)가 일정 기준(임계값) 이 상일 때를 정답으로 본다. 일반적으로 mAP50, mAP75 처럼 특정 IoU 임계값에서의 정확도를 볼 수 있으며, COCO(Common Objects in Context) 평가 방식에서는 mAP50-95(0.5~0.95 범위에서 0.05 간격으로 평균)도 사용하여 세분화된 성능을 측정한다[17].

표 5는 제안된 RIDE 모델과 VIOLATION 모델의 mAP, Precision, Recall 값을 요약한 결과이다. RIDE 모델은 mAP50에서 99.5, mAP50-95에서 99.457로 매우 높은 검출 성능을 보였다. VIOLATION 모델 또한 mAP50은 99.5로 뛰어난 결과를 달성하였으나, mAP50-95는 81.813으로 RIDE 모델보다 상대적으로 낮게 나타났다. 이는 IoU 임계값을 0.9 이상으로 높였을 때 모델이 객체의 정확한 경계를 예측하는 데 다소 어려움을 겪을 수 있음을 의미한다. 추가적으로, 본 연구에서는 실시간성을 확인하기 위해 임베디드 환경(Raspberry Pi)에서의 FPS(Frame per Second)를 측정하였다. 평균 20~25 FPS로 동작하여 실시간 탐지에 무리가 없음을 확인하였다.

표(Table) 5.

제안된 모델별 학습 결과 (Training results by proposed model)
Model mAP50-95 mAP50 Precision Recall
RIDE 99.457 99.5 0.9996 1
VIOLATION 81.813 99.5 0.9985 0.9994

Ⅳ. 사용자 구분 시스템

본 절에서는 전동 킥보드 사용자의 법규 위반 여부에 따라 사용자를 구분하는 시스템에 대해 설명한다. 이를 위해, GPS(Global Positioning System) 모듈, 감시 카메라 및 Wi-Fi 모듈을 활용하여 사용자를 구분하고자 한다.

먼저, 감시 카메라가 설치된 위치는 한국공학대학교 산학 융합관 인도 거리로, 위도 37.33906도, 경도 126.7348도이다. 해당 위치에서 GPS 모듈을 탑재한 전동 킥보드의 위치를 모니터링하여 오차 범위 내 접근 여부를 판단한다. 이 위치 오차 범위는 0.00036도로 설정되어 있으며, 이는 약 10 미터의 범위를 나타낸다. 이 설정은 GPS 신호의 변동성을 고려한 것이다.

사용자 구분 시스템은 ARDUINO UNO R3 보드와 ESP8266 WiFi 모듈을 이용하여 구현하였다. ARDUINO UNO R3 보드는 GPS 모듈과 연결되어 실시간으로 사용자의 위치를 수집한다[18]. GPS 모듈은 사용자의 위치를 위도와 경도로 변환한다.

현재 설정된 위치의 위도 및 경도 정보와 사용자의 위치 정보가 오차 범위 내에 있을 때, 이를 통해 사용자가 목표 위치에 도달했음을 확인할 수 있다. 이때 ESP8266 모듈은 사용자의 현재 위치를 감지하고, 주변의 WiFi 신호를 포착한다. ESP8266 모듈 사용자 명을 Sever로 전송하여 사용자의 위치 정보를 얻을 수 있다.

그림 9는 ESP8266 모듈을 이용하여 ARDUINO UNO R3가 Wi-Fi 네트워크에 연결되는 절차를 보여준다. 9-(1)을 보면 WiFi 연결 준비 상태(Ready)에 IP(Internet Protocol) 주소가 할당된 모습을 보여준다. 9-(2)는 Station mode가 “OK”로 설정되어 네트워크에 연결할 준비가 완료된 상태를 확인할 수 있다. 9-(3)처럼 SSID(Service Set IDentifier)와 password를 사용하여 연결 시도가 성공적으로 시도되는 과정이 나타난다. 마지막으로, 9-(4)와 같이 WiFi가 연결된 결과를 보여준다.

그림(Fig.) 9.

ESP 8266 기반 Wi-Fi 접속 절차 (ESP 8266 based Wi-Fi connect procedure)
9.png

그림 10은 수집한 GPS 정보와 사용자 명을 시리얼 모니터에 출력한 화면이다. 위치 정보에서 LAT는 위도, LON은 경도, SAT는 위성의 연결 상태, PREC은 GPS 정확도이다. ARDUINO UNO R3 보드에 연결된 GPS 모듈을 통해 실시간으로 수집된 위치 데이터를 기반으로 한다.

그림(Fig.) 10.

GPS 수신 결과 (GPS reception result)
10.png

사용자는 “Lee Seung Hyun”이라는 이름으로 식별되며, 이는 GPS 데이터를 기반으로시스템이 해당 사용자의 정보를 수집하고 처리했음을 의미한다. 이 과정에서 “Lee Seung Hyun”의 이름과 GPS 정보가 함께 시스템에 의해 처리되어, 시리얼 모니터에 출력된다.

시리얼 모니터에 표시된 GPS 수신데이터를 보면, LAN과 LON이 설정된 목표 위치에 내에 있는 것을 확인했다. SAT는 8에서 10 사이로 나타나며, 위성 연결 상태 값이 10에 가까울수록 더 정확한 위치 정보를 제공한다. PREC 값은 87에서 155 사이로, 이 값이 낮을수록 위치 정보가 더 정확하며, 87에서 155 사이의 값은 실시간 위치 추적 시스템에서 충분히 신뢰할 수 있는 범위임을 보여준다. 이후, 수집된 데이터는 ESP8266 Wi-Fi 모듈을 통해 Sever로 전송된다.

Ⅴ. 실증 세부 내용

본 절에서는 제안된 RIDE 모델과 VIOLATION 모델이 전동 킥보드 법규 위반을 얼마나 정확히 검출하는지 평가하고, 벌금 징수시스템이 실제로 정상 동작하는지 검증한다. 이를 위해 테스트 환경과 실험 시나리오를 먼저 소개하고, 이어서 각 모델의 검출 결과와 해석을 제시한다.

5.1 테스트 환경 및 시나리오

본 연구에서는 전동 킥보드 법규 위반 행위를 실시간으로 검출하기 위한 테스트 환경을 구축하였으며, 이를 검증하기 위해 표 6과 같은 실험 환경을 구성하였다. 또한, 헬멧 착용 여부와 탑승 인원에 따른 다양한 위반 사례를 반영하기 위해, 표 7과 같은 5가지 시나리오를 설계하였다. 테스트는 상용 전동킥보드를 이용하여 한국공학대학교 산학융합관 외부에서 수행하였다.

표(Table) 6.

실험 환경 구성 (Experimental Environment Configuration)
Category Details
Hardware - Raspberry Pi 5 (8GB RAM),
- ELP 3.6mm 1080P Dome Camera
- GPS module (Neo-6M)
- Arduino UNO R3
- ESP8266 Wi-Fi Module
Software - Python 3.9, PyTorch 1.11
- AWS EC2 (t2.micro)
- AWS RDS (MySQL), AWS S3

표(Table) 7.

전동 킥보드 위반 행위 시나리오 (E-Scooter violation Scenarios)
Scenario Description
S1 No helmet, single rider
S2 Helmet worn, single rider
S3 Two riders, both without helmets
S4 Two riders, only one wearing a helmet
S5 Two riders, both wearing helmets
5.2 Ride 모델 검출 결과 분석

본 연구에서는 전동 킥보드 탑승자 판별을 위한 1차 필터로 RIDE 모델을 적용하였다. 그림 11은 RIDE 모델을 통해 탑승 여부를 분류한 Test 이미지를 나타낸다. 해당 모델은 킥보드 탑승자(Ride)와 보행자(Non-Ride)를 구별하여, 이후 VIOLATION 모델이 위반 행위(헬멧 미착용, 다인승 등)를 판별할 수 있도록 전처리 역할을 수행한다.

그림(Fig.) 11.

RIDE 모델 검출 결과 (RIDE model results of detection)
11.png

단일 탑승 환경(S1, S2)에서 평균 99.8%, 2인 탑승환경(S3~S5)에서 98.5% 수준을 보였다. 오 탐지는 약 1.2%로, 주로 배경이 복잡하거나 조도가 급변할 때 발생하였다. 이는 보행자가 킥보드 옆을 근접 통과하는 경우 오검출될 가능성이 있는 것으로 분석된다.

5.3 VIOLATION 모델 검출 결과 분석

VIOLATION 모델은 RIDE 모델에서 탑승자로 분류된 이미지를 입력받아, 헬멧 착용 여부(Helmet/Non_Helmet)와 탑승 인원(1인/2인)을 세분화한다. 그림 12는 해당 모델의 검출 결과를 예시로 보여주며, Bounding Box 색상은 헬멧 착용(붉은색), 헬멧 미착용(주황색), 1인 탑승(형광색), 2인 탑승(다른 주황색 톤), 킥보드(분홍색)를 각각 나타낸다.

그림(Fig.) 12.

VIOLATION 모델 검출 결과 (VIOLATION model results of detection)
12.png

본 모델은 헬멧 착용 여부와 탑승 인원 조합에 따라 총 5가지 경우를 구분하였다. 첫째, 헬멧 미착용·1인 탑승(검출 정확도 99.2%), 둘째, 헬멧 착용·1인 탑승(99.6%), 셋째, 2인 탑승·모두 헬멧 미착용(98.7%), 넷째, 2인 탑승·한 명만 헬멧 미착용(97.8%), 마지막으로 2인 탑승·모두 헬멧 착용(96.5%)이다. 시나리오별로 96~99.6%의 정확도를 보였으며, 특히 헬멧 착용 상태가 분명한 경우(S2) 가장 높은 성능(99.6%)을 달성하였다.

한편, 탑승자 간 밀착으로 인해 신체 경계가 겹치는 상황에서는 헬멧 Bounding Box가 중복 검출되거나 누락되는 양상이 관찰되어 약 1.5%의 오탐률이 확인되었다. 이는 다인승 탑승 시 공간적 겹침이 심해지는 경우 발생하는 문제로 분석된다. 그러나, 위반 유형별 검출 정확도가 96% 이상으로 유지되어 모델의 전반적인 신뢰도가 높음을 알 수 있다.

5.4 벌금 징수 시스템 성능 평가

검출된 위반 행위는 그림 13에 제시된 예시와 같이 Log 형태로 저장되며, 위반 시간, 위반 행위 유형, 최종 벌금 금액 등이 기록된다. 이러한 Log 데이터는 AWS RDS를 통해 정형화된 형태로 관리하고, 관련 이미지는 AWS S3에 업로드하여 웹페이지에서 실시간 조회가 가능하도록 설계하였다. 이를 통해 사용자별 위반 내역과 단속 시간을 명확히 구분할 수 있으며, 데이터의 무결성과 지속적 연동이 가능해진다.

그림(Fig.) 13.

위반 행위 Log 데이터 (Log data of violation)
13.png

그림 14는 본 논문에서 구현한 웹 애플리케이션의 주요 화면으로, 이용자가 법규 위반 사실, 단속 시각, 벌금 등의 정보를 직관적으로 확인하고, 즉시 납부할 수 있도록 설계하였다. AWS EC2 인스턴스에 Flask 프레임워크를 활용해 웹 서버를 호스팅하였으며, GPS 데이터를 활용해 불법 주행 발생 위치를 지도 상에 표시함으로써 단속 관리자가 실제 위반 지점을 효율적으로 추적할 수있다. 이러한 구성은 언제 어디서든 실시간으로 킥보드 단속 정보를 확인하고, 위반 사항을 빠르게 처리할 수 있게 함으로써 단속 과정 전반의 자동화와 효율성을 높인다.

그림(Fig.) 14.

법규위반 조회 및 납부 (Inquiry and payment of legal violations)
14.png

본 연구에서는 기록된 Log 데이터를 기반으로 과태료를 징수하기 위한 웹페이지를 구축하고, 이를 실제 환경에서 테스트하였다. 그 결과, 평균 페이지 응답 시간: 약 400~500ms(최대 500ms 이하), 동시 사용자 처리: 최대 50명 접속 시에도 무중단 동작, 데이터 무결성: Log 및 이미지가 정상적으로 저장·조회됨을 확인했다. 즉, 시스템이 안정적이고 확장 가능한 클라우드 환경에서 운영되어, 단속 프로세스가 자동화되는 동시에 사용자가 언제든 자신의 위반 기록을 조회·납부할 수 있음을 검증하였다.

Ⅵ. 결론 및 추후 연구 방향

본 논문은 전동 킥보드 이용자의 법규 준수와 단속 효율을 개선하기 위해, YOLO 기반의 공유형 전동 킥보드 불법주행 단속 플랫폼을 제안하였다. 제안된 플랫폼은 YOLOv5s 모델을 활용한 헬멧 미착용 및 다인승 탑승과 같은 법규 위반 행위를 실시간으로 감지하고, AWS 기반의 웹 애플리케이션을 통해 위반 사항 조회 및 과태료납부 기능을 제공한다. 이러한 시스템은 기존의 수동 단속 방식의 한계를 극복하고, 실시간 데이터 처리 및 사용자 접근성을 대폭 향상시키는 데 기여할 것으로 기대된다.

따라서, 추후에는 객체 검출 시간을 최소화하기 위해 AI 모델의 최적화 및 MCU 변경 등의 연구를 진행할 것이며, GPS 수신 신호의 정확도를 높이기 위해 수신 신호 필터링 등과 같은 연구를 수행할 계획이다.

Biography

임 영 훈 (Young-Hoon Lim)

2025년 2월: 한국공학대학교 전 자공학과 졸업

2025년 3월~현재: 한국공학대 학교 IT반도체융합공학과 석 사과정

<관심분야> 인공지능, 딥러닝, 컴퓨터 비전

Biography

이 승 현 (Seung-Hyun Lee)

2025년 2월:한국공학대학교 전 자공학과 졸업

2025년 3월~현재:한국공학대 학교 IT반도체융합공학과 석 사과정

<관심분야> 인공지능, 딥러닝, 컴퓨터 비전

Biography

오 성 현 (Sung-Hyun Oh)

2019년 2월:남서울대학교 전자 공학과 졸업 (학사)

2021년 2월:한국공학대학교 전 자공학과 졸업 (석사)

2021년 3월~현재: 한국공학대 학교 정보통신학과 박사과정

<관심분야> 실내위치측위, 심층강화학습, AI+X, 5G 이동통신, 지능형교통시스템

[ORCID:0000-0002-1974-8612]

Biography

김 정 곤 (Jeong-Gon Kim)

1991년 2월: KAIST 전기 및 전자공학과 졸업 (학사)

1993년 2월: KAIST 전기 및 전자공학과 졸업 (석사)

1998년 2월: KAIST 전기 및 전자공학과 졸업 (박사)

1998년 6월~1999년 5월: 하와 이주립대학교 전자공학과 Post Doc.

1999년 7월~2001년 3월:LG텔레콤 선임연구원

2001년 4월~2003년 2월:삼성전자 통신연구소 표준 연구팀 책임연구원

2010년 3월~2011년 2월: 미국 USC 전기공학과 Visiting Scholar

2018년 3월~2019년 2월: 미국 산호세 주립대학교 글로벌 책임교수

2003년 3월~현재:한국공학대학교 전자공학부 교수

<관심분야> 5G이동통신, 간섭제거, 무선자원할당 VLC, 위치측위, 기지국 협력통신, UDN AI, 협업로봇, WPAN, WBAN 설계 및 응용분야

[ORCID:0000-0002-9349-2846]

References

  • 1 Grand View Research, "Personal Mobility Devices Market Size, Share Report, 2030 (2021)," Retrieved Apr. 15, 2024, from https://www.grandviewresearch.com/industry-a nalysis/personal-mobility-devices-market#custom:[[[https://www.grandviewresearch.com/industry-analysis/personal-mobility-devices-market#]]]
  • 2 Korea Transport Institute, "Current Issues in Personal Mobility Devices (2024)," Retrieved May 4, 2024, from https://www.koti.re.kr/us er/bbs/pmediaView.do?bbs_no=56305custom:[[[https://www.koti.re.kr/user/bbs/pmediaView.do?bbs_no=56305]]]
  • 3 N. H. Choi and J. H. Kim, "A Comparative study on the perceptions towards personal mobility vehicle between adults and minors," KSCE, vol. 41, no. 5, pp. 543-550, Oct. 2021. (https://doi.org/10.12652/Ksce.2021.41.5.0543)doi:[[[10.12652/Ksce.2021.41.5.0543]]]
  • 4 J. M. Park and J. S. Lee, "Study on improvement of transportation environment for safety of PM in public transportation linkage function," J. Korean Soc. Railway, vol. 24, no. 3, pp. 264-273, Mar. 2021. (https://doi.org/10.12652/Ksce.2021.41.5.0543)doi:[[[10.12652/Ksce.2021.41.5.0543]]]
  • 5 S. Y. An, Y. J. Kim, K. Y. Sim, and K. Y. Lee, "The effect of wearing a helmet on head injury risks among personal mobility vehicle riders: A study of patients who visited a regional emergency medical center due to traffic accidents," JKEMT, vol. 27, no. 2, pp. 7-17, Oct. 2023.custom:[[[-]]]
  • 6 S. U. Baek, S. H. Baek, H. C. Woo, J. S. You, and J. R. Lim, "Development of an electric scooter safety system based on CNN and LSTM," in Proc. Annual Conf. KIPS, vol. 31, no. 2, 2024.custom:[[[-]]]
  • 7 M. K. Jeong, M. G. Seo, J. S. Oh, J. B. Lee, and J. Y. Yoo, "A study on the development of a kickboard alcohol and overloading prevention system for enhancing personal mobility safety," in Proc. 2024 KICS, Autumn Conf., pp. 291-292, Nov. 2024.custom:[[[-]]]
  • 8 B. S. Gill and Y. T. Kim, "A study on illegal boarding detection system of electric kickboard," J. KICS, vol. 27, no. 2, pp. 91-93, Oct. 2023.custom:[[[-]]]
  • 9 J. H. Park, S. R. Choi, and J. H. Han, "A method of maintaining learning data consistency for object recognition performance improvement with AI model," in Proc. KICS ICC 2023, pp. 636-637, Gyeongju, Korea, Nov. 2023.custom:[[[-]]]
  • 10 J. S. Kim and I. Y. Hong, "Analysis of building object detection based on the YOLO neural network using UAV images," Korean Soc. Surveying, Geodesy, Photogrammetry and Cartography (KSGPC), vol. 39, no. 6, pp. 381-392, Dec. 2021.custom:[[[-]]]
  • 11 J. S. Lee, S. K. Lee, D. W. Kim, S. J. Hong, and S. I. Yang, "Trends on object detection techniques based on deep learning," Electr. and Telecommun. Trends, Electr. and Telecommun. Res. Inst. (ETRI), vol. 33, no. 4, pp. 23-32, Aug. 2018.custom:[[[-]]]
  • 12 G. Jocher, et al., "ultralytics/yolov5: v7.0 Y OLOv5 SOTA Object Detection Models," GitHub repository, 2022.custom:[[[-]]]
  • 13 G. W. Do, M. Y. Kim, and S. W. Jang, "Object double detection method using YOLOv5," KIICE, vol. 26, no. 2, pp. 54-57, Oct. 2022.custom:[[[-]]]
  • 14 J. W. Han, S. H. Park, C. H. Sim, and J. W. Whang, "Development of smart driving monitoring device for personal mobility through confusion matrix verification," KSCI, vol. 27, no. 2, pp. 61-69, Feb. 2022.custom:[[[-]]]
  • 15 D. H. NamGung and D. H. Kim, "Proposal of new labeling method for detection improvement of two-people riding on E-scooter in YOLOv8n," J. Digital Contents Soc., vol. 24, no. 7, pp. 1575-1581, Jul. 2023.custom:[[[-]]]
  • 16 C. S. Hong, S. H. Oh, and Y. W. Choi, "Optimal threshold using the correlation coefficient for the confusion matrix," JKSS, vol. 35, no. 1, pp. 77-91, Feb. 2022.custom:[[[-]]]
  • 17 T. K. Kim and H. C. Cho, "A research on the fainting monitoring system using deep learning," in Proc. KIEE CICS 2021, pp. 237-238, Jeonnam, Korea, Oct. 2021.custom:[[[-]]]
  • 18 D. G. Kim, H. S. Lee, S. Y. Kim, T. W. Kim, and H. W. Lee, "LBS/GPS based bicycle safety application with arduino," J. Internet of Things and Convergence, vol. 2, no. 1, pp. 7-15, Jan. 2016.custom:[[[-]]]

Statistics


Related Articles

A Credit Card Based NFT Purchase DApp for Seamless Web3
K. Bayramov and S. H. Jeon
Recurrence Plot과 딥러닝을 이용한 음향 기반 드론 고장 감지
E. S. Kim and S. Y. Shin
자율주행 시스템을 위한 효율적인 객체 탐지 모델
S. Kim and S. Lee
Joint Design of Receive Beamforming and RIS Configuration for Over-the-Air Computation
S. Choi, M. Kim, D. Park
WebRTC 기반 실시간 포인트 클라우드 영상 스트리밍을 위한 데이터 직렬화 기법 비교
Y. Lee, H. H. Jung, D. You
Web of Things 표준 프로토콜 기반 고가용 복합 환경센서 장치 개발
D. Kwon, S. Shin, J. Kim, Y. Ji
Blockchain-Aided Intrusion Detection in Marine Tactical Network Using Reinforcement Learning
M. R. Subhan, M. M. Alam, M. Golam, M. F. Rahaman, T. Jun
Network Address Translation 환경에서 내부망 웹 서비스 공격 트래픽 부하 개선 가능한 IPS와 NAT세션 매핑정보활용 방화벽 차단룰 자동 설정 시스템 연구
B. Son and M. Yoo
다중 안테나 다이버시티 통합을 이용한 딥러닝 기반 저피탐 레이다 신호 변조 분류 연구
S. Cho, H. Jung, Y. Kim, M. Lee, Y. Kim
객체 탐지 기술을 이용한 돌발해충 감지 및 분류 시스템 구현
Y. Jeong, S. Kim, D. Kim

Cite this article

IEEE Style
Y. Lim, S. Lee, S. Oh, J. Kim, "YOLO-Based Electric Scooter Crackdown Platform," The Journal of Korean Institute of Communications and Information Sciences, vol. 50, no. 8, pp. 1290-1300, 2025. DOI: 10.7840/kics.2025.50.8.1290.


ACM Style
Young-Hoon Lim, Seung-Hyun Lee, Sung-Hyun Oh, and Jeong-Gon Kim. 2025. YOLO-Based Electric Scooter Crackdown Platform. The Journal of Korean Institute of Communications and Information Sciences, 50, 8, (2025), 1290-1300. DOI: 10.7840/kics.2025.50.8.1290.


KICS Style
Young-Hoon Lim, Seung-Hyun Lee, Sung-Hyun Oh, Jeong-Gon Kim, "YOLO-Based Electric Scooter Crackdown Platform," The Journal of Korean Institute of Communications and Information Sciences, vol. 50, no. 8, pp. 1290-1300, 8. 2025. (https://doi.org/10.7840/kics.2025.50.8.1290)