Ⅰ. 서 론

최근 전력산업분야에서는 전력시장 및 환경변화에 민첩하게 대응하기 위한 방안으로 디지털변환, 효율향상을 추진중에 있으며 IoT 환경에서 전력설비관리서비스 구현을 위한 공통 솔루션을 확보하고 현장 실증과 검증을 거친 응용기술개발을 추진 중에 있다^[1-5]. 특히 IoT센서의 대표적인 CCTV, 드론에 장착된 카메라를 통해 수집되는 영상데이터 기반 전력설비의 감시 및 상태진단 분석기술개발 요구가 크게 증가하고 있다.

전력설비 중 OPGW(OPtical Ground Wire)는 송전철탑 최상부에 설치되고 낙뢰방지를 위한 송전선로가 공지선 안에 광케이블을 내장한 한전 전력통신용백 본망이며, 전력설비의 안정적 운영에 반드시 필요한 전력 ICT 핵심시설이다. 기간 통신서비스를 제공하는 인프라 관점에서도 고장 발생 전, 결함의 조기 발견 및 유지관리가 매우 중요하다.

이와 같은 송전철탑 및 OPGW는 인력접근이 곤란한 취약지역(해월,산악)에 시설되어 설비를 육안으로 점검하는데 많은 위험요소가 상존하며 이로 인해 최근 논의되고 있는 중대재해처벌법 등 관련 법률의 중대재해 방지의무 준수 관점에서 업무고충을 겪고 있다.

이에 한전에서는 드론을 활용, OPGW설비 촬영 및 점검을 진행하고 있으나 점검용 드론에 장착된 카메라로 OPGW 설비를 촬영한 후, 촬영된 영상을 사람이 일일이 확인하는 절차를 거치게 되어 최종 상태 분석까지 약 1개월 이상의 기간이 소요되는 실정이다. 또한 운영되는 시스템은 촬영자가 설비영상을 육안분석토록함으로써 분석 담당자에 따라 분석 판정결과가 달라지고, 불량영상데이터 관리를 서면으로 하고 있어 데이터이력관리에 불편함을 가지고 있다.

본 논문에서는 기존에 오프라인으로 운영되던 설비점검시스템을 온라인으로 대체할 수 있는 시스템을 개발하여 현장에서 드론 촬영시 실시간으로 설비영상을 수집하고 이를 토대로 분석, 결함유무를 파악하게 함으로써 현장의 안전사고를 최소화하고 효율적인 설비운영 환경을 구축하고자 한다. 이에 지능형 영상분석기술을 활용한 OPGW 상태진단 자동화 시스템은 현장 드론촬영과 동시에 영상데이터를 관제센터로 전송하고, 각 대상설비(금구류)별 기 학습된 영상 데이터를 기반으로 딥러닝 영상처리 기술을 적용하여 상태진단과 불량개소검출을 실시간으로 할 수 있다. 따라서 이를 통해 불량검출 소요시간을 획기적으로 단축하여 안정적 설비운영에 크게 기여할 수 있을 것이다.

본 논문의 구성은 다음과 같다. Ⅱ장에서 IoT 기반 전력설비감시서비스 솔루션 구조를 소개하고, OPGW 금구류 객체 검출 및 상태진단 대상에 대해 살펴본다.Ⅲ장에서는 OPGW 금구류 상태진단 자동화 기술개발 내용을 설명하고, Ⅳ장에서는 이를 이용한 시범적용 결과 정확도 기반 인력대비 자동화 기술 성능을 비교한다.

그림(Fig.) 1.

e-IoT 서비스 시스템 구성도 (e-IoT service system architecture)

마지막으로 Ⅳ장에서는 향후 영상분석 기반 설비 상태진단 정확도 향상을 위한 후속연구방향을제시하고있다.

Ⅱ. IoT기반 전력설비감시서비스 솔루션 개요

2.1 e-IoT 표준기반 솔루션

한전은 에너지 전력분야에 IoT기술을 도입하기 위해 LwM2M(Light weight Machine to Machine)/CoAP(Constrained Application Protocol) 기반의e-IoT(energy-Internet of Things) 규격을 국가표준으로 제정(KS X 3280:2021)하였다^[6].

그림 1은 e-IoT 서비스 시스템 구성도를 나타낸 것이다. e-IoT 표준 기반 전력시설에 구축되는 IoT 디바이스(센서 및 Actuator)를 연결하여, IoT 디바이스에서 측정된 정보를 수집하고 제어할 수 있으며, 수집된 측정 데이터를 IoT 플랫폼에서 실시간 설비정보 모니터링 및 상태진단 분석이 이루어진다.

이와 같은 e-IoT 기술을 활용한 실시간 전력설비감시 관련 대표적으로 적용된 분야에는 항공장애등 감시, 송전선로 지능형 영상감시, 무선통신설비감시 등이 있다^[7].

2.2 OPGW 상태진단 서비스

본 논문에서는 드론을 이용하여 수집된 영상데이터를 기반으로 OPGW 금구류중 클램프, 아마로드 대상으로 불량개소 적출을 자동으로 진단하는 기술을 개발하고 기 구축된 e-IoT 전력서비스 솔루션에 결합하여 지능형 진단 서비스를 제공한다.

표(Table) 1.

OPGW 상태진단 주요 대상설비 (Facility subject to OPGW condition diagnosis)

Item	Clamp	Amor Rod	SB damper		Bolt/Nut&R-PIN
Detectio	Deflection abnormality	Unwound	Wing pushed	Wing bending	Unwound

그림(Fig.) 2.

OPGW 결함 추출 동작 프로세스 (OPGW defect extraction operation process)

OPGW 상태진단시스템은 드론촬영으로 수집된 영상정보를 기반으로 설비를 인지하는 시각지능 기술, 영상진단 분야에 활용 가능한 이미지 AI 기술을 이용하여 전력설비 상태진단 서비스를 제공할 수 있다.

제안하는 OPGW 상태진단 시스템은 철탑현장에서 드론으로 취득된 영상데이터로부터 키프레임을 추출, 점검대상 금구류 중심으로 데이터 전처리를 거쳐 검출하고 상태진단기준을 적용함으로써 결함을 추출하는 프로세스로 작동하는 시스템으로 구현하였다.

Ⅲ. OPGW 금구류 상태진단 자동화 기술개발

3.1 기존 모델

3.1.1 Mask R-CNN 모델

Mask R-CNN는 기본적으로 Instance Segmentation을 하기 위한 모델이기 때문에 Instance Segmentation을 하기 위해서는 Object detection과 semanti segmentation을 동시에 해야한다^[11-15]. 이를 위해 Mask R-CNN은 기존의 Faster R-CNN을 Object detection 역할을 하도록 하고 각각의 RoI(Region of Interest)에 mask segmentation을 해주는 작은 FCN(Fully Convolutional Network)를 추가해주었다.

그림(Fig.) 3.

Mask R-CNN을 이용한 Object 추출 및 Segmentation (Object extraction and segmentation using Mask R-CNN)

Mask R-CNN 이 Faster R-CNN^[16,17]. 으로부터 달라진 것은 다음과 같다.

① Fast R-CNN의 classification, localization(bounding box regression) branch에 mask branch 추가

② RPN(Region Proposal Network) 전에 FPN(featurepyramid network) 추가

③ Image segmentation의 masking을 위해RoI align이 RoI pooling을 대체

또한 FPN(Feature Pyramid Network)을 적용하여 마지막 layer의 feature map에서 이전의 중간 feature map들을 더하면서 이전 정보까지 유지할 수 있도록 한다. 이렇게 함으로써 더 이상 여러 scale값으로 anchor를 생성할 필요가 없게 되었고 모두 동일한 scale의 anchor를 생성한다. 따라서 작은 feature map에서는 큰 anchor를 생성하여 큰 object를, 큰 feature map에서는 다소 작은 anchor를 생성하여 작은 object를 detect할 수 있도록 설계되었다.

3.1.2 Inception 모델

Inception V3 는 이미지 분석 및 객체 감지를 지원하는 컨볼루션 신경망이며 GoogleNet 용 모듈로 시작되었고 ImageNet Recognition Challenge 중에 처음 소개된 Google의 Inception Convolutional Neural Network의 세 번째 버전이다. ImageNet 이 분류된 시각적 개체의 데이터베이스로 생각할 수 있는 것처럼 Inception은 컴퓨터 비전 세계에서 개체의 분류를 지원한다.

그림(Fig.) 4.

Pose Estimation을 이용한 객체 각도 추출 및 위치 인식 (Object angle extraction and position recognition using Pose Estimation)

기존의 CNN 모델들이 input 이미지에 같은 크기의 Convolution 필터를 하나씩 계속 덧대는 구조라면, Inception은 한 번에 여러 크기의 필터를 동시에 사용한다. 덕분에 (상대적으로) 간단한 VGG 모델에 비해 Inception 구조는 이미지를 처리할 때 여러 크기의 필터를 복합적으로 사용해 이미지의 특징을 더 잘 잡아내는 장점이 있다.

3.1.3 Pose Estimation 모델

컴퓨터 비전은 컴퓨터를 사용하여 인간의 시각적인 인식 능력을 구현하는 것을 목표로 한다. 카메라로 촬영된 이미지나 영상을 분석하여 정보를 추출하는 것이 핵심이다 보니 객체의 위치와 방향을 탐지하는 것은 컴퓨터 비전에서 자주 등장하는 문제인데 이 중 사람이 취한 자세를 인식하는 기술을 “휴먼 포즈 에스티메이션(Human Pose Estimation)”이라고 한다. 말 그대로 사진이나 영상 속에서 사람의 신체 관절이 어떻게 구성되어 있는지 위치를 추정하는 문제로 볼 수 있다. 오픈포즈의 네트워크의 입력은 높이(h) x 폭(w) 크기의 컬러 이미지이고 VGG-19 네트워크의 일부를 통과하게 된다. VGG 네트워크는 GoogleNet에 비해 구조가 간단하여 이해하기 쉽고 변형을 시켜가면서 테스트하기 용이한 장점이 있다.

본 논문에서는 불량개소 적출 대상설비에 적용하여 객체 각도 및 위치 인식에 활용, Pose Estimation의 대표 모델인 OpenPose를 사용하였다.

3.2 불량개소 적출 자동화 기술개발

3.2.1 대상감지 및 감지 객체에 대한 영역분할

불량개소 적출에 사용될 대상의 감지와 감지 객체에 대한 영역분할(Segmentation)은 Mask R-CNN을 통해 수행하였으며 이를 수행하기 위한 데이터셋을 확보하기 위해 다양한 마킹/레이블 툴을 개발하였다. 각 Object 별로 커스터마이징한 후에 진행을 하였고 권한 관리자 기능을 이용해 Marker를 선정하고 검증을 통해 이미지 유효성 여부를 체크하였다.

마킹 및 레이블링에 사용되는 이미지 및 annotation정보는 기본적으로 데이터베이스(RDB:MySQL)에 저장되어 각각의 tool들과 데이터를 주고받는다. 또한 Data Extract Tool을 이용하여 데이터셋 생성에 활용한다.

Mask R-CNN을 통한 불량개소 적출 대상에 대한 Detection & Segmentation은 각 대상별로 IOU(Intersection Over Union : 두 영역의 교차영역의 넓이를 합 영역의 값으로 나눈 값) 0.8 이상의 우수한 결과를 보였다.

그림(Fig.) 5.

영역분할 표시툴 (Segmentation Marking Tool)

그림(Fig.) 6.

키포인트 표시툴 (KeyPoint Marking Tool)

3.2.2 불량데이터 확보를 위한 데이터 증강

불량개소 적출 자동화를 위해서는 불량개소에 대한 많은 이미지 확보가 필수적인 요소이나 현실적으로 불량 대상 설비가 수가 매우 적기 때문에 본 논문에서는 3D 모델링과 이미지 프로세싱을 통한 불량개소 이미지를 확보하였다.

이미지 프로세싱을 통한 데이터 증강은 하나의 이미지를 대상으로 Rescale, Rotation, Projective, Affine, Flip 변환을 랜덤하게 적용시켜 여러 개의 증강 이미지를 생성한다. 실제 이미지 한 장당 1~5개의 증강데이터를 생성하였다.

그림(Fig.) 7.

이미지 프로세싱을 통한 데이터 증강 (Augmented data with image processing)

한편 Object에 대한 3D 모델링 및 배경 합성을 통한 Synthetic image 생성하였다. 각 Object 별로 3D 모델링을 적용하여 정상/비정상 등에 대한 이미지 모델링을 수행했고 이후 텍스처 생성 및 배경 이미지 적용 과정을 수행하였으며 3D 모델링은 캐드 데이터를 이용하여 정확한 사이즈 정보를 획득 후 대량의 학습 데이터를 생성, 이를 이용하여 학습 진행 후 실제 이미지 데이터로 테스트를 수행하였다.

3.2.3 적출항목별 진단

적출항목별 진단기능은 적출대상에 대한 Detection & Segmentation을 수행하여 대상에 대한 영역정보를 추출한 후 이 영역에서 불량개소를 이미지 프로세싱이나 딥러닝으로 판단하는 것을 말한다. 불량개소는 다양한 형태로 존재하기 때문에 각 설비별 진단항목에 따라 다른 알고리즘이 사용되었다^[8-10].

클램프 편위 이상의 경우. 클램프 그립 부분과 클램프 하단부와의 각도를 계산하고 계산된 각도가 threshold 보다 작을 경우 불량으로 판정한다. 기존에 편위 이상 판정은 사람이 눈으로 보고 주관적으로 판정을 진행했는데 본 연구과정에서는 기존 인력기반 점점 결과보고서에 클램프 편위 이상을 판정한 항목들을 분석한 결과 접지 부분과 하단부와의 각도가 75도 이하일 경우 대부분 불량으로 판정되는 것을 볼 수 있었다. 추가적으로 본 연구를 통한 검증 시스템에 클램프 판정기준 threshold를 파라메터화하여 시각화에서 판정기준을 변경하면 즉시 적용할 수 있게 처리하였다. 아마로드 풀림의 경우 Inception V3 모델기반 이미지를 분할하여 불량확률을 계산하여 처리하였다.

그림(Fig.) 8.

대상설비별 진단 프로세스 (Diagnostic process by target facility)

3.2.4 성능검증 환경 구축

그림 9에서와 같이 영상분석을 위한 진단 및 검증서버를 기반 설비별 진단 기능 모듈화로 운영환경에서 설비 추가, 삭제가 손쉽게 이루어질수 있도록 설계하고, 그림 10에서와 같이 인프라를 구축하였다.

OPGW 상태진단기술은 영상데이터 수집에서부터 학습분석, 시각화에 이르는 전 주기 솔루션을 공통적으로 활용하기 위해 지능형 영상인프라에 탑재되어 운영되는 구조이다.

그림(Fig.) 9.

영상분석 성능검증 환경 (Image Analysis Performance Verification Environ- ment)

그림(Fig.) 10.

시각지능 인프라 아키텍처 (Visual Intelligence Infrastructure Architecture)

3.2.5 시각화시스템 제작

불량개소 적출을 통해 결과를 시각화하여 사용자에게 제공하기 위한 웹기반 시각화 시스템을 제작하였다. 불량진단 결과를 시각화하여 표시한다. 진단대상별 상태를 분류하여 발생위치를 GIS(Geographic Information System) 기반해 표시한다. 또한 이벤트 이력 및 통계관리 기능도 제공한다. 그림 11은 제작된 시각화 시스템의 UI화면이다.

그림(Fig.) 11.

지능형 OPGW 상태진단시스템 (AI based OPGW status diagnosis system)

Ⅳ. 시범적용 결과

1차 실증에서는 철탑 100기, 2차 실증에서는 철탑 286기, 3차 실증에서는 철탑 1,640기에 대해 시스템 성능을 평가하였다. 2차 실증에서 Recall 측면에서 일부 성능저하가 보였으나, 점검대상 물량을 10배이상 확대 적용한 3차 실증에서는 학습량 확대로 Recall 및 Accuracy 성능이 안정적으로 유지되었다

결론적으로 3차에 걸친 실증에서, 동일한 설비에 대해서 인력에 의한 판정결과와 딥러닝 기반 영상분석기술을 활용한 판정결과를 종합 비교분석하였을 때 클램프 및 아마로드 점검대상 설비에서 정확도 95% 이상의 우수한 불량개소 검출성능이 확인되었다.

또한 인력판정 및 자동판정 결과에서 나타내는 바와 같이 자동판정이 인력판정 대비 약 4배 이상의 더 많은 미세한 불량 적출이 가능함을 보였다.

Ⅴ. 결 론

본 논문에서는 에너지 전력분야 사물인터넷 표준환경을 기반으로 OPWGW 금구류 상태진단 시스템을 제시하였다. 한전에서 보유하고 있는 e-IoT 플랫폼, 지능형 CCTV 영상기반 상황인지 기술을 토대로 사각지능을 활용하여 OPGW 금구류 상태를 자동으로 진단하는 기술을 개발하고 기 구축된 e-IoT 전력서비스 솔루션에 결합하여 지능형 진단 서비스를 제공하는 솔루션이다.

개발된 시스템은 영상정보를 기반으로 상태분석 설비를 인지하는 시각지능 기술을 이용하여 OPGW 금구류의 상태를 인지·분석 검출하고, 사용자의 편의성을 제공하기 위해 이를 시각화하였다. 현재 3차례 실증을 완료하고, 불량 검출 정확도 고도화를 위한 분석 알고리즘을 보완 개발 중이며 ’22년부터 고품질 점검영상을 누적 확보함으로써 설비를 더 정확하게 분석하게 할 수 있는 시스템 연계를 추진할 예정이다.