Ⅰ. 서 론

스마트 농업이란 농업 분야에 정보통신기술을 접목 하여 농축산물과 식품 생산뿐만 아니라 유통, 판매, 소 비에 이르는 농업 전 과정에 대한 생태계를 구축하기 위한 기술이다^[1]. 스마트 농업은 지속할 수 있는 농업을 성취하게 해주는 방법의 하나다. 현재 농업이 기후변화, 고령화, 농촌 소멸 등으로 어려움을 겪고 있고 이것을 로봇, 드론, 자율주행 등 자동화 기술을 도입함으로 편 리하게 농작업을 할 수 있게 하고 작물에 생산성 높일 수 있다^[2,3].

스마트 농업에서 적용할 수 있는 다양한 기술 중에서 자율 주행 기술은 트랙터와 이앙기에서 모내기 또는 수 확과 같은 노동 집약적인 작업을 처리하기 위해 광범위 하게 연구되고 있다. 농업기계의 자율주행은 정부기준 에 따라 네 가지 수준으로 분류를 할 수 있다. 단계 0 원격 제어, 단계 1 자동 조향, 단계 2 자율 주행, 단계 3 자율작업, 단계 4 무인 자율 작업으로 나누어져 있다.

단계 1, 자동 조향은 농업 기계가 직선 주행을 자율 적으로 수행할 수 있게 한다. 단계 2, 자율주행은 기계 가 작업 경로에 따라 직진, 회전 및 속도를 제어할 수 있게 하여 수동 조작 없이 작업을 수행할 수 있게 한다. 단계 3, 자율 작업은기계가 작업 경로를따라 자율적으 로 작업을 수행하며, 운전자나 작업 제어 없이 수행할 수 있게 한다. 단계 4, 무인 자율 작업은 기계가 환경 인식과 인공지능을 사용하여 무인으로 작업을 수행할 수 있게 한다^[3]. 현재 자율 농업 기계 기술 개발은 단계 3 자율 작업 단계까지 기술 개발되었다.

자율주행을 위한 필드 세분화 목적을 위해 이미지 분할 네트워크를사용할 수 있다. 의료 분야에서사용되 는 U-Net^[4], 자동차 자율주행을 위해 설계된 PSPNet^[5], 이미지 분할에 널리 사용되는 DeepLabV3^[6]와 같은 다 양한 세그멘테이션 모델이 있다.

본 논문에서는 드론으로 촬영한 항공 이미지를 사용 하여 경작지, 경작지의 모서리및 도로를 인식하고분류 하여 자율 주행 트랙터를 위한 필드 인식 및 주행 맵 생성을 목적으로 한다. 이미지 분할을 DG-블록 (DG-block)과 픽셀 셔플(pixel shuffle)을 이용하여서 모델을 만들고 사용하여 필드의 영역을 나누고 식별하 는 의미론적 분할을 수행한다.

서론에 이어 본 논문의 구성은 다음과 같다. 2장에서 는 세그멘테이션에 대한 설명과 실시간과 임베디드에 서의 세그멘테이션에 대해 알아본다. 3장에서는 커스텀 모델의 구조와 사용한 블록, 손실함수에 관해서 설명한 다. 4장 실험 결과에서는 훈련을 위한 데이터셋과 세부 적인 훈련 설정 방법과 결과를 설명한다. 마지막 5장에 서 논문을 요약하며 결론을 맺는다.

Ⅱ. 관련 연구

농기계 자율주행을 위한 농경작지 환경 인식 시스템 에서 인식 기술은 CNN 모델인 YOLO^[7], Faster R-CNN^[8], PSPNet^[5], PIDNet^[9]과 같은 딥러닝 네트워 크가 사용되고 있다.

2.1 시멘틱 세그멘테이션

시멘틱 세그멘테이션은 이미지의 각 픽셀이 속하는 객체의 범주를 분류하여 복잡한 배경 속에서도 특정 대 상을 정확하게식별하는 데 매우유용한 기법이다. 이러 한 접근 방식은 특히 농경작지 내 다양한 특징을 가진 영역을 세밀하게 인식하고 구분하는 데 적합하다.

실제 농경작지 환경인식에서 딥러닝 세그멘테이션 모델을 적용하기 위해서는 실시간성과 모델의 경량화 가 필요하다. 실시간 시맨틱 세그멘테이션은 고속으로 이미지를 처리하며 높은 정확도를 유지해야 한다. 실시 간 시맨틱 세그멘테이션을 위한 방법론들로는 입력 이 미지의 사이즈를 줄이거나 가벼운 인코더 구조 사용, 저수준의 특징과 고수준의 문맥 정보를 사용을 위한 이 중 분기 아키텍쳐 등을 사용한다.

농기계 자율주행 기계에서 사용하기 위해서는 모바 일이나 임베디드 보드의 제한된 성능 환경 안에서 모델 의 구동을 해야 한다^[10]. 이러한 환경에서는 딥러닝 객 체 검출과 장면 분할을 위해서 낮은 응답 지연 시간과 연산량의 최적화 등의 모델 경량화를 할 필요가 있다. 이러한 요구사항을 맞추기 위해서 가지치기(pruning), 양자화(quantization), 깊이별 분리 합성곱(depthwise separable convolution)과같은최적화방식을사용한다^[10].

2.2 U-Net

대표적인 세그멘테이션 모델 중 하나인 U-Net은 의 료 영상 분석을 위해 처음 개발된 인코더-디코더 기반 의 모델이다[참고]. U-Net의 인코더는 입력 이미지에서 중요한 특징을 추출하고, 디코더는 이를 바탕으로 픽셀 단위의 분류를 수행하여 더욱 정교한 세그멘테이션을 가능하게 한다. 특히, U-Net의 주요 특징 중 하나인 스 킵 연결(skip connection 영어)은 인코더에서 추출된 정 보가 디코더로 전달될 때 위치 정보가 손실되지 않도록 돕는다. 이를 통해 네트워크가더욱 정확한 위치정보를 유지하여 픽셀 단위의 세밀한 경계 인식이 가능해진다. 이러한 구조는 조직과 조직 사이의 경계가 모호한 경우 에도 높은정확도를 보이며, 의료 영상에서 조직의세부 구조를 파악하는 데 뛰어난 성능을 발휘한다. 이처럼 U-Net은 그 효율성과 간단한 구조로 인해 의료 영상 분야 외에도 다양한 분야에서 널리 채택되고 있으며, 특히 농경작지 영역을 구분하는 데 효과적으로 활용될 수 있다.

농경작지 데이터셋 또한 특정 대상의 경계를 정확히 식별해야 하는 과제가 있다는 점에서 U-Net이 처음 제 안된 의료 영상 데이터셋과 유사하다. 특히, 농경작지 데이터셋에서는 고해상도 이미지 내에서 다양한 형태 와 크기의 구조적 경계 특징을 정확히 파악해야 하는데, 이러한 점에서도 U-Net의 구조는 농경작지 데이터를 세밀하게 분류하는 데 매우 적합하다.

Ⅲ. 제안 시스템

3.1 농경작지 영상의 특징

농경작지 영상은 일반적으로 그림 1과 같이 농경작 지, 농경작지 모서리, 도로, 배경의 4가지 영역으로 크 게 구분된다. 경작지를 구분하는 것은 흙으로 쌓은 경작 지 모서리나 흙과 잡초로 이루어진 경계 모서리로 이루 어진다. 경작지와 경작지 모서리의 패턴 및 색상 등의 차이로 발생하는 경계가 경운작업을 하기 위한 주행의 기준이 된다. 본 논문에서는 이러한 토양 패턴 및 색상 등의 차이로 발생하는 경작지 모서리를 파악하는 이미 지 분할 모델을 만들고자 한다.

그림 1.

농경작지 주변 환경의 풍경 및 특징

3.2 제 안모델

본 논문에서는 트랙터 주변 환경을 인식하기 위해 단안 카메라로 수집한 데이터셋을 바탕으로 딥러닝 세 그멘테이션 알고리즘을 설계하였다. 제안하는 농경작 지 딥러닝 세그멘테이션 모델은 농경작지 영상 이미지를 픽셀 단위로 세분화하며, 농기계 및 다양한 임베디드 환경에서의 활용을 위해 경량화된 모델 설계 에 중점을 두었다.

제안하는 모델은 모델의 전체적인 그림 2와 같다. 첫 번째와 두 번째 계층은 이미지의 크기를 줄이면서 특징을 추출할 수 있게 3×3 합성곱, 배치 정규화(batch normalization), ReLU를 사용한 3×3 CBR-블록 (convolution batch normalization ReLU-blcok)을 사 용하였다. 세 번째 계층에서 다섯 번째 계층까지는 적은 연산량으로 특징을 추출할 수 있는 DG-블록을 사용하 여 다중 스케일의 특징을 추출한다. 인코더의 각 계층에 는 맥스풀링을 사용하여 사이즈를 줄였다.

그림 2.

제안하는 세그멘테이션 모델 DG-Net와 DG-블록, 업샘플링 모듈 구조

디코더는 U-Net의 스킵 연결 사용하여 인코더의 또 한 경량화를 시키기 위해 업샘플링 모듈^[11]을 사용하였 다. 픽셀 셔플링을 사용하여서 차원의 커짐에 반비례하 여 채널의 수를 줄여나가며 매개변수의 개수 또한 줄여 나간다. 업샘플링 모듈을 통과한후에 픽셀 단위의 분류 를 수행한다. DG-Net에서는 256×256 입력 크기를 학 습 후에 1920×1080 풀HD 해상도 출력 크기로 출력되 도록 하였다.

3.3 DG-블록

본 논문에서는 Sun 등이 제안한 SE-ResNeXt^[12] 모 델의 Y-블록과 Gao 등이 제안한 Regseg^[13]의 D-블록 에서 장점을 반영하여 DG-블록을 제안한다. DG-블록 의 정의를 다음과 같이 정의된다.

여기서 F_DG는 DG-블록을 거친 특징맵, X는 CBR블록 을 입력 특징맵 X, Conv_1×1는 1D 합성곱 연산, Conv_3×3는 3D 합성곱 연산, SE는 SE-레이어 연산,⊕ 요소별 곱연산을 의미한다.

F_DG는 1×1 합성곱을 통해 입력 채널 수를 2_m 개수 로 만든다. 입력채널은 확장 비율이 다른 N개에 그룹으 로 나누어 그룹 합성곱(grouped convolution)을 실행한 다. 그룹 합성곱을 사용하면 일반 합성곱에 N배 만큼의 매개변수의 수와 연산량을 줄 일 수 있다. 또한 서로 다른 확장 비율을 사용하여서 수용영역이 다른 다중 스 케일의 특징 맵을 얻을 수 있다. 추출한 다중 스케일의 특징은 연결(concatenate) 연산을 사용하여 합하며 SE- 레이어를 사용하여 각 채널의 특징의 중요도를 주어 정 보손실을 보완한다.

Ⅳ. 실험 및 결과

4.1 데이터셋

농경작지의 환경 분할을 위한 딥러닝 모델 개발을 위해 다음과 같이 데이터를 수집하고 데이터셋 그림 3 을 구축하였다. 데이터 수집을 위한 장비로 4K 영상을 단안카메라로촬영할수있는DJI mini 4 Pro라는드론 모델을 사용하였다. 드론이 농경작지의 모서리 부븐을 돌면서 다양한 각도에서 농경작지를 촬영한 영상으로 구성되어 있으며, 다양한 시점에서의 농경작지의 특징 을 반영하고자 하였다. 영상 데이터는 10fps의 속도로 3840×2160의 해상도로 수집이 되었다.

그림 3.

농경작지 이미지와 마스크 이미지 데이터셋

시맨틱 세그멘테이션 모델을 학습시키기 위해서는 세그멘테이션 맵 필요하며, 시맨틱 세그멘테이션 맵을 만들기 위해 라벨링 툴을 사용하여 마스크 이미지를 생 성할 필요가있다. 마스크이미지는 농경작지 환경분할 이라는 목적에 따라 농경작지와 농경작지 모서리, 도로, 배경 총 4개의 클래스로 구성하여 마스크 이미지를 생 성하였다. 데이터셋는 966개로 학습 이미지 772장, 검 증 97장, 테스트 97장으로 구성하였다. 훈련 중에는 256×256로 이미지의 크기를 줄여서 학습을 진행하였다.

4.2 손실 함수

농경작지 데이터셋의 이미지는 경작지에 많은 픽셀 의 클래스가 몰려있어 경작지 픽셀에 비해 적은 픽셀을 가진 경작지 모서리의 경우 편향된 학습이 진행되는 문 제가 발생한다. 이러한 편향된 학습을 예방하기 위해서 학습에서는 초점 손실(focal loss)^[14]사용하였다.

초점 손실은 객체 분류 확률 p_t의 로그값에 가중치 [TeX:] $$\begin{equation} \left(1-p_t\right)^r \end{equation}$$을 곱하여 얻을 수 있다. (1)에서 p_t 객체의 확률을 가리키며 [TeX:] $$\begin{equation} \left(1-p_t\right)^r \end{equation}$$ 가중치이다. 가중치는 [TeX:] $$\begin{equation} \left(1-p_t\right) \end{equation}$$의 반대의 확률을 가지고 있어 p_t가 높은 확률 을 가질 경우 손실 함수의 값을 줄여 매개변수의 가중치 를 더 적게 변화시킨다. 반대로 p_t 값이 작다면 가중치를 키워 손실 함수의 값을 크게 만들어 매개변수의 가중치 를 변화 폭을 크게 만들 수 있다. 매개변수 [TeX:] $$\begin{equation} \gamma \end{equation}$$는 집중 매개변수라 하며, 가중치를 영향을 증가시키거나 줄이 는 역할을 한다.

4.3 환경 설정

성능 비교를 위해서 성능 비교 지표인 정확도와 mIOU 지표를 사용한다. 모델에서 사용한 초매개변수는 40 에포크(epoch), 학습률(learning rate) 0.01, 배치 크 기(batch size) 4이다. 손실함수는 초점 손실(focal loss) 에 감마 값 2, 옵티마이저로 아담(Adam)을 사용하였다.

모델은 파이토치(pytorch) 프레임워크를 사용하여 구현하고, NVIDIA GeForce RTX 4080 GPU(메모리 16GB)에서 훈련 및 테스트를 수행하였다.

4.4 결과

DG-Net이 농경작지 세그멘테이션 모델로 적절하다 는 것을 알아보기 위해서 다른 모델들과 추론 속도 및 정확도를 비교하였다. 픽셀을 분류하고 결과 이미지를 생성까지의 시간을 측정하여 추론 속도를 측정하였다. 추론 속도의 목표는 50ms 기준은 초당 20프레임을 처 리할 수 있도록 기준을 잡았다. 추론 속도의 목표의 경우 또한 추론 속도가 목표 이하라도 정확도가 만족 하지 못하는 수준이라면 농경지 세그테이션 모델로는 사용하지 못하기에 mIOU와 정확도를 이용하여 측정 하였다.

DG-Net과 다른 모델들의 농경지 세그멘테이션 추론 속도를 측정하였다. 실험한 모델들의 성능은 30fps에는 못 미치는 결과이지만 실제 과제에서 목표로 하던 20fps 가까운 성능을 모델을 확인하였다.

DG-Net의 경우 20프레임을 달성함으로 농경작지 세그멘테이션에 적절한 모델임을 확인하였다. 표 1은 모델별 추론 시간과 fps를 나타낸 표이다.

모델별 농경작지 이미지 세그멘테이션 정확도 및 IOU 비교는 표 2와 같다. 정확도와 mIOU 성능지표에 서 DG-Net이 가장 높게 나오는 것을 확인하였다. 표 3은 클래스별 정확도 및 IOU 나타내는 표이다. 여기서 성능이 높은 PSPNet과 DG-Net을 살펴보면 PSPNet 경 우 배경 클래스의 IOU가 높아서 표 2의 mIOU의 성능 이 높아진 것을 볼 수 있다. DG-Net의 경우 의미 있는 클래스인 농경작지와 도로에서 다른 모델들과 비교하 며 좋은 성능을 가지고 있다고 보여진다.

모델 별 이미지 세그멘테이션 결과를 사진으로 표현한 결과는 그림 4와 같다. DG-Net의 결과는 GT 비교하면 다른 모델들과 비교하여 잘 구분하는 것을 보여주었다. 그림 4의 첫 번째 이미지의 경우 원본이지미와 비교하 여 GT에 경작지 모서리가 빠진 부분이 있는데 DG-Net 의 경우 그 부분을 포함하여 이미지 세그멘테이션하는 모습을 보여주었다.

모델별 메모리량과 매개변수 수의 비교는 표 4과 같 다. 메모리량과 파라미터 수는 PIDNet_s가 좋지만 PIDNet_s의 경우 다른 모델들과 비교하여 성능이 많이 떨어지는 모습을 보여주어 적합한 모델이라고 보이지 않는다. 비슷한 성능을 보여준 PSPNet 모델은 다른 모 델과 비교하여 매개변수의 수가 많고 추론 시간이 좋지 않은 모습을 보인다. 반면 DG-Net은 메모리양에서는 많은 차이를 보이지 않지만 매개변수 수를 비교하였을 때 다른 모델들보다 매개변수 수가 월등히 적은 것을 보여주었다.

DG-블록의 그룹 합성곱의 개수를 변화시켜 메모리 사용량 및 파라미터의 변화를 관찰하였다. DG-블록의 그룹 합성곱 개수에 따른 메모리량 및 매개변수 비교는 표 5와 같다. 그룹 합성곱의 개수가 늘수록 파라미터가 수가 줄어들며 경량화 가능하였다.

또한 파라미터 수가 줄어 메모리량도 줄어드는 걸 보여주었다. 채널의 수에 한계가 있어서 일정 수준 이후 로는 파라미터의 감소가 크게 눈에 띄지 않고 메모리양 또한 고정되는 것을 확인하였다.

Ⅴ. 결 론

본 논문에서는 드론으로 촬영한 영상을 데이터셋으 로 사용하여 경작지와 경작지 모서리 및 도로를 픽셀 단위로 분류하는 딥러닝 세그멘테이션 시스템 모델을 제안하였다. 농기계에서 사용을 하기 위해 서 처리 속도와 경량화된 모델을 최우선적으로 고려하 였다. 팽창 그룹 합성곱을 이용한 DG-블록을 제안하 여 경량화된 모델로 속도를 높여 목적을 달성하고자 하였다.

DG-블록을 이용한 DG-Net은 경량화와 목표한 추론 속도로 이미지를 처리하는데 성공하였다. DG-Net의 정 확도는 농기계에서 사용하기 무리가 없고 작은 컴퓨팅 자원을 사용하여 다른 시스템과 같이 사용해도 지장이 주지않는 이미지 세그멘테이션 모델을 제안하였다고 보여진다.

추후 연구 주제에서는 좀 더 세밀한 부분을 세그멘테 이션 할 수 있도록 모듈을 추가하는 방면으로 연구를 진행하고자 한다.