Ⅰ. 서 론

현재 농/축산업은 인구의 감소와 고령화로 인한 노동력 부족 현상과 기후 변화로 인한 식량 부족 현상으로 인해 식량 부족 현상이 심각하게 나타나고 있다^[1]. 인공지능 기술 및 데이터의 발달로 인해 노동집약적인 1차 산업인 축산 및 농산업에 인공지능 기술 기술의 융합을 통해 스마트 팜, 스마트 축산 기술 및 연구들이 활발하게 진행되어 식량 부족 문제점을 해결하는 방향으로 진행되고 있다^[2].

스마트 축산은 다양한 정보통신기술을 활용하여 축사의 가축을 모니터링하거나, 환경을 원격으로 관리하여 최소한의 노동력으로 가축의 부가가치를 최적의 상태로 관리하는 기술이다^[3].

표 1. 은 분만 감지 모니터링을 위한 장비의 비교이다. 가축 관리를 위해 각종 생체 데이터 수집을 위한 센서^[4]를 부착하거나, 소형화된 캡슐형 센서^[5]를 가축에 직접 주입하는 방식의 모니터링 기술이 적용되고 있다. 위 기술들은 비교적 높은 정밀성을 가지고 있으나, 높은 비용과 유지 관리의 문제점을 가지고 있다.

표(Table) 1.

분만 감지를 위한 장비 비교 (Comparison of equipment for Estrus detection.)

Type	Contact		Non-Contact
	Inserted	Attached	Camera (RGB+IR)
Image
Performance	High Accuracy		Low Accuracy
Monitoring target	Single target		Multi target
Equipment price	Hight price		Low price
Management cost	Hight cost		Low cost

이러한 문제점을 해결하기 위해, 최근 CCTV 영상 분석을 통한 가축의 행동 패턴을 분석하거나 상태를 파악하는 연구들이 활발하게 연구되고 있다. 다른 연구는 소의 행동을 판단하기 위해 관절의 특징점 기반의 자세 추정 알고리즘^[6]을 적용하였으나 연산량이 높아, 컴퓨팅 파워와 메모리가 제한된 엣지 디바이스에 적용이 어렵다. R. wang, et al. ^[7]와 B. jiang, et al ^[8] 연구는 단일 RGB 카메라의 데이터를 기반 CNN(Convolutional Neural Network) 기반 인공지능 네트워크 설계를 통해, 다양한 소의 행동 (걸음, 수면 등)을 분석하여 패턴을 인식하는 연구이다. Fang. Wu, et al ^[9] 연구의 경우 IR 카메라를 활용해, 야간 환경의 데이터를 통해 소의 영상을 수집하여 인공지능 모델을 학습시켜 Bounding Box로 검출하는 소의 영역을 찾아내는 연구가 수행되고 있으나, 24시간 모니터링을 위한 소의 주간 및 야간 행동 데이터를 활용한 연구는 부족하다.

실제 축사 농가에서 암소의 수정 적기를 파악하는 것은 매우 중요하다. 암소의 행동 패턴과 움직임은 발정 유/무를 판단하는 중요한 요소이다. 다양한 발정 증후 들이 있으며, 가장 확실 한 패턴은 암소가 다른 암소에게 올라타는 행동을 하는 승가 행위이다. 이러한 소의 발정 관찰은 번식 관리, 유전적 특성 확인, 번식 질환 및 문제 예방, 생산성 증진, 건강 상태 평가 등의 목적을 달성하는 데 중요한 지표로 이를 통해 소의 번식 성과와 건강을 효과적으로 관리가 가능하다^[10]. 하지만, 소의 승가 행위는 24시간 어떠한 시간에 발생할지 모르며 특히 야간에는 사람이 자고 있을 시간이므로 승가 행위를 사람이 직접 확인하는 것은 많은 어려움이 따른다.

본 연구는 이러한 문제를 해결하고자 IR 카메라와 일반 RGB 카메라를 활용해 24시간 소의 발정 행위를 모니터링할 수 있는 소 발정 모니터링이 솔루션을 제안한다. RGB 카메라만으로 24시간 동안 소의 발정을 모니터링하기에는 어렵다. RGB 카메라 특성상 야간과 같이 조명이 없는 상황에서는 인식이 불가하기 때문이다. 때문에, IR 카메라와 같이 야간에도 소의 행동을 확인할 수 있는 센서를 활용하고자 한다. R. Das. MP, et al. [11]의 연구는 대부분의 IR 카메라가 가격과 해상도 측면에서 비싸고 수집이 어렵다는 문제를 제시하고, 극복의 필요성을 주장하고 있다. Brunner, et al. ^[12]의 연구에서는 안개, 먼지, 연기 등 환경적인 요소에서 IR 카메라가 가지고 있는 장점에 대해 설명한다. 이러한 연구결과들을 기반으로 주/야간 24시간 모니터링을 위해 RGB 카메라와 IR 카메라의 사용이 필요로 하다.

본 논문의 구성은 다음과 같다. 2장에서는 데이터 수집 환경과 적용된 인공지능 기술 기법을 서술하고, 3장은 적용된 알고리즘의 적용을 통한 결과를 실험을 통해 분석하고, 4장에서는 결론 및 향후 계획에 대해 기술하고 있다.

그림(Fig.) 1.

RGB to IR 데이터 증강을 이용한 학습 데이터 처리 및 소 행동 검출 (Training data processing and all-day cattle behavior detection using data RGB to IR Algorithm.)

Ⅱ. 본 론

2.1 소 발정 모니터링 시스템 개요

본 연구는 축사 내의 RGB 및 IR 카메라를 통한 주 /야간 영상 데이터를 활용해 24시간 동안 소의 발정 행동을 모니터링이 가능한 시스템이다. 또한, 연산이 제한된 AI Edge 보드에서도 실시간으로 인공지능 연산이 가능하여, 실제 축사 적용할 수 있는 경량화 된 모델 개발에 초점을 맞추고 있다^[13]. 이를 통해 축사 내에 소의 행동을 감지하고 관리할 수 있는 환경을 제공하며, 높은 처리 속도와 낮은 전력 소모의 장점을 가진 주/야간 AI Edge 시스템을 구현하는 것을 목표로 하고 있다.

2.2 데이터 수집 환경

본 연구를 위해 RGB 카메라(Sony EXMOR CMOS, Resolution: 1920*1080), IR 카메라 센서(VOX, Resolution: 384*288) 탑재된 CCTV 카메라를 각 농가의 상단에 설치하여, 최대한 많은 소를 검출하기 위한 최적의 위치로 설치되었다. 학습 데이터 수집은 그림 2. (a)의 4개의 축산 농가(농가 1: 200 마리, 농가 2: 250 마리, 농가 3: 500 마리, 농가 4: 300마리)에서 주/야간의 데이터를 수집하였다. 그림 2. (b)는 RGB 카메라로 수집된 낮 시간 대의 축사 데이터이며, 그림 2. (c)는 IR 카메라로 수집된 야간 축사 데이터이다.

그림(Fig.) 2.

실험 축사에 AI Edge를 장착(a), RGB 데이터(b)와 IR 데이터(c) 수집 (Acquire RGB data (b) and IR data (c) after installing AI Edge developed (a).)

2.3 데이터 획득 및 가공

소의 발정을 24시간 모니터링을 위한 인공지능 모델 개발을 위해 주간 및 야간 환경에서의 정상 행동과 발정 행위를 하는 소의 행동의 데이터를 RGB 및 IR 카메라를 통해 영상으로 약 2년 동안 수집하였다.

표 2. 은 수집된 데이터의 현황이다. 정상 행동 데이터의 경우 RGB 및 IR 카메라를 통해 각각 6,275장, 5,361장씩을 획득하였으며, 발정 행동하는 소 데이터의 경우 각각 4,271장, 988장씩 수집하였다.

낮 시간의 데이터는 열의 반사와 같은 온도의 영향을 크게 받아 RGB를 통해 수집하였으며, 반대로 밤 시간에는 RGB 카메라가 빛의 부족으로 IR 카메라를 통해 수집하였다. 최종적으로, 총 11,636장의 정상 행동의 소 데이터와 9,530장의 발정 행위를 하는 소의 데이터를 수집하였다. 행동 검출 인공지능 모델을 개발하기 위해, 정상 행동과 발정 행동을 하는 소의 좌표를 Bounding Box 형태로 어노테이션을 수행하여 라벨링을 수행하였다.

2.4 적용된 데이터 증강 기법

어려운 데이터 수집 환경에서는 데이터 수집 비용이 높아지는데, 이 문제를 해결하기 위해 인공지능 학습 데이터의 절감 비용에 대한 연구가^[14] 진행되었다. 그림 3. 은 수집된 데이터의 분포를 나타낸 그림이다. 수집된 데이터는 상대적으로 야간 환경에서의 승가 행위 데이터의 분포가 적음을 확인하였다. 학습 데이터의 불균형은 인공지능 성능에 부정적인 영향을 미칠 수 있기 때문에, 본 연구는 GAN 기반의 데이터 증강 기법을 적용하여 해당 문제를 해결하였다. 적용된 기술은^[15] 기존 RGB에서 IR 이미지로의 변환 문제에서 어려운 부분인 낮은 해상도 및 세부 정보를 해결하기 위해 가장자리 정보 추출과 도메인 이동 네트워크(Domain Transfer Network)를 제안하는 연구로 다양한 도메인에서 RGB 이미지를 IR 이미지로 변환이 가능 장점을 가지고 있다. 부족한 IR 카메라의 승가 행위를 하는 소의 데이터를 GAN (Generative Adversarial Networks) 기반의 RGB2IR 이미지 변환 알고리즘 통해 RGB 카메라를 IR 카메라 이미지를 변환하였다. 그림 4.는 해당 알고리즘을 통해 생성된 이미지의 예시이다. 그림 4.의 입력은 획득된 원본 영상이며, 출력은 RGB2IR 알고리즘을 통해 변환된 이미지의 결과와 RGB 데이터에서 가공된 Bounding Box로 사용한다. 최종적으로, 소의 출산 행동 검출을 위해 사용된 학습 데이터의 수는 표 3.의 Generated IR Camera Image와 같다. 이를 통해 부족한 데이터를 추가적으로 습득하였으며, RGB 이미지에서의 소의 좌표 정보를 활용하였기 때문에 추가적인 데이터 가공의 공수를 줄였다.

그림(Fig.) 3.

RGB 데이터(a)와 IR 데이터(b)에서 normal과 estrus 행위의 비율 및 box 평균 분포도 (The ratio and box average distribution in the RGB data (a) and IR data (b).)

그림(Fig.) 4.

RGB 데이터를 입력을 받아 IR 데이터로 GAN을 사용하여 변환 이후 RGB 데이터의 Bounding box의 정보를 사용하여 IR 학습 데이터로 변환 (Input RGB data and convert it to IR data using GAN and convert it to IR learning data using information in the bounding box of RGB data afterwards.)

또한, 설치된 카메라의 각도와 빛 번짐에 강인한 모델을 학습하기 위해, 이미지 증강(대칭 이동, 각도 회전 등)과 Random Gausian Noise를 통한 잡음 생성을 수행하여 행동 검출 모델의 최종적인 학습 데이터 셋으로 활용한다.

2.5 행동 검출 모델

일반적으로 객체의 행동을 검출하기 위해서는 이미지 또는 비디오 프레임에서 주요 관절을 찾아내고, 이에 따른 행동 패턴을 하는 연구가 되고 있다. 본 연구에서는 소형 AI Edge 보드에서 인공지능을 탑재를 위한 경량화를 위해, 비교적 연산량이 적은 Object detection 방식으로 정상 행동의 소와 승가 행위의 소 자체를 각각 학습 데이터로 활용한다. 추가적으로, 객체인식 속도가 빠른 One-stage CNN 기반의 모델인 Yolo (you only look one) 모델의 최신 버전인 Yolo v7^[16] 모델을 활용하여 개발하였다. 해당 모델은 기존의 매개변수와 계산을 효과적으로 수행을 목적으로 확장과 복합 스케일링 연산 방법을 통해 GPU 연산을 최소화 및 성능 유지를 수행한 모델이다. 따라서 본 연구는 인공지능 모델을 소형 엣지 디바이스에 탑재하기에 용이한 Yolo v7 모델을 채택하여 연구를 수행하였다.

Ⅲ. 실 험

3.1 실험 환경 및 성능 검증

성능 분석을 위해 다음과 같이 구성된 학습 서버를 사용한다. 서버는 Ubuntu 20.04 운영 체제 위에 Python 3.7 및 PyTorch 1.12.0을 설치하여 구축되었다. 학습에는 32GB NVIDIA A6000 GPU가 사용되었으며, CUDA 버전은 11.3로 설정되었다. 또한, CuDNN 버전은 8.0.5로 구성되어 있어 GPU 가속을 최적화하였다. 낮 데이터와 밤 데이터를 활용하여 테스트를 수행하기 위해 적절한 데이터 셋이 필요하였다. 낮 데이터의 경우, RGB 카메라로부터 촬영된 이미지를 테스트 데이터로 활용한다. 밤 데이터의 경우, IR 카메라로부터 획득한 이미지를 테스트 데이터로 활용하였다. 테스트 단계에서 이를 활용하여 성능을 평가하였다. RGB 데이터와 IR 데이터로 학습한 결과와 비교하기 위해 동일한 환경과 데이터 셋으로 학습하였다.

모델 학습을 데스크탑 환경에서 수행한 후, 축사에 적용하기 위해 개발한 AI Edge 시스템에 인공지능 모델을 탑재하여 성능을 테스트하였다. 표 4. 는 인공지능 학습을 위한 트레이닝 서버와 모델이 실제 운용되는 AI Edge 시스템의 장비 사양이다. 임베디드 시스템은 데스크탑 환경에 비해 처리 속도와 하드웨어 성능이 상대적으로 떨어지지만 설치가 용이하고 전력 소모가 적다는 장점이 있다. 사용한 GPU 보드는 Nvidia Jetson nano이며, 인공지능 모델을 병렬로 처리하는 AI 컴퓨터로 여러 데이터를 처리하는데 필요한 성능을 갖추고 있다. 현재 기술을 축사에 적용할 수 있는 최적의 AI Edge 보드이다. 적은 하드웨어 성능으로 많은 데이터를 처리하기 위해 Yolo v7에서 지원하는 Tensor RT를 적용하여 하드웨어 최적화로 안정적인 9 FPS를 유지하였다.

3.2 실험 결과

모델 학습은 Yolo v7^[16]에서 제안한 환경대로 진행하였다. RGB 기반 데이터 생성을 활용한 학습 결과를 확인하기 위해 RGB + IR 데이터로만 학습한 결과와 RGB based GAN + IR 데이터로 학습한 결과를 비교하였다. 이를 통해 GAN이 모델 성능에 얼마나 많은 영향을 미쳤는지 확인하였다.

표 2. 의 데이터 수를 확인해 보면 RGB + IR의 데터로만 학습할 때 데이터의 수량은 낮 승가 행위 40%, 밤 승가 행위 15%로 밤 승가 행위에 대한 데이터의 불균형이 심각하게 나타나는 것을 확인할 수 있다. 낮과 밤 mAP.5 79.6%, 77.1%의 성능을 보이고 밤과 낮을 동시에 학습을 진행하면 mAP.5 77.4%, 67.8% 성능을 보인다. 표 2. 의 Estrus Behavior 항목에서 IR 카메라 데이터의 숫자가 부족하여 성능이 낮게 나온다 판단하였고, RGB based GAN을 동작하여 밤 승가 행위의 데이터의 비율을 44%까지 맞출 수 있었다. 해당 성능은 mAP.5 76.5%, 64.2%의 검출 성능이 확인되었으며 기존의 IR 데이터와 같이 학습하여 49%의 데이터 비율을 갖는다. RGB+ IR +RGB based GAN의 방법으로 학습하였을 때 결과는 mAP.5 77.7%, 72.9%로 낮과 밤에 각 RGB only와 IR only로 학습하였을 때 가장 높은 정확도를 보였지만 주/야간 모두 관측해야 하는 상황에서 RGB+IR의 데이터 셋을 모두 사용해야 한다. 우리가 제안한 이 경우 우리가 제안한 학습 방법이 가장 높은 검출률을 보였으며 RGB only와 IR only로 학습하였을 때와 비슷한 수준으로 끌어올렸다. GAN을 활용한 RGB 기반 데이터 생성은 모델 성능 향상에 긍정적인 영향을 미쳤음을 알 수 있다.

이를 통해 GAN을 활용한 RGB 기반 데이터 생성은 모델의 성능 향상에 유용하며, 특히 밤에 더욱 효과적인 검출을 가능하게 해준다. 이러한 결과는 GAN이 발정우 검출에 대한 모델의 성능을 향상시키고, 다양한 조건에서의 일관된 성능을 보장하는 데 도움을 주었음을 보여준다.

3.3 외부 축사 실증

본 연구에서는 여러 축사에 개발된 인공지능 모델을 AI Edge에 탑재하여 실제 축사에 설치하여 실증을 진행하였다. 각 축사에서 낮과 밤에 발정우를 모니터링하고, 새로 수집된 데이터로 정확도를 계산하여 실증 적용 가능성을 평가하였다.

실증 테스트를 위해 그림 5.의 새로운 축사에서 밤과 낮 승가 행위를 각 200장씩 수집하여 테스트 셋을 구성했다. 표 3.에서는 각 축사에서의 낮과 밤에 대한 발정우 탐지 성공률을 확인할 수 있고 새로운 축사에서 우리의 제안 방법을 적용한 object detection 모델이 발정우를 정확하게 검출하는 것을 보여준다. 주변 환경의 차이와 센서 장착 위치의 차이에도 불구하고, 모델은 발정우를 신뢰성 있게 탐지했다. 이는 우리의 모델이 다양한 환경과 조건에서의 실용성을 가지고 있다는 것을 나타낸다.

그림(Fig.) 5.

축사 실증을 위한 새로운 외부 실험 축사 (New external experimental farms for demonstration.)

다양한 환경에서 높은 성능과 일관된 검출 결과를 보이는 모델은 축사에서의 발정우 모니터링 시스템에 유용하게 활용될 수 있다. 이러한 결과를 토대로 우리의 연구에서 제안한 학습 방법이 실제 축사에 적용 가능한 가능성을 확인하였다.

Ⅳ. 결 론

본 연구에서는 주/야간의 소의 발정 행동을 모니터링하기 위한 지능형 CCTV 기반 시스템을 개발하기 위해 RGB 및 IR 카메라 데이터를 활용한 인공지능 모델을 개발하였다. 또한, 연산 처리 능력이 제한된 소형 AI Edge 디바이스 환경에서도 인공지능 연산을 수행하기 위해, 기존의 키포인트(관절) 기반 자세 추정 방법이 아닌 객체 검출 알고리즘을 활용하여 문제를 해결하였다. Yolo v7 알고리즘을 활용한 객체 검출 모델을 적용함으로써, 적은 연산으로도 소의 발정 행동을 검출할 수 있었다. 또한, 우리는 부족한 야간 영상 데이터를 보완하기 위해 GAN 기반의 생성 모델을 활용하여 RGB 영상을 IR 영상으로 변환하고 인공지능 학습 데이터로 활용하였다. 이러한 접근으로 발정 행동 검출의 성능을 86%에서 90%로 향상시킬 수 있었다. 본 연구에서는 주/야간의 소의 발정 행동 모니터링을 위한 RGB 및 IR 카메라 기반의 인공지능 모델을 개발하고, 제한된 연산 환경에서도 효과적인 객체 검출 알고리즘을 적용하여 발정 행동을 정확하게 모니터링할 수 있음을 실험적으로 입증하였다. 하지만, 현재는 소의 정상 행위와 발정 행위만을 검출하여 모니터링 시스템을 구축했지만, 앞으로의 연구 방향은 더욱 확장될 것이다. 향후 연구에서는 소의 다양한 클래스의 행위에 대한 추가적인 분석을 수행할 예정이다. 이는 축사 농가의 통합 모니터링에 필요한 요소로서, 쓰러짐, 출산 증후 등과 같은 소의 다양한 행동들을 포함한다. 이러한 연구를 통해 더욱 포괄적이고 신뢰할 수 있는 소 행동 모니터링 시스템을 구축하고자 한다.