Ⅰ. 서 론

적외선 열상 영상은 열 또는 열을 방출하는 물체 자체로부터 생성된 복사선 에너지를 검출한다. 따라서 일반 가시광 카메라에서 볼 수 없는 악천후, 저시정, 야간 상황 등에 장점이 있어 의료 진단, 환경 모니터링, 보안 및 감시, 위성 영상, 감시/정찰, 국방 시스템 등에 폭넓게 사용된다.

하지만 열상 카메라 센서에서는 센서 특성상 그림 1과 같이 특정 방향의 Stripe 특성의 고정 패턴 노이즈(Fixed Pattern Noise; FPN)가 발생하여 영상 시스템 성능에 큰 저하를 초래한다. 이러한 적외선 영상에서의 Stripe 패턴 노이즈를 줄이고 온도 정보를 더 정확하게 표현하기 위해 비균일성 보정(NUC; Non-Uniformity Correction) 및 다양한 노이즈 제거 기술이 사용된다.

기존의 일반적인 노이즈 제거 방법으로는 Total Variation(TV)을 이용한 방법^[1] 같은 정규화 방법, 가우시안(Gaussian) 필터를 이용한 방법^[2], Guided Filter^[3], Non-Local means(NLM) 방법^[4], BM3D^[5] 등의 필터링 기반의 방법을 사용했으며, 이러한 방법들은 일반적인 가우시안 노이즈에 대하여 제거가 가능하였지만, 열상 영상에서 발생하는 Stripe 노이즈에서는 충분한 성능을 발휘하지 못하였다. 이후에는 영상의 노이즈 제거 분야에서 딥러닝 기반 방법이 두루 연구되었고, 열상 영상의 Stripe 노이즈를 제거하기 위하여 3단계의 간단한 CNN 구조를 이용한 SNRCNN이 연구되었다^[6]. SNRCNN 방법은 패턴 노이즈를 제거하는 동시에 제거하는 과정에서 손실된 영상 해상도를 SR(super resolution) 기법을 이용하여 복원하였으나, 온전한 성능을 보전하지는 못하였다. 이후에 연구된 DLSNUC^[7], ICSRN^[8] 방법 또한 CNN 구조를 이용하여 stripe 노이즈를 제거하였지만, 여전히 강력한 노이즈에선 성능의 한계를 보였다. 이후에 웨이블릿 변환(Wavelet Transform)을 이용한 SNRWDNN 방법^[9]이 연구되었으며, 이 방법은 웨이블릿 변환의 특성을 이용하여 영상의 Stripe 노이즈를 효과적으로 제거할 수 있었지만 간단한 네트워크 구조의 한계로 상대적으로 부족한 성능을 보였다.

최근에는 영상의 노이즈 제거 및 복원을 위한 MPRNet이 소개되었다^[10]. 이 논문에서는 영상의 일반적인 노이즈 제거뿐만 아니라 초해상도, deblurring, deraining등 분야에서 효과적인 영상 복원 성능을 보였지만, 열상 영상의 Stripe 노이즈에 적용되진 않았다.

그림(Fig.) 1.

적외선 영상의 Stripe 패턴 노이즈 (Infrared image stripe pattern noise)

본 논문에서는 이러한 연구들을 응용하여 열상 영상의 Stripe 패턴 노이즈를 효과적으로 제거할 수 있는 방법을 제안한다. 본 논문에서는 Stripe 노이즈 특성을 웨이블릿 변환을 이용하여 각 성분의 특성을 이용하여 패턴 노이즈를 제거하는 데 효과적으로 학습할 수 있으며, 영상 복원을 위한 MPRNet 구조에서 영감을 받아 열상 영상의 Stripe 노이즈 제거에 효과적인 네트워크를 제안한다.

Ⅱ. 관련 연구

2.1 Haar 웨이블릿 변환을 이용한 연구 (SNRWDNN)

SNRWDNN 방법은 열상 영상의 Stripe 노이즈를 정확하게 추정하기 위해서 Haar 웨이블릿 변환을 사용하는 것을 제안하였다. 열상 영상에서는 센서의 구조상 특정 방향의 Stripe 노이즈가 추가되며, 이는 Haar 웨이블릿 변환^[11]으로 효율적으로 분리할 수 있고, 이를 딥러닝에 적용하여 효과적인 성능을 발휘할 수 있었다.

그림(Fig.) 2.

Haar 웨이블릿 변환 결과 (The result of Haar wavelet transform)

그림 2는 Stripe 노이즈 영상을 Haar 웨이블릿 변환했을 때의 결과를 보여준다. 여기서 그림 2(a)는 Stripe 패턴 노이즈 영상이며, 그림 2(b)는 변환 결과로 1/2의 해상도 영상의 저주파 성분(LL)과 수평(LH), 수직(HL), 대각 방향(HH)의 고주파 성분으로 나뉨을 보여준다. 특히 그림 2(b)의 특정 채널에서 세로 방향의 강한 Stripe 노이즈 성분을 확인할 수 있다. SNRWDNN 논문은 이러한 웨이블릿 변환의 특징과 딥러닝 네트워크를 결합하여 저주파 대역의 정보는 보존하면서 고주파 대역의 노이즈를 제거할 수 있었다. 본 논문에서는 이와 마찬가지로 Haar Wavelet을 이용한 딥러닝 네트워크를 활용한 네트워크를 제안한다.

2.2 MPRNet 구조

MPRNet은 영상 복원 및 개선을 위한 네트워크 아키텍처로 복잡한 이미지 복원 작업을 수행하기 위해 여러 스테이지(Multi-stage)로 구성되어 있으며, 점진적으로 이미지를 개선하고 복원하는 데 중점을 둔다. 그림 3은 MPRNet의 구조를 보여준다. MPRNet은 기본적으로 3단계로 구성되어 있으며, 1, 2단계에서는 입력 영상을 1/4, 1/2의 영상으로 나누어 작은 크기의 영상으로부터 원본 크기의 영상을 복원하면서, 초기 단계에서는 영상의 Global한 정보에 집중한 복원을 진행하고, 이후 단계에서는 영상의 Local한 정보 복원을 수행하여 Global-local feature 간의 Trade-off를 제안하였다. 1, 2단계에서는 U-net 구조^[12]를 기반으로 U-Net의 각 스케일에서 특징을 추출할 때, CAB(Channel Attention Block) 구조를 사용하며, 후처리 단계로 SAM(Supervised Attention Module)으로 중요 특징을 추출하고, U-Net 단계에서 추출된 Encoder와 Decoder 특징 결과는 다음 스테이지에서 특징 합성(Fusion)에 사용된다. 3단계에서는 이전 단계에서 학습된 특징과 원본 영상의 세부 정보를 개선하는 ORSNet(Original Resolution Network)으로 세부 정보를 복원한다.

그림(Fig.) 3.

MPRNet 구조 (The architecture of the MPRNet)

Ⅲ. 제안하는 네트워크

3.1 제안하는 네트워크 구조

본 논문에서는 Haar 웨이블릿 변환을 이용하여 영상을 각 성분의 4채널로 변환한 후, 영상 복원 분야에서 성능이 뛰어난 MPRNet 구조를 응용하여 열상 영상에서 발생하는 Stripe 패턴 노이즈를 제거할 수 있는 네트워크를 제안한다.

그림 4는 제안하는 네트워크의 구조를 보여준다. 먼저 제안하는 네트워크는 MPRNet의 다중 스테이지 구조를 사용하지 않고 단일 스테이지(Single-stage)의 네트워크 구조를 사용한다. 즉, 제안하는 네트워크는 지역적(Local) 인스턴스(Instance) 단위가 아닌 웨이블릿 연산이 수행된 전역적(Global) 인스턴스 단위에서 노이즈 제거를 수행한다. 따라서 불필요한 다중 특징 추출(Extraction) 없이 노이즈의 구조적 특징 표현 (Representation)이 가능한 웨이블릿 연산을 중심으로 단일 스케일 네트워크를 설계하였다. 이러한 제안하는 단일 스케일 네트워크는 충분한 노이즈 제거가 가능하였다.

그림(Fig.) 4.

제안하는 네트워크 구조 (The proposed network architecture)

세부적으로, 제안하는 네트워크를 구성하는 U-Net 네트워크의 개별 다운 샘플링(Down-sampling) 특징 추출 과정에서 특징 Attention을 수행하는 ECA 네트워크를 적용하였다^[13]. ECA 네트워크는 개별 채널의 가중치를 부여하며, 이러한 채널 방향 특징 Attention은 노이즈 제거 네트워크 성능 향상에 기여 가능하다. 후처리 단계로 SAM의 출력 특징과 U-Net 단계에서 Encoder와 Decoder 결과를 이용하여 다중 스테이지 간의 특징 합성이 아닌 단일 스테이지에서의 특징 합성을 바탕으로 해상도의 변화 없이 ORSNet의 적용이 가능하다.

3.2 손실 함수(Loss function) 설계

최근 연구들에서는 일반적으로 사용되는 MSE (Mean Square Error)를 기반으로 영상의 에지를 보존하기 위한 식을 추가한 손실 함수(Loss function)를 설계한다. SNRWDNN에서는 여기에 Haar 웨이블릿 채널의 방향성을 고려하여 MSE Loss와 상대적으로 세로 방향의 노이즈 성분이 많이 포함된 웨이블릿 채널의 방향성을 고려한 손실 함수를 사용하였고, MPRNet은 각 스테이지 결과 영상 간 Charbonnier Loss^[14]와 라플라시안 오퍼레이터를 이용한 Edge Loss를 결합하여 구조적인, 세부적인 정보를 고려한 손실 함수를 설계하였다. 본 논문에서도 마찬가지로 결과 영상의 구조적, 세부적인 정보를 보존하면서도, 웨이블릿 변환의 특성을 고려한 새로운 손실 함수를 설계하였다. 식(1)과 같이 웨이블릿 채널의 저주파 성분과 고주파 성분으로 나누어 각기 다른 특징을 이용한 손실 함수를 사용함으로써 성능을 높였다.

여기서 [TeX:] $$L_L$$과 웨이블릿의 저주파 성분인 LL 채널을 의미하고 [TeX:] $$L_H$$는 웨이블릿의 나머지 가로, 세로, 대각 방향의 고주파의 3채널을 의미한다. 제안하는 손실함수는 저주파 채널에서는 식(2)와 같이 영역의 구조적인 영향을 고려한 Charbonnier Loss를 사용하며, 고주파 채널에서는 식(3)과 같이 보다 정확한 결과를 도출하기 위하여 L1 Loss를 사용하였다.

여기서 [TeX:] $$X_L \text { 와 } X_H$$는 제안하는 네트워크의 결과, [TeX:] $$Y_L \text { 와 } Y_H$$는 Ground truth이고, [TeX:] $$\epsilon$$값은 0.001, [TeX:] $$\lambda_1 \text { 와 } \lambda_2$$는 각각 0.5로 설정하였다.

Ⅳ. 실험 및 결과

4.1 실험 환경 및 평가지표

본 논문에서는 공개 데이터셋인 BSDS500^[15]을 영상을 64x64 크기의 패치(Patch)로 나누어 학습에 사용하였다. 노이즈 영상은 시뮬레이션으로 평균이 0이고 표준편차 σ가 0~0.25인 세로 방향의 Stripe 패턴 노이즈를 추가하였다. 또한, Set12 테스트 데이터셋^[16]을 이용하여 성능을 평가하였다.

본 논문에서 제안하는 네트워크는 Pytorch 프레임워크를 사용하여 설계하였다. 네트워크 학습과 평가에는 NVIDIA GeForce RTX 1080 GPU 1개를 사용하였다. 초기 학습률에 강건하고 안정적인 학습을 위한 RAdam (Rectified Adam) 최적화기법^[17]을 사용하여, 초기 학습률 0.001로 50 Epoch 동안 학습을 진행하였다.

4.2 실험 결과

표 2에서는 시뮬레이션 패턴 노이즈 영상에서의 제안하는 네트워크와 다양한 다른 알고리즘과 결과를 정량적으로 비교하였다. 제안하는 네트워크는 PSNR, SSIM으로 보았을 때 수치상으로 높은 성능을 발휘하는 것을 확인할 수 있다.

그림 5와 그림 6은 각각 표준편차 σ=0.1, 0.2의 세로 패턴의 노이즈 시뮬레이션 영상에 대하여 제안하는 네트워크와 다양한 알고리즘과의 결과 비교를 보여준다. 그림 5의 (a)는 원본 영상, (b)는 Stripe 노이즈 영상, (c)는 SNRWDNN, (d)는 MPRNet, (e)는 제안하는 네트워크의 결과 영상이다. SNRWDNN의 결과는 세로 패턴 노이즈를 잘 추정하여 보다 잘 제거하였지만, 그림과 같이 가운데 선박의 밧줄을 비교해보면 세부적인 정보를 잃어버리는 단점을 보였고, MPRNet의 결과를 보면 패턴 노이즈 모두 제거하지 못하여 부분적으로 남아있음을 볼 수 있다. 그림 5(e)를 보면 제안하는 네트워크는 노이즈를 잘 제거하면서도, 세부적인 정보를 보전함을 확인할 수 있다. 그림 6은 보다 강한 노이즈 상황에서의 결과를 보여준다. 마찬가지로 MPRNet과 SNRWDNN은 강한 노이즈 상황에서 노이즈를 잘 추정하지 못하였지만, 제안하는 네트워크는 노이즈를 잘 추정하고 제거할 수 있음을 보였다. 하지만 남자의 얼굴 근처의 세로 방향의 정보 또한 노이즈로 잘못 추정되어 제거될 수 있는 단점 또한 확인할 수 있었다. 그림 7은 실제 Stripe 노이즈의 실제 열상 영상을 이용한 시험 결과이다. 그림 7에서 보이듯이 제안하는 네트워크는 실제 열상 영상에서 발생하는 노이즈에도 적용하여 영상의 품질을 개선시킬 수 있음을 확인하였다.

그림(Fig.) 5.

Stripe 노이즈 제거 비교 결과(σ=0.1). (a) 원본, (b) 노이즈 영상, (c) MPRNet, (d) SNRWDNN, (e) 제안하는 방법 (The comparison of results of stripe noise removal(σ=0.1). (a) Original, (b) Noisy, (c) MPRNet, (d) SNRWDNN, (e) Proposed)

그림(Fig.) 6.

Stripe 노이즈 제거 비교 결과(σ=0.2). (a) 원본, (b) 노이즈 영상, (c) MPRNet, (d) SNRWDNN, (e) 제안하는 방법 (The comparison of results of stripe noise removal(σ=0.2). (a) Original, (b) Noisy, (c) MPRNet, (d) SNRWDNN, (e) Proposed)

그림(Fig.) 7.

패턴 노이즈 제거 결과. (a) 노이즈 영상, (b) 제안하는 방법 (The result of stripe noise removal. (a) Noisy image, (b) Proposed)

4.3 손실 함수에 따른 Ablation 연구

본 절에서는 손실 함수 간의 비교 및 추가하는 과정이 학습 결과에 영향을 끼치는 것에 대하여 분석하였다. 제안하는 방법은 웨이블릿 변환의 각 채널의 특성을 이용한 Loss를 제안하였으며, 일반적으로 많이 사용되는 MSE, L1, Charbonnier Loss와 제안하는 Loss와 비교를 위해 각각 학습을 진행한 후 결과를 비교하였다.

표 3는 세로 방향의 노이즈 평균편차가 σ=0.15인 경우의 노이즈 성분 Stripe 패턴 노이즈 영상에 대한 각 Loss 별 성능을 보여준다. 제안하는 Loss는 웨이블릿 변환의 특징을 고려하여 구조적, 세부적인 정보를 보존하기 때문에 Stripe 패턴 노이즈를 보다 더 정확히 추정하여 제거할 수 있기 때문에 정량적으로 더욱 나은 성능 결과를 보임을 확인하였다.

Ⅴ. 결 론

본 논문에서는 웨이블릿 변환과 MPRNet 구조를 기반으로 열상 영상 영상에서 발생하는 Stripe 패턴 노이즈를 효과적으로 제거하는 네트워크를 제안하였다. 제안하는 네트워크는 Stripe 노이즈 특성을 고려하여 웨이블릿 변환을 사용하며, 영상 복원에 효과적인 네트워크 구조로 세부적인 특징 학습을 통해 효과적으로 열상 영상의 Stripe 패턴 노이즈 제거가 가능하다. 실험 결과에서 볼 수 있듯이, 제안하는 방법은 기존의 방법보다 정성적, 정량적으로 우수하다. 하지만, 강한 노이즈가 첨가되었을 때, 세로 방향의 성분도 같이 제거하는 한계도 보였다. 추후에는 세로 방향의 노이즈와 자세한 성분을 분리할 수 있는 효율적인 구조 및 네트워크 설계를 통하여 실제 열상 시스템에 적용하는 연구가 필요하다.