Ⅰ. 서 론

모아레 제거 (demoiré)는 디지털 이미징 과정에서 고주파 패턴이 센서의 샘플링 구조와 충돌하면서 발생하는 간섭 무늬 (moiré artifacts)를 제거하는 기법을 의미한다. 특히 디스플레이를 촬영하거나 인쇄된 문서를 디지털화 할 때 이러한 모아레 패턴은 이미지의 품질을 저해하고 시각적 정보의 왜곡을 초래한다. 이러한 이유로 모아레 제거는 사진 복원, 문서 디지털화, 모바일 사진 촬영 등 다양한 컴퓨터 비전 응용에서 필수적인 전처리 단계로 간주된다.

딥러닝이 개발됨에 따라 다양한 모아레 제거 기법들이 제안되었다^[1-10]. 그중 대표적인 방법인 MBCNN^[7]은 주파수 도메인에서 대역통과 필터를 적용해 모아레 성분을 제거하는 구조를 갖는다. 이 방식은 다중 해상도 입력을 활용해 다양한 주파수 대역의 모아레를 처리할 수 있는 장점이 있지만, 필터가 고정되어 있어 입력 이미지의 특성과 관계없이 동일한 주파수 대역만을 통과시킨다는 한계가 있다. 즉, 모아레 패턴이 이미지마다 다르게 나타날 수 있음에도 불구하고, 필터가 이를 유연하게 반영하지 못해 복잡하거나 강한 모아레 패턴에 효과적으로 대응하기 어렵다. 이로 인해 정보 손실이나 복원 성능 저하가 발생할 수 있다.

본 논문에서는 적응적 필터링 기반의 모아레 제거 기법을 제안한다. 제안된 방법은 다중 스케일 구조를 갖고, 각 스케일에서 입력 영상의 주파수 성분에 따라 필터 가중치를 동적으로 조정하는 적응적 필터를 적용한다. 이를 통해 다양한 주파수 대역의 모아레 성분을 효과적으로 억제할 수 있다. 실험 결과, 제안된 기법은 기존 방법들보다 우수한 모아레 제거 성능을 보였다.

Ⅱ. 제안하는 방법

본 논문에서는 적응적 필터링 기반의 모아레 제거 기법을 제안한다. 그림 1은 제안하는 방법을 도시한다. 제안된 전체 프레임워크 (그림 1(a))는 다중 스케일 구조를 기반으로 백본 네트워크, 스케일 별 인코더, U-Net 기반 지역 보정 모듈, 그리고 디코더로 구성된다.

우선, 입력 이미지를 백본 네트워크에 통과시키며, 백본 네트워크는 총 5개의 컨볼루션 계층으로 구성되어 있다. 이는 각 인코더 블록에 적용될 적응적 필터(AF)의 필터 가중치 W를 예측하는데 활용된다.

그림 1.

제안하는 방법. (a) 전체 프레임워크, (b) 인코더 구조, (c) 적응적 필터 구조.

각 스케일 인코더 (그림 1(b))는 밀집 블록(denseblock)과 다중 스케일 연산을 위한 다운샘플링으로 구성되어 있으며, 입력 특징 맵으로부터 모아레 성분을 효과적으로 추출할 수 있도록 설계되었다. 밀집 블록을 통해 입력 특징은 주파수 도메인으로 변환되며. 이후 인코더 출력은 대응되는 적응적 필터 (그림 1(c))를 통과한다, 이 필터는 입력의 주파수 성분에 따라 가중치를 적응적으로 조정함으로써 모아레 성분을 억제한다. 적응적 필터의 구성에는 학습을 통해 얻은 필터 계수 F1, F2, F3, F4와 백본 네트워크로부터 예측한 가중치 W1, W2, W3, W4의 가중합이 사용되며, 가중합을 통해 구성된 필터는 IDCT 계수와 곱한 후 입력 특징 맵과 곱해져 필터링이 수행된다. 각 스케일의 필터링 결과는 인코더에서 [9]에서 제안된 스케일 간 동적 융합 (CSDF) 모듈을 통해 효과적으로 통합된다.

지역 보정 모듈은 다중 스케일 인코더의 출력 특징들을 통합하여, 공간적으로 왜곡된 영역에 대해 보정을 수행한다. 스킵 연결을 포함한 U-Net 구조는 다양한 해상도의 정보를 효과적으로 융합하여 지역적 복원 성능을 향상시킨다.

디코더는 각 스케일에 대해 독립적으로 구성되며, 밀집 블록과 픽셀 셔플 기반 업샘플링 연산을 포함한다. 이를 통해 최종 출력 영상이 복원되며, 각 스케일 별 손실함수[TeX:] $$\begin{equation}\mathcal{L}_{\text {total }}\end{equation}$$는 각 스케일별 복원 결과와 정답 이미지 간의 차이를 기반으로 계산되며, 이는 L1 손실 함수와 지각 손실 함수의 조합으로 정의되어 정량적 정확성과 시각적 품질을 동시에 고려한다.

Ⅲ. 실험 결과

표 1은 PSNR 및 SSIM 지표를 기반으로 한 모아레 제거 기법들의 정량적 성능 비교를 나타낸다. 기존의 모아레 제거 기법들^[5-10]과 제안된 방법을 FHDMi^[8] 및 UHDM^[9] 데이터셋에서 비교한결과, 제안된 방법은 FHDMi 데이터셋에서 가장 우수한 PSNR 및 SSIM 성능을 나타냈다. 또한 UHDM 데이터셋에서는 가장 높은 PSNR과 함께 경쟁력 있는 SSIM 성능을 기록하였다.

그림 2는 다양한 방법에 대한 정성적 비교 결과를 제시한다. 제안된 기법은 기존 방법들에 비해 모아레 패턴을 보다 효과적으로 제거하며, 시각적으로도 가장 뛰어난 복원 결과를 제공함을 확인할 수 있다.

그림 2.

모아레 제거 기법의 정성적 비교. 세부 분석을 위해 빨간색 사각형 내 영역을 확대하여 나타냄.

Ⅳ. 결 론

본 논문에서는 입력 영상의 주파수 특성에 따라 적응적으로 가중치를 조정하는 필터를 활용한 새로운 모아레 제거 기법을 제안하였다. 제안된 프레임워크는 다중 스케일 구조를 기반으로 백본 네트워크, 스케일 별 인코더, U-Net 기반의 지역 보정 모듈, 그리고 디코더로 구성되며, 각 구성 요소는 주파수 성분에 최적화된 모아레 억제 및 복원을 수행한다. 실험 결과, 본 방법은 FHDMi 및 UHDM 데이터셋에서 기존 방법들보다 우수한 성능을 보여, 실제 고해상도 영상의 복원 문제에 효과적으로 적용 가능함을 입증하였다. 향후 연구에서는 경량화 구조 및 비디오 확장 등에 대한 확장이 가능할 것이다.