IndexFiguresTables |
Dongseong Yoon♦ and Sungwook Kim°A Cooperative Game-Based Multi-Criteria Weighted Ensemble Approach for Multi-Class ClassificationAbstract: Since the Fourth Industrial Revolution, AI technology has been widely used in many fields, but there are several limitations that need to be overcome, including overfitting/underfitting, class imbalance, and the limitations of representation (hypothesis space) due to the characteristics of different models. As a method to overcome these problems, ensemble, commonly known as model combining, is being extensively used in the field of machine learning. Among ensemble learning methods, voting ensembles have been studied with various weighting methods, showing performance improvements. However, the existing methods that reflect the pre-information of classifiers in weights consider only one evaluation criterion, which limits the reflection of various information that should be considered in a model realistically. Therefore, this paper proposes a method of making decisions considering various information through cooperative games in multi-criteria situations. Using this method, various types of information known beforehand in classifiers can be simultaneously considered and reflected, leading to appropriate weight distribution and performance improvement. The machine learning algorithms were applied to the Open-ML-CC18 dataset and compared with existing ensemble weighting methods. The experimental results demonstrated an average accuracy improvement of 1.02% and a maximum improvement of 3.15%, showing superior performance compared to other weighting methods. Keywords: MCDM , Cooperative Game , compromise , Ensemble , Multi-class classification , Multi-Criteria , Game theory , VIKOR method 윤동성♦, 김승욱°다중 클래스 분류를 위한 협력 게임 기반 다준거 가중 앙상블 기법요 약: 4차 산업 혁명 이후 AI기술이 여러 분야에서 광범위하게 사용되고 있지만, 과대/과소 적합, 클래스 불균형, 모델 별 특성에 기인한 표현(가설공간) 의 한계와 같은 문제점 또한 부각되고 있다. 이를 극복하기 위한 방법으로앙상블(모델 결합) 이 ML에서 광범위하게 사용되고 있다. 특히 투표 앙상블은 다양한 가중치 부여 방법이 연구되어, 이에 따른 성능 향상을 보여주고 있다. 하지만 기존 방법의 경우 한가지 평가지표만을 고려한다는 점에서 정보의 반영에 한계가 존재한다. 따라서, 본 논문에서는 다-준거 상황에서 협력 게임을 이용해 여러 정보를 고려한결정을 내리는 방법을 제안한다. 이를 통해 사전에 분류기에서 알 수 있는 다양한 종류의 정보들을 동시에 고려하고 반영할 수 있으며, 이는 적절한 가중치의 분배와 성능 향상으로 이어진다. Open-ML-CC18의 데이터 셋에 기계학습 알고리즘을 적용하고, 기존 앙상블 가중치 방법과 비교하였으며, 실험결과 다른 가중치 방법에 비해 평균1.02%, 최대 3.15%의 정확도 향상을 보였다. 키워드: 협력게임, 앙상블, 멀티 클래스 분류, 다준거, 게임이론, VIKOR 방법 Ⅰ. 서 론최근 인공지능이 다양한 분야에서 두각을 나타내고 있으며, 그 배경에는 다양한 기법의 연구와 하드웨어의 발전, 학제간 연구의 활성화, 다양한 분야에서의 시도가 있다. 이러한 기술의 발전과 적용에 따라 AI가 해결하 고자 하는 문제는 더 복잡해지고 있으며, 클래스 불균 형, 고차원, 노이즈, 과적합 등의 성능 문제가 발생하고 있다. 이러한 문제를 극복하기 위해, 모델 결합이라고도 불리는 앙상블이 머신러닝 분야에서 광범위하게 사용 되고 있다[1]. 앙상블은 여러 모델의 결합을 통해 더 강건하고 정확 한 예측을 생성하는 방법으로 과거부터 지금까지 최신 기술의 접근 방식에서 빠지지 않고 등장하고 있다. 복잡 한 데이터를 처리하기 위한 최신 기법 속에도 앙상블이 사용되고 있으며, 그중 각광받는 기법 중 몇 가지를 논 하자면 여러 채널의 데이터를 학습하는 멀티 모달, 그리 고 데이터를 군집화 하는 클러스터링이 있다. 이러한 기법들에 빠지지 않고 들어가는 요소가 있다면 바로 분 류기의 결합 즉, 앙상블이다. 앙상블의 방법에는 여러가지 방법이 있으며, 각기 장 단점이 존재한다. 이를 소개하기 위해 전통적인 앙상블 방법을 분류하자면 크게 동종 앙상블(homogeneous en- semble) 과 이종 앙상블(heterogeneous ensemble) 로 분류된다. 동종 앙상블의 대표적인 예로 베깅(Bagging), 부스 팅(Boosting) 이 있다. 보통 이 알고리즘을 기반으로 다 양한 변형이 사용되고 있으며 더 나아가 이런 방법의 연장선에서 신경망 또한 앙상블과 같은 관점에서 랜덤 하게 노드를 비활성화함으로 다양한 분류기를 만들고 최종 예측시 모든 노드를 사용함으로써 합치는 드롭 아 웃이라는 방법이 사용된다. 동종 앙상블이라는 이름처 럼, 이 앙상블 방법은 같은 알고리즘을 가지는 동종 분 류기간의 결합 방법이며, 이는 앙상블 구성이 다양한 방법론을 통해 생성되지 않기에, 다양성에 대한 이득이 제한된다는 한계점을 가지고 있다[2]. 다음으로 이종 앙상블은 이 논문에서 다루고자 하는 방법으로, 많이 쓰이는 방식은 스태킹(Stack Generalization) 과 투표(Voting) 가 있다. 스태킹은 메타 분류자를 이용한 기법으로, 각 분류기 의 출력을 피처로 사용하여 메타 분류기가 학습을 진행 하는 방식이며, 일반적으로 성능이 가장 좋다고 여겨지 지만, 별도의 학습이 필요하며 연산량이 많아지기에 속 도가 느리다는 점과 과적합이 단점으로 꼽힌다. 투표 방식의 경우 비교적 직관적이고 간단한 위원회 방법으로, 각분류기의 결과를 투표룰에 따라 조합하는 방식이다. 투표 룰의 경우 여러가지가 있으며, 앞서 말 한베깅의 경우도 최종 결과는 이 투표에 따라 이루어진 다. 투표를 사용하는 이유는 단일 분류기가 달성할 수 없는 성능을 달성할 수 있기 때문이다[3]. 이 투표 방식 은 관점에 따라 투표의 룰, 가중치(weight) 부여 방법의 차이로 많은 방법들이 제안되어왔다. 이 중에서도 가중 투표 앙상블의 경우, 어떤 정보가 얼마나 가중되어 반영되는지를 사람이 이해하기 쉽고, 단순하면서도 효과적인 방법이며, 분류기의 강인함과 정확도를 향상시키는 방법이다. 그렇기에 투표 방법을 통한 성능 향상에 대한 연구는 활발히 지속되어 왔으며, 이로 인해 다양한결합 방법이 개발되었다. 이 방법들은 주로 에러율 정확도 등 모델의 성능지표를 기반으로 하 며, 대다수의 방법이 하나의 준거에 의존한다. 그러나 어떤 하나의 성능 지표가 모델의 특성을 모두 반영한다고 볼 수는 없으며, 다양한 평가 지표 중 어느 하나만을 고려하기에는 데이터의 분포에 따라 유의미 한 평가지표가 달라지기도 한다. 특히 클래스 불균형 데이터에서 이러한 문제가 두드러지게 나타나며, 문제 의 정의에 따라 비용상 특정 평가 지표가 더 중시되어야 하는 경우도 존재한다. 이러한 환경에 대한 고려 또한 배제할 수 없기에 이를 반영 가능한 가중치 부여 방법이 필요하다. 다중 클래스 분류의 경우 고려해야 할 점이 더 늘어 나는데, 그 이유는 이진 분류에 비해 이 평가방법을 각 클래스 관점에서 다르게 바라보게 되기 때문이다. 따라 서 동일한 평가 지표라도 각 클래스 입장에서 다르게 측정된다. 하지만 기존의 가중 앙상블 방법에서는 단순히 클래 스별 평가지표를 단순히 조합하거나, 혼동행렬의 대각 합, 에러의 개수 등을 이용하고 있으며, 이러한 방법들 은 앙상블을 이루는 모델의 정보를 충분히 반영한다고 보기 어렵다.따라서 얻을 수 있는 다양한 정보를 고려 하되, 정보의 중요도를 조정할 수 있도록 특성을 유지하 면서 가중치를 산출할 수 있는 방법이 필요하다. 기존의 방법이 하나의 평가 지표에 의존하기에, 모델 의 다양한 성능 측변을 모두 반영하지 못하는 한계를 극복하고자 본 논문에서 제안하는 기법은 다준거 의사 결정과 협력 게임 이론을 활용한 접근법을 제시한다. 이로써 여러 가지 지표를 동시에 고려함으로써 보다 적 절한 가중치 할당과 성능 향상을 도모할 수 있다. 이러한 접근은 앙상블 방법의 핵심인 다양성과도 일 치하며, 다양한 평가 요소를 효과적으로 가감하고 조정 할 수 있는 유연성을 제공한다. 이로써, 기존 방법이 간과했던 요소들을 포함함으로써 앙상블의 성능을 향 상시키고, 실제 문제 해결에 적합한 솔루션을 제공한다. 이는 의료진단, 금융탐지, 위급상황 탐지 등 다중 클래 스 분류가 중요하고 높은 정확도가 요구되는 산업분야 에 적용될 수 있다[4]. Ⅱ. 관련연구투표 방식 앙상블을 통한 성능 향상 연구는 활발히 지속되어 왔으며 다양한 접근 방법에 대한 연구가 존재 한다[4,5]. 이러한 투표 앙상블을 설명하기 위해 표기를 정리하면 다음과 같다. n개의 분류기와 m개의 클래스가 있는 상황을 가정 할 때, [TeX:] $$\begin{equation} E=\left\{C_1, C_2, \cdots, C_n\right\} \end{equation}$$는 개별 분류기 [TeX:] $$\begin{equation} C_i \end{equation}$$의 앙상블 을 나타낸다. [TeX:] $$\begin{equation} a_i \end{equation}$$는 분류기 i가 올바르게 예측한 비율인 추정 정확도를 나타내며, [TeX:] $$\begin{equation} e_i \end{equation}$$는 분류기 i가 틀리게 예측 한 에러 수, [TeX:] $$\begin{equation} o_i^j \end{equation}$$는 분류기 i의 j에 대한 출력을 나타낸다. 문헌에 따르면 분류기의 출력은 하드(Crisp), 소프트 (Fuzzy), 적합도(Possibilistic) 세가지로 나뉜다[6]. 이때, 출력의 경우 [TeX:] $$\begin{equation} \left[\alpha_{1, \ldots,}, \alpha_n\right] \end{equation}$$의 벡터로 나오게 되는데 각 출력 별 차이는 다음과 같다. 하드 출력의 경우 흔히 말하는 분류 결과로써, 최종 출력되는 결정값을 말한다. 이 경우 [TeX:] $$\begin{equation} [0, \cdots, 1, \cdots, 0] \end{equation}$$과 같 이 원-핫 인코딩 벡터로 표기되며 [TeX:] $$\begin{equation} H o_i^j \in\{0,1\}, j \in 1,2, \cdots, m \end{equation}$$ 로 나타낼 수 있다. 이때 [TeX:] $$\begin{equation} C_i \end{equation}$$ 가 클래스 j를 예측하면 [TeX:] $$\begin{equation} H o_i^j=1 \end{equation}$$, 그렇지 않으면 0이 다. 소프트 출력은 출력의 확률적 해석을 포함하는 출력 으로, [TeX:] $$\begin{equation} [0,0.2, \cdots, 0.5, \cdots] \end{equation}$$와 같이 각 클래스에 속할 확률 로써 표기되는 출력이다. 식으로 나타내자면, [TeX:] $$\begin{equation} S o_i^j \in[0,1], \Sigma_{j=1}^m S o_i^j=1 \end{equation}$$으로 정의되며, 마지막으로 적합도는 샘플의 클래스에 대한 적합도를 나타내는 것 으로써, [TeX:] $$\begin{equation} P o_i^j \in[0,1], \Sigma_{j=1}^m P o_i^j>0 \end{equation}$$로 나타낼 수 있다[7]. 이중 가중 앙상블에서 주로 사용되는 것은 하드출력과 소프트 출력으로, 이 출력의 차이로 과반수 투표와 소프 트 투표로 나뉘게 된다. 이를 각각 가중치가 없는 경우 로 나타내면 다음과 같다[4]>. a)단순 과반수 투표(Simple Majority Voting):
(1)[TeX:] $$\begin{equation} \begin{aligned} & E_{S M V=} \underset{j=1, \cdots, m}{\arg \max } \sum_{i=1}^n r_i H o_i^j, \\ & r_i=1 / n \end{aligned} \end{equation}$$b) 단순 평균 투표(SimpleAverage Voting):
(2)[TeX:] $$\begin{equation} \begin{aligned} & E_{s a v}=\underset{j=1, \cdots, m}{\arg \max } \sum_{i=1}^n r_i S o_i^j, \\ & r_{i=1 / n} \end{aligned} \end{equation}$$이외에도 투표 룰에 따라 베이즈 룰, 최대 투표 룰, 등 여러 비가중, 가중 방식의 투표 방법이 존재하고 있 으며, 대다수의 가중 투표 앙상블은 위 두가지를 기반으 로 구성된다[6]. 여기서 [TeX:] $$\begin{equation} r_i \end{equation}$$는 가중치로, 결정하는 방법에 따라 가중 투표 앙상블의 방법이 달라지게 되며, 이 논 문에서 비교하기 위해 선택한 기존의 가중치 분배 방법 은 SWV, RSWV, BWWV, QBWWV, WMV 5가지로 수식으로 나타내면, 다음과 같다[6]. c)단순 가중 투표(SimpleWeightedVote;SWV):
여기서 [TeX:] $$\begin{equation} a_i \end{equation}$$는 분류기 i의 추정 성능에 해당한다. d)가중 다수결 투표(WeightedMajorityVote(log- odds);WMV):
e)리스케일링 가중 투표(Re-ScaledWeightedvote; RSWV):
(5)[TeX:] $$\begin{equation} a_i=\max \left\{0,1-\frac{m \cdot e_i}{n(m-1)}\right\} \end{equation}$$여기서 [TeX:] $$\begin{equation} e_i \end{equation}$$는 분류기 i에 의해 흭득된 오류 수이고, m은 클래스의 수, n은 검증 세트의 샘플 수이다. f) 최선-최악 가중치 투표(Best-Worst Weighted vote; BWWV):
여기서 [TeX:] $$\begin{equation} e_W \end{equation}$$와 [TeX:] $$\begin{equation} e_B \end{equation}$$는 각각 최악의 분류기의 오류 수와 최상의 분류기의 오류 수를 나타낸다. g) 이차 최선-최악 가중 투표(Quadratic best worst weighted vote; QBWWV):
이러한 가중치 부여 방법은 특정 하나의 성능 지수에 의존하고 있으며, 이는 앙상블에서 분류기의 특성을 나 타내기에 부족하다. 따라서 이러한 문제 해결을 위해 다-준거 상황을 고려, 게임이론을 적용해 분류기를 평 가하고 가중치를 분배하고자 한다. 앙상블 및 기계학습에 게임이론적 접목을 시도한 연 구는 다수 존재한다[8-10]. 게임이론이 솔루션으로 사용 되는 이유는 게임이론이 앙상블의 모티브가 되는 사회 현상을 분석하는 것에 탁월한 방법이므로, 주어진 환경 의 분석과 설계에 가장 적합한이론이기 때문이다. 게임 이론이란 여러주체가 모여 의사결정을 내리고, 그 결과 에 정해진 보수를 얻는 게임 상황(Game Situation) 을 분석하는 이론으로, 현실의 많은 문제는 이 게임이론에 대응된다. 게임 이론은 크게 두 가지로 협력 게임(Cooperative game) 과 비 협력 게임(non-cooperative game) 으로 구분되며, 논문에서 사용되는 가중 앙상블은, 분류기들 의 성능을 고려해 최종 성능을 향상시킬 수 있는 가중치 를 분배한다는 점에서 볼 때, 협력게임에 속한다. 따라 서 협력 게임을 기반으로 가중치 분배를 설계한다. 기존 연구에서는 가중치 분배에 성능지표 중 하나를 선택해 사용하지만, 사전 학습된 분류기로부터 얻을 수 있는 정보는 여러 가지가 존재한다. 또한 상황에 따른 특정 정보의 중요도는 달라지게 되는데, 이 정보의 종류 를 준거로 두고, 여러 정보를 상황에 맞게 가중치를 부 여하여 동시에 고려하면서 비교가 가능하도록 스케일 링하고, 종합적 평가를 한 뒤, 그것에 따른 신뢰도를 부여하는 방법이 필요하다. 이러한 상황에 적절한 방법 은 게임이론을 기반해 경제학 분야에서 활발히 연구되 어 왔으며, 본 논문에서는 그 중에서도 모든 준거를 고 려해 전역적 평가를 생성하는 방법인 VIKOR방법을 사 용한다. 2.1 MCDM-VIKOR 방법주로 경제학에서 많이 쓰이는 MCDM은 고려해야 할 요소가 여러 개일 때, 즉 다 준거 상황에서 어떤 것을 선택할 것인가 라는 문제의 솔루션으로, 본 논문에서는 타협에 기반한 방법인 VIKOR(VIseKriterijumska Optimizacija I Kompromisno Resenje) 방법을 사용하 려 한다. 이 방법은 상충되며, 서로 다른 단위가 다른 여러 준거를 고려해야 하는 상황을 해결하기 위해 개발 되었다. 어떤 대안을 선택해야 하고, 대안에 대한 평가 기준 이 여러 개 있을 때, 대안을 n이라 하고 기준을 m이라 하자. 또한, 어떤 기준 m에서 대안을비교했을때, 가장 좋은 대안을 [TeX:] $$\begin{equation} a_m^* \end{equation}$$, 가장 안 좋은 대안을 [TeX:] $$\begin{equation} a_m^- \end{equation}$$ 라고 하자. 여기서 [TeX:] $$\begin{equation} a_m^n \end{equation}$$은 m 기준에서 n 대안의 값이다. VIKOR 방법에서 [TeX:] $$\begin{equation} S_n \end{equation}$$값은 모든 준거에서의 종합 적인 평가이며, 다음 식으로 표현된다[11].
(8)[TeX:] $$\begin{equation} S_n=\sum_{j=1}^m\left(p_j \frac{a_j^*-a_j^n}{a_j^*-a_j^{-}}\right) \end{equation}$$[TeX:] $$\begin{equation} R_n \end{equation}$$값은 대안에서 고려해야 할 가장 큰 결점, 즉 대안 의 최대 리스크를 뜻한다[11].
(9)[TeX:] $$\begin{equation} R_n=\max _j\left(p_j \frac{a_j^*-a_j^n}{a_j^*-a_j^{-}}\right) \end{equation}$$이 [TeX:] $$\begin{equation} S_n \end{equation}$$,[TeX:] $$\begin{equation} R_n \end{equation}$$ 값을 고려해서 [TeX:] $$\begin{equation} Q_n \end{equation}$$값을 정하게 된다. [TeX:] $$\begin{equation} p_j \end{equation}$$는 준거에 대한 가중치를 뜻하며, [TeX:] $$\begin{equation} Q_n \end{equation}$$값은 v값에 의해 결정 되는데, v는 S값과 R값중 어느 것에 더 중점을 둘 것인 가에 대한 가중치이다. 이 값은 일반적으로 0.5가 선호 되며, [TeX:] $$\begin{equation} Q_n \end{equation}$$값을 정하는 방법을 식으로 나타내면 다음과 같다[11].
(10)[TeX:] $$\begin{equation} Q_n=v\left(\frac{S_n-S^*}{S^{-}-S^*}\right)+(1-v)\left(\frac{R_n-R^*}{R^{-}-R^*}\right) \end{equation}$$이렇게 구해진 [TeX:] $$\begin{equation} Q_n \end{equation}$$값들을 가지고, 순위를 결정하는 방법이 VIKOR 방법이다. 2.2 협력게임의해법. 밸류밸류란, 게임 이론의 분배 해법 중 하나로써, 여러 플레이어 간의 영향력을 평가하여 수익을 분배하기 위한 방법이다. 여기서 사용하는 밸류는 TU-Game에 서 사용하는 밸류로 한정한다. 이는 투표 앙상블과 같이 가중치가 반영되어 정보를 결합하는 과정을 서 로 효용이 양도 가능한 TU-Game 상황으로 가정하기 때문이다. 밸류의 특징으로 몇가지 공리(Axiom)가 존재하며, 이를 식으로 나타내면 다음과 같이 표현된다[12]. a) 효율성(Efficiency; E):
(11)[TeX:] $$\begin{equation} \begin{aligned} & \sum_{i \in S} \phi_i(u)=v(S), \\ & \text { s.t., } \forall S \in N, u \in v(S), i \in S \end{aligned} \end{equation}$$여기서 N은 대연합(모든 플레이어가 포함된연합), [TeX:] $$\begin{equation} v(S) \end{equation}$$는연합의가치이다. b) 가산성(Additivity; AD):
(12)[TeX:] $$\begin{equation} \begin{aligned} & \phi(j+k)=\phi(j)+\phi(k), \\ & \text { s.t., } \forall S \in N \text { and } j, k \in v(S) \end{aligned} \end{equation}$$c) 선형성(Linearity; L):
(13)[TeX:] $$\begin{equation} \begin{aligned} & \phi(j+k)=\phi(j)+\phi(k) \text { and } \\ & \phi(\alpha \cdot k)=\alpha \cdot \phi(k), \\ & \text { s.t., } \forall S \in N \text { and } j, k \in v(S), \alpha \in \mathbb{R} \end{aligned} \end{equation}$$d) 대칭성(Symmetry; S): ETP(equaltreatmentproperty)라고도 기술되며, 다 음을 만족한다[14].
(14)[TeX:] $$\begin{equation} \begin{aligned} & \phi_a(u)=\phi_b(u), \\ & \text { s.t., } \forall S \in N, u \in v(N), \forall a, b \in N \end{aligned} \end{equation}$$e) 익명성(Anonymity; A):
(15)[TeX:] $$\begin{equation} \begin{aligned} & \phi_a(u)=\phi_{\pi(a)}(\pi u), \\ & \text { s.t., permutation } \pi: N \longrightarrow N, \\ & \qquad u \in v(N), \forall a \in N \end{aligned} \end{equation}$$f) 0-플레이어에 대한 공리 (NPO):
(16)[TeX:] $$\begin{equation} \begin{aligned} & \phi_i(N, v)=(N \backslash k, v) \text { forany } i \in N \backslash k, \\ & \text { s.t. }, k \in N \end{aligned} \end{equation}$$밸류의 분배에 대한 관념은 크게 두 가지로 요약할 수 있는데, 이를 대표하는 것이 후술할 샤플리 밸류와 평등주의(균등분할)이다. 대다수의 많은 밸류는 이 두 가치 사이에서 절충하기 위한 시도이며, 여기에서 기인 해 개별 기여도를 고려해 가치를 할당 한 뒤, 이익의 잉여분을 균등하게 분배하고자 하는 ENIC(egalitarian non-individual contribution) 특성이 나오게 된다. 후술 할 CIS, ENSC, ENPAC, ENBC 밸류는 모두 이 특성에 서 기인하며, RISE(relatively invariant under strategic equivalence)라는 공리를 가지게 된다. 이는 일반적으 로 ETP와 함께 솔루션이 표준적임을 나타내기 위해 만 족되어야 하는 공리이며 다음 식으로 정의된다[13].
Ⅲ. 제안 기법어떤 하나의 기준만을 가지고 가중치를 정하는 것은, 사전에 분류기에서 얻을 수 있는 다양한 정보를 충분히 반영한다고 볼 수 없다. 그렇기에 각 분류기의 특성을 최대한 유지, 반영하면서 가중치를 배분하는 방법을 찾 는 것이 본 논문의 목적이다. 따라서 본 논문에서는 앙상블 단계에서 기본 분류기 에 대해 얻을 수 있는 정보인 혼동행렬을 분류기가 데 이터에 대해 학습한 지식으로 가정하고, 여기서 얻을 수 있는 다양한 정보의 특성을 중요도 반영이 가능한 상태로 유지하면서 최종 가중치를 산출하는 방법을 제 안한다. 3.1 다-준거 평가 기법제안 방법에서는 정보의 다양한 특성을 유지하며, 중 요도를 조정하기 위해 MCDM이라는 분야의 VIKOR 이라는 방법을 사용한다. VIKOR은 서로 상충되는 고 려 사항이 여러 개 존재하는 상황에서 의사결정을 어떻 게 할 것인가라는 문제를 해결하기 위해 나온 솔루션으 로, 결과 자체가 절충안의 집합에 해당하기에, 협상의 기반이 될 수 있다[10]. 이 VIKOR 방법을 사용하기 위해 제안 방법에서는 분류기의 성능평가 지표를 사용한다. 다중 클래스 분류 기의 경우 클래스별로 성능이 다르게 나타나고, 평가지 표에 따라서도 성능은 다르게 표현된다. 이를 반영하기 위해 제안 방법에서 고려하는 점은 평가지표의 종류와 클래스별 평가의 차이이다. VIKOR 방법은 이상점에 가장 가까운 점을 선택하 려는 솔루션이며, 이에 분류기의 성능 지표를 이용하는 것은 Fig 1에 표현되어 있다. Fig 1에서 [TeX:] $$\begin{equation} x_i^j \end{equation}$$는 i분류기가 j준거에서 달성한 성능 을 나타내며, [TeX:] $$\begin{equation} x_*^{j,} x_{-}^j \end{equation}$$는각각 해당 준거에서최고의 성능, 최악의 성능을 나타낸다. [TeX:] $$\begin{equation} X_* \end{equation}$$는 이상적인 성능치(상대 적), [TeX:] $$\begin{equation} X_V, x_V^j \end{equation}$$는 VIKOR 방법을 통해 선택된 솔루션을 나타낸다. 즉, Fig 1의파레토경계에 해당하는집합에서 [TeX:] $$\begin{equation} X_* \end{equation}$$와 가장 거리가가까운 점을 찾는방법이다. 분류기앙상블 의 관점에서 말하자면, 분류기 별로 다양한 준거에서 다르게 달성하는 성능에서, 가장 이상적인 값에 가까워 질 수 있는 지점을 찾는 방법으로, 앞서 설명한 [TeX:] $$\begin{equation} a_m^n \end{equation}$$에 [TeX:] $$\begin{equation} x_i^j \end{equation}$$가 대응된다. 사용할 평가지표는 ACCURACY, PPV, NPV, TPR, TNR이며, 클래스별, 평가지표별 통계적 정의는 Fig 2, Table 1에 나타나 있다. Fig 2은 다중 클래스에서의 혼동행렬을 나타내고, Table 1은 혼동 행렬에 따른 평가지표를 나타낸다. 먼 저 각 클래스별 성능을 고려해 VIKOR방법으로 성능을 정량화 한다. 평가지표별 성능의 정량화가 먼저 이루어 지고, 이후 모든 평가지표를고려한 분류기에 대한상대 적 평가의 정량화가 이루어진다. 표 1. 혼동행렬 기반 평가지표
m개의 클래스와 n개의 분류기, s개의 성능지수를 고려하고, 앙상블을 이루는 분류기 [TeX:] $$\begin{equation} C_1, \ldots, C_n \end{equation}$$의 각 성 능을 [TeX:] $$\begin{equation} x_i^j(k) i=1, \ldots n, j=1, \ldots, m, k=1, \ldots, s \end{equation}$$로 나타 내면, k개의 [TeX:] $$\begin{equation} i \times j \end{equation}$$ 행렬로 나타낼 수 있으며, 각 k에 대해 i는 대안, j는 준거로 포뮬래이션 해 VIKOR 방법 을 계산하면 k개의 [TeX:] $$\begin{equation} i \times 1 \end{equation}$$행렬이 나오게 된다. 이 값을 분류기 i의 k성능에 대한 지표 [TeX:] $$\begin{equation} y_i^k \end{equation}$$로 나타낸다. 이 값은 [TeX:] $$\begin{equation} X^* \end{equation}$$와 [TeX:] $$\begin{equation} x_i^j \end{equation}$$와의 거리를 의미하며, 식 (8)-(10)에 의한 다 음 식으로 k번의 VIKOR 방법을 진행한다.
(18)[TeX:] $$\begin{equation} \begin{aligned} & y_i^k=\left(\max _{i=1, \ldots, n}\left(Q_i(k)\right)+\min _{i=1, \ldots, n}\left(Q_i(k)\right)\right)-Q_i(k), \\ & \text { s.t., } Q_i(k)= \frac{v\left(S_i(k)-S^*(k)\right)}{S^{-}(k)-S^*(k)}+ \\ &(1-v) \frac{\left(R_i(k)-R^*(k)\right)}{\left(R^{-}(k)-R^*(k)\right)}, \\ & \text { and } S_i(k)=\sum_{j=1}^m \frac{p_j\left(x_*^j(k)-x_i^j(k)\right)}{x_*^j(k)-x_{-}^j(k)}, \\ & \quad \text { and } R_i(k)=\max _{j=1, \ldots m}\left[\frac{p_j\left(x_*^j(k)-x_i^j(k)\right)}{x_*^j(k)-x_{-}^j(k)}\right] . \end{aligned} \end{equation}$$k번의 평가지표별 게임에서 고려해야 할 준거 별 가 중치 [TeX:] $$\begin{equation} p_j \end{equation}$$는 불균형 클래스를 고려하기 위해 클래스의 수 와 반비례하게 주어진다. 각 클래스에 해당하는 준거의 가중치는 다음 식으로 주어지며, 감마 분포에 기반한다. 제안에서는 단순히 클래스 수에 반비례하는 방법으로 주어졌지만, 고려해야 할 정보에 따라 이 가중치는 달라 질 수 있다.
(19)[TeX:] $$\begin{equation} \begin{aligned} & p_j=m \cdot \exp \left(-m \cdot w_j^{\prime}\right), \\ & \text { s.t., } w_j^{\prime}=\frac{w_j}{\sum_{j=1}^m w_j} \end{aligned} \end{equation}$$여기서 [TeX:] $$\begin{equation} w_j(j=1, \ldots, m) \end{equation}$$는 각 클래스 j의 개수이다. 다음으로 이 [TeX:] $$\begin{equation} y_i^k \end{equation}$$를 다시 VIKOR에 포뮬레이션 해 계산하여 협상의 기준이 되는 평가 벡터 [TeX:] $$\begin{equation} z_i \end{equation}$$를 계산한다. 식으로 나타내면 다음과 같다.
(20)[TeX:] $$\begin{equation} \begin{aligned} & z_i=\left(\max _{i=1, \ldots, n}\left(Q_i\right)+\min _{i=1, \ldots, n}\left(Q_i\right)\right)-Q_i, \\ & \text { s.t., } Q_i=\frac{v\left(S_i-S^*\right)}{S^{-}-S^*}+(1-v) \frac{\left(R_i-R^*\right)}{\left(R^{-}-R^*\right)}, \\ & S_i=\sum_{j=1}^m \frac{p_j\left(y_*^k-y_i^k\right)}{y_*^k-y_{-}^k}, R_{i=} \max _{j=1, \ldots m}\left[\frac{p_j\left(y_*^k-x_i^k\right)}{x_*^k-x_{-}^k}\right] \end{aligned} \end{equation}$$이때, [TeX:] $$\begin{equation} p_j \end{equation}$$는 동일한 값 또는 사용자가 중요도에 따라 조정한 값을 사용하게 된다. 제안 방법에서는 모든 평가 지표의 중요도가 동일하다 가정하고 동일한 값을 주게 된다. 제안 방법에서는 분류기의 성능 지표만을 사용했지 만, 각 분류기가 서로 다른 피처를 이용하는 멀티 모달 상황이나, 다른 척도가 있는 등, 분류기간의 가중치에 다른 지표를 고려하는 경우, 이에 맞는 중요도를 적용해 분류기를 평가할 수 있다. 이렇게 식(20)에 의해 각 클래스와 평가지표를 고려한 평가벡터가 정의되면, 이 벡터를 가지고 어떻게 각 분류기가 영향력을 행사해야 할 것인지에 대해 밸류를 이용해 계산한다. 3.2 밸류계산을통한가중치분배식(20)와 특성함수를 통해 산출된 값을 후술할 밸 류의 계산 방법에 따라 각각 계산, 정규화하면 각 분류 기에게 주어져야 할 자원에 해당하는 가중치 [TeX:] $$\begin{equation} r_i \end{equation}$$가 산출 된다. 이때, 밸류를 계산하기 위한 특성함수는 파산 문 제로 주어지며, 다음과 같다[14].
(21)[TeX:] $$\begin{equation} \begin{aligned} & v(O)=\max \left(0, W-\sum_{i \notin O} z_i\right) \forall O \subseteq E, \\ & \text { where } W=0.8\left(\sum_{i=1}^n z_i\right) \end{aligned} \end{equation}$$여기서 [TeX:] $$\begin{equation} v(O) \end{equation}$$는 앙상블을 이루는 분류기의 집합 [TeX:] $$\begin{equation} E=\left\{C_1 \ldots, C_n\right\} \end{equation}$$의 부분집합에 해당하는 연합 [TeX:] $$\begin{equation} O \in E \end{equation}$$이 가져갈 수 있는 값을 나타낸다. 이렇게 모든 연합 [TeX:] $$\begin{equation} O \end{equation}$$에 대한 가치가 평가되면 이를 이용해 밸류를 계산한다. 밸류별 식(21)에 의해 주어 진 [TeX:] $$\begin{equation} v(O) \end{equation}$$를 이용해 분배될 가중치를 계산하는 방법은 다음과 같다. a)샤플리 밸류(ShapleyValue) : 효율성(E), 선형성(L), 대칭성(S), NPO를 만족하며, 다음 식으로 나타낼 수 있다[15].
(23)[TeX:] $$\begin{equation} \begin{aligned} & V_i^s(v)= \\ & \sum_{O \in(E-\{i\})} \frac{|O|!(|E|-|O|-1!)}{|E|!}(v(O \cup\{i\})-v(O)) \end{aligned} \end{equation}$$b)반자프 밸류(BanzhafValue) : 선형성(L), 대칭성(S), 익명성(AN), NPO를 만족하 며 다음과 같이 주어진다[15].
(24)[TeX:] $$\begin{equation} V_i^B(v)=\sum_{O \in(E-i\})} \frac{1}{2^{|E|-1}}(v(O \cup\{i\})-v(O)) \end{equation}$$c)Solidarity 밸류: 연합 구성원들 간의 동등한 분배를 추구하는 밸류로 써, 다음과 같이 주어진다[15].
(25)[TeX:] $$\begin{equation} \begin{aligned} & V_i^{S_O}(v)=\sum_{O \subseteq E: i \in O}\left(\frac{(|E|-|O|)!(|O|-1)!}{|E|!} \Delta_i(v)\right), \\ & \text { s.t., } \Delta_i(v)=\frac{1}{|O|}\left(\sum_{i \in O}(v(O)-v(O-\{i\}))\right) \end{aligned} \end{equation}$$d)CIS(Center of theimputationset) 밸류: ENIC 특성에서 출발한 밸류이며, 효율성(E), 대칭성 (S), 가산성(AD), NPO, RISE를 만족하는 밸류로, 다음 과 같이 주어진다[13].
(26)[TeX:] $$\begin{equation} \begin{aligned} & V_i^{C I S}(v)=v(\{i\})+\left(\frac{1}{|E|}\left[v(E)-\sum_{j \in E} v(\{j\})\right]\right), \\ & \text { s.t., } i \in E \end{aligned} \end{equation}$$e) ENSC(egalitarian non-separable contribution value)밸류: 효율성(E), 대칭성(S), 가산성(AD), NPO, RISE를 만족하며, 다음과 같이 주어진다[13].
(27)[TeX:] $$\begin{equation} \begin{aligned} V_i^{E N S C}(v) & =\varepsilon_i(v)+\left(\frac{1}{|E|}\left[v(E)-\sum_{j \in E} \varepsilon_j(v)\right]\right), \\ \text { s.t., } \varepsilon_i(v) & =(v(E)-v(E-\{i\})) \text { and } i \in E \end{aligned} \end{equation}$$f) ENPAC(egalitarian non-pairwise averaged con- tribution) 밸류: 대칭성(S), 가산성(AD), RISE를 만족 하며, 다음과 같이 주어진다[13].
(28)[TeX:] $$\begin{equation} \begin{aligned} & V_i^{E N P A C}(v):=Y_i(v)+\left(\frac{1}{|E|}\left(v(E)-\sum_{j \in E} Y_j(v)\right)\right), \\ & \quad \text { s.t., } Y_i(v)= \\ & \quad\left(v(E)-\left(\frac{1}{|E|-2}\left(\sum_{j \in(E-\{i\})} v(E-\{i, j\})\right)\right)\right) \end{aligned} \end{equation}$$g) ENBC(egalitarian non-Banzhaf contribution) 밸 류: 반자프 밸류를 이용한 밸류로 다음과 같이 주어진다 [13].
(29)[TeX:] $$\begin{equation} \begin{aligned} & V_i^{E N B C}(v):=\Gamma_i(v)+\frac{1}{|E|}\left(v(E)-\sum_{j \in N} \Gamma_j(v)\right), \\ & \text { s.t., } \Gamma_i(v)=\frac{1}{2^{|E|-1}}\left(\sum_{o \subseteq(E-\{i\})}(v(O \cup\{i\})-c(O))\right. \end{aligned} \end{equation}$$이 ENIC 밸류들은 각 플레이어의 개별가치 분배를 어 떻게 하는가의 차이만을 가진 밸류로, 공유하는 관념은 잉여분을 균등하게 분배한다는 점에서 동일하다. h) Consensus 밸류: 2인 게임의 표준 해결책을 n-인의 경우로 일반화해 개별 가치를 할당하는 밸류로, 효율성(E), 대칭성(S), 가산성(AD) 를 만족하며, 다음과 같이 주어진다[16].
(30)[TeX:] $$\begin{equation} \begin{aligned} & V_i^{C o n}(v)=\frac{1}{|E|}\binom{\sum_{j \in(E-\{i\})} V^{C o n}\left((E-\{j\}), v^{-j}\right)+}{\left(\left(v(\{i\})+\frac{v(N)-v(E-\{i\})-v(\{i\})}{2}\right)\right.}, \\ & \text { s.t. } v_{-i}(O)= \\ & \begin{cases}v(O) & \text { if } O \subsetneq E-\{i\} \\ v(E-\{i\})+\frac{v(E)-v(E-\{i\})-v\{i\})}{2} & \text { if } O=E-\{i\}\end{cases} \end{aligned} \end{equation}$$설명한 밸류 중 ENIC 밸류의 경우 [TeX:] $$\begin{equation} r_i \end{equation}$$의 분포에 따라, 0-플레이어에게 음수에 해당하는 값이 배당될 수 있다 [13]. 따라서, 밸류 v에 의한 분류기 i의 밸류를 [TeX:] $$\begin{equation} V_i^u \end{equation}$$라 할 때, 최종 가중치 [TeX:] $$\begin{equation} r_i^u \end{equation}$$는 다음 식으로 정의된다.
(31)[TeX:] $$\begin{equation} \begin{aligned} & r_i^u=a_i^u / \sum_{i=1}^n a_i^u \\ & \text { whare } a_i^u=\max \left(0, V_i^u\right) \end{aligned} \end{equation}$$최종적으로 가중치가 산출되면, 이를 이용해 앙상블 을 진행하게 된다. 가중 투표 방식의 경우 기본 분류기 의 확률적 추정을 기반할 때 가장 잘 작동하기에 최종 투표에는 소프트 출력을 이용하게 되며 밸류 u에 의한 앙상블은 다음 식으로 정의된다.
(32)[TeX:] $$\begin{equation} \begin{aligned} & E_{c g v}^u=\underset{j=1, \ldots, m}{\operatorname{argmax}} \sum_{i=1}^n r_i^u S o_i^j, \\ & \text { s.t., } r_i^u=\frac{\max \left(0, V_i^u\right)}{\sum_{i=1}^n \max \left(0, V_i^u\right)} \end{aligned} \end{equation}$$마지막으로 분석 단계에서는 밸류에 따른 성능차이 가 어떻게 나타나는지를 살피고, 협력 게임상황에서 어 떤 가치가 더 성능향상에 기여하는지를 살펴본다. 밸류 에 따라 달라지는성능을 분석하면, 해당 투표 환경에서 어떻게 가중치를 분배해야 올바른 결정을 내릴 수 있는 가에 대한 해석으로 이어진다. 밸류 여러 개를 후보로 고려하는 이유는 불확실성에 서 기인한다. 협동 게임은 N-인 결정 문제로써의 협동 게임으로 간주되며, 이 N-인 결정 문제에는 많은 불확 실성과 미지수가 관련되어 있는 이유로, 플레이어의 인 식과 입력, 판단에 존재하는 차이로예측이 항상 정확할 수는 없기 때문이다. 이러한 불확실성에 대한 분석을 위해 조금씩 다른 관념을 가진 밸류를 적용시킴으로써, 밸류에 따른 성능을비교하고, 가장높은 성능을 보이는 밸류를 채택하고자 한다. 이 과정을 도식화하면 Fig 3 과 같다. Fig. 3은 제안된 앙상블 기법의 전체적인 프레임워크 를 나타낸다. 먼저, 개별 분류기들이 훈련되고 그들의 성능 지표가 수집된다. 그런 다음, VIKOR 방법을 적용 하여 다준거에 기반해 분류기를 평가한다. 협력 게임 이론을 사용하여 각 분류기에 대한 가중치(밸류)를 계 산한다. 마지막으로, 이러한 가중치를 이용한 가중 투표 방식을 통해 최종 앙상블 예측을 수행한다. Ⅳ. 성능평가데이터셋으로는 벤치마킹의 용도로 많이 사용되는 OPENML-CC18의 데이터셋을 사용했다[17]. OPENML에 있는 멀티 클래스 데이터셋과 CIFAR-10 에서 추출한 특징 데이터를 사용해 성능을 비교했으며, 각 데이터에 대한 설명은 Table 2와 같다. 데이터셋은 모델 훈련(50%), 모델 테스트(25%), 앙 상블 테스트(25%) 세트로 분할된다. 개별 분류기 훈련 에 훈련 세트가 사용되고, 분류기의 평가에 모델 테스트 세트를 사용하며, 앙상블의 성능 비교에 앙상블 테스트 세트를 사용한다. 또한, 데이터셋 분할 시,수집된 데이 터셋과 실제 데이터 분포는 동일하다는 가정하에 층화 추출을 이용해 분할한다. 표 2. 데이터셋
표 3. 방법별 정확도 비교
표 4. 밸류별 정확도 비교
기본 분류기로는 K-Nearest Neighbor, Decision Tree, Support Vector Machine, Naïve Bayes, Artificial Neural Network(MLP), Quadratic DiscriminantAnalysis, LogisticRegression을 사용했 으며, 비교 방법으로는, 다중 클래스 분류에서 혼동행렬 의 대각합에 해당하는 정확도(ACCURACY)로 성능 을 비교한다. 비교 대상은 기존 가중치 방법과 제안 방법에서 가장 성능이 높게 나온 점수를 비교했으며, Table 3은 기존 투표 방법(softvoting; 식(2)-(7)에 해당)과, 제안한 투표 가중치 방법의 정확도를 비교한 것으로, Non-weight는 식(2) 에해당한다. 실험 결과 Table 3에서 볼 수 있듯이, 제안 방법은 비가중치 방법에 비해 0.6%에서 2.1%까지 정확도가 향상되었다. SWV, WMV와 같은 기존 가중피 방법과 비교했을 때도 평균 0.9%의 향상을 보여, 다준거를 활 용한 가중치 할당의 효과성을 입증하였다. 이는 제안 방법이 다른 방법에 비해 앙상블에 반영해야 할 정보들 을 더 많이 반영하기 때문인 것으로 추정된다. Table 4는 제안 방법의 밸류별 정확도를 비교한 것으 로, 밸류에 따른 정확도 차이는 Solidarity, Consensus 밸류를 제외하면 크게 유의미하지 않았으며, ENIC-Shapley, Banzhaf 밸류가 성능이 높게 나타났으 며 기존 방법에 비해 높은 성능을 보였다. 이는 각 밸류 가 지향하는 바를 생각할 때에, 앙상블에서는 가중치의 배분에 부분협력을 고려하지 않고 각 분류기의 기여도 와 전체 연합에서의 공평성이 중요한 것으로 해석된다. 실험에 따르면, 밸류에 따른 분포가 상이하면서도 성 능의 차이를 보이는 것을 것을 확인할 수 있다. 이는 각 밸류의 분배 방법의 차이에 기인한 것으로, 개인의 능력, 대연합(모든 분류기를 결합한 앙상블)과 부분 협 력에 대한 가치부여에 따라 분배 방법이 차이가 있기에 나타나는 결과이다. 실험 결과 ENIC밸류는 5개 데이터 셋 중 4개의 데이 터 세트에서 가장 우수한 성능을 보였으며, 반자프 밸류 는 1개의 데이터 세트에서 우수한 성능을 보였다. 데이 터셋마다 우수한 성능을 보이는 밸류가 다소 차이가 있 는 것은, 다준거로 고려된 성능지표 뿐이 아니라, 앙상 블 가중치 분배에 있어 추가적으로 고려해야 할 여러 요소들이 영향을 미친 것으로 해석된다. 이는 성능외에 도 모델간의 특성차이, 데이터셋의 구조, 그외 다양한 환경적 요인들이 앙상블의 성능에 영향을 줄 수 있음을 나타낸다. Ⅴ. 결 론본 연구에서는 기존 가중 투표 앙상블에서 하나의 성능지표에 의존해 주어지는 가중치를 다양한 환경을 고려할 수 있도록 다-준거의 관점에서 바라보고, VIKOR 방법과 밸류를 이용한 협력 게임 방법으로 해 석해 가중치를 분배하는 새로운 접근법을 제시했다. 이 방법은 기존의 방법과 비교할 때, 다양한 환경을 동시에 고려한다는 점에서 클래스 불균형, 과/소 적합, 가설 공 간의 한계를 좀더 효과적으로 극복할 수 있도록 가중치 를 최적화하는 방법으로, 실험결과 제안 방법이 기존 방법에 비해 유의미한 성능의 향상을 보였다. 가중치 분배의 문제에서 다양한 밸류를 시험한 결과, 밸류에 따라 가중치의 분포와 성능은 상당한 차이가 있 음을 확인할 수 있었다. 이는 밸류가 추구하는 관념을 생각할 때, 초기 평가 지표인 VIKOR 방법에서 고려된 정보들이 분류기의 다 양성을 얼마나 잘 반영하였는가에 대한 의미를 가지고 있다. ENIC밸류의 경우 특정 방법으로 개인에게 가치 를 할당하고 잉여분을 균등하게 분배하는 방법이다. 따 라서 ENIC 밸류에서 성능이 가장 좋은 사례는 고려한 정보가 충분하지 못한 상황에서, 불완전한 정보에서 오 는 불확실성에 대한 기대치를 가중치로써 평등하게 할 당할 때이다. 즉 대연합을 이루는 참여 자체에 가치를 할당함으로써, 정보의 불완전성을 보완하고, 이를 통해 성능이 향상된 사례이다. 이에 반해 CONSENSOUS 밸 류와 Solidarity 밸류가 성능이 낮게 측정된 것은, 부분 적 협력에 대한 고려가 성능에 큰 영향을 미치지 않음을 의미한다. 즉, 대연합에서의 협력만이 중요하다는 것을 시사한다. 제안 방법에서는 성능지표만이 고려되었고 결합에 VIKOR 방법을 사용했으나, 추가적인 지표와 방법, 그 리고 밸류의 계산 복잡도를 줄이기 위한 근사 방법을 고려해 볼 필요가 있다. 이에 대한 연구로는 분류기 간 의 다양성, 성능에 따른 중요도를 게임이론적 접근, 상 관관계 분석과 같은 방법으로 수치화 하는 다른 접근법 이 존재한다. 따라서 이러한 접근법을 제안된 방법에 적용하는 것과, 포뮬레이션을 바꾸어 다 준거 상황에서 의 협상해(Bargaining solution) 와 같은 다른 게임이론 적 솔루션도 고려해 볼 수 있다. 이를 위해서는 AHP, ANP와 같은 네트워크적 결정이론에 대한 깊은 이해와 게임이론에 대한 고차원적 성찰이 필요하다. 또한, 다양 한 방식으로 접근한 정보의 중요도를 산정하고 반영하 는 방법에 대한 연구도 필요하다. 이러한 포괄적인 접근 은 앙상블 학습의 성능을 극대화하고, 다양한 환경에서 의 응용 가능성을 탐색하는데 기여할 것으로 기대된다. BiographyBiographyReferences
|
StatisticsCite this articleIEEE StyleD. Yoon and S. Kim, "A Cooperative Game-Based Multi-Criteria Weighted Ensemble Approach for Multi-Class Classification," The Journal of Korean Institute of Communications and Information Sciences, vol. 50, no. 4, pp. 561-571, 2025. DOI: 10.7840/kics.2025.50.4.561.
ACM Style Dongseong Yoon and Sungwook Kim. 2025. A Cooperative Game-Based Multi-Criteria Weighted Ensemble Approach for Multi-Class Classification. The Journal of Korean Institute of Communications and Information Sciences, 50, 4, (2025), 561-571. DOI: 10.7840/kics.2025.50.4.561.
KICS Style Dongseong Yoon and Sungwook Kim, "A Cooperative Game-Based Multi-Criteria Weighted Ensemble Approach for Multi-Class Classification," The Journal of Korean Institute of Communications and Information Sciences, vol. 50, no. 4, pp. 561-571, 4. 2025. (https://doi.org/10.7840/kics.2025.50.4.561)
|
