IndexFiguresTables |
Ji-Hyun Ryu♦ and Heecheol Yang°A Study on Distributed Learning Algorithm for Heterogeneous Client Settings in Computing CapabilitiesAbstract: In this paper, we address a distributed learning system with a server and clients with heterogeneous computational capabilities. We propose a new distributed learning algorithm that combines split learning with ordered dropout, enabling clients with limited and heterogeneous computing capabilities to participate in training. This approach allows all clients, even with different client-model sizes, to contribute to the improvement of the global model’s performance. We conduct experiments on image classification using ResNet50 on the CIFAR-10 dataset, examining classification performance given the number of clients and the distribution of the dataset. With heterogeneous client settings in computational capacities, simulation results demonstrate that all clients with various client-side model sizes effectively contribute to global model training. Keywords: Distributed learning , Federated learning , Split learning 류지현♦, 양희철°클라이언트의 서로 다른 학습 능력을 고려한 분산학습 알고리즘 연구요 약: 본 논문에서는 서로 다른 학습 능력을 가진 클라이언트와 서버로 구성된 분산학습 환경을 고려한다. 클라이언트의 컴퓨팅 능력이 제한되고 그 능력이 서로 다른 경우, 많은 클라이언트가 학습에 참여할 수 있도록 서버의 학습 능력을 활용하는 분할 학습과 순서화된 드롭아웃(Ordered dropout) 방식을 결합한 분산학습 알고리즘을 제안한다. 이를 통해 클라이언트가 학습하는 클라이언트 모델의 크기가 서로 다르더라도 모두 분산학습에 참여하여 전역모델 성능 향상에 기여할 수 있음을 밝혔다. 기존에 제안된 ResNet50 모델을 통해 CIFAR-10 데이터셋에 대한이미지 분류를 수행하는 실험을 설계하였으며, 클라이언트의 수와 데이터셋의 분포에 따른 분류 성능을 확인하였다. 클라이언트의 컴퓨팅 능력이 서로 다른 상황을 가정하여 클라이언트마다 다른 크기의 클라이언트 모델을 학습하였을 때, 모든 클라이언트가 전역 모델 학습에 기여함을 보였다. 키워드: 분산 학습, 연합 학습, 분할 학습 Ⅰ. 서 론디지털 시대의 급격한 발전과 함께 다양한 스마트폰, 태블릿 PC, IoT 기기의 등장으로 다양한 기기에서 얻을 수 있는 데이터의 양은 기하급수적으로 증가하고 있다. 이러한 데이터를 활용하여 기계학습 또는 딥러닝 모델의 성능을 향상하는데 기여할 수 있지만, 개인의 민감한 정보를 포함하는 경우 데이터의 보안과 프라이버시 문제를 일으킨다. 특히 의료, 금융, 소셜 네트워크 서비스(SNS)와 같은 분야에서는 데이터의 보호를 우선시하고 있다. 이러한 상황에서 제안된 분산학습 방식 중 하나가 연합 학습(Federated Learning, FL)이다[1]. 연합학습은 서버와 여러 클라이언트로 구성된 환경에서 학습을 진행하는 방식이다. 서버에서 여러 클라이언트에 공통의 전역 모델을 전달하고 클라이언트는 각자의 데이터를 가지고 지역 모델을 학습하여 모델의 파라미터를 서버에 전송한다. 서버는 각 클라이언트에서 전달받은 파라미터를 취합하여 전역 모델에 대한 업데이트를 진행한다. 이를 다시 각 클라이언트에 전달하는 과정을 반복하여 학습을 진행한다. 이러한 접근 방식을 통해 클라이언트의 데이터를 서버에 공개하지 않고 전역 모델에 대한 학습이 진행되어 데이터를 보호할 수 있는 장점이 존재한다. 하지만, 최근 거대 언어 모델(Large language model)과 같이 모델의 크기가 과도하게 증가하는 경향이 있어 모델 파라미터를 전달하는 통신 과정에서 발생하는 통신 부담이 증가하는 단점이 있다. 또한, 각 클라이언트의 컴퓨팅 능력이 제한되는 상황에서 일부 클라이언트가 학습에 참여하지 못하거나 특정 클라이언트의 학습 지연으로 인해 전체 학습이 정상적으로 진행되지 못하는 문제가 발생할 수 있어 이로 인해 전역 모델의 성능이 만족스럽지 못한 결과를 얻을 수 있다. 연합학습에서의 단점을 보완하기 위해 새로운 분산 학습 방식인 분할학습(Split Learning, SL)이 제안되었다[2]. 분할학습은 전체 모델을 서버 부분 모델과 클라이언트 부분 모델로 나누어 각각에 대해 서버와 클라이언트에서 학습을 진행하게 된다. 먼저 클라이언트가 학습 데이터를 입력으로 하여 클라이언트 부분 모델에 대한 학습을 진행하고 중간 출력을 서버가 전달받아 서버 부분 모델의 학습을 진행한다. 이를 통해 클라이언트의 컴퓨팅 능력이 제한되는 상황에서도 서버의 컴퓨팅 능력을 빌려 전체 모델에 대한 학습이 가능하다는 장점이 존재하지만, 연합학습과 달리 클라이언트가 순차적으로 학습을 진행하여 학습 진행의 지연이 크다는 단점이 존재한다. 최근에는 특히 클라이언트의 컴퓨팅 능력이 제한된 환경과 열악한 통신 환경으로 인한 클라이언트 간의 이질성을 효과적으로 대처하는 분산학습 알고리즘이 제안되었다[3-7]. [3]에서 제안하는 FjORD는 기존의 모델 학습과정에서 과대적합을 막고자 제안된 임의 드롭아웃(Random Dropout; RD)과 달리, 순서화된 드롭아웃(Ordered Dropout; OD)을 적용하여 클라이언트 간 이질성을 대처하고자 하였다. OD는 RD와 달리 모델의 개별 노드에 대한 중요도 기반 드롭아웃 방식으로 중요도에 따라 정렬하여 순차적으로 드롭아웃을 진행한다. 전체 모델에 OD를 적용하여 성능이 낮은 클라이언트는 작은 서브모델을, 성능이 높은 클라이언트는 더 큰 서브모델을 학습할 수 있는 방식을 제안하였다. FjORD가 클라이언트의 컴퓨팅 자원 제약을 해결하기 위해 너비 기반 서브모델 축소 방식을 제안하였다면, DepthFL에서는 깊이 기반 서브모델 축소 방식을 제안하였다 [4]. 이 방식은 전체 모델의 깊은 레이어들을 가지치기(pruning)함으로써 성능이 낮은 클라이언트는 얕은 서브모델을 학습하고 성능이 높은 클라이언트는 깊은 서브모델을 학습함으로써 전체 모델 학습이 진행될 수 있다는 것을 보여준다. FedHM에서는 글로벌 모델을 저랭크 팩터화(low-rank factorization)를 통해서 서브모델을 생성하는 방식을 제안하였다[5]. 이를 통해서 컴퓨팅 능력이 제한된 클라이언트에서는 저랭크의 서브모델을 학습하고, 서버에 업데이트를 전송하는 방식으로 학습을 진행한다. 서버에서는 저랭크 서브모델을 다시 풀랭크(full-rank)형태로 복원하여 가중치 기반 평균 방식으로 글로벌 모델을 업데이트한다. FedRolex는 롤링 서브모델 추출 방식을 사용하여 글로벌 모델에서 서브 모델을 추출하는 방식을 제안한다. 이 방식은 롤링 윈도우(Rolling window)기법을 사용하여 모델의 서로 다른 부분이 선택되도록 하며 모든 파라미터가 균등하게 학습됨을 보여준다[6]. 또한, SplitFed 기법은 분산학습 환경에서 활용할 수 있는 FL과 SL의 장점을 결합한 학습 방식이다[7]. 기존 SL 방식에서 클라이언트가 순차적으로 학습에 참여하는 단점을 FL의 병렬 학습 방식을 적용하여 학습 지연 효과를 줄이면서 서버의 학습 능력을 활용함으로써 컴퓨팅 능력이 부족한 클라이언트도 학습에 참여할 수 있음을 보여준다. 본 논문에서는 SplitFed 기법을 활용하는 분산학습 환경에서 클라이언트 간 이질성을 효과적으로 대처하는 알고리즘을 제안하고자 한다. 기존 연구로 SplitFed 알고리즘에 클라이언트 간 이질성 또는 클라이언트의 학습 능력 제한을 추가적으로 고려한 방안이 제안되었다[8-10]. NeFL 알고리즘은 SL과 같이 전체 모델을 클라이언트 부분 모델과 서버 부분 모델로 분할하지 않고, 클라이언트의 컴퓨팅 능력에 따라서 전체 모델을 너비와 깊이 모두 축소하여 학습할 수 있는 방안을 제안한다[8]. FedSplitX에서 제안한 방식은 전체 모델을 서버 부분 모델과 클라이언트 부분 모델로 분할하는 과정에서 클라이언트의 컴퓨팅 능력을 고려하여 다양한 깊이의 분할 지점을 설정하여 클라이언트마다 서로 다른 깊이의 클라이언트 부분 모델을 전달한다[9]. 또한, AdaptSFL은 분산학습 환경에 적응적인 알고리즘으로 전체 모델을 서버와 클라이언트가 서로 나누어 연산 부담을 분산시키면서 클라이언트의 컴퓨팅 능력을 추가로 고려하게 된다[10]. 주기적으로 진행되는 클라이언트 부분 모델의 통합 과정에서 주기에 따라 모델의 정확도와 일관성의 차이가 발생하여 적절한 통합 주기를 설정하여 정확도와 통신 비용을 조절할 수 있다. 추가로, 학습 진행 방식에 관한 연구 외에 서버와 클라이언트 간의 통신 비용에 대한 다양한 연구가 진행되었다[11-13]. 본 논문에서는 논문[14]에서 제안한 분산학습 기법을 확장하여 각 클라이언트의 이질적이고 제한된 컴퓨팅 능력을 고려하여 모든 클라이언트가 전체 모델 학습에 참여할 수 있도록 SplitFed 방식과 FjORD 알고리즘을 활용한 분산학습 기법인 HeteroSplitFed를 제안한다. 기존 SplitFed 방식에서는 분할 레이어(cut layer)를 기준으로 전체 모델을 클라이언트 부분 모델과 서버 부분 모델로 나누어 학습을 진행한다. 본 연구에서는 SplitFed 방식에서 클라이언트 부분 모델에 대한 OD를 적용하여 각 클라이언트의 이질적인 컴퓨팅 능력을 추가로 고려해 클라이언트의 제한된 컴퓨팅 능력에 효과적으로 대응할 수 있도록 한다. 성능 확인을 위해 ResNet50 모델을 서버 부분 모델과 클라이언트 부분 모델로 분할하고, 클라이언트 부분 모델에 대해 채널 기준 OD를 적용하였다. CIFAR-10 데이터셋을 각 클라이언트에 분포하고 전체 모델의 이미지 분류 성능을 확인하였다. 서로 다른 데이터 분포와 클라이언트의 수, 클라이언트 부분 모델의 크기를 조정해가며 성능을 확인하였고, 이를 통해 서로 다른 컴퓨팅 능력을 갖춘 클라이언트가 모두 전체 모델 학습에 기여할 수 있음을 보였다. Ⅱ. 본 론2.1 순서화된 드롭아웃(Ordered Dropout: OD)OD는 [3]에서 제안하는 FjORD 알고리즘에서 활용하는 드롭아웃 방법이다. 기존의 학습 과정에서 과대적합을 막고자 제안된 RD에서는 개별 노드에 대해 임의로 드롭아웃을 진행한다. 하지만 OD에서는 RD와 다르게 특정 기준(노드순서, 채널순서 등)에 따라 순차적으로 드롭아웃을 진행하여 전체 모델에서 크기가 작은 효과적인 서브모델을 추출할 수 있도록 한다. Figure 2에서 p는 노드의 드롭아웃 비율을 나타내며 각 텐서의 채널에서 드롭아웃 이후 남는 노드의 비율을 의미한다. 본 논문에서 제안한 HeteroSplitFed에서는 채널 기준 OD를 적용하였으며 클라이언트 부분 모델에 해당하는 레이어 전체에 적용하게 된다. 2.2 시스템 모델본 연구에서의 시스템 모델은 Figure 1과 같이 구성하였다. 서버 역할은 MainServer와 FedServer로 나눌 수 있으며, 둘은 하나의 서버에서 역할을 분리하거나 개별적인 두 서버를 둘 수도 있다. 전체 모델 W를 분할 레이어를 기준으로 클라이언트 부분 모델 [TeX:] $$W^C$$와 서버 부분 모델 [TeX:] $$W^S$$로 분할한다. 서버는 매 라운드마다 클라이언트 부분 모델 [TeX:] $$W_{p_k}^C$$을 클라이언트에 전달한다. 클라이언트는 전달받은 서브 모델로 개별 학습 데이터셋 [TeX:] $$X_k$$에 대한 FeedForward 과정을 수행하고, 분할 레이어까지의 FeedForward 결과인 [TeX:] $$A_k$$를 MainServer로 전달한다. MainServer는 클라이언트에서 전달받은 [TeX:] $$A_k$$를 사용하여 서버 부분 모델 [TeX:] $$W^S$$로 FeedForward 과정을 수행한다. FeedForward 결과인 모델의 출력 [TeX:] $$\widehat{Y}_k$$와 학습 데이터 라벨 [TeX:] $$Y_k$$을 통해 손실을 계산한다. 계산된 손실을 통해 모델의 파라미터 업데이트를 위한 역전파(backpropagation)를 분할 레이어까지 수행한다. 분할 레이어에서의 그래디언트(gradient)를 클라이언트에 전달하며, 클라이언트는 클라이언트 부분 모델의 파라미터 업데이트를 위한 역전파를 수행한다. 모든 클라이언트는 클라이언트 부분 모델에 대한 역전파 결과를 FedServer로 전달하고, FedServer는 클라이언트 부분 모델 업데이트 정보를 수합(aggregation)하여 전역 클라이언트 부분 모델의 업데이트를 수행한다. 이를 통해 한 번의 학습 라운드가 종료되며, 앞선 과정을 반복함으로써 전체 모델에 대한 학습이 진행된다. 2.3 HeteroSplitFed 알고리즘HeteroSplitFed의 전체 알고리즘은 알고리즘 1과 같다. Algorithm 1에서 수행되는 ClientUpdate와 ClientBackProp 알고리즘은 Algorithm 2에서 표현하였다. MainServer, FedServer 및 클라이언트에서 수행되는 학습 과정을 나누어 설명하고자 한다. Table 1은 Algorithm 1과 Algorithm 2에서 사용된 변수명을 정리하였다. MainServer는 매 라운드마다 라운드 t에서의 서버 부분 모델 [TeX:] $$W_t^S$$을 초기화한다. 클라이언트는 클라이언트 k의 라운드 t에서의 부분 모델 [TeX:] $$W_{k, t, p_k}^C$$의 FeedForward 과정의 결과인 [TeX:] $$A_{k, t, p_k}$$를 MainServer로 전달한다. [TeX:] $$A_{k, t, p_k}$$의 크기는 클라이언트 드롭아웃 비율 [TeX:] $$p_k$$에 따라 서로 다르므로 서버 부분 모델 [TeX:] $$W_t^S$$의 FeedForward를 위한 입력에 맞추기 위해 제로-패딩 (zero-padding)으로 크기를 조정한다. MainServer는 [TeX:] $$A_{k, t, p_k}$$를 이용해 서버 부분 모델에 대한 FeedForward 과정인 ServerForward를 수행하며, 그 결과인 모델 출력 [TeX:] $$\widehat{Y}_k$$와 데이터 라벨 [TeX:] $$Y_k$$를 통해 손실을 계산한다. 이를 통해 서버 부분 모델 [TeX:] $$W_t^S$$에 대한 역전파를 진행하고 분할 레이어에서의 그래디언트를 클라이언트에 전달한다. 클라이언트는 클라이언트 부분 모델에 대해 역전파를 수행하여 클라이언트 부분 모델을 업데이트한다. MainServer는 서버 부분 모델 [TeX:] $$W_t^S$$에 대한 업데이트를 진행하고 라운드를 종료한다. FedServer는 매 라운드마다 라운드 t에서의 전역 클라이언트 부분 모델 t에서의 전역 클라이언트 부분 모델 [TeX:] $$W_t^C$$를 초기화한다. FedServer는 클라이언트 k의 라운드 t에서의 부분 모델 [TeX:] $$W_{k, t, p_k}^C$$이 클라이언트마다 서로 다른 크기를 가지기 때문에 모델 수합 전에 크기 조정 과정을 거친다. [TeX:] $$W_t^C$$와 크기가 같고 모든 가중치가 0인 모델 [TeX:] $$V_t^C$$를 정의하고 각 클라이언트에 대해 [TeX:] $$W_{k, t, p_k}^C$$와 [TeX:] $$V_t^C$$의 크기가 다른 경우 [TeX:] $$W_{k, t, p_k}^C$$에서 드롭아웃한 부분을 채우기 위해 이와 같은 크기의 텐서를 [TeX:] $$W_{k, t, p_k}^C$$에 제로-패딩하며, 이를 모든 레이어에 대해 적용한다. 클라이언트 부분 모델 수합 및 업데이트 과정에서는 제로-패딩을 통해 채워진 패널이 모델 수합에 영향을 주지 않도록 하기 위해 변형된 파라미터 평균화 (averaging) 방법을 사용한다. 즉, 실제 모델 학습을 통해 얻은 파라미터 업데이트만을 클라이언트 부분 모델 업데이트에 사용한다. FedServer에서의 제로-패딩 및 변형된 파라미터 평균화 과정은 Figure 3으로 표현하였다. 클라이언트는 매 라운드마다 FedServer에서 업데이트된 클라이언트 부분 모델을 전달받아 클라이언트의 컴퓨팅 능력을 고려하여 클라이언트 부분 모델에 비율 [TeX:] $$p_k$$로 OD를 적용한 서브 모델 [TeX:] $$W_{k, t, p_k}^C$$를 생성한다. 생성한 [TeX:] $$W_{k, t, p_k}^C$$를 통해 데이터 [TeX:] $$X_k$$에 대한 FeedForward 과정을 수행하며, 분할 레이어에서의 출력인 [TeX:] $$A_{k, t, p_k}$$를 MainServer로 전달한다. 클라이언트는 ClientBackprop가 종료될 때까지 대기한다. 클라이언트 부분 모델의 역전파를 위해 우선 MainServer의 서버 부분 모델에 대한 역전파 결과를 전달받는다. 전달받은 분할 레이어에서의 그래디언트를 이용해 클라이언트 부분 모델에 대한 역전파를 진행하고, 이를 통해 각 클라이언트의 지역 클라이언트 부분 모델을 업데이트한다. 업데이트한 지역 클라이언트 부분 모델을 FedServer로 전달한다. Ⅲ. 실 험3.1 시뮬레이션 환경시뮬레이션은 CIFAR-10 데이터셋에 대한 이미지 분류 성능을 확인하는 방식으로 진행하였다. 디리클레 분포를 사용하여 전체 데이터셋을 개별 클라이언트에 분배하였고, 디리클레 분포의 α값을 조정하여 클라이언트별 데이터 분포가 이질적인 경우와 균질한 경우를 모두 가정하였다. Figure 4는 α값에 따른 클라이언트별 데이터 라벨 분포를 클라이언트 수가 5인 상황에 대해 나타내었다. 클라이언트의 수는 5 또는 10으로 설정하였고, 클라이언트별 드롭아웃 비율 p는 Table 2와 같이 설정하였다. 전체 모델 학습은 100 라운드까지 진행하였으며 지역 클라이언트 부분 모델 학습을 위한 local epoch은 10으로 설정하였다. 전체 모델은 ResNet50으로 설정하였으며 Figure 5와 같이 클라이언트 부분 모델과 서버 부분 모델을 분할하였다. 손실 함수로 Cross Entropy 손실을 사용하였고, Adam optimizer를 파라미터 최적화를 위한 옵티마이저로 사용하였다. 배치 크기는 256, 학습률은 0.0001로 설정하여 진행하였다. 표(Table) 2. 시뮬레이션 결과 (Simulation results)
3.2 시뮬레이션 결과Table 2은 다양한 클라이언트 수, 클라이언트 간 데이터 분포의 차이, 클라이언트의 드롭아웃 비율에 따른 FedAvg[1]와 HeteroSplitFed의 모델 정확도를 나타낸다. 100 라운드까지의 모델 학습 과정에서 검증 데이터에 대한 가장 높은 정확도를 표시하였다. 성능 비교를 위해 클라이언트 수가 5이고 α = 10일 때 FedAvg의 성능을 확인하였다. 클라이언트 부분 모델의 드롭아웃 비율이 [0.8, 0.8, 0.8, 0.8, 0.8]일 때, 클라이언트의 컴퓨팅 능력이 모두 균일하고 충분한 상황에서 학습한 결과로 64.887%의 높은 정확도를 보였다. 드롭아웃 비율이 [0.2, 0.2, 0.2, 0.2, 0.2]인 경우 45.874%의 정확도를 보였다. 이는 클라이언트의 컴퓨팅 능력이 부족한 경우 전체 모델에 대한 충분한 학습이 이루어지지 않음을 뜻한다. 또한 서로 다른 컴퓨팅 능력을 갖춘 클라이언트가 혼재한 경우 높은 컴퓨팅 능력을 가진 클라이언트의 학습 결과로 인해 정확도 향상을 얻을 수 있지만, 충분히 효과적이지 않음을 확인하였다. HeteroSplitFed은 클라이언트 수가 5이고 α = 10일 때, 드롭아웃 비율이 [0.8, 0.8, 0.8, 0.8, 0.8]인 경우 FedAvg와 유사한 정확도를 달성하였다. 클라이언트가 상대적으로 제한된 컴퓨팅 능력을 갖춘 상황을 나타내는 드롭아웃 비율 [0.2, 0.2, 0.2, 0.2, 0.2]과 [0.4, 0.4, 0.4, 0.4, 0.4]인 상황에서는 FedAvg와 비교해 더 높은 정확도를 달성하였으며, 이는 클라이언트의 컴퓨팅 능력이 제한된 상황에서 서버의 도움을 통해 더 뛰어난 모델을 얻을 수 있음을 뜻한다. 서로 다른 컴퓨팅 능력을 가진 클라이언트가 혼재하는 경우, OD를 적용하여 낮은 컴퓨팅 능력을 가진 클라이언트도 충분히 모델 학습에 기여를 할 수 있는 성질을 가져 모델 성능의 향상을 꾀할 수 있음을 확인하였다. α = 1인 경우 비균일한 데이터 분포의 영향으로 α = 10일 때에 비해 전체적으로 모델 성능이 저하되는 결과를 보였다. OD를 적용하지 않은 기존 SplitFed 알고리즘[7]의 경우 모든 클라이언트가 같은 크기의 클라이언트 부분 모델을 학습하는 상황을 가정하므로 모든 클라이언트가 가장 낮은 컴퓨팅 능력을 가지는 상황에서의 성능을 얻을 것으로 예상할 수 있다. 따라서, HeteroSplitFed에서 서로 다른 컴퓨팅 능력을 가진 클라이언트가 혼재하는 경우의 성능과 모두 가장 낮은 컴퓨팅 능력을 가지는 경우의 성능을 비교함으로써 HeteroSplitFed의 우수성을 확인할 수 있다. 클라이언트 수가 10일 때, 클라이언트 수가 5이고 같은 드롭아웃 비율을 갖춘 경우와 비교하였을 때 클라이언트 수 증가에 따른 일부 모델 성능 향상을 확인할 수 있고, 데이터 분포가 비균일할수록 클라이언트 수 증가에 따라 높은 성능 향상을 보였다. 또한, 클라이언트 수가 증가하였을 때도 이전과 마찬가지로 클라이언트의 드롭아웃 비율이 서로 다르더라도 낮은 컴퓨팅 능력을 가진 클라이언트가 학습에 효과적으로 참여함으로써 모델 성능 향상에 기여함을 확인하였다. Figure 6-1에서 Figure 6-5은 다양한 클라이언트 수, 클라이언트 간 데이터 분포의 차이에 대해 라운드 진행에 따른 모델 정확도를 나타낸다. 주어진 상황에서 대부분 10라운드 이내에 빠른 정확도 상승을 보여 이후 모델 성능이 수렴하는 경향을 보였다. Figure 6-1에서의 결과를 보면 클라이언트의 컴퓨팅 능력이 충분한 상황인 [0.8, 0.8, 0.8, 0.8, 0.8]인 경우에 빠르게 모델 성능이 수렴하는 경향을 보였으며, 클라이언트의 컴퓨팅 능력이 서로 다른 경우 상대적으로 느리게 수렴하는 것을 확인하였다. Figure 6-2에서도 마찬가지로 클라이언트의 컴퓨팅 능력이 충분한 [0.8, 0.8, 0.8, 0.8, 0.8]인 상황에서 가장 높은 정확도를 보였으며, 컴퓨팅 능력이 서로 다른 경우 상대적으로 느리게 수렴하는 경향을 보여 수렴 속도에 대한 이점은 보이지 않았다. Figure 6-3에서는 데이터의 분포가 non-i.i.d.인 상황에서 i.i.d.한 상황보다 정확도가 낮은 경향을 보이며, 컴퓨팅 능력이 서로 달라도 수렴 속도의 차이는 없는 것을 알 수 있다. Figure 6-4와 Figure 6-5는 클라이언트 수가 10인 경우 라운드 진행에 따른 모델 정확도를 나타내며, 학습 수렴 속도 측면에서 이전 결과와의 차이점은 발견하지 못하였다. 그림(Fig.) 6-1. FedAvg의 정확도, clients=5, α = 10 (Classification accuracy of FedAvg with clients=5, α = 10)  그림(Fig.) 6-2. HeteroSplitFed의 정확도, clients=5, α = 10 (Classification accuracy of HeteroSplitFed with clients=5, α = 10)  그림(Fig.) 6-3. HeteroSplitFed의 정확도, clients=5, α = 1 (Classification accuracy of HeteroSplitFed with clients=5, α = 1)  Ⅳ. 결 론본 연구에서는 분산학습 시스템에 참여하는 클라이언트의 컴퓨팅 능력이 제한되고 서로 이질적인 상황에서 이를 고려한 분산학습 알고리즘 HeteroSplitFed를 제안하였다. 이는 SplitFed 알고리즘에 서로 다른 크기를 갖춘 클라이언트 부분 모델을 얻기 위해 OD를 적용하였고, 다양한 실험을 통해 클라이언트의 컴퓨팅 능력이 제한되고 이질적이더라도 모든 클라이언트가 효과적으로 모델 학습에 참여함으로써 전체 모델의 성능 향상에 기여할 수 있음을 확인하였다. 본 연구를 통해 다양한 모바일 기기가 참여할 수 있는 분산학습 시스템을 구성할 방안을 제시하며, 분산 학습 시스템이 차세대 이동통신 시스템, 무선 네트워크 등을 비롯한 다양한 환경에서 구현될 수 있는 토대를 마련하였다[15]. BiographyBiographyReferences
|
StatisticsCite this articleIEEE StyleJ. Ryu and H. Yang, "A Study on Distributed Learning Algorithm for Heterogeneous Client Settings in Computing Capabilities," The Journal of Korean Institute of Communications and Information Sciences, vol. 50, no. 2, pp. 195-204, 2025. DOI: 10.7840/kics.2025.50.2.195.
ACM Style Ji-Hyun Ryu and Heecheol Yang. 2025. A Study on Distributed Learning Algorithm for Heterogeneous Client Settings in Computing Capabilities. The Journal of Korean Institute of Communications and Information Sciences, 50, 2, (2025), 195-204. DOI: 10.7840/kics.2025.50.2.195.
KICS Style Ji-Hyun Ryu and Heecheol Yang, "A Study on Distributed Learning Algorithm for Heterogeneous Client Settings in Computing Capabilities," The Journal of Korean Institute of Communications and Information Sciences, vol. 50, no. 2, pp. 195-204, 2. 2025. (https://doi.org/10.7840/kics.2025.50.2.195)
|
|||||||||||||||||||||||||||||||||||||||||||||||
