[논문리뷰] Federated split bert for heterogeneous text classification

Federated split bert for heterogeneous text classification
Lit, Zhengyang, et al. "Federated split bert for heterogeneous text classification." 2022 International Joint Conference on Neural Networks (IJCNN). IEEE, 2022.

 

Abstract
연합 학습 설정에서 BERT를 조사한 몇 가지 연구가 있지만 클라이언트에 대한 이기종(예: 비 IID) 데이터로 인한 성능 손실 문제는 아직 제대로 조사되지 않음. 이 문제를 해결하기 위해 BERT 인코더 계층을 로컬 부분과 전역 부분으로 분할하여 이종 데이터를 처리하고 통신 비용을 줄이는 프레임워크인 FedSplitBERT를 제안

양자화를 사용한 FedSplitBERT는 통신 비용을 11.9배까지 줄일 수 있음

 

 

Motivate
1. BERT같은 PLM은 많은 NLP 작업에서 인상적인 성능 달성 But, 많은 실제 상황에서 Text Data는 일반적으로 많은 클라이언트에 분산되어 있음 + 개인 정보 보호 및 규정 때문에 중앙 서버에 업로드 될 수 없음 → 연합 학습으로 해결!
2. FL에서 BERT 관련 연구는 몇가지 있으나, 클라이언트에 이기종 데이터로 인한 성능 하락 문제는 연구  X → 이기종 데이터 처리하고 BERT 인코더 레이어를 로컬+글로벌 부분으로 분할해서 통신 비용 절감 (FedSplitBERT Framework 제안)
3. BERT 또한 파라미터가 너무 많아서 통신 비용이 높음. → 로컬 레이어, 글로벌 레이어  나눠서 하나의 클라이언트의 데이터로만 로컬 학습, 파라미터 일부만 서버랑 소통해 통신비용 떨어트림

 

제안모델 및 방안

파란색 인코더만 공유하고, 이후로는 개별 클라이언트에 적응하는 고유 로컬 레이어를 가짐.
글로벌 레이어는 서버랑 통신하고, 로컬 레이어는 각 클라이언트에서 Private로 유지함.

 

실험

Non-IID(Independent and Identically Distributed) : 데이터가 "비독립적"이고, "동일하지 않게 분산"됨
양자화(Quantization): 유한 집합에 대량의 입력값을 매핑하는 것. 즉, 이산적인 값으로 바꾸어 표시

Result

 

결론

GLUE 벤치마크에서 다른 FedAvg, FedProx, FedAdam을 능가함. BERT 모델의 큰 크기를 양자화를 하고 제안방안처럼 하니 통신비용 11.9배 줄임. 구현하기 쉽고 이기종 문제에 효과적임. 효과적인 가중치 압축 방안을 제시함.