[논문리뷰] FEDNLP, Federated Distillation of Natural Language Understanding with Confident Sinkhorns

Lin, Bill Yuchen, et al. "Fednlp: Benchmarking federated learning methods for natural language processing tasks." arXiv preprint arXiv:2104.08815 (2021).

 

Abstract

자연어 처리(NLP) 작업을 위한 개인 정보 보호, 분산형 학습 방법에 대한 연구가 필요

NLP 작업에 대한 FL 방법 연구에 대한 관심에도 불구하고 문헌에는 체계적인 비교 및 분석이 부족

텍스트 분류, 시퀀스 태깅, 질문 답변 및 seq2seq의 네 가지 작업 공식에 대한 연합 학습 방법을 평가하기 위한 벤치마킹 프레임워크인 FedNLP를 제시

 

Motivate

FL 영역의 발전에도 불구하고 NLP에 대한 연구와 적용은 제한적. 의료 정보 추출 작업 등 FL 방안을 쓴 연구가 있지만 이러한 작업은 특정 작업을 수행하는 것이라 다른 FL 방법을 공정하게 비교하고 다른 NLP 작업에서 성능 분석 어려움. → 향후 다양한 FL 방법을 체계적으로 비교하기 위한 범용 벤치마킹 플랫폼을 제안.(현재까지 이런 벤치마크 논문 없음)

제안 프레임워크

 

 

---

Bhardwaj, Rishabh, Tushar Vaidya, and Soujanya Poria. "Federated Distillation of Natural Language Understanding with Confident Sinkhorns." arXiv preprint arXiv:2110.02432  (2021). Under review as a conference paper at ICLR 2022

 

Abstract

자연어 의미론적 지식을 증류하기 위한 새로운 접근 방식인 KNOT(Knowledge Distillation using Optimal Transport)를 제안

KNOT은 레이블에 할당된 확률 분포의 최적 전송 비용을 학생 모델이 수행하는 제약 조건에서 (로컬) 교사 모델에 의해 예측된 확률의 가중 합으로 최소화하는 방법을 학습하여 (글로벌) 학생 모델을 훈련하는 것을 목표

본 연구에서는 로컬 데이터나 모델 매개 변수를 서버에 공개하지 않고 사용자 장치에 대해 훈련된(로컬) 모델 연합에서 중앙(글로벌)모델을 학습하는 접근 방식 제안

자연어 이해 작업에서 일반적으로 나타나는 레이블 간의 자연 유사성 메트릭 문제에 대한 연합 메커니즘제안 

목표 : 할당된 소프트 타겟의 일치 합으로부터 글로벌 모델 예측의 최적 전송 비용 최소화

기여
1. 본질적인 레이블-공간 의미론이 있는 작업의 경우, 최적의 전송을 사용하여 레이블 간 관계를 인코딩하여 글로벌 모델을 학습하기 위해 로컬 모델의 더 나은 연합(앙상블) 증류를 제안한다.
2. 로컬 모델의 사용자 중심(비 IID) 훈련에서 발생하는 고유 확률 편향의 영향을 최소화하기 위해 L2 거리 기반 가중 증류를 도입한다.

제안 방법

사용자 데이터에 대한 로컬 교육을 받은 교사 역할을 하는 로컬 모델
글로벌 모델은 학생 역할

Result

 

클라이언트 장치에서 중앙(글로벌) 모델로 자연어 이해를 효율적으로 연합 증류하기 위한 알고리즘 제안.
지역(로컬)모델의 고유 확률 편향을 계산하기 위한 새로운 유클리드 거리 기반 메트릭 정의
감정분석, 대화에서의 감정인식, 자연어 추론 3가지 NLU 과제에 대한 효과 입증