2022. 9. 24. 14:53ㆍArtificial_Intelligence/Natural Language Processing
Liu, Xiao, et al. "P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and Tasks." Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)
. 2022.
- P-tuning Ver.2에 관한 논문이고,
- 모델 scale이나 NLU Task에 관련없이 최적화된 Prompt 구조 제시
- Masked Language Modeling 뿐만 아니라 Classification에서 적용 가능해짐
- Deep Prompt Tuning 구조 채택
- 모든 레이어에 Continuous prompt 적용
- Fine-tuning 대비 0.1% ~ 3%의 학습 파라미터로 메모리, 비용절약하고 성능 비슷하게 만듬
McCoy, Tom, Ellie Pavlick, and Tal Linzen. "Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference." Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019.
- HANS Dataset에 관한 내용이고,
- NLI Task에서 모델이 잘못 판단하는 Premise와 Hypothesis를 모아논 데이터셋임.
- 여기선 휴리스틱에 의존하는 데이터라고 표현하고, 모델이 왜 이러한 휴리스틱을 채택하여 성능하락되는지 보임.
- 예를들어,
- (P)의사가 대통령에게 충고했다.
- (H)대통령이 의사에게 충고했다.
- (Correct Label) entailment
- (Predict Label) contradiction
- 이러한 느낌
He, Pengcheng, et al. "DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION." International Conference on Learning Representations. 2020.
He, Pengcheng, Jianfeng Gao, and Weizhu Chen. "Debertav3: Improving deberta using electra-style pre-training with gradient-disentangled embedding sharing." arXiv preprint arXiv:2111.09543 (2021).
- DeBERTa 모델에 관한 논문이고,
- 최신 모델이라서 성능을 체크해보니 여러 GLUE Task에서 RoBERTa를 이기고 SOTA를 달성함.
- 이를 공부해서 연구에 사용해보려함
Jiang, Nan-Jiang, and Marie-Catherine de Marneffe. "Investigating Reasons for Disagreement in Natural Language Inference." arXiv preprint arXiv:2209.03392 (2022).
- NLI 문제는 현재까지 Multi Classification으로 진행하였고, 나도 여기서 이 문제를 해결해야된다고 생각했는데
- 이 논문에서 이 Task를 Multi Label Classification으로 바꿔서 실험하였고, 성능 향상됌.
- 무려 2주전에 나온 뜨끈뜨끈한 논문
- TACL에 Accepted되었음.
- 이거 읽어서 나도 Task 변경해서 기존 방법 써볼 생각
'Artificial_Intelligence > Natural Language Processing' 카테고리의 다른 글
[논문리뷰] FEDNLP, Federated Distillation of Natural Language Understanding with Confident Sinkhorns (0) | 2022.10.25 |
---|---|
[논문리뷰] Federated split bert for heterogeneous text classification (0) | 2022.10.25 |
Recent Natural Language Paper Flows (0) | 2022.09.22 |
[논문구현]Self-Explaining Structures Improve NLP Models (1) | 2022.09.17 |
[논문리뷰]Are Prompt-Based Models Clueless? (0) | 2022.08.29 |