To be uploaded Papers list

Liu, Xiao, et al. "P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and Tasks." Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)
. 2022.

• P-tuning Ver.2에 관한 논문이고,
• 모델 scale이나 NLU Task에 관련없이 최적화된 Prompt 구조 제시
• Masked Language Modeling 뿐만 아니라 Classification에서 적용 가능해짐
• Deep Prompt Tuning 구조 채택
• 모든 레이어에 Continuous prompt 적용
• Fine-tuning 대비 0.1% ~ 3%의 학습 파라미터로 메모리, 비용절약하고 성능 비슷하게 만듬

 

---

McCoy, Tom, Ellie Pavlick, and Tal Linzen. "Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference." Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019.

• HANS Dataset에 관한 내용이고,
• NLI Task에서 모델이 잘못 판단하는 Premise와 Hypothesis를 모아논 데이터셋임.
• 여기선 휴리스틱에 의존하는 데이터라고 표현하고, 모델이 왜 이러한 휴리스틱을 채택하여 성능하락되는지 보임.
• 예를들어,
• (P)의사가 대통령에게 충고했다.
• (H)대통령이 의사에게 충고했다.
• (Correct Label) entailment
• (Predict Label) contradiction
• 이러한 느낌

---

He, Pengcheng, et al. "DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION." International Conference on Learning Representations. 2020.

He, Pengcheng, Jianfeng Gao, and Weizhu Chen. "Debertav3: Improving deberta using electra-style pre-training with gradient-disentangled embedding sharing." arXiv preprint arXiv:2111.09543 (2021).

• DeBERTa 모델에 관한 논문이고,
• 최신 모델이라서 성능을 체크해보니 여러 GLUE Task에서 RoBERTa를 이기고 SOTA를 달성함.
• 이를 공부해서 연구에 사용해보려함  

---

Jiang, Nan-Jiang, and Marie-Catherine de Marneffe. "Investigating Reasons for Disagreement in Natural Language Inference." arXiv preprint arXiv:2209.03392 (2022).

 

• NLI 문제는 현재까지 Multi Classification으로 진행하였고, 나도 여기서 이 문제를 해결해야된다고 생각했는데
• 이 논문에서 이 Task를 Multi Label Classification으로 바꿔서 실험하였고, 성능 향상됌.
• 무려 2주전에 나온 뜨끈뜨끈한 논문
• TACL에 Accepted되었음.
• 이거 읽어서 나도 Task 변경해서 기존 방법 써볼 생각