Liu, Xiao, et al. "GPT understands, too." arXiv preprint arXiv:2103.10385 (2021). NLU Task에서 약함을 보여주었던 GPT가 BERT 계열을 이긴 P-Tuning에 대한 논문입니다. 이를 이해하기 위해서 그동안의 자연어 이해 연구 흐름에 대해서도 설명합니다.

Liu, Xiao, et al. "P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and Tasks." Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) . 2022. P-tuning Ver.2에 관한 논문이고, 모델 scale이나 NLU Task에 관련없이 최적화된 Prompt 구조 제시 Masked Language Modeling 뿐만 아니라 Classification에서 적용 가능해짐 Deep Prompt Tuning 구조 채택 모든 레이어에 Continuous promp..

자연어 논문의 흐름도 이전까지 자연어처리는 기계학습에서 RNN의 등장으로인해 점차 딥러닝으로 들어가게 되었음. RNN 순환신경망에서 vanishing gradient 문제가 있어서, 기억shell을 추가한 LSTM이 나왔으며, 그뒤로 GRU도 쓰고 하다가 트랜스포머가 나온 뒤로부터 얘가 이전까지의 성능을 다 이겨버려서 자연어처리의 흐름은 트랜스포머 모델을 기반으로 한 연구가 많아졌음. Attention Is All You Need Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017). 어텐션 기법 소개 → 트랜스포머 모델 On. NLP 분야에서 전설의 시작 ..

Kavumba, Pride, Ryo Takahashi, and Yasuke Oda. "Are Prompt-based Models Clueless?." arXiv preprint arXiv:2205.09295 (2022). 2022년도 5월에 ACL에서 나온 논문입니다. 주제는 Prompt-based Models도 Superficial Cues를 사용하는지, 사용한다면 악용하여 일반화 성능이 떨어지게 만들지는 않는지 분석하여 확인하는 논문입니다. (참고자료) DiceLab SangHun Im

자연어 추론쪽을 연구하면서, 진행중인 실험이 막혀서 잠깐 환기시킬겸 자연어 대회를 찾아봤었다. 캐글에서 진행중인 XNLI 대회, 한국 DACON에서 진행하는 평점 분류 대회 두가지를 찾아서 이를 진행해 보았다. 일단 이 대회를 찾았을 당시에 마감이 D-1이라 다른 기법을 사용하지는 못했고, 빠르게 제출하기 위한 베이스모델만 사용하여 대회에 참가하였다. 대회 참여 인원은 549명 정도였고, 1등의 점수는 0.71312 였다. 그리고 하루 투자해서 제출한 내 점수는 0.68888로, 1등과의 정확도 차이가 0.02432(약 2.4%) 차이였다. 베이직 대회인데 탑10도 못해서 현타가 오긴 했지만, 그래도 빠르게 제출할 수 있다는 거에 의의를 두었다. 처음에는 일단 한국어 커스텀 토크나이저를 만들어서 사용하기..

자연어 모델을 이해했는지 확인 + 공부를 위한 필기 노트입니다. 1. 단순 신경망 2. RNN 3. LSTM 4. GRU 5. Seq2Seq (Sequence to Sequnece) 6. Attention Mechanism 7. 교사 학습 (Teacher Forcing) 8. Beam Search Algorithm 9. Transformer (Encoder, Decoder) 10. BERT 11. RoBERTa 12. ALBERT 13. Embedding / Encoding 14. Knowledge Distillation 15. Self-Explaning 16. Sentence BERT

Schick, Timo, and Hinrich Schütze. "Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference." Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume. 2021. Schick, Timo, and Hinrich Schütze. "It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners." Proceedings of the 20..

허깅페이스는 Tensorflow Hub와 유사한 기능을 제공하는 곳이다. 트랜스포머를 기반으로 하는 다양한 모델들이 존재하며, 각각의 Task에 맞게 미세조정을 진행한 모델들 또한 구축되어있다. 또한, 데이터를 각 모델에 맞게 전처리하기 편리하도록 Tokenizer도 전부 구현되어있다. 그 뿐만 아니라, 학습을 위해 필요한 데이터셋도 저장되어 있어, 사용자는 그저 가져온 뒤 사용하기만 하면 된다. 즉, 허깅페이스를 사용하면 기존 학습 스크립트에서 반복되는 모든 부분을 일일이 따로 구현하지 않아도 편리하게 사용할 수 있으며, 데이터 구축부터 전처리, 모델 학습 및 결과 도출까지 매우 편리하고 효율적으로 코딩할 수 있다는 장점이 있다. 허깅페이스는 다양한 트랜스포머 모델과 학습 스크립트를 제공하는 모듈로, ..

카운트 기반의 단어 표현이란 어떤 글의 문맥 안에 단어가 동시에 등장하는 횟수를 세는 방법입니다. 동시 등장 횟수를 하나의 행렬로 나타낸 뒤, 그 행렬을 수치화해서 단어 벡터로 만드는 방법을 사용하는 방식입니다. 텍스트를 위와 같은 방식으로 수치화하면, 통계적인 접근 방법을 통해 여러 문서로 이루어진 텍스트 데이터가 있을 때 어떤 단어가 특정 문서내에서 얼마나 중요한 것인지를 나타내거나, 문서의 핵심어 추출, 검색 엔진에서 검색 결과의 순위 결정, 문서들 간의 유사도 등의 용도로 사용가능합니다. 각 단어에 1번, 2번, 3번 등과 같은 숫자를 맵핑(mapping)하여 부여한다면 이는 국소 표현 방법에 해당됩니다. 반면, 분산 표현 방법의 해당 단어를 표현하기 위해 주변 단어를 참고합니다. puppy(강아..

Natural Language Processing with Disaster Tweets Predict which Tweets are about real disasters and which ones are not https://www.kaggle.com/c/nlp-getting-started Natural Language Processing with Disaster Tweets | Kaggle www.kaggle.com NLP 공부를 하면서 초기 논문부터 하나씩 보면서 작성해보고, 최신 트렌드를 공부해가면서, 직접 데이터 처리부터 모델을 돌려보고, 자연어를 어떻게 처리하는지 과정을 직접 경험해 보고 싶었다. 즉, NLP 모델을 돌리기 위한 직접 코딩을 하고 싶었다. 기존에 BERT Model을 공부하면서 ..