논문리뷰(10)
-
[논문리뷰] CNM: An Interpretable Complex-valued Network for Matching
양자역학을 간단하게 공부하였었습니다. 이를 어느정도 이해한 다음 양자컴퓨팅, 양자AI에 대해서 관련된 여러 논문들을 찾아보고 공부하였는데, 자연어를 양자역학과 융합한 논문이면서 동시에 NAACL에서 Award받은 논문이라 읽게 되었습니다. Paper Description 제목 : CNM: An Interpretable Complex-valued Network for Matching 저자 : Li et al. Date : 2021.06 인용수 : 53 Publisher : Association for Computational Linguistics Venue : NAACL(North American Chapter of the Association for Computational Linguistics) Awa..
2022.12.27 -
[논문리뷰] GPT Understands, Too
Liu, Xiao, et al. "GPT understands, too." arXiv preprint arXiv:2103.10385 (2021). NLU Task에서 약함을 보여주었던 GPT가 BERT 계열을 이긴 P-Tuning에 대한 논문입니다. 이를 이해하기 위해서 그동안의 자연어 이해 연구 흐름에 대해서도 설명합니다.
2022.10.25 -
[논문구현]Self-Explaining Structures Improve NLP Models
Sun, Zijun, et al. "Self-explaining structures improve nlp models." arXiv preprint arXiv:2012.01786 (2020). 현재 자연어 추론부분에서 상위 부분을 차지하고 있는 논문이다. 처음 Pre-print라는 것을 확인했을 때 꼬름한걸 알아차렸어야했는데, 여러 대회에서도 본 논문의 기법을 사용한 방법도 많고, 점수도 높게나와서 좋은 방법이구나 하였다. 학회에 등록 안된걸 무시하면 안되었다.. 논문 그대로 직접 구현해보니 Base 모델보다 성능이 더 안좋다. 이 기술 사용한다고 몇주날린지 모르겠다.. 부들.. 내가 잘못한건지, 논문에서 구라친건지 모르겠지만... 꼬름한점이 한둘이 아니다. 일단 서론은 여기까지하고 Abstract 1...
2022.09.17 -
[논문리뷰]Are Prompt-Based Models Clueless?
Kavumba, Pride, Ryo Takahashi, and Yasuke Oda. "Are Prompt-based Models Clueless?." arXiv preprint arXiv:2205.09295 (2022). 2022년도 5월에 ACL에서 나온 논문입니다. 주제는 Prompt-based Models도 Superficial Cues를 사용하는지, 사용한다면 악용하여 일반화 성능이 떨어지게 만들지는 않는지 분석하여 확인하는 논문입니다. (참고자료) DiceLab SangHun Im
2022.08.29 -
[논문리뷰] It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners
Schick, Timo, and Hinrich Schütze. "Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference." Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume. 2021. Schick, Timo, and Hinrich Schütze. "It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners." Proceedings of the 20..
2022.07.11 -
[논문리뷰]Efficient Estimation of Word Representations in Vector Space
2022.02.20 - [Artificial_Intelligence/Papers] - [논문리뷰]Distributed Representations of Words and Phrases and their Compositionality [논문리뷰]Distributed Representations of Words and Phrases and their Compositionality ㄴDistributed Representations of Words and Phrases and their Compositionality Mikolov, Tomas, et al. "Distributed representations of words and phrases and their compositionality." Advance..
2022.02.20 -
[논문리뷰]Distributed Representations of Words and Phrases and their Compositionality
Distributed Representations of Words and Phrases and their Compositionality Mikolov, Tomas, et al. "Distributed representations of words and phrases and their compositionality." Advances in neural information processing systems 26 (2013). Abstract (Eng.) The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that cap..
2022.02.20 -
[논문리뷰]A Neural Probabilistic Language Model
A Neural Probabilistic Language Model Bengio, Yoshua, Réjean Ducharme, and Pascal Vincent. "A neural probabilistic language model." Advances in Neural Information Processing Systems 13 (2000). NPLM은 단어를 임베딩하여 벡터로 바꾸는 과정에서 신경망 기반의 기법을 제시하여 향후 Word2Vec으로 가는 기반이 되었다고한다. 간단하게 학습 데이터에 존재하지 않는 n-gram이 포함된 문장이 나타날 확률을 0으로 매긴다 n을 5이상으로 설정하기 어렵기 때문에 문장의 장기 의존성을 포착해내기 어렵다. 단어/문장 간 유사도는 고려 하지 않는다. neural n..
2022.02.20 -
[논문리뷰]Generative Question Refinement with Deep Reinforcement
Generative Question Refinement with Deep Reinforcement Liu, Ye, et al. "Generative question refinement with deep reinforcement learning in retrieval-based QA system." Proceedings of the 28th ACM International Conference on Information and Knowledge Management. 2019. Abstract 실제 QA 시스템에서 잘못된 단어, 잘못된 단어 순서, 노이즈 같은 잘못된 형식의 질문들이 일반적이여서 QA 시스템이 이를 정확하게 이해하고 답변을 던지지 못하게 만듬. 이러한 잘못된 형식의 질문을 효과적으로 제거하기 ..
2022.02.20 -
[NPLM] A Neural Probabilistic Language Model 논문리뷰
A Neural Probabilistic Language ModelYoshua Bengio,Réjean Ducharme,Pascal Vincent,Christian Janvin2003년 3월 1일NPLM은 단어를 임베딩하여 벡터로 바꾸는 과정에서 신경망 기반의 기법을 제시하여 향후 Word2Vec으로 가는 기반이 되었다고한다.간단하게학습 데이터에 존재하지 않는 n-gram이 포함된 문장이 나타날 확률을 0으로 매긴다n을 5이상으로 설정하기 어렵기 때문에 문장의 장기 의존성을 포착해내기 어렵다.단어/문장 간 유사도는 고려 하지 않는다.neural net을 쓰기 이전에는 smoothing( 작은 상수를 더해서 0이 안나오도록) 또는 backoff를 사용해서 data sparcity를 해결했다. long-te..
2022.01.11