New NLP Trands

Timkey, W. and van Schijndel, M. (2021)

→ Rogue(작은 몇개의 차원) 개념 제안.

→ rogue가 모델을 좌우하니, 이를 제어하는 postprocessing 테크닉 제안

 

Paik, C., Aroca-Ouellette, S., Roncone, A., and Kann, K. (2021)

→ CoDa(사람이 인지 가능한 색을 구분하기 위한 데이터) 구성

→ PLM의 한계 지적. (병백하게 딱 이거다! 라고 말하는 사람x. 텍스트만으로는 이러한 데이터를 인지하는 것에 부족함 발견. 따라서 다양한 형태의 데이터를 언어 모델에 적용하는 방법 탐구

 

Kalyan, A., Kumar, A., Chandrasekaran, A., Sabharwal, A., and Clark, P. (2021)

→ 새로운 추론 데이터셋을 고안.

→ 대략적으로 예측해야 되도록 만들기만 해놓고 정확히 계산은 안되게해서 추론 검증하도록 함.

→ ex. 얼음이 다녹으면 해수면얼마나 상승해? 같은 질문과 답을 구성해서 좀 더 진실된 추론 능력을 판단하도록 만듬.

 

Jiang, Z., Tang, R., Xin, J., and Lin, J. (2021)

→ bert는 only 순서에 맞게 재정렬 시키는 token matching에 의존한다고 주장함

→ 몇개의 초기 토큰들이 QA 문제에서 답을내는것을 좌우하고, 그뒤에 단어들은 영향력 엄청 낮다고함

 

 

Schick, T. and Schütze, H. (2021)

→ pretrained Language Model로 높은 퀄리티를 지닌 문장 벡터를 얻을수 있음.

→ 따라서 label 데이터를 만드는 것에 매우 유용하다고 입증함

 

 

Meng, Y., Zhang, Y., Huang, J., Wang, X., Zhang, Y., Ji, H., and Han, J. (2021)

→ NER(Named Entity Recognition 개체명 인식) 개선하는 방법

1. noise에 휘둘리지 않게 학습 스키마를 새로운 loss 함수와 nosiy한 label 제거하는 스텝 넣어서 제안함. (distantly-labeled data로 학습)
2. self-training 방법론 이용해서 generalization(일반화)성능 높임

 

Mekala, D., Gangal, V., and Shang, J. (2021)

→ coarse dataset을 Language Model을 이용해서 pseudo(유사한) 라벨을 빠르게 만들어서 학습하여 fine-grained classification 문제를 효과적으로 풀수 있다고 입증함.

fine-grained classification
Coarse-grained classification 보다 상대적으로 비슷한 특징을 가진 classs 들을 분류하는 것

 

Amplayo, R. K., Angelidis, S., and Lapata, M. (2021)

→ 리뷰와 요약 합성 데이터를 새롭게 만들어서 하나의 문서를 다양한 층위와 디테일의 관점에서 볼 수 있게 만듬

→ 문서를 요약할 때 multi-instance learning에서 새롭게 aspect controller라는 것을 도입해 성능을 개선했다고 함

multi instance learning
여러 개의 Instance(bag)를 Input으로 하여 Output을 예측하는 문제를 의미

aspect
어떤 행동이나 상태의 기동(起動)·계속·완료·종지(終止)·반복(反復) 등을 나타내는 동사의 형태

 

Shi, J., Ding, X., Du, L., Liu, T., and Qin, B. (2021)

→ 인간의 추론과정과 딥러닝 아키텍쳐를 통합하는 neural-synbolic QA approach 제안

 

 

etc.

Sara Hooker(구글브래인 연구원) : 현재 언어 모델의 Clever Hans 문제를 지적함.

지능적으로 보일 수 있는데 모델에 누출되는 다른 키로부터 답을 얻을 수 있어서 시스템이 실제 언어를 이해하지 못한다고함.

XAI(설명가능한 AI, Explainability AI) 가 가장 핫한 이슈임.

 

 

 

 

https://velog.io/@khhiq1000/2021-%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC-%ED%8A%B8%EB%A0%8C%EB%93%9C