(NLP)Embedding

밀집표현이란

• 희소표현된 단어를 임의의 길이의 실수 벡터로 표현한 것

• 이 과정을 워드 임베딩이라 하며, 밀집 표현된 결과를 임베딩 백터라 함.

• 자연어처리(Natural Language Processing)분야에서의 임베딩이란

• 사람이 쓰는 자연어 > 기계가 이해할 수 있는 숫자형태의 vector로 바꾸는 과정 및 결과

임베딩의 역할

• 단어/문장 간 관련도 계산
  • 대표적 임베딩 기법 : Word2Vec
  • 컴퓨터가 계산하기 쉽도록 단어를 전체 단어들간의 관계에 맞춰 해당 단어의 특성을 갖는 벡터로 바꾸어 단어들 사이의 유사도를 계산하는 일이 가능해짐.
  • 임베딩을 하면 벡터 공간을 기하학적으로 나타낸 시각화 가능

• 의미적/문법적 정보 함축
  • 사칙연산 가능.
  • 벡터간 덧셈/뺄셈 등을 통해 단어들 사이의 의미적, 문법적 관계 도출 가능
  • 단어 임베딩을 평가하는 방법을 단어 유추 평가(word analogy test)라고 부름

• 전이학습(Transfer Learning)
  • 품질 좋은 임베딩은 모형의 성능과 수렴속도가 빨라짐. 이러한 품질 좋은 임베딩을 다른 딥러닝 모델의 입력값으로 사용하는 것을 전이학습이라함.

임베딩 기법 변화

• 통계 기반 기법
  • 잠재의미분석(Latent Semantic Analysis)
  • 계산량과 메모리 자원 낭비 방지

• Neural Network 기반 기법

임베딩 수준 변화

• 단어 수준 임베딩 기법
  • 각각의 벡터에 해당 단어의 문맥적 의미 함축
  • 단점 : 단어의 형태가 동일하면 동일단어로 인식, 모든 문맥 정보를 해당 단어 벡터에 투영하여 동음이의어를 분간하기 어려움
  • NPLM, Word2Vec, FastText, GloVe 등

• 문장 수준 임베딩 기법
  • ELMo(Embedding from Language Models) 이후 주목
  • 개별 단어가 아닌 단어 Sequence 전체의 문맥적 의미 함축
  • 단어 임베딩 기법보다 전이학습 효과가 좋음
  • 동음이의어도 분리해서 이해 가능해짐

Rule based -> End to End -> Pre-training/fine tuning

• 이전 자연어 처리 모델 대부분은 사람이 Feature를 직접 뽑았음.

• 2000년대 중반 이후 NLP 분야에서도 딥러닝 모델이 주목받기 시작하여 Feature를 직접 뽑지 않아도 되게 되었음. 데이터를 넣어주면 사람의 개입없이 모델 스스로 처음부터 끝까지 이해하는 End-to-End Model 기법을 사용함. 대표적으로는 기계번역에 널리 사용됐던 Sequence-to-Sequence 모델이 있음. 2018년 ELMo 모델이 제안된 이후 NLP 모델은 pre-training과 fine tuning 방식으로 발전하고 있음.

• 대규모 Corpus로 임베딩을 만든다.(Pre-train) 이 임베딩에는 Corpus의 의미적, 문법적 맥락이 포함되어 있음. 이후 임베딩을 입력으로 하는 새로운 딥러닝 모델을 만들어 풀고 싶은 구체적 문제에 맞는 소규모 데이터에 맞게 임베딩을 포함한 모델 전체를 업데이트한다.(fine tuning) ELMo, GPT, BERT등이 이 방식에 해당된다.

• 풀고 싶은 자연어 처리의 구체적 문제들(예시 : 품사 판별(Part-Of-Speech tagging), 개체명 인식(Named Entity Recognition), 의미역 분석(Semantic Role Labeling))을 다운 스트림 태스크(DownStream task)라고 함. 다운스트림에 앞서 해결해야 할 과제라는 뜻의 업스트림 테스크(UpStream task)는 단어/문장 임베딩을 Pre-train하는 작업이 해당된다.

임베딩 종류

• 행렬 분해
  • Corpus(말뭉치) 정보가 들어 있는 원래 행렬을 Decomposition(분해)을 통해 임베딩하는 기법. Decomposition 이후엔 둘 중 하나의 행렬만 사용하거나 둘을 sum하거나 concatenate하는 방식으로 임베딩을 함.
  • ex) GloVe, Swivel 등

• 예측 기반
  • 어떤 단어 주변에 특정 단어가 나타날지 예측하거나, 이전 단어들이 주어졌을 때 다음 단어가 무엇일지 예측하거나, 문장 내 일부 단어를 지우고 해당 단어가 무엇일지 맞추는 과정에서 학습하는 방법
  • Neural Network기반 방법들이 속한다.
  • ex) Word2Vec, FastText, BERT, ELMo, GPT 등

• 토픽 기반
  • 주어진 문서에 잠재된 주제를 추론하는 방식으로 임베딩을 수행하는 기법이며, 대표적으로 잠재 디리클레 할당(LDA)가 있음.
  • LDA 같은 모델은 학습이 완료되면 각 문서가 어떤 주제 분포를 갖는지 확률 벡터 형태로 반환하기 때문에 임베딩 기법의 일종으로 이해할 수 있다.

NLP 용어

• Corpus
  • 말뭉치
  • 임베딩 학습이라는 특정한 목적을 가지고 수집한 표본(특정 목적을 가진 언어의 표본).
  • 분석의 용이성을 위해 형태소 분석이 포함되기도 함.
  • 언어학 연구에 쓰이는 확률/통계적 자료이며 동시에 딥러닝에도 쓰임.

• Collection
  • 컬렉션
  • Corpus에 속한 각각의 집합들
  • 위키백과와 네이버 리뷰를 말뭉치로 쓰면 이들 각각이 컬렉션이 됌.

• Sentence(문장)

• Document(문서)
  • 문장 집합

• Token
  • 문장은 여러 개의 토큰으로 구성됌.
  • 토큰은 단어(Word), 형태소(Morpheme), 서브워드(subword)라고 함.
  • 문장을 토큰 시퀀스로 분석하는 과정을 Tokenize 라고 함.

• Vocabulary(어휘집합)
  • Corpus에 있는 모든 Document를 Sentence로 나누고, 여기에 Tokenize를 실행하고 중복을 제거한 Token들의 집합임.
  • Vocabulary에 없는 Token은 미등록 단어(Unknown Word)라고 함.

• TF-IDF
  • TF → Term Frequency 특정 단어가 글 안에서 나오는 횟수
  • IDF → Inverse Document Frequency 특정 단어가 여러 글에 얼마나 자주 나오는지 알려주는 지표의 Inverse 값
  • 다른 글에서 지시대명사나 조사가 많이 나오므로 IDF는 값이 반대로 낮은 값을 갖게 된다. 이것이 TF-IDF의 장점으로 의미가 없는 조사나 지시대명사를 제외한 단어들의 임베딩 값을 얻을 수 있는 것이다. TF-IDF는 TF와 IDF를 곱한 값으로 다른 글에서 자주 나오지 않고 해당 문서에 많이 등장할수록 더 높은 값을 갖게 된다.

• 분포 가설(Distributed hypothesis)
  • 분포 가설은 같은 문맥의 단어, 즉 비슷한 위치에 나오는 단어는 비슷한 의미를 가진다 라는 의미이다. 따라서 어떤 글의 비슷한 위치에 존재하는 단어는 단어 간의 유사도를 높게 측정할 것이다.

• Word2Vec
  • Word2Vec은 CBow와 Skip-gram이 있다. CBow는 어떤 단어를 문맥 안의 주변 단어들을 통해 예측하는 방법이고 Skip-gram은 반대로 어떤 단어를 가지고 특정 문맥 안의 주변 단어들을 예측하는 과정이다.