Tokenization에 대하여

안녕하세요, 오늘은 자연어처리의 가장 기초에 해당하는 Tokenization 에 대해 살펴보고 각 방법론들의 핵심 아이디어들을 살펴보겠습니다! 텍스트를 잘게 쪼개는 기술이 어떻게 컴퓨터가 인간의 언어를 이해하도록 돕는지 함께 확인해봅시다.

토큰화란 무엇일까요? 🤔

토큰화는 긴 문장을 작은 조각으로 나누는 과정이에요. 마치 큰 케이크를 먹기 좋게 자르는 것처럼요! 이렇게 나눈 조각들을 '토큰'이라고 부릅니다.

예를 들어볼까요?

"안녕하세요, 오늘 날씨가 참 좋네요!" 
→ ["안녕하세요", ",", "오늘", "날씨가", "참", "좋네요", "!"]

Tokenization은 문장이나 문서를 모델이 처리할 수 있는 작은 단위, 즉 토큰들로 분할하는 과정을 말합니다. 이 과정은 확률 모델이든 신경망 모델이든 간에, 기계가 이해할 수 있는 형태로 심볼 시퀀스를 입력으로 제공하는 데 필수적입니다.

토큰화 방법들 🎭

토큰화를 통해 문장 또는 문서를 어떻게 분절화하여 모델링할지 결정하는 것은 자연어 처리 분야에서 오랫동안 고민되어 온 주제입니다. 이에 따라 여러 가지 토크나이제이션 방법이 개발되었으며, 각 방법은 특정 상황이나 언어에 더 적합할 수 있습니다. 과거부터 사용되어 온 다양한 토크나이제이션 방법들을 간단히 정리하면 아래와 같습니다.

1. N-gram: 연속된 단어들의 묶음

N-gram은 연속된 N개의 단어를 하나의 토큰으로 만드는 방법이에요.
예: "나는 사과를 좋아해요"

• 1-gram: ["나는", "사과를", "좋아해요"]
• 2-gram: ["나는 사과를", "사과를 좋아해요"]
  이는 텍스트 내에서 아이템의 연속성을 포착하는 데 유용합니다.

2. Character: 한 글자씩 쪼개기

이 방법은 텍스트를 가장 작은 단위인 문자로 나눠요.
예: "안녕" → ["안", "녕"]
이는 개별 문자를 독립적인 토큰으로 취급하는 방법으로, 언어의 구조적 특성을 덜 고려하며, 매우 세밀한 수준의 분석이 가능합니다.

3. Word: 공백을 기준으로 나누기

가장 직관적인 방법으로, 공백을 기준으로 단어를 나눠요.
예: "나는 학생입니다" → ["나는", "학생입니다"]

4. Morpheme: 의미의 최소 단위로 나누기

문장을 가장 작은 의미 단위인 형태소로 나누는 방법이에요.
예: "나는 학생입니다" → ["나", "는", "학생", "이다"]
이는 특히 굴절 언어 처리에 적합합니다.

5. Subword: 작은 의미 단위로 나누기

자주 사용되는 단어의 일부분을 토큰으로 만드는 방법이에요.
예: "unbelievable" → ["un", "believe", "able"]
‘Byte Pair Encoding (BPE)’ 또는 ‘WordPiece’와 같은 방법을 사용하여 자주 사용되는 문자의 조합이나 단어의 부분을 토큰으로 분리하는 방법입니다. 이는 효율적인 어휘 크기 관리와 더 나은 일반화를 가능하게 합니다.

위 방법론을 간단히 예를 들어보면 아래의 테이블과 같습니다.

각 토크나이제이션 방식은 특정 언어나 문제에 따라 그 효율성이 달라질 수 있으며, 적절한 방식을 선택하는 것이 자연어 처리 성능에 큰 영향을 미칩니다.

과거 연구에서는 나라별, 문화별, 언어권별로 선호되는 토크나이제이션 방식이 다양했습니다:

• 로마 언어권: 단어(word) 기반 토크나이제이션이 일반적으로 사용되었습니다. 이는 라틴계 언어의 구조상 단어 간 구분이 명확하기 때문입니다.
• 중국어 언어권: 문자(character) 기반 토크나이제이션이 주로 사용되었습니다. 중국어는 각 문자가 고유한 의미를 가지고 있기 때문에 이 방식이 효과적입니다.
• 한국어: 형태소(morpheme) 기반 토크나이제이션이 선호되었습니다. 한국어는 굴절 언어의 특성을 가지고 있어 형태소 분석이 중요합니다.
• 일본어: 역시 형태소 기반 토크나이제이션이 흔히 사용되었습니다. 일본어 역시 복잡한 굴절을 가진 언어이기 때문입니다.
• 아랍어 언어권: 스템(stem) 기반 토크나이제이션이 사용되기도 했습니다. 아랍어는 근본적으로 각 단어가 변형되는 규칙적인 패턴을 따르므로, 단어의 근본 형태를 중심으로 토큰화하는 것이 유용합니다.

그러나 최근에는 서브워드(subword) 토크나이제이션, 특히 ‘Byte Pair Encoding (BPE)’ 방식이 다양한 언어에 걸쳐 널리 사용되고 있습니다. 이 방식은 어휘의 크기를 효율적으로 관리하고, 일관된 기준으로 모든 언어를 처리할 수 있기 때문입니다.

이러한 Subword 토크나이제이션 방식을 처음 제안한 것은 Google의 Neural Machine Translation of Rare Words with Subword Units 논문에서였습니다. 이 논문에서는 모델 구조는 그대로 유지하면서 토크나이제이션 방식만 BPE 방식으로 바꿔서 성능 향상을 달성한 연구였습니다.

서브워드 토큰화: 언어의 레고 블록 🧱

서브워드 토큰화는 마치 레고 블록처럼 작은 단위로 단어를 나누고 다시 조립할 수 있게 해줘요. Subword 토크나이제이션은 특히 자연어 처리에서 어휘 다양성과 희귀 단어의 변형을 효과적으로 처리할 수 있게 돕는 방법입니다. 이 방법은 전체 단어를 더 작은 의미 단위로 분할하여 자주 발생하지 않는 단어들이 모델에 의해 더 잘 처리될 수 있도록 합니다. 예를 들어, 단어 “unbelievable”은 “un”, “believ”, “able”로 분할될 수 있으며, 이러한 각각의 subword는 다른 단어에서도 재사용될 수 있습니다.

기본적인 원칙은 자주 사용되는 단어는 작은 subword로 분할되지 않고, 희귀 단어는 의미 있는 subword로 분해되어야 한다는 것입니다.

이제 구체적으로 이 subword를 구현하는 방법론에 대해서 살펴보겠습니다. 크게 4가지 방법론이 있습니다.

• Byte-Pair Encoding (BPE)
• Byte-Level BPE
• WordPiece
• Unigram

이 글에서는 위 내용에 대해서 각각 살펴보겠습니다.

BPE (Byte Pair Encoding): 자주 나오는 글자 쌍 합치기

BPE는 자주 등장하는 글자 쌍을 하나의 새로운 토큰으로 만들어요. 마치 자주 먹는 음식 조합을 세트 메뉴로 만드는 것과 비슷해요! 즉, BPE(Byte Pair Encoding) 알고리즘의 핵심 아이디어는 자주 등장하는 문자 쌍을 반복적으로 병합하여 새로운 단어를 생성하는 것입니다. 이를 통해 어휘 크기를 줄이면서도 원본 텍스트의 표현력을 최대한 유지할 수 있습니다.

BPE는 원래 1994년 Philip Gage가 데이터 압축을 위해 제안한 알고리즘입니다. 이 알고리즘은 데이터 내에서 가장 자주 등장하는 바이트 쌍을 반복적으로 병합하여 압축하는 방식으로 작동합니다. 예를 들어, 데이터 스트림에서 가장 빈번하게 나타나는 바이트 쌍 ‘AB’를 ‘Z’로 치환하고, 다시 가장 빈번한 바이트 쌍을 찾아 치환하는 과정을 반복합니다.

- ABABABCCCABDE
- ZZZCCCZDE

이 과정을 통과하면 기존에는 13개의 바이트가 필요한 문서가 10개의 바이트로 압축이 되는 거죠.

Byte-Level BPE: 바이트 단위로 쪼개기

Byte-Level BPE는 기존 BPE 알고리즘의 확장판입니다. 기존 BPE와의 차이점은 original BPE의 기본 묶음의 최소 단위가 문자(chraracter) 일 때 Byte-Level BPE는 Byte 라는 것이죠.

그렇다면 왜 Byte 수준으로 단위를 낮춰서 묶어나가야 하는 걸까요? 이를 이해하기 위해서는 1) 바이트와 문자표현의 관계, 2) Unicode 어휘 처리 및 3)적절한 수준의 어휘수의 필요성에 대해 이해를 해야 합니다.

바이트와 문자 표현의 관계

컴퓨터 세계에서 정보의 기본 단위는 바이트입니다. 1바이트는 8비트로 구성되어 256가지 값을 표현할 수 있습니다. 이는 초기 컴퓨터에서 Extended ASCII라는 256개 문자 표준의 근간이 되었습니다.

하지만 글로벌 시대에 접어들면서 다양한 언어와 문화를 아우르는 새로운 표준이 필요해졌고, 이에 1991년 유니코드가 탄생했습니다. 유니코드는 최대 4바이트를 사용해 백만 개 이상의 문자를 표현할 수 있어, 전 세계의 문자를 하나의 체계로 통합했습니다.

유니코드의 실제 구현: UTF 인코딩

유니코드를 실제로 저장하고 전송하기 위해 여러 인코딩 방식이 개발되었습니다. 그 중 UTF-8이 가장 널리 사용되고 있습니다. 예를 들어, '😊' 이모지는 다음과 같이 인코딩됩니다:

• 유니코드: U+1F60A
• UTF-8: F0 9F 98 8A (4바이트)
• UTF-16: D83D DE0A (4바이트)
• UTF-32: 0001F60A (4바이트)

각 방식은 고유의 특성을 가지고 있지만, UTF-8의 가변 길이 인코딩이 효율성 측면에서 두각을 나타냅니다.

Unicode 어휘 크기의 딜레마

자연어 처리 모델, 특히 트랜스포머 모델에서 토큰화는 두 가지 주요 목적을 가집니다:

1. 입력 문서를 의미 있는 단위로 나누기
2. 모델의 출력 단위 정의하기

그러나 유니코드의 모든 문자를 개별 토큰으로 사용하면 어휘 크기가 100만 개를 훌쩍 넘어, 실용성이 떨어집니다. 이는 임베딩 행렬의 크기를 기하급수적으로 증가시키고, 각 생성 단계에서의 분류 문제를 지나치게 복잡하게 만듭니다.

혁신적 해결책: 바이트 수준 토큰화

이러한 문제를 해결하기 위해 Neural Machine Translation with Byte-Level Subwords 논문에서 바이트 수준 토큰화가 제안되었습니다. 이 방식은 모든 문자를 바이트 단위로 처리함으로써 어휘 크기를 대폭 줄이고, 언어 모델의 효율성을 높입니다.

예를 들어:

• 영어 'A': [01000001]
• 한글 '가': [11101010 10110000 10000000]
• 중국어 '你': [11100100 10111101 10100000]
• 이모지 '😊': [11110000 10011111 10011000 10001010]

바이트 수준 BPE(Byte Pair Encoding)는 이러한 바이트 시퀀스를 기본 단위로 사용하여 자주 등장하는 패턴을 병합합니다. 이를 통해 모델은 다양한 언어와 특수 문자를 효율적으로 처리할 수 있게 됩니다.

이러한 접근 방식은 자연어 처리 모델의 성능을 향상시키고, 다국어 처리 능력을 크게 개선하는 데 기여하고 있습니다. 바이트 수준 토큰화는 현대 NLP의 핵심 기술 중 하나로 자리 잡았습니다.

대표적인 언어모델과 사용된 토큰화 방법 🚀

다음은 각 토큰화 알고리즘을 사용하는 대표적인 언어 모델과 각 모델의 어휘 수를 정리한 테이블입니다.

위의 표에서 보다시피 크게 2가지 트렌드를 볼 수 있습니다.
첫 번째는 점점 더 많은 모델이 Byte-Level BPE와 같은 토크나이제이션 방법을 채택하고 있다는 것입니다. 이는 다양한 언어와 특수 문자를 효율적으로 처리하고, 희귀 단어와 신조어에 대한 적응력을 높이기 위함 입니다. Byte-Level BPE는 문자를 바이트 단위로 처리함으로써 다국어 환경에서 특히 유리하며, 복잡한 언어 패턴을 더 잘 캡처할 수 있습니다.
두 번째는 어휘 크기가 다양해지고 있다는 것입니다. 초기 모델들은 주로 30,000에서 50,000 사이의 어휘 크기를 사용했으나, 최근의 모델들은 32,000에서 128,000까지 다양한 어휘 크기를 활용하고 있습니다. 이러한 트렌드는 더 정교한 언어 표현과 다양한 언어 지원을 위한 것으로 해석할 수 있습니다.

BBPE Deep Dive!

최근 모델들은 BBPE 방법을 채택하여 대부분의 문자를 처리할 수 있게 되었습니다.

1. 유니버설 커버리지:
   • 바이트 레벨 처리를 기반으로 하기 때문에, 어떤 문자 인코딩이든 처리할 수 있습니다.
   • UTF-8, UTF-16 등 모든 유니코드 문자를 포함하여, 존재하는 모든 문자를 표현할 수 있습니다.
2. 알려지지 않은 문자 처리:
   • 학습 데이터에 없던 새로운 문자나 이모지가 등장해도 바이트 시퀀스로 분해하여 처리할 수 있습니다.
3. 다국어 지원:
   • 특정 언어에 국한되지 않고, 모든 언어의 문자를 동등하게 처리할 수 있습니다.
   • 한글, 한자, 아랍어, 키릴 문자 등 복잡한 문자 체계도 문제없이 다룹니다.
4. 효율적인 표현:
   • 자주 사용되는 단어나 서브워드는 그대로 저장하여 효율성을 높입니다.
   • 덜 흔한 문자나 단어는 더 작은 단위(바이트 시퀀스)로 분해하여 표현합니다.
5. 유연성:
   • 새로운 언어나 특수 문자가 추가되어도 모델 구조를 변경할 필요가 없습니다.

예를 들어:

1. 일반적인 영어 단어: "hello" → [hello]
2. 덜 흔한 영어 단어: "antidisestablishmentarianism" → [anti][dis][establish][ment][arian][ism]
3. 한글: "안녕하세요" → [안녕][하세요] 또는 [안][녕][하][세요]
4. 이모지: "🌍" → [바이트1][바이트2][바이트3][바이트4]
5. 희귀한 유니코드 문자: "𐐷" (데저렛 알파벳) → [바이트1][바이트2][바이트3][바이트4]

이 방식은 모든 가능한 문자를 처리할 수 있으며, 동시에 자주 사용되는 패턴에 대해서는 효율적인 표현을 제공합니다. 따라서 알려진 언어뿐만 아니라 미래에 만들어질 수 있는 새로운 문자나 기호도 문제없이 처리할 수 있는 유연성을 가지고 있습니다.

또한, 과거의 토큰화 방식과 현재의 방식 사이에는 중요한 차이가 있습니다. 이 변화에 대해 자세히 설명드리겠습니다:

1. 과거의 방식 (Unknown 토큰 사용):
   • vocab에 없는 단어를 만나면 Unknown 토큰([UNK])으로 대체했습니다.
   • 이 방식의 한계:
     • a) 정보 손실: Unknown으로 처리된 단어의 의미가 완전히 사라집니다.
     • b) Out-of-Vocabulary (OOV) 문제: 새로운 단어나 희귀 단어를 효과적으로 처리하지 못했습니다.
     • c) 다국어 처리의 어려움: 모든 언어의 단어를 vocab에 포함시키기 어려웠습니다.
2. 현재의 방식 (서브워드 토큰화 + 바이트 레벨 처리):
   • Unknown 토큰을 거의 사용하지 않거나 아예 사용하지 않습니다.
   • 모든 입력을 더 작은 단위(서브워드나 바이트)로 분해할 수 있습니다.
   • 장점:
     • a) 정보 보존: 모든 입력을 의미 있는 단위로 분해하여 처리합니다.
     • b) OOV 문제 해결: 새로운 단어도 기존 서브워드나 바이트의 조합으로 표현 가능합니다.
     • c) 언어 독립적: 모든 문자와 언어를 동등하게 처리할 수 있습니다.

예시:
과거: "antidisestablishmentarianism" → [UNK]
현재: "antidisestablishmentarianism" → [anti][dis][establish][ment][arian][ism]

과거: "새로운단어" → [UNK] 현재: "새로운단어" → [새][로운][단어] 또는 [바이트1][바이트2]...[바이트N]

이 접근 방식은 '후퇴(fallback)' 메커니즘이라고도 불리며, 다음과 같이 작동합니다:

1. 토큰 우선:
   • 입력 텍스트를 처리할 때, 먼저 vocab에 있는 토큰과 일치하는지 확인합니다.
   • 일치하는 토큰이 있으면 그것을 사용합니다.
2. 바이트 레벨 후퇴:
   • vocab에 일치하는 토큰이 없을 경우, 해당 부분을 바이트 레벨로 분해합니다.
3. 혼합 처리:
   • 결과적으로 하나의 입력 문장에 vocab 토큰과 바이트 레벨 토큰이 혼합될 수 있습니다.

예시를 통해 살펴보겠습니다:

입력 문장: "Hello, 안녕하세요!"

처리 과정:

1. "Hello": vocab에 있으므로 단일 토큰으로 처리
2. ",": vocab에 있는 구두점 토큰으로 처리
3. " ": 공백 토큰으로 처리
4. "안녕하세요": vocab에 없다고 가정하면, UTF-8 바이트로 분해
5. "!": vocab에 있는 구두점 토큰으로 처리``

결과: [Hello] [,] [ ] [E3 95 88] [EB 85 95] [ED 95 98] [EC 84 B8] [EC 9A 94] [!]

이 방식의 장점:

1. 효율성: 자주 사용되는 단어나 서브워드는 단일 토큰으로 처리되어 효율적입니다.
2. 유연성: vocab에 없는 새로운 단어나 희귀 단어도 바이트 레벨에서 처리할 수 있습니다.
3. 압축: 자주 사용되는 패턴은 더 짧은 표현(단일 토큰)으로 압축됩니다.
4. 언어 독립성: 모든 언어와 문자를 처리할 수 있습니다.

이 접근 방식을 통해 모델은 알려진 패턴(vocab 토큰)을 효율적으로 처리하면서도, 동시에 모든 가능한 입력(바이트 레벨)을 다룰 수 있는 능력을 갖게 됩니다. 이는 특히 다국어 처리와 미지의 단어 처리에 매우 효과적입니다.

토크나이저/토큰화 도구🧰

1. SentencePiece: 구글에서 개발한 오픈 소스 토크나이저로, BPE와 Unigram 모델을 지원합니다. 언어에 상관없이 사용할 수 있으며, 특히 다국어 데이터에 효과적입니다.
2. BPE: OpenNMT 및 다른 여러 NLP 라이브러리에서 사용되는 BPE 토크나이저입니다.
3. Hugging Face Tokenizers: Hugging Face에서 제공하는 고성능 토크나이저 라이브러리로, BERT, GPT-2, RoBERTa 등의 모델을 위한 다양한 토크나이저를 포함합니다.
4. tiktoken: OpenAI에서 제공하는 토크나이저 라이브러리로, 특히 GPT-3와 같은 대규모 언어 모델을 위해 최적화되어 있습니다.
5. spaCy: 빠르고 효율적인 자연어 처리 라이브러리로, 텍스트의 토큰화, 구문 분석, 개체 인식 등을 제공합니다.
6. NLTK: 교육과 연구를 위한 강력한 파이썬 라이브러리로, 다양한 텍스트 처리 기능을 제공합니다.

마무리 및 정리 🎉

이 글에서는 자연어처리의 중요한 개념 중 하나인 토크화에 대해 살펴보았습니다. 토큰화란 텍스트 데이터를 컴퓨터가 처리할 수 있도록 작은 단위로 분할하는 과정으로, 다양한 기법이 존재합니다. 그 중에서 이번 글에서는 Subword 테크닉들 중 대표적인 BPE(Byte Pair Encoding), Byte-Level BPE, WordPiece, Unigram 등에 대해 자세하게 살펴보았습니다.

이상입니다!

출처

• Tokenization 방법론들에 대한 쉽고 직관적인 이해