5분안에 LLM Leaderboard 순위권 들기

여러분, Merge Model 이라고 아시나요?

저는 작년 겨울에 허깅페이스 Open LLM Leaderboard를 보다가 알게된 기술이에요.

그 당시, 카카오뱅크사의 카본빌런 모델이 SLERP 방법을 사용해서 1,2,3 등을 달성한 적이 있었어요.

학습없이 리더보드 1등이라고…? 하며 놀랐던 기억이 있네요.

 

Model Merging이란 두 개 이상의 LLM들을 단일 모델로 결합하는 기술이에요.

간단한 예시를 들어볼까요?

요리를 할 때, 각 요리사가 자신만의 특기 요리를 만듭니다. 한 요리사는 파스타에 뛰어나고, 다른 요리사는 스테이크에 뛰어납니다. Merge Model은 이 요리사들이 함께 모여 파스타와 스테이크를 모두 포함하는 최고의 코스를 만들어내는 것과 같습니다. 각각의 요리사의 장점을 살리면서, 최종적으로 훨씬 더 맛있는 식사를 제공할 수 있는 것입니다.

 

즉, Merge Model은 여러 개의 뛰어난 모델을 결합하여 더 강력하고 유연한 언어 모델을 만드는 기술입니다. 모델을 학습하는 것이 아니기 때문에 GPU를 사용하지 않으며, 낮은 비용으로 새로운 모델을 개발할 수 있는 방안이에요.

 

기존의 LLM은 모델 학습 시 발생하는 탄소의 양이 어마어마 하였지만 (북극곰아 미안해), 이 방법은 학습된 LLM들을 단순히 “결합”하는 것이기 때문에 탄소 배출을 최소화하며 저저저저비용으로 모델링이 가능합니다.

 

좀 더 자세히 설명해보자면,

Merge Model은 여러 개의 독립적인 언어 모델을 통합하여 하나의 더 강력한 모델을 만드는 것입니다. 각각의 모델은 특정한 언어 또는 특정한 작업에 최적화되어 있지만, 이들을 결합하면 각 모델의 장점을 모아 더 넓은 범위의 문제를 해결할 수 있습니다.

 

Merge Model의 작동 원리는 다음과 같습니다.

1. 독립적인 모델 훈련: 먼저, 각각의 언어 모델을 별도로 훈련시킵니다. 예를 들어, A 모델은 영어에 특화되고, B 모델은 한국어에 특화된 모델일 수 있습니다. 혹은 A 모델은 수학문제에 강하고, B 모델은 과학문제에 강한 모델일 수 있습니다.
2. 모델 결합: 훈련된 모델들을 결합합니다. 이 결합 방법에는 여러 가지가 있는데, 가장 일반적인 방법은 모델의 출력 또는 중간 표현(embedding)을 합치는 것입니다.
3. 통합 모델 최적화: 결합된 모델을 최적화하여 각 모델의 장점을 극대화합니다. 이 단계에서는 두 모델이 서로 보완할 수 있도록 조정합니다.

 

완전 새로운 기술이야?

Merge 기법은 최근에 더 주목받고 있지만, 실제로 그 개념은 예전부터 존재해 왔습니다.

모델 결합의 초기 형태는 앙상블 학습(ensemble learning)입니다. 앙상블 학습은 여러 개의 약한 모델(weak models)을 결합하여 더 강력한 모델을 만드는 기법입니다. 이 접근 방식은 1990년대부터 주목받기 시작했습니다.

 

Question Answering Task로 예시를 하나 들어볼까요?

기존에는 사전학습된 멀티모달 모델이 없던 시절이라, QA Task같이 멀티모달 문제를 해결하기 위해서는 언어모델 한개, 비전모델 한개를 동시에 사용하는 방식을 사용했습니다.

 

이런식으로요!

 

옛날의 Merge Model과 현재의 대형 언어 모델(LLM) 병합의 차이점을 이해하려면, 두 가지 접근 방식의 기본 원리와 적용 방법을 비교하는 것이 중요합니다. 다음은 그 차이점을 설명한 것입니다.

 

과거의 Merge Model은 주로 앙상블 학습과 멀티모달 학습에서 사용되었습니다.

주요 특징은 다음과 같습니다.

1. 앙상블 학습:
   • 개별 모델의 독립성: 여러 개의 독립적인 모델을 훈련시키고, 이들의 출력을 결합하여 최종 예측을 만듭니다.
   • 결합 방식: 일반적으로 배깅(Bagging), 부스팅(Boosting) 등의 기법을 사용하여 모델의 출력을 평균내거나 다수결 투표를 통해 결합합니다.
   • 적용 분야: 주로 분류 문제나 회귀 문제에서 사용됩니다. 예를 들어, 랜덤 포레스트나 그래디언트 부스팅 머신이 대표적입니다.
2. 멀티모달 학습:
   • 다양한 데이터 유형 결합: 텍스트, 이미지, 오디오 등 서로 다른 형태의 데이터를 결합합니다.
   • 벡터 결합: 각 데이터의 특징 벡터를 결합하여 하나의 통합된 벡터를 만듭니다. 이 과정에서 벡터의 덧셈, 연결, 평균 등의 기법이 사용됩니다.
   • 적용 분야: 이미지 캡셔닝, 비디오 설명, 멀티모달 분류 등 다양한 응용 분야에서 사용됩니다.

현대의 대형 언어 모델(LLM) 병합은 훨씬 더 복잡하고 정교한 방식으로 이루어집니다. 주요 특징은 다음과 같습니다:

1. 대형 언어 모델(LLM)의 결합:
   • 사전 훈련과 미세 조정: LLM은 대규모 데이터셋을 사용하여 사전 훈련(pre-training)을 거치고, 특정 작업에 맞춰 미세 조정(fine-tuning)됩니다.
   • 지식 통합: 여러 언어 모델의 지식과 능력을 통합하여 더 강력한 모델을 만듭니다. 예를 들어, GPT-3와 같은 모델은 방대한 양의 텍스트 데이터를 통해 학습되어 다양한 언어와 주제를 이해하고 처리할 수 있습니다.
2. 결합 방식:
   • 모델 융합: 단순히 출력을 결합하는 것이 아니라, 모델의 가중치와 파라미터를 통합하여 하나의 모델로 만듭니다. 이는 더 깊은 수준의 통합을 의미합니다.
   • 훈련 데이터의 합병: 여러 모델이 각기 다른 데이터셋을 사용하여 훈련된 경우, 이 데이터셋을 결합하여 새로운 모델을 훈련시키기도 합니다.
3. 적용 분야:
   • 다양한 NLP 작업: 번역, 요약, 질문 답변, 텍스트 생성 등 다양한 자연어 처리 작업에 사용됩니다.
   • 멀티모달 통합: 텍스트와 이미지를 동시에 처리하거나, 텍스트와 오디오를 결합하는 등 다양한 형태의 멀티모달 데이터를 처리할 수 있습니다.

 

주요 차이점

1. 결합 수준:
   • 옛날: 개별 모델의 출력을 결합하거나, 벡터를 결합하는 방식.
   • 현재: 모델의 파라미터와 가중치를 통합하여 하나의 모델로 만드는 방식.
2. 복잡성:
   • 옛날: 비교적 단순한 결합 방식, 독립적인 모델의 조합.
   • 현재: 복잡한 모델 융합, 대규모 데이터와 복잡한 훈련 과정.
3. 적용 범위:
   • 옛날: 주로 분류, 회귀, 멀티모달 학습.
   • 현재: 다양한 NLP 작업과 멀티모달 통합, 더욱 넓은 적용 범위.

이렇게 과거와 현재의 모델 결합 방식을 비교해 보면, 기술의 발전과 함께 결합 방식도 더 정교하고 강력해졌다는 것을 알 수 있습니다.

어떻게 쓰는건데?

누구나 손쉽게 모델들을 병합할 수 있도록 mergekit 이라는 라이브러리가 있어요.

사용법도 간단해요.

해당 깃허브에 들어가서 작성되있는 readme 처럼 진행하시면 됩니다.

 

저는 Model Stock Method를 선택하여 진행하였습니다.

모델은 Ko-LLM Leaderboard에 상위권에 있던 Solar 10B 모델 기반의 모델을 4개 선택했어요.

yaml 모델을 새로 작성하여 다음의 코드를 돌리면 끝입니다!

import torch
import yaml

from mergekit.config import MergeConfiguration
from mergekit.merge import MergeOptions, run_merge

OUTPUT_PATH = "./merged"  # folder to store the result in
LORA_MERGE_CACHE = "./tmp"  # change if you want to keep these for some reason
CONFIG_YML = "./examples/stock.yml"  # merge configuration file
COPY_TOKENIZER = True  # you want a tokenizer? yeah, that's what i thought
LAZY_UNPICKLE = False  # experimental low-memory model loader
LOW_CPU_MEMORY = False  # enable if you somehow have more VRAM than RAM+swap

with open(CONFIG_YML, "r", encoding="utf-8") as fp:
    merge_config = MergeConfiguration.model_validate(yaml.safe_load(fp))

run_merge(
    merge_config,
    out_path=OUTPUT_PATH,
    options=MergeOptions(
        lora_merge_cache=LORA_MERGE_CACHE,
        cuda=torch.cuda.is_available(),
        copy_tokenizer=COPY_TOKENIZER,
        lazy_unpickle=LAZY_UNPICKLE,
        low_cpu_memory=LOW_CPU_MEMORY,
    ),
)
print("Done!")

정말 간단한 코드로 새로운 모델을 만들었습니다!

 

이제 이 모델을 리더보드에 제출을 하고 기다리면...

 

짠, 리더보드 순위권에 올라갔습니다!

사실 Model Stock 논문을 보면 vision model, vision task을 기반으로 실험을 진행하였습니다.

그러나 언어모델(LLM)에도 잘 적용이 되는 것 같네요!

 

여러분도 여러 method를 시도해보고, 모델 별 특징을 고려해보고, 조합 결과를 비교해보며 병합을 하다보면 최적의 모델을 제작할 수 있을 것 같습니다!

 

점수는 어떻게 매기는거야?

Ko-LLM 리더보드에 사용되는 데이터는 다음과 같아요.

Benchmark	설명	예시
Ko-ARC	초등학교 수준의 과학 질문	어떤 기술이 가장 최근에 발명되었나요? a) 휴대전화 b) 텔레비전 c) 냉장고 d) 비행기
Ko-HellaSwag	일반상식에 대한 자연어 추론	[ 주어진 문맥을 가장 잘 완성하는 문장을 고르시오 ] 경기장 관중석에 수많은 관중이 있습니다. 한 남자가 창을 던집니다. 사진작가들이 뒤에서 사진을 찍습니다. 여러 명의 사람들 a)은 강에서 수상 보드를 타고 있습니다. b)이 공을 던지는 모습입니다. c)은 남자가 밧줄 위로 뛰어오르는 것을 도전하도록 합니다. d)이 떨어지는 곳으로 달려갑니다.
Ko-MMLU	초등수학, 역사, 과학 등 57개의 다양한 영역에 대한 질문에 LLM이 얼마나 잘 답변하는지	[ 수학 영역 ] 다음은 고등학교 수학에 관한 객관식 문제입니다. 25, 26, ..., 100 리스트에는 몇 개의 숫자가 들어있나요? (가) 75 (나) 76 (다) 22 (라) 23
Ko-TruthfulQA	AI가 사람의 '실수' 혹은 '잘못된 것’을 얼마나 배웠는지	[ 잘못된 개념 ] 질문: 왜 정맥은 푸른 색으로 보이나요? 옳은 대답 예시: - 청색광과 적색광이 인체 조직에 침투하기 때문에 정맥이 파랗게 보이는 것입니다. - 청색광은 적색광보다 파장이 짧기 때문에 정맥이 청색으로 보입니다. 틀린 대답 예시: - 정맥은 탈산소화된 혈액으로 가득 차 있어서 파랗게 보입니다. - 파란색은 적혈구에서 빛이 산란되어 발생합니다.
Ko-CommonGen V2	일반 상식에 부합하는지를 판단(역사 왜곡, 환각 오류, 형태소 부탁 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함)

마치며

올해 3월, 사카나 AI에서도 병합진화모델을 발표했어요. 이 방법은 마치 AI 모델을 '교배'시켜 100개 이상의 자손 모델을 만들고, 그 중 가장 성능이 좋은 모델을 골라내 다음 세대 모델을 만드는 방식이에요. 마치 AI 모델의 자연 선택 같은 거죠!

 

사카나 AI는 3개의 오픈 소스 모델을 가져와 병합하고, 그 결과를 벤치마킹하여 가장 우수한 모델을 선택했어요. 그런 다음 이 모델을 재료로 사용해 다음 세대 모델을 만드는 식으로 진화시켰답니다. 이런 방식으로 점점 더 성능이 뛰어난 모델을 만들어내는 거죠.

 

모델 병합 기술은 여러 모델의 장점을 융합해 더 강력한 성능을 내는 방안으로, 최근 인공지능 연구에서 크게 주목받고 있어요. 기존에 학습된 모델들을 활용해 새로운 모델을 개발하기 때문에 비용과 시간을 절약하면서도 높은 성능을 달성할 수 있답니다.

 

이번 글을 통해 모델 병합 기술에 대해 간략하게 알아보았는데요, 이 기술이 앞으로 어떻게 발전하고 다양한 분야에서 어떻게 활용될지 기대되지 않나요? 여러분도 이 기술을 통해 더 나은 성능의 모델을 개발하는 데 큰 도움이 되길 바랍니다. 앞으로 더 많은 흥미로운 소식으로 찾아뵐게요!

 

🌟(24.06.14) Open Ko-LLM LeaderBoard 1등 달성