논문 정보Title: Model Stock: All We Need Is Just a Few Fine-Tuned ModelsAuthors: Dong-Hwan Jang, Sangdoo Yun, Dongyoon Han (NAVER AI Lab)Published: 2024.09.30Pages: pp 207–223Conference: ECCV 2024Link: https://doi.org/10.1007/978-3-031-72784-9_12 BackgroundMerge란?모델 N개의 가중치를 결합하여 하나의 모델로 만드는 방법론입니다.class SimpleModel(nn.Module): def __init__(self, input_size, num_classes): super(SimpleModel..

안녕하세요, 오늘은 자연어처리의 가장 기초에 해당하는 Tokenization 에 대해 살펴보고 각 방법론들의 핵심 아이디어들을 살펴보겠습니다! 텍스트를 잘게 쪼개는 기술이 어떻게 컴퓨터가 인간의 언어를 이해하도록 돕는지 함께 확인해봅시다.토큰화란 무엇일까요? 🤔토큰화는 긴 문장을 작은 조각으로 나누는 과정이에요. 마치 큰 케이크를 먹기 좋게 자르는 것처럼요! 이렇게 나눈 조각들을 '토큰'이라고 부릅니다.예를 들어볼까요?"안녕하세요, 오늘 날씨가 참 좋네요!" → ["안녕하세요", ",", "오늘", "날씨가", "참", "좋네요", "!"]Tokenization은 문장이나 문서를 모델이 처리할 수 있는 작은 단위, 즉 토큰들로 분할하는 과정을 말합니다. 이 과정은 확률 모델이든 신경망 모델이든 간에, ..

DockerFile🐋DockerFile은 Docker Image를 생성하기 위한 스크립트 파일입니다. 이 파일은 도커 이미지의 설계도 역할을 하며, 도커는 DockerFile에 정의된 명령을 차례대로 실행해 이미지를 빌드합니다. 이 과정을 이해하면 도커를 훨씬 더 효율적으로 사용할 수 있습니다.왜 DockerFile을 알아야 할까요?DockerFile을 이해하면 다음과 같은 이점을 누릴 수 있습니다:1. 이미지 구성 파악DockerFile을 보면 해당 이미지가 어떻게 구성되어 있는지 한눈에 파악할 수 있습니다. 어떤 운영체제를 기반으로 하고, 어떤 소프트웨어가 설치되어 있는지, 환경 변수는 어떻게 설정되어 있는지 등을 쉽게 확인할 수 있습니다.2. 자원 최적화DockerFile을 잘 작성하면 이미지를 ..

논문 정보논문 제목: Vision language models are blind발행일: 2024.07.12(금)최신 비전 언어 모델(VLM), 정말로 '눈이 먼' 걸까?최근 몇 달 사이 GPT-4V(ision) 같은 비전 언어 모델(VLM)의 등장으로 이미지-텍스트 처리 서비스가 급증했습니다. VLM은 이미지 속 객체를 정확하게 식별하고 이를 바탕으로 복잡한 작업을 수행할 수 있어 매우 유용한 도구로 인식됩니다. 예를 들어, 사진과 메뉴판 이미지를 바탕으로 테이블 위 맥주 비용을 계산하는 것처럼 말이죠. 하지만 이 VLM이 정말 인간처럼 이미지를 잘 인식할까요? 이 질문에 대한 답을 찾기 위해 "BlindTest"라는 새로운 벤치마크 테스트를 사용하여 VLM의 한계를 탐구한 흥미로운 논문이 나왔습니다.주..

VLM들은 연역적 추론을 얼마나 잘 수행할 수 있을까?안녕하세요, 여름감기에 걸린 블로그 주인장입니다.오늘은 VLM(Vision and Language Model)과 관련된 논문을 소개해드리려고 합니다. 해당 논문의 제목은 How Far Are We from Intelligent Visual Deductive Reasoning? 으로 APPLE 사에서 2024년 3월에 공개한 논문이며, ICLR 2024 AGI Workshop에서 발표한 내용입니다. 일단 Background 지식을 짚고 넘어갈게요.멀티모달(Multi-modal)이 뭘까요?첨부사진이 너무 짜치긴(?)한데, 멀티모달이란 여러 가지 감각이나 데이터를 동시에 다룬다는 뜻입니다.예를 들어, 사람은 눈으로 본 것과 귀로 들은 것을 동시에 이해할 수..

여러분, Merge Model 이라고 아시나요?저는 작년 겨울에 허깅페이스 Open LLM Leaderboard를 보다가 알게된 기술이에요.그 당시, 카카오뱅크사의 카본빌런 모델이 SLERP 방법을 사용해서 1,2,3 등을 달성한 적이 있었어요.학습없이 리더보드 1등이라고…? 하며 놀랐던 기억이 있네요. Model Merging이란 두 개 이상의 LLM들을 단일 모델로 결합하는 기술이에요.간단한 예시를 들어볼까요?요리를 할 때, 각 요리사가 자신만의 특기 요리를 만듭니다. 한 요리사는 파스타에 뛰어나고, 다른 요리사는 스테이크에 뛰어납니다. Merge Model은 이 요리사들이 함께 모여 파스타와 스테이크를 모두 포함하는 최고의 코스를 만들어내는 것과 같습니다. 각각의 요리사의 장점을 살리면서, 최종적으..

그래서, Docker가 뭔데?여러분이 컴퓨터 프로그램을 만들 때, 그 프로그램이 다른 컴퓨터에서도 잘 돌아가야 해요. 그런데 여러분이 만든 프로그램은 다른 컴퓨터에서 잘 작동하지 않을 수 있어요. 이 문제를 해결하기 위해 도커가 등장했어요! 도커는 어플리케이션을 가상화하는 컨테이너 기술의 한 형태입니다. 이 기술을 사용하면 개발 환경을 일관되게 유지하고, 어플리케이션을 확장하고 배포하는 데 많은 이점을 제공합니다. 첫째, 도커는 환경의 일관성을 보장합니다. 개발자가 동일한 환경에서 어플리케이션을 개발하고 테스트할 수 있도록 도와줍니다. 이는 "내 컴퓨터에서는 잘 됐는데"와 같은 문제를 방지하고 팀 간 협업을 더욱 효율적으로 만들어줍니다. 둘째, 도커는 확장성이 뛰어나며 효율적입니다. 각 어플리케이션은 독..

- Greedy Search - 현재 단어 다음에 나올 단어 후보 중 가장 확률이 높은 것 선택 - (장점) 비교적 간단한 알고리즘 - (단점) 동어 반복 현상 발생 - (단점) 현재 시점 바로 다음 단어만 고려. - Beam Search - 현재시점 이후 여러 step의 단어 조합을 keep 해놓고 해당 확률을 곱하여 점수를 내고 다른 조합과 비교하여 가장 높은 것 선택 - (장점) 뒤에 나올 확률이 높은 단어를 선택하여 좀 더 좋은 문장 생성 - (단점) 연산속도 증가 - (단점) 반복문제 여전히 존재 → n-gram(연속된 단어 개수 허용범위) 사용 - num_beams → Beam Search에 쓰이는 beam의 개수 - no_repeat_ngram_size → 특정 n-gram이 생성문장 내에서..

오늘은 트랜스포머의 인코더 부분을 쉽게 설명하고자함. 많은 사람들이 트랜스포머의 기법에 대해서 물어보면 "Self-attention 기법 사용... 특정 단어에 포커싱.." 혹은 "Q,K,V 사용해서...조합해서 가중치주는 기법..." 정도로만 대답함. 실제 어떤 식으로 돌아가는지 쉽고 자세하게 설명하기 위해 본 포스팅을 진행함. 애매하게 아는 분 환영 트랜스포머의 인코더 레이어는 그림에서 보이다 싶이 크게 3가지로 나눠볼 수 있음. - 멀티헤드 셀프어텐션 - 포지셔닝 와이즈 피드포워드 뉴럴네트워크 - 에디션 앤 레이어 노말리제이션 한글로 쓰니 형편없어 보이긴 하지만 그냥 넘어가겠음. 일단 입력 문장이 모델에 입력되면 > 포지셔닝 인코딩을 통과 > 벡터화(각 단어의 위치정보가 포함)된 입력 문장이 들어옴..

양자역학을 간단하게 공부하였었습니다. 이를 어느정도 이해한 다음 양자컴퓨팅, 양자AI에 대해서 관련된 여러 논문들을 찾아보고 공부하였는데, 자연어를 양자역학과 융합한 논문이면서 동시에 NAACL에서 Award받은 논문이라 읽게 되었습니다. Paper Description 제목 : CNM: An Interpretable Complex-valued Network for Matching 저자 : Li et al. Date : 2021.06 인용수 : 53 Publisher : Association for Computational Linguistics Venue : NAACL(North American Chapter of the Association for Computational Linguistics) Awa..