논문 정보Title: Model Stock: All We Need Is Just a Few Fine-Tuned ModelsAuthors: Dong-Hwan Jang, Sangdoo Yun, Dongyoon Han (NAVER AI Lab)Published: 2024.09.30Pages: pp 207–223Conference: ECCV 2024Link: https://doi.org/10.1007/978-3-031-72784-9_12 BackgroundMerge란?모델 N개의 가중치를 결합하여 하나의 모델로 만드는 방법론입니다.class SimpleModel(nn.Module): def __init__(self, input_size, num_classes): super(SimpleModel..

안녕하세요, 오늘은 자연어처리의 가장 기초에 해당하는 Tokenization 에 대해 살펴보고 각 방법론들의 핵심 아이디어들을 살펴보겠습니다! 텍스트를 잘게 쪼개는 기술이 어떻게 컴퓨터가 인간의 언어를 이해하도록 돕는지 함께 확인해봅시다.토큰화란 무엇일까요? 🤔토큰화는 긴 문장을 작은 조각으로 나누는 과정이에요. 마치 큰 케이크를 먹기 좋게 자르는 것처럼요! 이렇게 나눈 조각들을 '토큰'이라고 부릅니다.예를 들어볼까요?"안녕하세요, 오늘 날씨가 참 좋네요!" → ["안녕하세요", ",", "오늘", "날씨가", "참", "좋네요", "!"]Tokenization은 문장이나 문서를 모델이 처리할 수 있는 작은 단위, 즉 토큰들로 분할하는 과정을 말합니다. 이 과정은 확률 모델이든 신경망 모델이든 간에, ..

논문 정보논문 제목: Vision language models are blind발행일: 2024.07.12(금)최신 비전 언어 모델(VLM), 정말로 '눈이 먼' 걸까?최근 몇 달 사이 GPT-4V(ision) 같은 비전 언어 모델(VLM)의 등장으로 이미지-텍스트 처리 서비스가 급증했습니다. VLM은 이미지 속 객체를 정확하게 식별하고 이를 바탕으로 복잡한 작업을 수행할 수 있어 매우 유용한 도구로 인식됩니다. 예를 들어, 사진과 메뉴판 이미지를 바탕으로 테이블 위 맥주 비용을 계산하는 것처럼 말이죠. 하지만 이 VLM이 정말 인간처럼 이미지를 잘 인식할까요? 이 질문에 대한 답을 찾기 위해 "BlindTest"라는 새로운 벤치마크 테스트를 사용하여 VLM의 한계를 탐구한 흥미로운 논문이 나왔습니다.주..

VLM들은 연역적 추론을 얼마나 잘 수행할 수 있을까?안녕하세요, 여름감기에 걸린 블로그 주인장입니다.오늘은 VLM(Vision and Language Model)과 관련된 논문을 소개해드리려고 합니다. 해당 논문의 제목은 How Far Are We from Intelligent Visual Deductive Reasoning? 으로 APPLE 사에서 2024년 3월에 공개한 논문이며, ICLR 2024 AGI Workshop에서 발표한 내용입니다. 일단 Background 지식을 짚고 넘어갈게요.멀티모달(Multi-modal)이 뭘까요?첨부사진이 너무 짜치긴(?)한데, 멀티모달이란 여러 가지 감각이나 데이터를 동시에 다룬다는 뜻입니다.예를 들어, 사람은 눈으로 본 것과 귀로 들은 것을 동시에 이해할 수..

여러분, Merge Model 이라고 아시나요?저는 작년 겨울에 허깅페이스 Open LLM Leaderboard를 보다가 알게된 기술이에요.그 당시, 카카오뱅크사의 카본빌런 모델이 SLERP 방법을 사용해서 1,2,3 등을 달성한 적이 있었어요.학습없이 리더보드 1등이라고…? 하며 놀랐던 기억이 있네요. Model Merging이란 두 개 이상의 LLM들을 단일 모델로 결합하는 기술이에요.간단한 예시를 들어볼까요?요리를 할 때, 각 요리사가 자신만의 특기 요리를 만듭니다. 한 요리사는 파스타에 뛰어나고, 다른 요리사는 스테이크에 뛰어납니다. Merge Model은 이 요리사들이 함께 모여 파스타와 스테이크를 모두 포함하는 최고의 코스를 만들어내는 것과 같습니다. 각각의 요리사의 장점을 살리면서, 최종적으..

- Greedy Search - 현재 단어 다음에 나올 단어 후보 중 가장 확률이 높은 것 선택 - (장점) 비교적 간단한 알고리즘 - (단점) 동어 반복 현상 발생 - (단점) 현재 시점 바로 다음 단어만 고려. - Beam Search - 현재시점 이후 여러 step의 단어 조합을 keep 해놓고 해당 확률을 곱하여 점수를 내고 다른 조합과 비교하여 가장 높은 것 선택 - (장점) 뒤에 나올 확률이 높은 단어를 선택하여 좀 더 좋은 문장 생성 - (단점) 연산속도 증가 - (단점) 반복문제 여전히 존재 → n-gram(연속된 단어 개수 허용범위) 사용 - num_beams → Beam Search에 쓰이는 beam의 개수 - no_repeat_ngram_size → 특정 n-gram이 생성문장 내에서..

오늘은 트랜스포머의 인코더 부분을 쉽게 설명하고자함. 많은 사람들이 트랜스포머의 기법에 대해서 물어보면 "Self-attention 기법 사용... 특정 단어에 포커싱.." 혹은 "Q,K,V 사용해서...조합해서 가중치주는 기법..." 정도로만 대답함. 실제 어떤 식으로 돌아가는지 쉽고 자세하게 설명하기 위해 본 포스팅을 진행함. 애매하게 아는 분 환영 트랜스포머의 인코더 레이어는 그림에서 보이다 싶이 크게 3가지로 나눠볼 수 있음. - 멀티헤드 셀프어텐션 - 포지셔닝 와이즈 피드포워드 뉴럴네트워크 - 에디션 앤 레이어 노말리제이션 한글로 쓰니 형편없어 보이긴 하지만 그냥 넘어가겠음. 일단 입력 문장이 모델에 입력되면 > 포지셔닝 인코딩을 통과 > 벡터화(각 단어의 위치정보가 포함)된 입력 문장이 들어옴..

양자역학을 간단하게 공부하였었습니다. 이를 어느정도 이해한 다음 양자컴퓨팅, 양자AI에 대해서 관련된 여러 논문들을 찾아보고 공부하였는데, 자연어를 양자역학과 융합한 논문이면서 동시에 NAACL에서 Award받은 논문이라 읽게 되었습니다. Paper Description 제목 : CNM: An Interpretable Complex-valued Network for Matching 저자 : Li et al. Date : 2021.06 인용수 : 53 Publisher : Association for Computational Linguistics Venue : NAACL(North American Chapter of the Association for Computational Linguistics) Awa..

Kim, Taewoon, and Piek Vossen. "Emoberta: Speaker-aware emotion recognition in conversation with roberta." arXiv preprint arXiv:2108.12009 (2021). introduction 감정 인식의 범위는 표정, 음성,텍스트 등 매우 넓음. 본 논문에서는 감정 인식의 하위 분야인 대화에서 감정 인식( ERC)에 중점을 둠. ERC는 한사람 또는 그 이상의 사람과 대화에 참여하는 현재 화자의 감정을 예측하는 것 감정을 인식하는 것은 감성 컴퓨팅 및 인간-로봇 통신과 같은 분야에서 중요. 인간은 대화(시각, 음성 등)을 하기위해 여러 감각 입력을 사용함 따라서 ERC 작업에는 여러 양식(시각, 오디오, 텍스트..

주제 : 중고등학생을 위한 학과 교수님 인터뷰 챗봇 의의 : 대학 진학 전, 유용한 정보를 얻을 수 있음! 결과 미리보기 : 학습에 필요한 데이터셋 : 학과의 개수는 총 320개가 있으며, 평균 질의응답 개수는 11쌍, 최대 19쌍 까지 이어집니다. 데이터셋의 대표 질문: 1.교수님께서 전공 선택한 동기이 무엇인가요 2.어떤 분야에 관심 갖는 사람이 이 학과로 오면 좋을까요 3.이 학과에서 가장 중요한 공부는 어떤 내용인가요 4.이 학과에서 공부 잘할려면 중고등학생때 어떤 교과목을 공부하면 좋은가요 5.이 학과의 장점은 뭔가요 6.이 학과의 학생들이 겪는 어려움은 뭔가요 7.학과 졸업생이 가장 많이 진출하는 직업분야는 어느 곳인가요 8.학과의 앞으로의 전망은 어떤가요 9.지금은 없지만 앞으로 새로 생기게..