자연어 모델을 이해했는지 확인 + 공부를 위한 필기 노트입니다. 1. 단순 신경망 2. RNN 3. LSTM 4. GRU 5. Seq2Seq (Sequence to Sequnece) 6. Attention Mechanism 7. 교사 학습 (Teacher Forcing) 8. Beam Search Algorithm 9. Transformer (Encoder, Decoder) 10. BERT 11. RoBERTa 12. ALBERT 13. Embedding / Encoding 14. Knowledge Distillation 15. Self-Explaning 16. Sentence BERT

인스타보다가 보이저엑스라는 회사에서 인공지능 및 프로그래밍 관련해서 기술질문 써놨길래 지금까지 공부했던 기억을 바탕으로 리프레쉬할겸 한번 풀어보았다. 프로그래밍 인턴 질문 (프로그래밍 질문: 15개) PNG와 JPG의 차이점은? PNG → 비손실압축 (원본 훼손X) JPG → 손실압축 (원본 훼손O) JPEG → 사람이 모를정도로만 원본 훼손(압축효과극대화알고리즘) Dynamic Programming이란? 동적계획법, 큰문제를 작은문제로 나눠 푸는것. 복잡한 문제 나오면 여러개의 서브 문제로 나눠서 푸는데, 부분 반복 문제와 최적 부분 구조를 가지고있는 알고리즘 풀 때 사용. 부분 반복 문제→어떤 문제가 여러개의 부분문제로 쪼개질 수 있는 문제 (ex. N번째 피보나치 수 구하기 → N-1번쩨 / N-2..

Schick, Timo, and Hinrich Schütze. "Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference." Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume. 2021. Schick, Timo, and Hinrich Schütze. "It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners." Proceedings of the 20..

텍스트 유사도 코사인 유사도 (Cosine Similarity) -> 두 개의 벡터 값의 Cos 각도 유클리디언 유사도 (Euclidean Similarity) -> 두 개의 점 사이의 거리 = L2 거리 맨하탄 유사도 (Menhattan Similarity) -> 사각 격자 최단 거리 = L1 거리 자카드 유사도 (Jaccard Similarity) -> 교집합과 합집합의 크기로 계산 두 문장이 주어졌을 때, 두 문장이 서로 얼마나 유사한지 나타내주는 기법 아래에서 입력값으로 받는 Sentences는 ["Hello World", "Hello Word"] 형식이다. ### 코사인 유사도 ### def cos_performance(sentences) : tfidf_vectorizer = TfidfVecto..

Learning rate는 backpropagation 과정에서 모델의 weight인 gradient의 변화(업데이트의 보폭 step-size)이다. 역전파 과정에서 모델의 가중치(Weight)는 손실 함수의 오류 추정치를 줄이기 위해 업데이트된다. 학습률 * 추정 가중치 오류(가중치에 대한 기울기 or 전체 오류 변화) >>>> Weight 업데이트 Learning rate는 Optimizer가 Loss function의 최소값에 도달하도록 만드는 변화의 크기를 제어한다. 성능에 영향을 주는 요소인 learning rate를 잘못 설정하면 아예 학습이 안될 수도 있다. 그래서 모델 학습에서는 learning rate를 어떻게 설정할 지가 매우 중요한 요소이다. 학습률이 크면 알고리즘은 빠르게 학습함. ..

의미론적 관계 추론을 위한 문장 유사성 전이 학습 방법 A Sentence Similarity Transfer Learning Method for Inference of Semantic Relation 2022 한국차세대컴퓨팅학회 학술대회 https://www.earticle.net/Article/A412361 의미론적 관계 추론을 위한 문장 유사성 전이 학습 방법 최근 텍스트 데이터 분석의 요구가 증가함에 따라 문장의 의미적 관계를 이해하고 사용자가 요구하는 분석 정보를 제공 하기 위한 추론 기법의 필요성이 증가하고 있다. 이를 위해 의미 관계 추 www.earticle.net

미술 치료 분석을 위한 AI기반 예술 작품 제작 및 증대 방안 13th Workshop on Convergent and Smart Media System (CSMS) 2021.12.27

이전에 만들었던 분류 모델 제작 자료입니다.

모델의 성능을 따지는 지표는 정확도(Accuracy)만 있는 것이 아니다. Confusion Matrix은 알고리즘 및 모델의 진단,분류,판별,예측 능력을 평가하기 위하여 고안된 표로, 오류행렬(error matrix)이라고도 불리기도 한다. 성능지표로 정확도(Accuracy), 정밀도(Precision), 민감도(=재현율 Recall), F1score 등이 있으며, confusion matrix로 표현이 가능해진다. # 혼동행렬 import matplotlib.pyplot as plt my_data = [] y_pred_list = [] for data in prediction_list : for data2 in data : my_data.append(data2.item()) for data in la..

허깅페이스는 Tensorflow Hub와 유사한 기능을 제공하는 곳이다. 트랜스포머를 기반으로 하는 다양한 모델들이 존재하며, 각각의 Task에 맞게 미세조정을 진행한 모델들 또한 구축되어있다. 또한, 데이터를 각 모델에 맞게 전처리하기 편리하도록 Tokenizer도 전부 구현되어있다. 그 뿐만 아니라, 학습을 위해 필요한 데이터셋도 저장되어 있어, 사용자는 그저 가져온 뒤 사용하기만 하면 된다. 즉, 허깅페이스를 사용하면 기존 학습 스크립트에서 반복되는 모든 부분을 일일이 따로 구현하지 않아도 편리하게 사용할 수 있으며, 데이터 구축부터 전처리, 모델 학습 및 결과 도출까지 매우 편리하고 효율적으로 코딩할 수 있다는 장점이 있다. 허깅페이스는 다양한 트랜스포머 모델과 학습 스크립트를 제공하는 모듈로, ..