A Neural Probabilistic Language ModelYoshua Bengio,Réjean Ducharme,Pascal Vincent,Christian Janvin2003년 3월 1일NPLM은 단어를 임베딩하여 벡터로 바꾸는 과정에서 신경망 기반의 기법을 제시하여 향후 Word2Vec으로 가는 기반이 되었다고한다.간단하게학습 데이터에 존재하지 않는 n-gram이 포함된 문장이 나타날 확률을 0으로 매긴다n을 5이상으로 설정하기 어렵기 때문에 문장의 장기 의존성을 포착해내기 어렵다.단어/문장 간 유사도는 고려 하지 않는다.neural net을 쓰기 이전에는 smoothing( 작은 상수를 더해서 0이 안나오도록) 또는 backoff를 사용해서 data sparcity를 해결했다. long-te..

Java Script Object Notation 의 약자이다. json은 단순한 데이터 포멧이다. 데이터를 표시하는 방법일 뿐이다. 속성-값 쌍 / 키-값 쌍 json을 쓰는 이유 json파일이 가지고 있는 데이터를 받아서 객체나 변수에 할당해서 사용하기 위함이다 json의 구조 1. Object(객체) name/value 의 순서쌍으로 set이다. {} 로 정의된다. ex) { "이름" : "홍길동" } 2. Array(배열) ex) [ 10, "array", 32 ] 전체적인 구조 { "이름": "홍길동", → 스트링 "나이": 25, → 숫자 (정수) "특기": ["농구", "도술"], → list 표현 가능 "가족관계": {"아버지": "홍판서", "어머니": "춘섬"}, → array 표현 가..

밀집표현이란희소표현된 단어를 임의의 길이의 실수 벡터로 표현한 것이 과정을 워드 임베딩이라 하며, 밀집 표현된 결과를 임베딩 백터라 함.자연어처리(Natural Language Processing)분야에서의 임베딩이란사람이 쓰는 자연어 > 기계가 이해할 수 있는 숫자형태의 vector로 바꾸는 과정 및 결과 임베딩의 역할단어/문장 간 관련도 계산대표적 임베딩 기법 : Word2Vec컴퓨터가 계산하기 쉽도록 단어를 전체 단어들간의 관계에 맞춰 해당 단어의 특성을 갖는 벡터로 바꾸어 단어들 사이의 유사도를 계산하는 일이 가능해짐.임베딩을 하면 벡터 공간을 기하학적으로 나타낸 시각화 가능의미적/문법적 정보 함축사칙연산 가능.벡터간 덧셈/뺄셈 등을 통해 단어들 사이의 의미적, 문법적 관계 도출 가능단어 임베딩을..

노드와 그 노드를 연결하는 간선을 하나로 모아 놓은 자료구조.연결되어 있는 객체간의 관계를 표현할 수 있는 자료구조. 그래프(Graph) 용어정점(vertex): 위치라는 개념. (node 라고도 부름)간선(edge): 위치 간의 관계. 즉, 노드를 연결하는 선 (link, branch 라고도 부름)인접(Adjacency) 정점 x와 정점 y가 간선에 의해 연결되어져 있다면, 이들 두 정점 x와 y를 인접(Adjacent)되어있다고 한다.인접 정점(adjacent vertex): 간선에 의 해 직접 연결된 정점부속(Incident)정점 사이에 연결된 간선을 두 정점 X와 Y에 부속되어있다고 한다.정점의 차수(degree): 무방향 그래프에서 하나의 정점에 인접한 정점의 수무방향 그래프에 존재하는 정점의 ..

#시작 로이터(Reuters) 뉴스 데이터셋으로 단일 레이블 다중 분류 문제 다루기 목적 : 텍스트 분류 11258개의 기사와 46개의 뉴스 카테고리 분류. 각 토픽은 최소 10개이상의 샘플이 있음. from keras.datasets import reuters (train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words = 10000) #로이터 데이터셋 가져오고 각 데이터를 변수에 넣어줌 #훈련용데이터와 검증용 데이터 몇개로 분류되었는지 출력. print(len(train_data)) print(len(test_data)) print(train_data[1]) #2차원 배열로 들어가있음 print(train_labe..

# IMDB란 인터넷 영화 데이터베이스(Internet Movie Database, 약칭 IMDB)이다. 우리가 사용할 데이터는 영화 사이트 IMDB의 리뷰 데이터이다. 이 데이터는 리뷰에 대한 텍스트와 해당 리뷰가 긍정인 경우 1, 부정인 경우 0으로 표시한 레이블로 구성된 데이터이다. 이 데이터셋은 케라스에서 import하여 바로 사용할 수 있다. 이 데이터셋을 사용하여 머신러닝을 제작할 것이다. 목적은 텍스트 분류, 그 중에서도 감성 분류를 연습하기위함에 있다. 여기서 감성 분류(Sentiment Analysis)란, 텍스트 안에 들어있는 여러가지 주관적인 정보(의견, 감성, 평가, 태도 등)을 머신러닝을 돌려 분석하는 것이다. #입력 데이터 불러오기 #케라스의 데이터셋에 있는 IMDB를 불러온다...