[IMDB] Sentiment Analysis AI
ยท
Artificial_Intelligence๐Ÿค–/Natural Language Processing
# IMDB๋ž€ ์ธํ„ฐ๋„ท ์˜ํ™” ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค(Internet Movie Database, ์•ฝ์นญ IMDB)์ด๋‹ค. ์šฐ๋ฆฌ๊ฐ€ ์‚ฌ์šฉํ•  ๋ฐ์ดํ„ฐ๋Š” ์˜ํ™” ์‚ฌ์ดํŠธ IMDB์˜ ๋ฆฌ๋ทฐ ๋ฐ์ดํ„ฐ์ด๋‹ค. ์ด ๋ฐ์ดํ„ฐ๋Š” ๋ฆฌ๋ทฐ์— ๋Œ€ํ•œ ํ…์ŠคํŠธ์™€ ํ•ด๋‹น ๋ฆฌ๋ทฐ๊ฐ€ ๊ธ์ •์ธ ๊ฒฝ์šฐ 1, ๋ถ€์ •์ธ ๊ฒฝ์šฐ 0์œผ๋กœ ํ‘œ์‹œํ•œ ๋ ˆ์ด๋ธ”๋กœ ๊ตฌ์„ฑ๋œ ๋ฐ์ดํ„ฐ์ด๋‹ค. ์ด ๋ฐ์ดํ„ฐ์…‹์€ ์ผ€๋ผ์Šค์—์„œ importํ•˜์—ฌ ๋ฐ”๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋‹ค. ์ด ๋ฐ์ดํ„ฐ์…‹์„ ์‚ฌ์šฉํ•˜์—ฌ ๋จธ์‹ ๋Ÿฌ๋‹์„ ์ œ์ž‘ํ•  ๊ฒƒ์ด๋‹ค. ๋ชฉ์ ์€ ํ…์ŠคํŠธ ๋ถ„๋ฅ˜, ๊ทธ ์ค‘์—์„œ๋„ ๊ฐ์„ฑ ๋ถ„๋ฅ˜๋ฅผ ์—ฐ์Šตํ•˜๊ธฐ์œ„ํ•จ์— ์žˆ๋‹ค. ์—ฌ๊ธฐ์„œ ๊ฐ์„ฑ ๋ถ„๋ฅ˜(Sentiment Analysis)๋ž€, ํ…์ŠคํŠธ ์•ˆ์— ๋“ค์–ด์žˆ๋Š” ์—ฌ๋Ÿฌ๊ฐ€์ง€ ์ฃผ๊ด€์ ์ธ ์ •๋ณด(์˜๊ฒฌ, ๊ฐ์„ฑ, ํ‰๊ฐ€, ํƒœ๋„ ๋“ฑ)์„ ๋จธ์‹ ๋Ÿฌ๋‹์„ ๋Œ๋ ค ๋ถ„์„ํ•˜๋Š” ๊ฒƒ์ด๋‹ค. #์ž…๋ ฅ ๋ฐ์ดํ„ฐ ๋ถˆ๋Ÿฌ์˜ค๊ธฐ #์ผ€๋ผ์Šค์˜ ๋ฐ์ดํ„ฐ์…‹์— ์žˆ๋Š” IMDB๋ฅผ ๋ถˆ๋Ÿฌ์˜จ๋‹ค...
Reinforcement learning (๊ฐ•ํ™”ํ•™์Šต)
ยท
Artificial_Intelligence๐Ÿค–/Reinforcement Learning
์•„๋ฌด๊ฒƒ๋„ ์•ˆ์•Œ๋ ค์ฃผ๊ณ  ์ผ๋‹จ ์‹œ๋„ํ•ด๋ณด๊ณ  ์‹œํ–‰์ฐฉ์˜ค ๊ฒช์œผ๋ฉด์„œ ์‹ค๋ ฅ์„ ํ‚ค์›Œ๋‚˜๊ฐ€๊ฒŒ ํ•˜๋Š” ๋ฐฉ๋ฒ•์ž„. Agent๊ฐ€ ์˜ฌ๋ฐ”๋ฅธ ํ–‰๋™์„ ํ•˜๋ฉด ๋ณด์ƒ(rewards)์„ ์ฃผ๊ณ , ๋ถˆ๋ฆฌํ•œ ํ–‰๋™์„ ํ•˜๋ฉด ๋ฒŒ์ ์„ ๋ถ€์—ฌํ•ด์คŒ. ์ด๋ ‡๊ฒŒ ํ–‰๋™ ํ•˜๋‚˜ํ•˜๋‚˜๊ฐ€ ์Œ“์—ฌ์„œ ๋ณด์ƒ์ด ์ตœ๋Œ€ํ™”๊ฐ€ ๋˜๊ฒŒ ๋งŒ๋“œ๋Š” ํ•™์Šต๋ฐฉ๋ฒ•์ž„. Agent๊ฐ€ ์ž์‹ ์ด ์ž˜ํ•˜๊ณ  ์žˆ๋Š” ๊ฒƒ์ธ์ง€, ์ž˜ ๋ชปํ•˜๊ณ  ์žˆ๋Š” ๊ฒƒ์ธ์ง€ ํ™•์‹คํ•˜๊ฒŒ ์•Œ์•„์•ผํ•˜๊ธฐ์— ๋ฌด์กฐ๊ฑด scalar feedback์„ ํ•ด์•ผํ•จ. ex) +1, -3, +2.6, +2 ... ํ™˜๊ฒฝ์— ๋Œ€ํ•œ ์‚ฌ์ „์ง€์‹์ด ์—†๋Š” ์ƒํƒœ๋กœ ํ•™์Šต์ด ์‹œ์ž‘๋˜๊ณ , ๋ณด์ƒ์„ ํ†ตํ•˜์—ฌ ํ•™์Šต์„ ํ•จ. ์–ด๋– ํ•œ ํ–‰๋™์„ ํ–ˆ์„ ๋•Œ ํ™˜๊ฒฝ์ด ์–ด๋–ป๊ฒŒ ๋ฐ˜์‘ํ•˜๋Š”์ง€์— ๋”ฐ๋ฅธ ๋ณด์ƒ์ด ์ฃผ์–ด์ง. ์–ด๋–ป๊ฒŒ ๋ณด์ƒ์ด ์ตœ๋Œ€ํ™”๊ฐ€ ๋  ์ˆ˜ ์žˆ๋Š”์ง€ ํ•™์Šต์„ ํ•˜๋Š” ๊ฒƒ์ด ๊ฐ•ํ™”ํ•™์Šต. Agent : ์ฃผ์–ด์ง„ ๋ฌธ์ œ ๋‚ด์—์„œ ํ–‰๋™์„ ํ•˜๋Š” ์ฃผ์ฒด. Sta..
Dataset ๋ฐ ๋ฐ์ดํ„ฐ์ „์ฒ˜๋ฆฌ ๊ธฐ์ดˆ
ยท
Artificial_Intelligence๐Ÿค–/etc
[GAN] ์ ๋Œ€์  ์ƒ์„ฑ ์‹ ๊ฒฝ๋ง <์ˆซ์ž์ƒ์„ฑAI> ์ œ์ž‘
ยท
Artificial_Intelligence๐Ÿค–/Computer Vision
์ˆซ์ž ์ƒ์„ฑ ์ธ๊ณต์ง€๋Šฅ ์›๋ฆฌ ์ƒ์„ฑ ์‹ ๊ฒฝ๋ง ์ค‘ GAN์„ ์ด์šฉํ•จ. GAN (Generative Adversarial Network) ์ ๋Œ€์  ์ƒ์„ฑ ์‹ ๊ฒฝ๋ง. 2๊ฐœ์˜ ์‹ ๊ฒฝ๋ง์œผ๋กœ ์ด๋ฃจ์–ด์ ธ ์žˆ์Œ. ํŒ๋ณ„์ž ์‹ ๊ฒฝ๋ง๊ณผ ์ƒ์„ฑ์ž ์‹ ๊ฒฝ๋ง. ์ƒ์„ฑ์ž๋Š” ์ง„์งœ๊ฐ™์€ ๊ฐ€์งœ๋ฅผ ์ƒ์„ฑํ•จ. ํŒ๋ณ„์ž๋Š” ์ง„์งœ๊ทธ๋ฆผ๊ณผ ์ƒ์„ฑ์ž๊ฐ€ ๋งŒ๋“  ๊ฐ€์งœ ๊ทธ๋ฆผ์„ ๊ตฌ๋ณ„ ๊ฐ€๋Šฅ. ๋‘ ์‹ ๊ฒฝ๋ง์€ ๋ชฉํ‘œ๊ฐ€ ์žˆ์Œ. ์ƒ์„ฑ์ž : ํŒ๋ณ„์ž๊ฐ€ ์ž์‹ ์ด ๋งŒ๋“  ๊ทธ๋ฆผ์„ ์ง„์งœ์ฒ˜๋Ÿผ ์ƒ๊ฐํ•  ์ •๋„์˜ ๊ทธ๋ฆผ์„ ๊ทธ๋ฆผ. ํŒ๋ณ„์ž : ์ƒ์„ฑ์ž๊ฐ€ ๋งŒ๋“  ๊ทธ๋ฆผ์„ ์ง„์งœ์ธ์ง€ ๊ฐ€์งœ์ธ์ง€ ์ „๋ถ€ ๊ตฌ๋ณ„ํ•ด์•ผํ•จ. ์ด์ œ ๋‘ ์‹ ๊ฒฝ๋ง์€ ์„œ๋กœ ์ด๊ธฐ๊ธฐ ์œ„ํ•ด ํ•™์Šต์„ ์‹œ์ž‘ํ•จ. ์ด๋ ‡๊ฒŒ ๋‘ ๊ฐœ์˜ ์‹ ๊ฒฝ๋ง์„ ์‚ฌ์šฉํ•˜์—ฌ ์ด๋Ÿฌํ•œ ์›๋ฆฌ๋กœ ์ƒ์„ฑํ•ด ๋‚ด๋Š” ๊ธฐ๋ฒ•์ด GAN(์ ๋Œ€์  ์ƒ์„ฑ ์‹ ๊ฒฝ๋ง)์ž„. ๊ฐœ๋ฐœ ํ™˜๊ฒฝ ์„ธํŒ… from keras.models import Model, Seque..
[RNN] ์ „์—ผ๋ณ‘(covid-19) ์˜ˆ์ธก ์ธ๊ณต์ง€๋Šฅ ์ œ์ž‘
ยท
Artificial_Intelligence๐Ÿค–/Prediction
colab.research.google.com/drive/1925aJnKBtplTrvAv0TfYbdjumcEnAPON?usp=sharing Google Colaboratory colab.research.google.com ์ฝ”๋žฉ์œผ๋กœ ์ž‘์„ฑํ•œ ์›๋ฌธ์ž…๋‹ˆ๋‹ค. # ๊ฐœ๋ฐœ ์‹œ์ž‘ ์ด์ „ ๋ฉฐ์น ๊ฐ„์˜ ํ™•์ง„์ž ์ˆ˜๋ฅผ ์ž…๋ ฅ๋ฐ›์•„ ๋‹ค์Œ ๋‚ ์˜ ํ™•์ง„์ž ์ˆ˜๋ฅผ ์˜ˆ์ธกํ•˜๋Š” ๋ฐฉ๋ฒ•. 3์ผ ๋™์•ˆ์˜ ํ™•์ง„์ž ์ˆ˜ ๋ณด๊ณ , ๊ทธ ๋‹ค์Œ๋‚  ํ™•์ง„์ž ์ˆ˜๊ฐ€ ์–ด๋–ป๊ฒŒ ๋ ์ง€ ํ•™์Šตํ•จ. ex) 1, 2, 3 ์ผ ์ฐจ ํ™•์ง„์ž -> 4์ผ์ฐจ ํ™•์ง„์ž ์˜ˆ์ธก. ์—ฐ์†๋œ ๋ฐ์ดํ„ฐ์˜ ํ˜•ํƒœ์—์„œ ๊ทธ ํŒจํ„ด์„ ์ฐพ์•„๋ƒ„. ์ˆœํ™˜ ์‹ ๊ฒฝ๋ง ๋ฐฉ์‹ (RNN). (RNN = Recurrent Neural Network, ์ˆœํ™˜์  ๊ตฌ์กฐ, ์ž…์ถœ๋ ฅ์„ ์‹œํ€€์Šค ๋‹จ์œ„๋กœ ์ฒ˜๋ฆฌ.) from keras.models import Seque..
[TensorFlow] ์ˆซ์ž ์ธ์‹ AI ์ œ์ž‘ (2)
ยท
Artificial_Intelligence๐Ÿค–/Computer Vision
colab.research.google.com/drive/1vcBfl192NDGJ2_c2u01tAa65NGSJmrw8?usp=sharing Google Colaboratory colab.research.google.com ์›๋ฌธ์ž…๋‹ˆ๋‹ค. ์ฝ”๋žฉ์œผ๋กœ ๋ณด๋Š”๊ฑฐ ์ถ”์ฒœ. (์ด์ „๊ธ€) 2021/01/28 - [Hi/AI] - [TensorFlow] ์ˆซ์ž ์ธ์‹ AI ์ œ์ž‘ (1) # ๋ชจ๋ธ์„ค๊ณ„ 4๊ฐœ์˜ ์ธต์œผ๋กœ ๋งŒ๋“ค๊ฑฐ์ž„. ์ž…๋ ฅ์ธต, ์€๋‹‰์ธต, ์€๋‹‰์ธต, ์ถœ๋ ฅ์ธต ์ž…๋ ฅ์ธต ๋‰ด๋Ÿฐ์˜ ์ˆ˜๋Š” 28 * 28์ด๋‹ˆ 784์ž„. 28 * 28๊ฐœ์˜ ํ”ฝ์…€๋กœ ์ด๋ฃจ์–ด์ง„ ์ˆซ์ž๋ฅผ ํ•œ์ค„๋กœ ๋ฐ”๊พผ๊ฑฐ์ž„. ์ฒซ๋ฒˆ์งธ ์€๋‹‰์ธต์˜ ๋…ธ๋“œ ์ˆ˜๋Š” 512๊ฐœ, ๋‘๋ฒˆ์งธ ์€๋‹‰์ธต์˜ ๋…ธ๋“œ ์ˆ˜๋Š” 256๊ฐœ, ์„ธ๋ฒˆ์งธ ๊ฒฐ๊ณผ์ธต์˜ ๋…ธ๋“œ์ˆ˜๋Š” 10๊ฐœ๋กœ ์„ค์ •ํ•จ. (๋งˆ์ง€๋ง‰์€ 0~9์ด๋‹ˆ 10๊ฐœ) ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋Š” ๋ ๋ฃจ(Re..
[TensorFlow] ์ˆซ์ž ์ธ์‹ AI ์ œ์ž‘ (1)
ยท
Artificial_Intelligence๐Ÿค–/Computer Vision
colab.research.google.com/drive/1vcBfl192NDGJ2_c2u01tAa65NGSJmrw8?usp=sharing Google Colaboratory colab.research.google.com ์›๋ฌธ์ž…๋‹ˆ๋‹ค. ์ฝ”๋žฉ์œผ๋กœ ๋ณด๋Š”๊ฑฐ ์ถ”์ฒœ. %tensorflow_version #ํ…์„œํ”Œ๋กœ์šฐ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์„ค์น˜๋˜์–ด์žˆ๋Š”์ง€ ํ™•์ธ. import keras ์ผ€๋ผ์Šค๋Š” ํ…์„œํ”Œ๋กœ๋ฅผ ์ด์šฉํ•˜๊ธฐ ๋” ์‰ฝ๊ฒŒ๋งŒ๋“ค์–ด์ฃผ๋Š” ๋„๊ตฌ์ž„. ์‹ฌ์ธต ์‹ ๊ฒฝ๋ง์„ ๋งŒ๋“ค๊ธฐ ์œ„ํ•œ ํ…์„œํ”Œ๋กœ, ํ…Œ์•„๋…ธ, CNTK์™€ ๊ฐ™์€ ๋„๊ตฌ๋ฅผ ๋”์šฑ ์‰ฝ๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋„์™€์ฃผ๋Š” ๋„๊ตฌ์ž„. ๋”ฐ๋ผ์„œ ์ผ€๋ผ์Šค๋ฅผ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๋จผ์ € ํ…์„œํ”Œ๋กœ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ๋ถˆ๋Ÿฌ์˜จ ์ƒํƒœ์—ฌ์•ผํ•จ. from tensorflow.keras.models import Sequential from tensorfl..
[python] ์ •๊ทœ๋ถ„ํฌ
ยท
Artificial_Intelligence๐Ÿค–/etc
๊ทธ๋ž˜ํ”„๋ฅผ ๊ทธ๋ฆฌ๊ธฐ ์œ„ํ•œ matplotlib ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ. import matplotlib.pyplot as plt import numpy as np r = np.random.rand(1000) #r ๋ฐฐ์—ด์•ˆ์— 0๋ถ€ํ„ฐ 1์‚ฌ์ด์˜ ๊ฐ’์œผ๋กœ ์ฒœ๊ฐœ๋„ฃ์Œ. plt.hist(r) #ํžˆ์Šคํ† ๋ฆฌ๊ทธ๋žจ์œผ๋กœ ํ‘œ์‹œ plt.grid() #๊ทธ๋ฆฌ๋“œ ๊ทธ๋ฆผ. ์œ„์˜ rand๋Š” ๋ฌด์ž‘์œ„ ์ด์ง€๋งŒ ์•„๋ž˜์˜ normal์€ ์ •๊ทœ๋ถ„ํฌ (๊ฐ€์šฐ์‹œ์•ˆ ๋ถ„ํฌ)๋กœ ๊ฐ’์„ ์ƒ์„ฑํ•œ๋‹ค. ๋”ฐ๋ผ์„œ ํ‰๊ท ๊ณผ ํ‘œ์ค€ํŽธ์ฐจ๋ฅผ ์ •ํ•ด์ค„์ˆ˜์žˆ๋‹ค. rn = np.random.normal(0,1,1000) #ํ‰๊ท =0, ํ‘œ์ค€ํŽธ์ฐจ =1, ๋ฌด์ž‘์œ„๊ฐ’. plt.hist(rn) plt.grid() #rn seed ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋™์ผํ•œ ๋žœ๋ค๊ฐ’์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Œ. random์€ ์•„๋ฌด๋Ÿฐ ๊ทœ์น™ ์—†์ด ๋ฌด์ž‘์œ„๋กœ ๋งŒ๋“œ๋Š” ๊ฒƒ ๊ฐ™์ง€๋งŒ..
Liky
'Artificial_Intelligence๐Ÿค–' ์นดํ…Œ๊ณ ๋ฆฌ์˜ ๊ธ€ ๋ชฉ๋ก (7 Page)