Share
Embed
「PythonとKerasによるディープラーニング輪読会#7」6章LT資料1/2
皆様、ご静聴ありがとうございました。
初のLT、とても良い経験になりました。
これは、先日行われた「PythonとKerasによるディープラーニング輪読会#7」のLT資料となります。復習に、そして本を読んでいてもし分からない場所があった時のちょっとした助けとして、用いて頂ければ幸いです。
※スライド冒頭にも書きましたが著作権上の問題がありましたらご指摘願います
※SlideShareでは日本語が表示されなかったのでSpeaker Deckを使用することにしました
K-neko
February 21, 2019
Transcript
68 slides
-
ŘŵŠŠ ޚྱͱҙ 2/69 Έͳ͞·ɺઌࢲͷਓੜॳ-5Λௌ͍͍͖ͯͨͩɺ·ͨࢁͷΞυόΠεΛ͖ɺ͋Γ ͕ͱ͏͍͟͝·ͨ͠ɻ ຊࢿྉ-5Ͱࢦఠ͞ΕͨՕॴΛमਖ਼ͭͭ͠ɺ·ͨΧॴʹൃදऀΛ͚Ճ͑ͨͷͰ ͋Γ·͢ɻ ະͩؒҧ͍͍͟͝·ͨ͠Βɺमਖ਼͍ͨ͠·͢ͷͰϝʔϧ ຊεϥΠυදࢴʹهࡌ ͳͲͰ
͝࿈བྷ͍͚ͨͩΕͱࢥ͍·͢ɻ ͦΕΒΛ౿·͑ͨ࠷ऴमਖ਼ͷεϥΠυެ։༧ఆͰ͢ͷͰɺ͓͍͚ͪͨͩΕͱࢥ͍ ·͢ɻ ·ͨɺຊεϥΠυͷ༰ྠಡࢿྉͰ͋ΔͨΊɺڭՊॻͱ͍ͯ͠Δʮ1ZUIPOͱ,FSBTʹ ΑΔσΟʔϓϥʔχϯάʯ ϚΠφϏग़൛ɺஶ'SBODPJT$IPMMFUɺ༁ ༔ีɺגࣜ ձࣾΫΠʔϓ ʹج͖ͮ࡞͞Ε͓ͯΓ·͢ɻૉఢͳڭՊॻΛ͋Γ͕ͱ͏͍͟͝·͢ɻ ͦͷͨΊɺສҰஶ࡞ݖ্ͷ͍͟͝·ͨ͠Βɺ͝ࢦఠ͍ͩ͘͞·͢Α͏͓ئ͍ਃ͠ ্͛·͢ɻ ʮ1ZUIPOͱ,FSBTʹΑΔσΟʔϓϥʔχϯάʯͱ͍͏ૉΒ͍͠ຊΛಡΈͳ͕Βɺ͜ͷ εϥΠυΛۮʹΈ͍ͯͨͩ͘͜ͱͰɺগ͠ͰֶशͷࢀߟʹͳΕͱࢥ͓ͬͯΓ·͢ɻ ,OFLP -
ŘŵŠŠ ,OFLPͱ 3/69 ͖ͳΤσΟλ 7JTVBM4UVEJP$PEF 7JN ॴଐ ʢࣗশʣେֶത࢜՝ఔ ˞ϥϘͷֶੜ͔Βࡀແ৬ͱݺΕ͍ͯΔ झຯ
ۂ࡞Γɼͪΐͬͱֆ͔͖ɼͪΐͬͱࣗసं ಉਓԻָαʔΫϧͬͯ·͢ ػցֶशΛ͏త ࡂରࡦʢಛʹਫʣ :<48 $& #!>759 3%"'60 * .+ 2/(;(= - ,) 1 -
ŘŵŠŠ %-ͷରͱ͢Δͷ 5/69 ςΩετ Degree Celsius Time(hour) CNT CASE1 CASE2
CASE3 CASE4 CASE5 0 1 2 3 4 6 7 8 9 11 12 10 5 20 19 18 16 21 14 15 17 13 23 22 24 25 31 30 29 28 27 26 34 33 32 36 35 ࣌ܥྻσʔλ γʔέϯεσʔλશൠ Q 5FNQ 3// ϦΧϨϯτχϡʔϥϧωοτϫʔΫ %$// Ұ࣍ݩΈࠐΈχϡʔϥϧωοτϫʔΫ -
ŘŵŠŠ ςΩετσʔλͷૢ࡞ 8/69 Q ςΩετ l5IFDBUTBUPOUIFNBUz τʔΫϯ lUIFz lDBUz lTBUz
lPOz lUIFz lNBUz lz τʔΫϯͷϕΫτϧԽ lUIFz lDBUz lTBUz lPOz lUIFz lNBUz lz 0.0 0.5 1.0 0.0 1.0 0.2 0.4 0.5 1.0 0.0 0.2 1.0 1.0 0.5 0.0 0.0 0.0 0.0 0.0 0.5 1.0 τʔΫϯԽ POFIPUFODPEJOH XPSEFNCFEEJOH -
ŘŵŠŠ ୯ޠͱจࣈͷ POFIPUΤϯίʔσΟϯά 10/69 Q POFIPUϕΫτϧ ҰҙͳΠϯσοΫεi ˠ αΠζNͷϕΫτϧʹม ষͷ෮शʁ
! 0 0 0 0 0 0 0 0 0 0 0 0 ! 0 0 0 0 0 0 where N: ޠኮͷαΠζʢN wordsʣ # = 3 N = 10 -
ŘŵŠŠ ςΩετσʔλͷૢ࡞ 11/69 Q ςΩετ l5IFDBUTBUPOUIFNBUz άϥϜͷόοάʢ/άϥϜʣ \l5IFz l5IFDBUz lDBUz
lDBUTBUz lTBUz lTBU POz lPOz lPOUIFz lUIFz lUIFNBUz lNBUz^ ϐϦΦυ ೖΒͳ͍Έ͍ͨ #P8 #BHPG8PSET ॱংΛҡ࣋͢ΔτʔΫϯԽख๏Ͱͳ͍ˠࠓճͷϞσϧͰΘͳ͍ ºγʔέϯε ˓ू߹ ࢀߟ -
ŘŵŠŠ Ϧετͷݕ౼ 13/69 Q UPLFO@JOEFY \5IF DBU TBU PO UIF
NBU EPH BUF NZ IPNF XPSL^ samples = ¥ ["The cat sat on the mat.", "The dog ate my home work."] token_index = {} for sample in samples: for word in sample.split(): if word not in token_index: token_index[word] = len(token_index) + 1 6 words wordKey 1 ˞ΠϯσοΫεͲͷ୯ޠʹׂΓͯͳ͍ʂ -
ŘŵŠŠ Ϧετͷݕ౼ 14/69 Q np.shape(results) ->(2, 10,
12) 1 BYJT จষ max_length = 10 results = np.zeros((len(samples), max_length, max(token_index.values()) + 1)) BYJT ߟྀ͢Δ୯ޠ BYJT จষͷ͞ -
ŘŵŠŠ Ϧετͷݕ౼ 15/69 Q for i , sample in enumerate(samples):
for j, word in list(enumerate(sample.split()))[:max_length]: index = token_index.get(word) results[i, j, index] = 1. ೋͭͷจষʢ྆ऀXPSETʣ Լࢀর XPSE LFZ ͷΛऔಘ J൪ͷจষͷ ̹൪ͷ୯ޠ JOEFY൪ͷʹqBHΛཱͯ·͢ ˞֬ೝ >>enumerate(sample.split()))[:max_length] < 5IF EPH BUF NZ IPNF XPSL > -
ŘŵŠŠ ୯ޠͱจࣈͷ POFIPUΤϯίʔσΟϯά 16/69 Q 2ϦετͰͲ͏͍͏݁Ռ͕ฦͬͯ͘Δ͔ Πϝʔδ͍ͯͩ͘͠͞ɻ J൪ͷจষͷ ̹൪ͷ୯ޠ JOEFY൪ͷʹqBHΛཱͯ·͢
UPLFO@JOEFY \5IF DBU TBU PO UIF NBU EPH BUF NZ IPNF XPSL^ 5IFDBUTBUPOUIFNBU -
ŘŵŠŠ ୯ޠͱจࣈͷ POFIPUΤϯίʔσΟϯά 17/69 Q 2ϦετͰͲ͏͍͏݁Ռ͕ฦͬͯ͘Δ͔ Πϝʔδ͍ͯͩ͘͠͞ɻ J൪ͷจষͷ ̹൪ͷ୯ޠ JOEFY൪ͷʹqBHΛཱͯ·͢
UPLFO@JOEFY \5IF DBU TBU PO UIF NBU EPH BUF NZ IPNF XPSL^ 5IFEPHBUFNZIPNFXPSL -
ŘŵŠŠ ୯ޠͱจࣈͷ POFIPUΤϯίʔσΟϯά 18/69 Q 2ϦετͰͲ͏͍͏݁Ռ͕ฦͬͯ͘Δ͔ Πϝʔδ͍ͯͩ͘͠͞ɻ np.shape(results) ->(2, 5,
101) BYJT จষ BYJT ୯ޠ BYJT จࣈ -
ŘŵŠŠ sample = ["The cat sat on the mat.", "The
dog ate my home work."] characters = string.printable token_index = dict( zip(characters, range(1, len(characters) + 1))) max_length = 50 results = np.zeros((len(samples), max_length, max(token_index.values()) + 1)) for i, sample in enumerate(samples): for j, character in enumerate(sample[: max_length]): index = token_index.get(character) results[i, j, index] = 1 Ϧετͷݕ౼ 19/69 Q ˞֬ೝ >>print(characters) 0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVW69YZ! "#$%&'()*+,-./:;<=>?@[¥]^_`{|}~ >>print(token_index) {'0': 1, '1': 2, ... ,'Q': 53, 'R': 54, ... , '¥x0b': 99, '¥x0c': 100} -
ŘŵŠŠ Ϧετͷݕ౼ 22/69 Q ˞֬ೝ >>print(sequences) [[1, 2, 3, 4,
1, 5], [1, 6, 7, 8, 9, 10]] >>print(one_hot_results) [[0. 1. 1. ... 0. 0. 0.][0. 1. 0. ... 0. 0. 0.]] <- (2, 1000) >>print(word_index) {'the': 1, 'cat': 2, 'sat': 3, 'on': 4, 'mat': 5, 'dog': 6, 'ate': 7, 'my': 8, 'home': 9, 'work': 10} from keras.preprocessing.text import Tokenizer samples = ["The cat sat on the mat.", "The dog ate my home work."] tokenizer = Tokenizer(num_words = 1000) tokenizer.fit_on_texts(samples) sequences = tokenizer.texts_to_sequences(samples) one_hot_results = tokenizer.texts_to_matrix(samples, mode='binary') word_index = tokenizer.word_index print('Found %s unique tokens.' % len(word_index)) ݸͷ୯ޠ͕ݟ͔ͭΓ·ͨ͠ɻ ࠷ස୯ޠ্Ґ/ݸ ? -
ŘŵŠŠ ୯ޠͱจࣈͷ POFIPUΤϯίʔσΟϯά 23/69 Q هćñĊ Hiho æ÷ جκ۰ÔĒ֗óجκěϡēРØ æ÷
ͣċЊ̉ûĜմ÷͇Í/̌÷ԋ̝÷Ĉ̼ۘ æ÷ ֬ۡŘĮŇŪ˄ɍěðÖĔ̋ēШÞØ -
ŘŵŠŠ Ϧετͷݕ౼ 24/69 Q ˞֬ೝ >>print(index) 974 samples = ["The
cat sat on the mat.", "The dog ate my home work."] dimensionality = 1000 max_length = 10 results = np.zeros((len(samples), max_length, dimensionality)) for i, sample in enumerate(samples): for j, word in list(enumerate(sample.split()))[:max_length]: index = abs(hash(word)) % dimensionality results[i, j, index] = 1. BYJT จষ BYJT ୯ޠ BYJT ϋογϡ -
ŘŵŠŠ ͏Ұͭͷख๏ 26/69 Q ࣍ݩ POFIPU ૄ ߴ࣍ݩ ϋʔυίʔσΟϯά
,OFLP JT DPPM ,OFLP JT DPPM XPSEFNCFEEJOH ີ ࣍ݩ σʔλ͔Βֶश ࣍ݩ ࠇɿ̌ നɿ̍ -
ŘŵŠŠ ຒΊࠐΈͷऔಘํ๏ 27/69 Q ,OFLP JT DPPM XPSEFNCFEEJOH ີ ࣍ݩ
σʔλ͔Βֶश ϝΠϯͷλεΫͱಉ࣌ʹ ୯ޠຒΊࠐΈΛֶश ֶशࡁͷ୯ޠͷຒΊࠐΈ PS -
ŘŵŠŠ ຒΊࠐΈΛͬͨ୯ޠຒΊࠐΈͷֶश 28/69 Q ୯ޠˠີϕΫτϧ ࠷୯७ͳํ๏ FYBDU 0 BDDVSBUF ϕΫτϧΛϥϯμϜʹબ
⚠ ಉ͡୯ޠͰ શ͘ҧ͏ͷʹ ϊΠζͩΒ͚ɾߏԽ͞Εͯͳ͍ %//Ͱཧղࠔ -
ŘŵŠŠ ຒΊࠐΈΛͬͨ୯ޠຒΊࠐΈͷֶश 29/69 Q ୯ޠϕΫτϧಉ࢜ͷزԿֶతؔ ˠ୯ޠͷҙຯతͳؔΛө 0 ᶃ زԿֶతͳڑ ҙຯతͳڑ
FY -ڑ ∥ "# + %& ∥ ᶄ ͖ʹҙຯΛ ࣋ͨͤ·͠ΐ͏ " % -
ŘŵŠŠ ਤ͔̒̏Β͔Δ୯ޠͷ͖ 30/69 Q ̎࣍ݩฏ໘ʹຒΊࠐ·Ε࢛ͨͭͷ୯ޠ 0 º º º º
%PH $BU 5JHFS 8PMG -
ŘŵŠŠ ਤ͔̒̏Β͔Δ୯ޠͷ͖ 31/69 Q ̎࣍ݩฏ໘ʹຒΊࠐ·Ε࢛ͨͭͷ୯ޠ 0 º º º º
%PH $BU 5JHFS 8PMG -
ŘŵŠŠ ຒΊࠐΈΛͬͨ୯ޠຒΊࠐΈͷֶश 32/69 Q ཧతͳ୯ޠຒΊࠐΈۭؒଘࡏ͢Δͷ͔ʁ ਓؒͷݴޠΛશʹϚοϐϯά ࣗવݴޠॲཧͷ͋ΒΏΔλεΫʹར༻Մೳ Մೳੑॆʹ͋Δ͕ ͦͷΑ͏ͳͷܭࢉ͞Ε͍ͯͳ͍ 0
! " ਓؒͷݴޠ ͦͦଘࡏ͠ͳ͍ จԽίϯςΩετΛөͨ͠ͷ BOE λεΫʹΑͬͯྨ͞ΕΔ͖ͷ -
ŘŵŠŠ ຒΊࠐΈΛͬͨ୯ޠຒΊࠐΈͷֶश 33/69 Q ,FSBTΛͬͯຒΊࠐΜͰΈΑ͏ ৽͍͠λεΫ͝ͱʹ৽͍͠ຒΊࠐΈۭؒΛֶश͢Δ͜ͱཧʹద͍ͬͯΔ ޡࠩٯ๏ʹΑͬͯ༰қʹͳΔ from keras.layers import
Embedding embedding_layer = Embedding(1000, 64) keras.layers. Embedding(1000, 64) ༗ޮͳ τʔΫϯ ʢVOJUޠʣ ຒΊࠐΈͷ ࣍ݩ ʢVOJU࣍ݩʣ ୯ޠͷΠϯσοΫε ຒΊࠐΈ ରԠ͢Δ୯ޠϕΫτϧ ܇࿅࣌ ୯ޠϕΫτϧ͕#1Λ௨ͯ͠ௐ -
ŘŵŠŠ ෮श 34/69 *.%C *OUFSOFU.PWJF%BUBCBTF ݅ͷөըϨϏϡʔ ߠఆత PS൱ఆత
݅ͷ5SBJOσʔλ ߠఆత PS൱ఆత ݅ͷ5FTUσʔλ ߠఆత PS൱ఆత Q -
ŘŵŠŠ ෮श 35/69 *.%C *OUFSOFU.PWJF%BUBCBTF ݅ͷ5SBJOσʔλ ߠఆత PS൱ఆత
>>print(69_train) [list([1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, 458, 4468, 66, 3941, 4, 173, 36, 256, 5, .......]), list([1, 194, 1153, .......]), ......] >>print(y_train) [1 0 0 ... 0 1 0] ݸͷϦετ ʢγʔέϯεʣ ݸͷ ߠఆతɺ൱ఆత Q -
ŘŵŠŠ ࣮ࡍʹͬͯΈΑ͏ 36/69 *.%CөըϨϏϡʔσʔληοτͷײ༧ଌʹͯΊͯΈΔ Ϧετɿ σʔλͷಡΈࠐΈ Yͷେ͖͞ʹQBEEJOH ʢ࠷ස୯ޠˠγʔέϯεݸʹʣ Q
>>print(69_train) [list([1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, 458, 4468, 66, 3941, 4, 173, 36, 256, 5, .......]), ......] ͜ͷத͕ શମͷ࠷ස ୯ޠʹߜΒΕΔ pad_sequences (sequences, maxlen=None, dtype='int32', padding='pre', trunca0ng='pre', value=0.0) ()!$ #%' & " * -
ŘŵŠŠ ࣮ࡍʹͬͯΈΑ͏ 37/69 ϦετͰ࡞͞ΕΔϞσϧ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ -BZFS UZQF 0VUQVU4IBQF1BSBN
FNCFEEJOH@ &NCFEEJOH /POF @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ qBUUFO@ 'MBUUFO /POF @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ EFOTF@ %FOTF /POF 5PUBMQBSBNT 5SBJOBCMFQBSBNT /POUSBJOBCMFQBSBNT @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Q NPEFMBEE= &NCFEEJOH TBNQMFT NBY@MFO EJN ᶃ ݸͷ୯ޠΛ࣍ݩʹຒΊࠐΉ ᶄ Ͱ'MBUUFO͢Δ ᶅ -
ŘŵŠŠ ࣮ࡍʹͬͯΈΑ͏ 38/69 NPEFMpU ͰͪΐͬͱେͩͱࢥΘΕΔॴ IJTUPSZ = NPEFMpU Y@USBJO
Z@USBJO FQPDIT CBUDI@TJ[F WBMJEBUJPO@TQMJU Q WBMJEBUJPO@TQMJU γʔέϯεͷޙΖ͔ΒˋΛόϦσʔγϣϯσʔλͱͯ͠͏ ˞ֶशʹ༻͠ͳ͍ -
ŘŵŠŠ ࣮ࡍʹͬͯΈΑ͏ 39/69 ֶशग़དྷΔ͕ Q (JUIVCͰͷղઆʢݪจʁʣΑΓ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ -BZFS UZQF
0VUQVU4IBQF1BSBN FNCFEEJOH@ &NCFEEJOH /POF @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ GMBUUFO@ 'MBUUFO /POF @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ EFOTF@ %FOTF /POF 5PUBMQBSBNT 5SBJOBCMFQBSBNT /POUSBJOBCMFQBSBNT @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ ຒΊࠐΜͰ ฏୱԽͯ͠ σϯε̍ ୯ޠΛόϥόϥʹॲཧ͍ͯ͠Δ ˠ3//ͱ͔ඞཁ͡ΌͶʁ lUIJTNPWJFJTTIJUz ͜ͷөը͏Μͪ lUIJTNPWJFJTUIFTIJUz ͜ͷөըαΠίʔ ˞ͪͳΈʹ(PPHMF༁͡Ό۠ผ͕͖ͭ·ͤΜͰͨ͠ɻ -
ŘŵŠŠ ͭͷຒΊࠐΈϞσϧ 41/69 Q 8PSEWFD 5PNBT.JLPMPW (PPHMF (MP7F
ελϯϑΥʔυେֶ ҙຯతͳಛੑΛิ͢Δ FYੑผ ࠷ޭͨ͠୯ޠຒΊࠐΈख๏ͷͭ (MPCBM7FDUPSTGPS8PSE3FQSFTFOUBUJPO ୯ޠͷڞى͔ؔΒͳΔߦྻͷҼղʹجͮ͘ʢʁʣ DG ෳͷݴޠݱ͕ಉҰͷൃɾจɾจ຺ͳͲͷݴޠతڥʹ͓͍ͯੜى͢Δ͜ͱɻ FY ʮ͠ͱ͠ͱӍ͕߱Δʯʢ IUUQTXXXXFCMJPKQDPOUFOUڞى Ӿཡʣ 8JLJQFEJB$PNNPO$SBXMͷσʔλ͔Βऔಘͨ͠ ඦສنͷӳޠτʔΫϯΛݩʹ͍ͯ͠Δ ͦ͢͝͏ ͜ΕΛ͍͖͍ͬͯͨͱࢥ͍·͢ -
ŘŵŠŠ ςΩετͷτʔΫϯԽ͔Β୯ޠͷຒΊࠐΈ·Ͱ 42/69 Q import os imdb_dir = ‘/Users/u-za-name/03_Data/aclImdb' train_dir
= os.path.join(imdb_dir, 'train') labels = [] texts = [] for label_type in ['neg', 'pos’]: dir_name = os.path.join(train_dir, label_type) for fname in os.listdir(dir_name): if fname[-4:] == '.txt’: f = open(os.path.join(dir_name, fname)) texts.append(f.read()) f.close() if label_type == 'neg’: labels.append(0) else: labels.append(1) MBCFM@UZQF σΟϨΫτϦͷ໊લͷඌ MTrNEJS@OBNF UYUͷΈநग़ texts labels nega/ve: 0, posi/ve: 1 -
ŘŵŠŠ σʔλͷτʔΫϯԽ 43/69 Q ϦετΊΜͲ͍͘͞ͷͰলུ͠·͢ɻ ͍··Ͱͷ·ͱΊٕʹͳΓ·͢ ͜͜Ͱେࣄͳཁ͚ͩΛ͔͍ͭ·ΜͰ͓͠͠·͢ Ϧετʹͯ͠ ֶशࡁͷຒΊࠐΈˡར༻Մೳͳ܇࿅σʔλͷྔ͕গͳ͍ͱ͖
͑ͯ܇࿅σʔλΛ࠷ॳͷαϯϓϧʹߜΔ ݕূσʔλαϯϓϧ QSJOU OQTIBQF @USBJO ʢ ʣ ϫʔυͰΧοτ͍ͯ͠Δαϯϓϧ ⚠ αϯϓϧ͕ॱ൪ʹฒΜͰ͍Δ ൱ఆతà ߠఆత γϟοϑϧ͠·͠ΐ͏ indices = np.arange(data.shape[0]) np.random. (indices) data = data[indices] labels = labels[indices] -
ŘŵŠŠ (MP7FΛͬͯΈΑʔʂ 44/69 Q Ϧετ ࣮ࡍʹσʔλΛ͓ݟͤ͠ͳ͕Β͓͠͠·͢ʢҰߦͣͭͷσʔλͰ͢ʣ ࡞͢ΔඪɺFNCFEEJOHT@JOEFY ࣙॻܕ LFZʹ୯ޠ໊ɿWBMʹϕΫτϧ
࣍ݩ Ϧετ ࡞͢ΔඪɺFNCFEEJOHT@NBUSJY ޠ ࣍ݩ ຒΊࠐΈΠϯσοΫεͰݟ͔ͭΒͳ͍୯ޠຒΊ *.%CͷΠϯσοΫε͔Βࢀরͯ͠(MP7F͔Βநग़ OQTIBQF FNCFEEJOHT@NBUSJY NBY@XPSET FNCFEEJOH@EJNFOTJPO -
ŘŵŠŠ (MP7FΛͬͯΈΑʔʂ 45/69 Q Ϧετ ͜ΕͰϨΠϠʔʹॏΈΛຒΊࠐΊ·͢ model.layers[0].set_weights([embedding_matrix]) model.layers[0].trainable =
False ֶशࡁ͔ͩΒౚ݁ Ҏ߱ɺֶशࡁϞσϧΛ༻͍ͳ͍ͷͱͷൺֱ ͜ͷ߹ɺֶशࡁϞσϧΛ༻͍ͨํ͕ྑ͍ αϯϓϧͱখ͍ͨ͞Ίŋŋŋ ඦฉҰݟʹ͔ͣ͠ʂʂʂʂʂʂʂʂʂʂʂʂ -
ŘŵŠŠ ࠓ·ͰͷχϡʔϥϧωοτϫʔΫͱͷҧ͍ 47/69 Q هԱΛ͍࣋ͬͯͳ͍χϡʔϥϧωοτϫʔΫ ೖྗݸผʹॲཧ͞ΕΔ ·͕ͨͬͯঢ়ଶҡ࣋͞Εͳ͍ γʔέϯεશମΛಡΈࠐΉඞཁ ˠϑΟʔυϑΥϫʔυωοτϫʔΫ
Y Y YN Y Y Z %PH $BU 5JHFS 8PMG -
ŘŵŠŠ ࠓ·ͰͷχϡʔϥϧωοτϫʔΫͱͷҧ͍ 48/69 Q ਓ͕ؒจষΛಡΉͱ͖ ใΛਐతʹॲཧˠ෦ϞσϧΛҡ࣋ Ϟσϧஞ࣍ߋ৽͞ΕΔ ϦΧϨϯτχϡʔϥϧωοτϫʔΫʢ3//ʣ γʔέϯεͷཁૉΛ෮తʹॲཧ ,OFLP͘Μͷ-5ͬͯ
ૉΒ͍͠ͳ͊ɻ ੋඇ·ͨ࣍ฉ͍ͯ Έ͍ͨͳ͊ɻ ָ͠Έͩͳ͊ɻ ,OFLP܅ͷൃදΛ ͋Μͳૉఢͳൃද͕ هԱ -
ŘŵŠŠ 3//Λࣜతʹཧղ͢Δ 50/69 Q ਤ ೖྗ ग़ྗ ϦΧϨϯτ݁߹ʢ෮ॲཧʣ state_t =
0 for input_t in input_sequence: output_t = f(input_t, state_t) state_t = output_t input_t: (timesteps, input_features) state_t: 時刻tでの状態(初期状態=0) -
ŘŵŠŠ 3//Λࣜతʹཧղ͢Δ 51/69 Q output_t = activation(dot(W, input_t) + dot(U,
state_t) + b) ͜Ε·Ͱͷܭࢉ 6͚ͩঢ়ଶΛ औΓೖΕΔ ਤ ೖྗ ग़ྗ ϦΧϨϯτ݁߹ʢ෮ॲཧʣ ϦετΊΜͲ͍͘͞ͷͰলུ͠·͢ɻ ݁ہಉ͜͡ͱ͔͠ॻ͍ͯͳ͘ɺ ্ͷ͕ࣜඇৗʹॏཁͰ͢ɻ -
ŘŵŠŠ 3//Λࣜతʹཧղ͢Δ 52/69 Q ਤ γʔέϯεΛॎ͖ʹͯ͠·͢ ೖྗU ग़ྗU ೖྗU ग़ྗU
ঢ়ଶU ೖྗU ग़ྗU ঢ়ଶU ঢ়ଶU -
ŘŵŠŠ 4JNQMF3// 55/69 Q from keras.layers import SimpleRNN ೖྗܗঢ় CBUDI@TJ[F
UJNFTUFQT JOQVU@GFBUVSFT -
ŘŵŠŠ 4JNQMF3//ͱछྨͷϞʔυ 56/69 Q ೖྗܗঢ় CBUDI@TJ[F UJNFTUFQT JOQVU@GFBUVSFT GFBUVSF GFBUVSF
GFBUVSF U U U UO GFBUVSF GFBUVSF GFBUVSF ֤࣌ؒࠁΈͷग़ྗ͕ॱ൪ʹؚ·Εͨ શͳγʔέϯε GFBUVSF GFBUVSF GFBUVSF U U U UO GFBUVSF GFBUVSF GFBUVSF ֤ೖྗͷ ࠷ޙͷग़ྗ -
ŘŵŠŠ 4JNQMF3// 57/69 Q QΛݟ͍ͯͩ͘͞ ҎԼݸਓͷݟղͰ͢ ࣗવՊֶΛͬͯΔͱͯ͠ɺҰ൪্͕ଟ͍ؾ͕͠·͢ɻ FY ࣌ؒͷσʔλ͔Β࣌ؒޙΛ༧ଌ SFUVSO@TFRVFODFTCPPM5SVFPS'BMTF
ਅΜத୯ͰԿʹ͏͔͔Γ·ͤΜŋŋŋŋŋŋɻ Ұ൪Լ4UBDLFE3//ʢ࣍िղઆʂʣͷ࣌ʹඞཁͰ͢ɻ %FGBVMU'BMTF -
ŘŵŠŠ 4JNQMF3// 59/69 Q ཁͷΈ JOQVU@USBJO TIBQF
JOQVU@UFTU TIBQF ϦετdϦετ ྲྀΕಛʹ$//ͷ࣌ͱมΘΓͳ͠àׂѪ ⾠CBUDI@TJ[F ෆཁ υοτɿ܇࿅σʔλͰͷ݁Ռ ંΕઢɿݕূσʔλͰͷ݁Ռˋ 3// ͍γʔέϯεॲཧʹ దͰͳ͍ -
ŘŵŠŠ ޯফࣦ 61/69 Q 4JHNPJEؔͷ࠷େͷ͖ HSBE 4JNQMF3//͕ۤखͳ͜ͱ ⾠CBUDI@TJ[F ෆཁ ճֻ͚͚ͩΔͳΒ͍͍͚Ͳŋŋŋŋŋŋ
ͦ͜Ͱొͨ͠ͷ͕ɺ -45. -POH4IPSU5FSN.FNPSZ (36 (BUFE3FDVSSFOU6OJU ޙͰར༻͢ΔͨΊͷใΛอଘ ॲཧͷ్தͰࣦΘΕΔ͜ͱΛ͙ -
ŘŵŠŠ 3//Λࣜతʹཧղ͢Δ 62/69 Q ਤ ࢥ͍ग़ͯ͠Έ͍ͯͩ͘͞ ೖྗU ग़ྗU ೖྗU ग़ྗU
ঢ়ଶU ೖྗU ग़ྗU ঢ়ଶU ঢ়ଶU -
ŘŵŠŠ -45.Λࣜతʹཧղ͢Δ 63/69 Q ਤ ೖྗU ग़ྗU ೖྗU ग़ྗU ঢ়ଶU
ঢ়ଶU $U $U ΩϟϦʔ -
ŘŵŠŠ 3//Λࣜతʹཧղ͢Δ 65/69 Q output_t = activation( dot(state_t, Uo) +
dot(input_t, Wo) + dot(C_t, Vo) + bo) -
ŘŵŠŠ -45.Λࣜతʹཧղ͢Δ 66/69 Q ਤ ೖྗU ग़ྗU ೖྗU ग़ྗU ঢ়ଶU
ঢ়ଶU $U $U dot(state_t, Uo) dot(input_t, Wo) dot(C_t, Vo) output_t output_t = activation(dot(state_t, Uo)+dot(input_t, Wo)+dot(C_t, Vo)+bo) -
ŘŵŠŠ 3//Λࣜతʹཧղ͢Δ 67/69 Q i_t = activation(dot(state_t, Ui)+dot(input_t, Wi)+bi) f_t
= activation(dot(state_t, Uf)+dot(input_t, Wf)+bf) k_t = activation(dot(state_t, Uk)+dot(input_t, Wk)+bk) DU JU ºLU DU º GU 67-2 9'=0 ! !*.%1 9LT(: &)/; <,4=$> 3 '=08"#5?+ 8FC )&--0$:#&3/&5*$4༷ʮࠓߋฉ͚ͳ͍-45.ͷجຊʯ IUUQTXXXIFMMPDZCFSOFUJDTUFDIFOUSZ ຊ ৄղ σΟʔϓϥʔχϯά 5FOTPS'MPXɾ,FSBTʹΑΔ࣌ܥྻσʔλॲཧ ϚΠφϏग़൛