城ヶ崎美嘉で学ぶRNNLM

by Kento Nozawa

Slide 1

Slide 1 text

৓ϲ࡚ඒՅ Λը૾ݕࡧ͓ͯ͠଴ͪԼ͍͞

Slide 2

Slide 2 text

৓ϲ࡚ඒՅͰֶͿ RNNLM 2016/6/5 ΦλΫػցֶशษڧձ #0 @nzw0301

Slide 3

Slide 3 text

Ϟνϕʔγϣϯ ৓ϲ࡚ඒՅͷηϦϑੜ੒

Slide 4

Slide 4 text

Recurrent Neural Network Language Model • ηϦϑੜ੒: ௚લ·Ͱͷ୯ޠ͔Β࣍ͷ1୯ޠΛ༧ଌ͠ଓ͚Δ • ྫɿΊΔΊΔʜᣦՅʹϝʔϧૹ৴ͬ˒ • ୯ޠ෼ׂ: ΊΔΊΔʜᣦՅʹϝʔϧૹ৴ͬ˒&04 • ֶश: Q ΊΔΊΔc#04 ͱ͔ Q ᣦՅc, ΊΔΊΔ ʜ

Slide 5

Slide 5 text

RNNLMͷߏ଄ ޠኮ਺V࣍ݩͷϕΫτϧ softmax ؔ਺ 1ͭલͷதؒ૚ͷϕΫτϧ RNNͷ༝ԑ h࣍ݩͷதؒ૚

Slide 6

Slide 6 text

p(ΊΔΊΔ|) ͷܭࢉྫɿೖྗ૚ w #04ͷPOFPG,දݱΛೖྗ w ௿࣍ݩͰີͳϕΫτϧʹม׵ ΊΔΊΔ 0 B B B B B @ 0 1 0 . . . 0 1 C C C C C A

Slide 7

Slide 7 text

p(ΊΔΊΔ|) ͷܭࢉྫɿதؒ૚ • ີͳϕΫτϧΛதؒ૚ʹ౉͢ • ଟ૚ύʔηϓτϩϯͱಉ͡ ΊΔΊΔ

Slide 8

Slide 8 text

p(ΊΔΊΔ|) ͷܭࢉྫɿग़ྗ૚ • ग़ྗ૚ʹதؒ૚ͷϕΫτϧΛ౉͢ • ݱࡏͷதؒ૚ͷ஋Λอ࣋ ΊΔΊΔ

Slide 9

Slide 9 text

p(ΊΔΊΔ|) ͷܭࢉྫɿॏΈߋ৽ • Softmaxؔ਺Ͱ֬཰஋Λܭࢉ • Backpropagation Ͱ ΊΔΊΔ ͷ֬཰͕େ͖͘ͳΔΑ͏ʹߋ৽ ΊΔΊΔ

Slide 10

Slide 10 text

p(ʜc#04 ΊΔΊΔ) ͷܭࢉྫɿೖྗ૚ ૄΊΔΊΔϕΫτϧΛೖྗ͠ɼີͳΊΔΊΔϕΫτϧʹม׵ p(ΊΔΊΔ|)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ 0 B B B B B B B B B B @ 0 . . . 0 1 0 . . . 0 1 C C C C C C C C C C A

Slide 11

Slide 11 text

p(ʜc#04 ΊΔΊΔ) ͷܭࢉྫɿதؒ૚ ີͳΊΔΊΔϕΫτϧͱલʹܭࢉͨ͠தؒ૚ͷϕΫτϧΛதؒ૚΁ p(ΊΔΊΔ|)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ

Slide 12

Slide 12 text

p(ʜc#04 ΊΔΊΔ) ͷܭࢉྫɿग़ྗ૚ • ग़ྗ૚ʹதؒ૚ͷϕΫτϧΛ౉ͯ͠ɼݱࡏͷதؒ૚ͷϕΫτϧΛอ࣋ p(ʜ|, ΊΔΊΔ)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ

Slide 13

Slide 13 text

p(ʜc#04 ΊΔΊΔ) ͷܭࢉྫɿॏΈߋ৽ • Softmaxؔ਺Ͱ֬཰஋Λܭࢉ • Backpropagation Ͱ ʜ ͷ֬཰͕େ͖͘ͳΔΑ͏ʹߋ৽ ʜ ΊΔΊΔ

Slide 14

Slide 14 text

࣮ݧ

Slide 15

Slide 15 text

࣮ݧ֓ཁ • SCRNΛ࢖༻ • LSTM ΍ GRU Λ࢖Θͳ͍ • Keras Ͱ࣮૷ • લॲཧ • ܗଶૉղੳͤͣʹจࣈ୯ҐͰֶश • /。|★|?|!|♪/ ͰηϦϑΛ෼ׂ • ໿900ηϦϑ (Վࢺ) Λ࢖༻ • ϞόϚε • σϨες • TOKIMEKIΤεΧϨʔτ

Slide 16

Slide 16 text

݁Ռ

Slide 17

Slide 17 text

10epochޙɿϓϩσϡʔαʔͷҰ෦͕ͱΕͯΔ ϓϩσϩσϡʔͯ΁ͳͪʙʹෲΞλ γ΄ϡʔαʔΒత஻ͳʔɺͨ͜ͳ

Slide 18

Slide 18 text

40epochޙɿΪϟϧޠʁ ϓϩσϡʔαʔʹ͍ͪΌΜɺ ݟ͘ͳ͍ʔ͘ͱԿߴͩ͠ʔͬ̇

Slide 19

Slide 19 text

80epochޙɿݺ͹Εͨؾ͕ͨ͠ ϓϩσϡʔαʔ!

Slide 20

Slide 20 text

“ ϓ” ͔Β࠷໬ਪఆɿϧʔϓ ϓϩσϡʔαʔɺΞλγͷ͜ͱ͔Βɺ ϓϩσϡʔαʔɺΞλγͷ͜ͱ

Slide 21

Slide 21 text

ϥϯμϜʹηϦϑੜ੒

Slide 22

Slide 22 text

ॴײ • ηϦϑΛͲ͜Ͱ੾Δ΂͖͔ • ྫɿ͝͸Μʹ͢Δ?͓෩࿊ʹ͢Δ?…͜Ε͸ͪΐͬͱϕλͬΆ͍ͳ͊ • ? Ͱ۠੾Δ΂͖͔൱͔ • …͸લޙͲͬͪͰ۠੾Δ͔൱͔ʁͦΕͱ΋ͳ͘͢ʁ • ήʔϜը໘ͷͨΊ͔1ηϦϑܥྻ௕͕΄΅Ұఆʢֶͼʣ

Slide 23

Slide 23 text

ࢀߟจݙͳͲ • http://keras.io/ • DLͷϥΠϒϥϦ • ָ͍͢͝ʹॻ͚Δ • Mikolov at.el. Recurrent neural network based language model. 2010. • RNNͷը૾͸͜ͷ࿦จͷ΋ͷΛ࢖༻ • Mikolov at.el Learning Longer Memory in Recurrent Neural Networks. 2014. • ࠓճ࢖༻ͨ͠Ϟσϧ