城ヶ崎美嘉で学ぶRNNLM

オタク機械学習勉強会#0 のLT

Transcript

1. ৓ϲ࡚ඒՅ Λը૾ݕࡧ͓ͯ͠଴ͪԼ͍͞
2. ৓ϲ࡚ඒՅͰֶͿ RNNLM 2016/6/5 ΦλΫػցֶशษڧձ #0 @nzw0301
3. Ϟνϕʔγϣϯ ৓ϲ࡚ඒՅͷηϦϑੜ੒
4. Recurrent Neural Network Language Model • ηϦϑੜ੒: ௚લ·Ͱͷ୯ޠ͔Β࣍ͷ1୯ޠΛ༧ଌ͠ଓ͚Δ • ྫɿΊΔΊΔʜᣦՅʹϝʔϧૹ৴ͬ˒
   • ୯ޠ෼ׂ: <BOS> ΊΔΊΔ
   ʜ
   ᣦՅ
   ʹ
   ϝʔϧ
   ૹ৴
   ͬ
   ˒
   &04
   • ֶश: Q ΊΔΊΔc#04
   ͱ͔ Q ᣦՅc<BOS>, ΊΔΊΔ
   ʜ
5. RNNLMͷߏ଄ ޠኮ਺V࣍ݩͷϕΫτϧ softmax ؔ਺ 1ͭલͷதؒ૚ͷϕΫτϧ RNNͷ༝ԑ h࣍ݩͷதؒ૚
6. p(ΊΔΊΔ|<BOS>) ͷܭࢉྫɿೖྗ૚ w #04
   ͷ
   POFPG,
   දݱΛೖྗ
   w ௿࣍ݩͰີͳϕΫτϧʹม׵ <BOS> ΊΔΊΔ 0 B B B B B @ 0 1 0 . . . 0 1 C C C C C A
7. p(ΊΔΊΔ|<BOS>) ͷܭࢉྫɿதؒ૚ • ີͳϕΫτϧΛதؒ૚ʹ౉͢ • ଟ૚ύʔηϓτϩϯͱಉ͡ <BOS> ΊΔΊΔ
8. p(ΊΔΊΔ|<BOS>) ͷܭࢉྫɿग़ྗ૚ • ग़ྗ૚ʹதؒ૚ͷϕΫτϧΛ౉͢ • ݱࡏͷதؒ૚ͷ஋Λอ࣋ <BOS> ΊΔΊΔ
9. p(ΊΔΊΔ|<BOS>) ͷܭࢉྫɿॏΈߋ৽ • Softmaxؔ਺Ͱ֬཰஋Λܭࢉ • Backpropagation Ͱ ΊΔΊΔ ͷ֬཰͕େ͖͘ͳΔΑ͏ʹߋ৽ <BOS> ΊΔΊΔ
10. p(ʜc#04
    ΊΔΊΔ) ͷܭࢉྫɿೖྗ૚ ૄΊΔΊΔϕΫτϧΛೖྗ͠ɼີͳΊΔΊΔϕΫτϧʹม׵ p(ΊΔΊΔ|<BOS>)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ 0 B B B B B B B B B B @ 0 . . . 0 1 0 . . . 0 1 C C C C C C C C C C A
11. p(ʜc#04
    ΊΔΊΔ) ͷܭࢉྫɿதؒ૚ ີͳΊΔΊΔϕΫτϧͱલʹܭࢉͨ͠தؒ૚ͷϕΫτϧΛதؒ૚΁ p(ΊΔΊΔ|<BOS>)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ
12. p(ʜc#04
    ΊΔΊΔ) ͷܭࢉྫɿग़ྗ૚ • ग़ྗ૚ʹதؒ૚ͷϕΫτϧΛ౉ͯ͠ɼݱࡏͷதؒ૚ͷϕΫτϧΛอ࣋ p(ʜ|<BOS>, ΊΔΊΔ)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ
13. p(ʜc#04
    ΊΔΊΔ) ͷܭࢉྫɿॏΈߋ৽ • Softmaxؔ਺Ͱ֬཰஋Λܭࢉ • Backpropagation Ͱ ʜ ͷ֬཰͕େ͖͘ͳΔΑ͏ʹߋ৽ ʜ ΊΔΊΔ
14. ࣮ݧ
15. ࣮ݧ֓ཁ • SCRNΛ࢖༻ • LSTM ΍ GRU Λ࢖Θͳ͍ • Keras Ͱ࣮૷ • લॲཧ • ܗଶૉղੳͤͣʹจࣈ୯ҐͰֶश • /。|★|?|!|♪/ ͰηϦϑΛ෼ׂ • ໿900ηϦϑ (Վࢺ) Λ࢖༻ • ϞόϚε • σϨες • TOKIMEKIΤεΧϨʔτ
16. ݁Ռ
17. 10epochޙɿϓϩσϡʔαʔͷҰ෦͕ͱΕͯΔ ϓϩσϩσϡʔͯ΁ͳͪʙʹෲΞλ γ΄ϡʔαʔΒత஻ͳʔɺͨ͜ͳ
18. 40epochޙɿΪϟϧޠʁ ϓϩσϡʔαʔʹ͍ͪΌΜɺ ݟ͘ͳ͍ʔ͘ͱԿߴͩ͠ʔͬ̇
19. 80epochޙɿݺ͹Εͨؾ͕ͨ͠ ϓϩσϡʔαʔ!
20. “<BOS> ϓ” ͔Β࠷໬ਪఆɿϧʔϓ ϓϩσϡʔαʔɺΞλγͷ͜ͱ͔Βɺ ϓϩσϡʔαʔɺΞλγͷ͜ͱ
21. ϥϯμϜʹηϦϑੜ੒
22. ॴײ • ηϦϑΛͲ͜Ͱ੾Δ΂͖͔ • ྫɿ͝͸Μʹ͢Δ?͓෩࿊ʹ͢Δ?…͜Ε͸ͪΐͬͱϕλͬΆ͍ͳ͊ • ? Ͱ۠੾Δ΂͖͔൱͔ • …͸લޙͲͬͪͰ۠੾Δ͔൱͔ʁͦΕͱ΋ͳ͘͢ʁ • ήʔϜը໘ͷͨΊ͔1ηϦϑܥྻ௕͕΄΅Ұఆʢֶͼʣ
23. ࢀߟจݙͳͲ • http://keras.io/ • DLͷϥΠϒϥϦ • ָ͍͢͝ʹॻ͚Δ • Mikolov at.el. Recurrent neural network based language model. 2010. • RNNͷը૾͸͜ͷ࿦จͷ΋ͷΛ࢖༻ • Mikolov at.el Learning Longer Memory in Recurrent Neural Networks. 2014. • ࠓճ࢖༻ͨ͠Ϟσϧ