$30 off During Our Annual Pro Sale. View Details »

城ヶ崎美嘉で学ぶRNNLM

 城ヶ崎美嘉で学ぶRNNLM

オタク機械学習勉強会#0 のLT

Kento Nozawa

June 05, 2016
Tweet

More Decks by Kento Nozawa

Other Decks in Programming

Transcript

  1. ৓ϲ࡚ඒՅ Λը૾ݕࡧ͓ͯ͠଴ͪԼ͍͞

  2. ৓ϲ࡚ඒՅͰֶͿ RNNLM 2016/6/5 ΦλΫػցֶशษڧձ #0 @nzw0301

  3. Ϟνϕʔγϣϯ ৓ϲ࡚ඒՅͷηϦϑੜ੒

  4. Recurrent Neural Network Language Model • ηϦϑੜ੒: ௚લ·Ͱͷ୯ޠ͔Β࣍ͷ1୯ޠΛ༧ଌ͠ଓ͚Δ • ྫɿΊΔΊΔʜᣦՅʹϝʔϧૹ৴ͬ˒

    • ୯ޠ෼ׂ: <BOS> ΊΔΊΔʜᣦՅʹϝʔϧૹ৴ͬ˒&04 • ֶश: Q ΊΔΊΔc#04 ͱ͔ Q ᣦՅc<BOS>, ΊΔΊΔ ʜ
  5. RNNLMͷߏ଄ ޠኮ਺V࣍ݩͷϕΫτϧ softmax ؔ਺ 1ͭલͷதؒ૚ͷϕΫτϧ RNNͷ༝ԑ h࣍ݩͷதؒ૚

  6. p(ΊΔΊΔ|<BOS>) ͷܭࢉྫɿೖྗ૚ w #04ͷPOFPG,දݱΛೖྗ w ௿࣍ݩͰີͳϕΫτϧʹม׵ <BOS> ΊΔΊΔ 0 B

    B B B B @ 0 1 0 . . . 0 1 C C C C C A
  7. p(ΊΔΊΔ|<BOS>) ͷܭࢉྫɿதؒ૚ • ີͳϕΫτϧΛதؒ૚ʹ౉͢ • ଟ૚ύʔηϓτϩϯͱಉ͡ <BOS> ΊΔΊΔ

  8. p(ΊΔΊΔ|<BOS>) ͷܭࢉྫɿग़ྗ૚ • ग़ྗ૚ʹதؒ૚ͷϕΫτϧΛ౉͢ • ݱࡏͷதؒ૚ͷ஋Λอ࣋ <BOS> ΊΔΊΔ

  9. p(ΊΔΊΔ|<BOS>) ͷܭࢉྫɿॏΈߋ৽ • Softmaxؔ਺Ͱ֬཰஋Λܭࢉ • Backpropagation Ͱ ΊΔΊΔ ͷ֬཰͕େ͖͘ͳΔΑ͏ʹߋ৽ <BOS>

    ΊΔΊΔ
  10. p(ʜc#04 ΊΔΊΔ) ͷܭࢉྫɿೖྗ૚ ૄΊΔΊΔϕΫτϧΛೖྗ͠ɼີͳΊΔΊΔϕΫτϧʹม׵ p(ΊΔΊΔ|<BOS>)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ 0 B B

    B B B B B B B B @ 0 . . . 0 1 0 . . . 0 1 C C C C C C C C C C A
  11. p(ʜc#04 ΊΔΊΔ) ͷܭࢉྫɿதؒ૚ ີͳΊΔΊΔϕΫτϧͱલʹܭࢉͨ͠தؒ૚ͷϕΫτϧΛதؒ૚΁ p(ΊΔΊΔ|<BOS>)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ

  12. p(ʜc#04 ΊΔΊΔ) ͷܭࢉྫɿग़ྗ૚ • ग़ྗ૚ʹதؒ૚ͷϕΫτϧΛ౉ͯ͠ɼݱࡏͷதؒ૚ͷϕΫτϧΛอ࣋ p(ʜ|<BOS>, ΊΔΊΔ)Ͱܭࢉͨ͠தؒ૚ͷϕΫτϧ ʜ ΊΔΊΔ

  13. p(ʜc#04 ΊΔΊΔ) ͷܭࢉྫɿॏΈߋ৽ • Softmaxؔ਺Ͱ֬཰஋Λܭࢉ • Backpropagation Ͱ ʜ ͷ֬཰͕େ͖͘ͳΔΑ͏ʹߋ৽

    ʜ ΊΔΊΔ
  14. ࣮ݧ

  15. ࣮ݧ֓ཁ • SCRNΛ࢖༻ • LSTM ΍ GRU Λ࢖Θͳ͍ • Keras

    Ͱ࣮૷ • લॲཧ • ܗଶૉղੳͤͣʹจࣈ୯ҐͰֶश • /。|★|?|!|♪/ ͰηϦϑΛ෼ׂ • ໿900ηϦϑ (Վࢺ) Λ࢖༻ • ϞόϚε • σϨες • TOKIMEKIΤεΧϨʔτ
  16. ݁Ռ

  17. 10epochޙɿϓϩσϡʔαʔͷҰ෦͕ͱΕͯΔ ϓϩσϩσϡʔͯ΁ͳͪʙʹෲΞλ γ΄ϡʔαʔΒత஻ͳʔɺͨ͜ͳ

  18. 40epochޙɿΪϟϧޠʁ ϓϩσϡʔαʔʹ͍ͪΌΜɺ ݟ͘ͳ͍ʔ͘ͱԿߴͩ͠ʔͬ̇

  19. 80epochޙɿݺ͹Εͨؾ͕ͨ͠ ϓϩσϡʔαʔ!

  20. “<BOS> ϓ” ͔Β࠷໬ਪఆɿϧʔϓ ϓϩσϡʔαʔɺΞλγͷ͜ͱ͔Βɺ ϓϩσϡʔαʔɺΞλγͷ͜ͱ

  21. ϥϯμϜʹηϦϑੜ੒

  22. ॴײ • ηϦϑΛͲ͜Ͱ੾Δ΂͖͔ • ྫɿ͝͸Μʹ͢Δ?͓෩࿊ʹ͢Δ?…͜Ε͸ͪΐͬͱϕλͬΆ͍ͳ͊ • ? Ͱ۠੾Δ΂͖͔൱͔ • …͸લޙͲͬͪͰ۠੾Δ͔൱͔ʁͦΕͱ΋ͳ͘͢ʁ

    • ήʔϜը໘ͷͨΊ͔1ηϦϑܥྻ௕͕΄΅Ұఆʢֶͼʣ
  23. ࢀߟจݙͳͲ • http://keras.io/ • DLͷϥΠϒϥϦ • ָ͍͢͝ʹॻ͚Δ • Mikolov at.el.

    Recurrent neural network based language model. 2010. • RNNͷը૾͸͜ͷ࿦จͷ΋ͷΛ࢖༻ • Mikolov at.el Learning Longer Memory in Recurrent Neural Networks. 2014. • ࠓճ࢖༻ͨ͠Ϟσϧ