$30 off During Our Annual Pro Sale. View Details »

TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例

bokeneko
February 23, 2017

TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例

Rettyにおいて文字単位で学習するCNNを用いて分かち書き不要な口コミ分類器を構築した事例について紹介します。

bokeneko

February 23, 2017
Tweet

More Decks by bokeneko

Other Decks in Programming

Transcript

  1. %FFQ-FBSOJOHͷ
    ࣗવݴޠॲཧ΁ͷԠ༻ࣄྫ
    ʙจࣈ୯Ґ$//ʹΑΔޱίϛ෼ྨʙ

    View Slide

  2. ࣗݾ঺հ
    w ࢯݪ३ࢤ ͏͡͸Β͋ͭ͠

    w 3FUUZΫϥϑτϏʔϧ୲౰
    w 1ZUIPO޷͖ɻػցֶशͱ͔झ
    ຯͰ༡ΜͰͨΒ࢓ࣄʹͳͬͨɻ

    View Slide

  3. ࠓ೔঺հ͢Δ಺༰
    $//Ͱ೔ຊޠͷࣗવݴޠॲཧ
    ݁ߏ؆୯ʹͰ͖ΔΑ

    View Slide

  4. ޱίϛͷղੳͱ͔΋ͬͱखܰʹ΍Γͨ
    ͍ʜ
    Ͱ΋೔ຊޠͷࣗવݴޠॲཧʹ͸Ұͭͷ
    େ͖ͳน͕ʜͦΕ͸ʜ

    View Slide

  5. ୯ޠͷ੾Ε໨͕Θ͔Βͳ͍

    View Slide

  6. ӳޠ
    %P*GFFMMVDLZ lEPz l*z lGFFMz lMVDLZz l z
    ೔ຊޠ
    l͢΋΋΋΋΋΋΋΋ͷ͏ͪz
    l͏ΒʹΘʹ͸ʹΘʹΘʹ͸ʹΘʹΘͱΓ͕͍Δz

    View Slide

  7. ෼͔ͪॻ͖
    ೔ຊޠΛѻ͏ʹ͸ܗଶૉղੳʢ෼͔ͪॻ͖ʣ͕
    ඞཁ
    ͢΋΋΋΋΋΋΋΋ͷ͏ͪ
    ͢΋΋
    ໊ࢺ Ұൠ ͢΋΋ εϞϞ εϞϞ
    ΋ ॿࢺ ܎ॿࢺ ΋ Ϟ Ϟ
    ΋΋ ໊ࢺ Ұൠ ΋΋ ϞϞ ϞϞ
    ΋ ॿࢺ ܎ॿࢺ ΋ Ϟ Ϟ
    ΋΋ ໊ࢺ Ұൠ ΋΋ ϞϞ ϞϞ
    ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ
    ͏ͪ ໊ࢺ ඇཱࣗ ෭ࢺՄೳ ͏ͪ ΢ν ΢ν

    View Slide

  8. ͜Εʹ͸ࣙॻ͕ඞཁɻ
    ະ஌ͷ୯ޠʹ͸ରԠͰ͖ͳ͍ɻ

    View Slide

  9. ਫ਼ਆΛ࡟ΒΕΔࣄྫ
    ͒ƀˊ㱩͎㱫ʏœʏƀʋёфˊ
    ໊͒ࢺ Ұൠ
    ƀ ໊ࢺ Ұൠ
    ˊ㱩 ໊ࢺ αม઀ଓ
    ໊͎ࢺ Ұൠ
    㱫ʏœʏ
    ໊ࢺ αม઀ଓ
    ƀ ໊ࢺ Ұൠ
    ʋه߸ Ұൠ ʋ ʋ ʋ
    ёф ໊ࢺ ݻ༗໊ࢺ ૊৫
    ˊ໊ࢺ αม઀ଓ
    ˞ʮ͓͸Α͏͍͟͝·͢ʯΒ͍͠

    View Slide

  10. ೔ຊޠͷࣗવݴޠॲཧ

    ࣙॻΛԆʑͱߏங͢Δ͓࢓ࣄ

    View Slide

  11. ͦΜͳઈ๬ͷதʹࠩ͢Ұےͷޫ͕
    $//

    View Slide

  12. $//৞ΈࠐΈχϡʔϥϧωο
    τϫʔΫ
    ೥ʹը૾෼ྨͷίϯςετͰ$//Λ༻
    ͍ͨνʔϜ͕ѹউɻը૾෼ྨ໰୊ͷCSFBL
    UISPVHIͱͳΔɻ
    ͜ͷลΓ͔Β%FFQ-FBSOJOH͕ྲྀߦΓͩ͠ɺ
    ݱࡏը૾ͷ໰୊ΛऔΓѻ͏৔߹$//͕Ұڧɻ
    ࣗવݴޠॲཧʹ΋࢖͑Δʁ

    View Slide

  13. ࣗવݴޠॲཧͰͷ%FFQ
    -FBSOJOH
    XPSEWFDͱ͔ͰจࣈྻΛϕΫτϧԽ͢Ε
    ͹%FFQ-FBSOJOHͰղੳͰ͖ΔΑͶʁ
    Ͱ΋XPSEWFD࢖͏ʹ͸෼͔ͪॻ͖͕ඞཁ
    ݁ہઈ๬͔ʜ

    View Slide

  14. $IBSBDUFSMFWFM$//
    ը૾͸QJYFM୯ҐͰ$//ʹ͔͚ͯΔɻͳΒจࣈ
    ྻͩͬͯ୯ޠຖͰ͸ͳ͘ɺจࣈຖͰ$//ʹ͔͚
    ΒΕΔ͸ͣͩʂ୯ޠͳΜ͍ͯ͏ߏ଄͸//ʹݟͭ
    ͚ͤ͞Ε͹͍͍ʂ

    View Slide

  15. $IBSBDUFSMFWFM$//खॱ

    w จষΛจࣈʹ෼ղ
    ͓·͑͸ࠓ·Ͱ৯ͬͨύϯͷຕ਺Λ͓΅͍͑ͯ
    Δͷ͔ʁ
    ˣ
    <͓ · ͑ ͸ ࠓ · Ͱ ৯ ͬ ͨ ύ ϯ ͷ ຕ ਺ Λ ͓
    ΅ ͑ ͯ ͍ Δ ͷ ͔ ʁ>

    View Slide

  16. $IBSBDUFSMFWFM$//खॱ

    w 6/*$0%&஋ʹม׵
    <



    >

    View Slide

  17. $IBSBDUFSMFWFM$//खॱ

    w ௕͞-ͷݻఆ௕഑ྻʹ͢ΔͨΊʹ଍Γͳ͍෼Λ
    QBEEJOH͢Δɻ௕͍৔߹͸ଧͪ੾Γɻ
    <



    >

    View Slide

  18. $IBSBDUFSMFWFM$//खॱ

    w ຒΊࠐΈදݱΛֶशͤ͞ɺͦΕͧΕͷจࣈ VOJDPEF஋
    Λ/
    ࣍ݩϕΫτϧʹ͢Δɻ
    <


    >
    ˣ
    << > <> <> >

    View Slide

  19. $IBSBDUFSMFWFM$//खॱ

    w ΋͏͜ΕάϨʔεέʔϧը૾ͱಉ͡ɻจࣈྻ͕-
    Y/ͷը૾ͱΈͳͤΔɻ
    << ʜʜ>
    < >
    ʜ
    < >>
    << >
    <>

    <>>
    ͓·͑͸ࠓ·Ͱ৯ͬ
    ͨύϯͷຕ਺Λ͓΅
    ͍͑ͯΔͷ͔ʁ
    ಉ͡

    View Slide

  20. $IBSBDUFSMFWFM$//खॱ

    w ͋ͱ͸ී௨ʹ$//
    ͨͩ͠ɺ$//ͷΧʔωϧαΠζʢϑΟϧλͷαΠζʣ͸ԣ
    ʹ/ɻͭ·Γจࣈ෼ɻͦͯ͠ॎ͸ ͷෳ਺αΠζ
    ˠ͜Ε͸HSBN HSBN HSBN HSBNΛ$//Ͱ࠶
    ݱ͍ͯ͠Δɻ
    ҰͭͷUFOTPSʹରͯ͠ෳ਺छྨͷαΠζͷϑΟϧλΛ͔͚
    ͯͦͷ݁ՌΛҰͭͷUFOTPSʹ݁߹ɻͦΕΛશ݁߹૚ʹ౉
    ͢ɻ

    View Slide

  21. ޱίϛղੳ΁ͷద༻ࣄྫ

    View Slide

  22. σʔτʹ࢖͑Δళͷޱίϛ
    3FUUZͰ͸͓ళ͕ͲͷΑ͏ͳ໨తͰར༻Ͱ͖Δ͔ͱ͍͏
    σʔλ͕͋Δɻ
    σʔτ໨తͰ࢖͑ΔళͷޱίϛΛσʔτ໨తళޱίϛͷ
    ڭࢣͱͯ͠ར༻ɻޱίϛ͕σʔτ໨తళͷޱίϛ͔൱͔
    Λ൑ผͰ͖Δ෼ྨثΛ࡞੒
    σʔτ໨తళޱίϛͱ൑அ͞ΕΔޱίϛ͕ଟ͍ళ͸σʔ
    τʹ࢖͑ΔళͳͷͰ͸
    ৽͍͠σʔτ໨తళͷൃݟʹ࢖͑Δʁ

    View Slide

  23. ΍ͬͯΈͨΒ

    ສޱίϛ σʔτ໨తళޱίϛ
    ສͦΕҎ֎ͷޱίϛສ
    ͷղੳ
    BDDVSBDZ

    View Slide

  24. ΍ͬͯΈͨΒ

    ʮ෢ଂখࢁͷম͖ௗϫΠϯͷ͓ళɻ͜͜͸શൠඒ
    ຯ͔ͬͨʂ஋ஈ͸ܾͯ҆͘͠͸ແ͍Ͱ͕͢ɺϫΠ
    ϯ΋શͯ#JPϫΠϯͱͷࣄɻম͖ௗ͸͓·͔ͤίʔ
    ε͕͓קΊͱͷࣄͰͨ͠ͷͰɺͦͪΒͰɻళһ͞
    Μͷ઀٬΋࠷ߴͰੋඇߦͬͯΈͯԼ͍͞ɻʯ
    σʔτ໨తళޱίϛ཰

    View Slide

  25. ΍ͬͯΈͨΒ

    ʮӺ௚݁⽏ͱ͍͏ཱ஍ͷྑ͔͞Βબͼ·ͨ͠✨
    ম͖ௗɺਫਬ͖ͳͲͳͲཔΈ·͕ͨ͠ɺௗ͕΀
    Δ΀ΔͰඒຯ͔ͬͨ͠Ͱ͢Α⽏࢓ࣄऴΘΓͷํ
    ͕ͨͪαΫοͱҰഋʜͱ͍͏ΠϝʔδͰ͔͢Ͷɻ
    Ͱ΋஋ஈ΋ϦʔζφϒϧͰͳ͔ͳ͔ྑ͔ͬͨͰ͢
    㽈ʯ
    σʔτ໨తళޱίϛ཰

    View Slide

  26. ·ͱΊ
    w ࣗવݴޠॲཧʹ΋$//͸༗ޮ
    w จࣈ୯ҐͰ΋ਫ਼౓͸ग़Δ
    w ڭࢣ࡞Γͷιϧδϟʔ͸ඞཁ

    View Slide