TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例

Rettyにおいて文字単位で学習するCNNを用いて分かち書き不要な口コミ分類器を構築した事例について紹介します。

Transcript

1. %FFQ-FBSOJOHͷ
   ࣗવݴޠॲཧ΁ͷԠ༻ࣄྫ ʙจࣈ୯Ґ$//ʹΑΔޱίϛ෼ྨʙ
2. ࣗݾ঺հ w ࢯݪ
   ३ࢤ
   ͏͡͸Β
   ͋ͭ͠
   w 3FUUZ
   ΫϥϑτϏʔϧ୲౰
   w 1ZUIPO޷͖ɻػցֶशͱ͔झ ຯͰ༡ΜͰͨΒ࢓ࣄʹͳͬͨɻ
3. ࠓ೔঺հ͢Δ಺༰ $//Ͱ೔ຊޠͷࣗવݴޠॲཧ
   ݁ߏ؆୯ʹͰ͖ΔΑ
4. ޱίϛͷղੳͱ͔΋ͬͱखܰʹ΍Γͨ ͍ʜ
   Ͱ΋೔ຊޠͷࣗવݴޠॲཧʹ͸Ұͭͷ େ͖ͳน͕ʜͦΕ͸ʜ
5. ୯ޠͷ੾Ε໨͕Θ͔Βͳ͍
6. ӳޠ
   %P
   *
   GFFM
   MVDLZ
   
   
   
   
   lEPz
   l*z
   lGFFMz
   lMVDLZz
   l z ೔ຊޠ
   l͢΋΋΋΋΋΋΋΋ͷ͏ͪz
   
   
   l͏ΒʹΘʹ͸ʹΘʹΘʹ͸ʹΘʹΘͱΓ͕͍Δz
   
   
7. ෼͔ͪॻ͖ ೔ຊޠΛѻ͏ʹ͸ܗଶૉղੳʢ෼͔ͪॻ͖ʣ͕ ඞཁ ͢΋΋΋΋΋΋΋΋ͷ͏ͪ
   ͢΋΋
   ໊ࢺ Ұൠ ͢΋΋ εϞϞ εϞϞ
   ΋
   ॿࢺ ܎ॿࢺ ΋ Ϟ Ϟ
   ΋΋
   ໊ࢺ Ұൠ ΋΋ ϞϞ ϞϞ
   ΋
   ॿࢺ ܎ॿࢺ ΋ Ϟ Ϟ
   ΋΋
   ໊ࢺ Ұൠ ΋΋ ϞϞ ϞϞ
   ͷ
   ॿࢺ ࿈ମԽ ͷ ϊ ϊ
   ͏ͪ
   ໊ࢺ ඇཱࣗ ෭ࢺՄೳ ͏ͪ ΢ν ΢ν
8. ͜Εʹ͸ࣙॻ͕ඞཁɻ
   ະ஌ͷ୯ޠʹ͸ରԠͰ͖ͳ͍ɻ
9. ਫ਼ਆΛ࡟ΒΕΔࣄྫ ͒ƀˊ㱩͎㱫ʏœʏƀʋёфˊ
   ͒
   ໊ࢺ Ұൠ
   ƀ
   ໊ࢺ Ұൠ
   ˊ㱩
   ໊ࢺ αม઀ଓ
   ͎
   ໊ࢺ Ұൠ
   㱫ʏœʏ
   ໊ࢺ αม઀ଓ
   ƀ
   ໊ࢺ Ұൠ
   ʋ
   ه߸ Ұൠ ʋ ʋ ʋ
   ёф
   ໊ࢺ ݻ༗໊ࢺ ૊৫
   ˊ
   ໊ࢺ αม઀ଓ
   ˞ʮ͓͸Α͏͍͟͝·͢ʯΒ͍͠
10. ೔ຊޠͷࣗવݴޠॲཧ
    
    㲈
    
    ࣙॻΛԆʑͱߏங͢Δ͓࢓ࣄ
11. ͦΜͳઈ๬ͷதʹࠩ͢Ұےͷޫ͕
    $//
12. $//
    ৞ΈࠐΈχϡʔϥϧωο τϫʔΫ ೥ʹը૾෼ྨͷίϯςετͰ$//Λ༻ ͍ͨνʔϜ͕ѹউɻը૾෼ྨ໰୊ͷCSFBL
    UISPVHIͱͳΔɻ
    ͜ͷลΓ͔Β%FFQ
    -FBSOJOH͕ྲྀߦΓͩ͠ɺ ݱࡏը૾ͷ໰୊ΛऔΓѻ͏৔߹$//͕Ұڧɻ
    ࣗવݴޠॲཧʹ΋࢖͑Δʁ
13. ࣗવݴޠॲཧͰͷ%FFQ
    -FBSOJOH XPSEWFDͱ͔ͰจࣈྻΛϕΫτϧԽ͢Ε ͹%FFQ
    -FBSOJOHͰղੳͰ͖ΔΑͶʁ
    Ͱ΋XPSEWFD࢖͏ʹ͸෼͔ͪॻ͖͕ඞཁ
    ݁ہઈ๬͔ʜ
14. $IBSBDUFSMFWFM
    $// ը૾͸QJYFM୯ҐͰ$//ʹ͔͚ͯΔɻͳΒจࣈ ྻͩͬͯ୯ޠຖͰ͸ͳ͘ɺจࣈຖͰ$//ʹ͔͚ ΒΕΔ͸ͣͩʂ
    ୯ޠͳΜ͍ͯ͏ߏ଄͸//ʹݟͭ ͚ͤ͞Ε͹͍͍ʂ
15. $IBSBDUFSMFWFM
    $//
    खॱ  w จষΛจࣈʹ෼ղ
    ͓·͑͸ࠓ·Ͱ৯ͬͨύϯͷຕ਺Λ͓΅͍͑ͯ Δͷ͔ʁ
    ˣ
    <͓ · ͑ ͸ ࠓ · Ͱ ৯ ͬ ͨ ύ ϯ ͷ ຕ ਺ Λ ͓ ΅ ͑ ͯ ͍ Δ ͷ ͔ ʁ>
16. $IBSBDUFSMFWFM
    $//
    खॱ  w 6/*$0%&஋ʹม׵
    <
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    >
17. $IBSBDUFSMFWFM
    $//
    खॱ  w ௕͞-ͷݻఆ௕഑ྻʹ͢ΔͨΊʹ଍Γͳ͍෼Λ
    QBEEJOH͢Δɻ௕͍৔߹͸ଧͪ੾Γɻ
    <
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
     
    >
    
18. $IBSBDUFSMFWFM
    $//
    खॱ  w ຒΊࠐΈදݱΛֶशͤ͞ɺͦΕͧΕͷจࣈ VOJDPEF஋ Λ/ ࣍ݩϕΫτϧʹ͢Δɻ
    <
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
     
    >
    ˣ
    <<
    
     
    >
    <>
    <> >
19. $IBSBDUFSMFWFM
    $//
    खॱ  w ΋͏͜ΕάϨʔεέʔϧը૾ͱಉ͡ɻจࣈྻ͕-
    Y
    /ͷը૾ͱΈͳͤΔɻ <<
    
    
    
    ʜʜ>
    
    <
    
    
     >
    
    
    ʜ
    
    <
    
    
     >> <<
    
     
    >
    
    <>
    
    
    
    
    <>> ͓·͑͸ࠓ·Ͱ৯ͬ ͨύϯͷຕ਺Λ͓΅ ͍͑ͯΔͷ͔ʁ
    ಉ͡
20. $IBSBDUFSMFWFM
    $//
    खॱ  w ͋ͱ͸ී௨ʹ$//
    ͨͩ͠ɺ$//ͷΧʔωϧαΠζʢϑΟϧλͷαΠζʣ͸ԣ ʹ/ɻͭ·Γจࣈ෼ɻͦͯ͠ॎ͸
    
    
    ͷෳ਺αΠζ
    ˠ
    ͜Ε͸HSBN
    HSBN
    HSBN
    HSBNΛ$//Ͱ࠶ ݱ͍ͯ͠Δɻ
    ҰͭͷUFOTPSʹରͯ͠ෳ਺छྨͷαΠζͷϑΟϧλΛ͔͚ ͯͦͷ݁ՌΛҰͭͷUFOTPSʹ݁߹ɻͦΕΛશ݁߹૚ʹ౉ ͢ɻ
21. ޱίϛղੳ΁ͷద༻ࣄྫ
22. σʔτʹ࢖͑Δళͷޱίϛ
    3FUUZͰ͸͓ళ͕ͲͷΑ͏ͳ໨తͰར༻Ͱ͖Δ͔ͱ͍͏ σʔλ͕͋Δɻ
    σʔτ໨తͰ࢖͑ΔళͷޱίϛΛσʔτ໨తళޱίϛͷ ڭࢣͱͯ͠ར༻ɻޱίϛ͕σʔτ໨తళͷޱίϛ͔൱͔ Λ൑ผͰ͖Δ෼ྨثΛ࡞੒
    σʔτ໨తళޱίϛͱ൑அ͞ΕΔޱίϛ͕ଟ͍ళ͸σʔ τʹ࢖͑ΔళͳͷͰ͸
    
    ৽͍͠σʔτ໨తళͷൃݟʹ࢖͑Δʁ
23. ΍ͬͯΈͨΒ  ສޱίϛ σʔτ໨తళޱίϛ ສ
    
    ͦΕҎ֎ͷޱίϛສ ͷղੳ
    
    BDDVSBDZ
    
24. ΍ͬͯΈͨΒ  ʮ෢ଂখࢁͷম͖ௗϫΠϯͷ͓ళɻ͜͜͸શൠඒ ຯ͔ͬͨʂ஋ஈ͸ܾͯ҆͘͠͸ແ͍Ͱ͕͢ɺϫΠ ϯ΋શͯ#JPϫΠϯͱͷࣄɻম͖ௗ͸͓·͔ͤίʔ ε͕͓קΊͱͷࣄͰͨ͠ͷͰɺͦͪΒͰɻళһ͞ Μͷ઀٬΋࠷ߴͰੋඇߦͬͯΈͯԼ͍͞ɻʯ
    
    σʔτ໨తళޱίϛ཰
    
    
25. ΍ͬͯΈͨΒ  ʮӺ௚݁⽏ͱ͍͏ཱ஍ͷྑ͔͞Βબͼ·ͨ͠✨ ম͖ௗɺਫਬ͖ͳͲͳͲཔΈ·͕ͨ͠ɺௗ͕΀ Δ΀ΔͰඒຯ͔ͬͨ͠Ͱ͢Α⽏࢓ࣄऴΘΓͷํ ͕ͨͪαΫοͱҰഋʜͱ͍͏ΠϝʔδͰ͔͢Ͷɻ Ͱ΋஋ஈ΋ϦʔζφϒϧͰͳ͔ͳ͔ྑ͔ͬͨͰ͢ 㽈ʯ
    
    σʔτ໨తళޱίϛ཰
    
26. ·ͱΊ w ࣗવݴޠॲཧʹ΋$//͸༗ޮ
    w จࣈ୯ҐͰ΋ਫ਼౓͸ग़Δ
    w ڭࢣ࡞Γͷιϧδϟʔ͸ඞཁ