Slide 1
Slide 1 text
ࡒେՆ*, ࡾ༔հ**, দຊ྄հ**
*GMOϖύϘגࣜձࣾ ٕज़෦ σβΠϯઓུνʔϜ / **GMOϖύϘגࣜձࣾ ϖύϘݚڀॴ
2018.05.17 ୈ41ճ ใॲཧֶձ Πϯλʔωοτͱӡ༻ٕज़ݚڀձ
ϋϯυϝΠυ࡞Λରͱͨ͠
ECαΠτʹ͓͚Δେྔੜ࢈ͷݕग़
Slide 2
Slide 2 text
1. େྔੜ࢈ݕग़ͷഎܠͱຊݚڀͷత
2. ैདྷͷେྔੜ࢈ݕग़ͷ՝
3. ఏҊख๏
i. ΞΧϯτ໊͔Βେྔੜ࢈ͷग़ऀΛݕग़͢Δ
ii. ໊ͱઆ໌จ͔Βେྔੜ࢈ͷग़ऀΛݕग़͢Δ
4. ࣮ݧͱߟ
5. ·ͱΊͱࠓޙ
2
࣍
Slide 3
Slide 3 text
1.
େྔੜ࢈ݕग़ͷഎܠͱຊݚڀͷత
Slide 4
Slide 4 text
• ECαΠτ = ΠϯλʔωοτΛ௨ͯ͠ͷചങΛߦ͑ΔαΠτ
• ϋϯυϝΠυ࡞Λରͱͨ͠ECαΠτʮminneʯ
• ݸਓ͕ͷలࣔചങΛߦ͑Δ
• αΠτ্Ͱചങ͞ΕΔΛʮϋϯυϝΠυ࡞ʯͱදݱ͍ͯ͠Δ
• ΞΫηαϦʔɺόοάɺࡒɺՈ۩ͳͲΛѻ͏
4
ϋϯυϝΠυ࡞Λରͱͨ͠ECαΠτͱ
Slide 5
Slide 5 text
IUUQTNJOOFDPN
Slide 6
Slide 6 text
• ϋϯυϝΠυ࡞Λରͱͨ͠ECαΠτͷීٴ
• ࢢͷ֦େʹ͍େྔੜ࢈ΛϋϯυϝΠυ࡞ͱِΔग़ऀ͕ग़ݱ
• ECαΠτͷϒϥϯυΠϝʔδͷᆝଛ৴པੑͷԼʹܨ͕ΔͨΊ
ӡӦऀେྔੜ࢈ͷআग़ऀͷΞΧϯτఀࢭΛߦ͍ͬͯΔ
6
େྔੜ࢈ݕग़ͷഎܠ
Slide 7
Slide 7 text
IUUQTXXXXJSFEDPNFUTZOPUHPPEGPSDSBGUFST
Slide 8
Slide 8 text
• minneʹग़Ͱ͖Δͷ
• ग़ऀ͕ʹରͯ͠ԿΒ͔ͷ࡞ۀΛߦ͏͜ͱͰͱཱͯ͢͠Δͷ
= ϋϯυϝΠυ࡞
ྫ1ʣख࡞ΓͰҰͷΞΫηαϦʔ
ྫ2ʣख࡞Γ͕ͩྔ࢈͍ͯ͠Δܳ
ྫ3ʣσβΠϯͷΈߦͬͨϓϦϯτTγϟπ
8
ϋϯυϝΠυ࡞ͱେྔੜ࢈ͷఆٛ (1)
Slide 9
Slide 9 text
• minneʹग़Ͱ͖ͳ͍ͷ
• ग़ऀ͕ʹରͯ͠ԿΒ͔ͷ࡞ۀΛߦΘͳͯ͘ͱཱͯ͢͠Δͷ
ྫʣଞॴ͔ΒೖΕͨ = େྔੜ࢈
• ๏ྩྫʹ৮ΕΔͷɺଞऀͷݖརΛ৵͍ͯ͠Δͷ
ຊݚڀͷର֎
9
ϋϯυϝΠυ࡞ͱେྔੜ࢈ͷఆٛ (2)
Slide 10
Slide 10 text
• ैདྷ໊ɾઆ໌จɾը૾ͳͲminne্ͷଐੑใͷΈ͔Β
େྔੜ࢈Ͱ͋Δͱஅ͢Δ͜ͱࠔ
10
େྔੜ࢈ݕग़ͷ՝ (1)
େྔੜ࢈ ϋϯυϝΠυ࡞
໊ ख๓͍γϣϧμʔόοά ͓ࡒγϣϧμʔ
ը૾
Slide 11
Slide 11 text
• minneͰ࠾͍ͬͯΔճආࡦ
େྔੜ࢈͕ग़͞Ε͍ͯΔҰൠతͳECαΠτͷͱࢹͰൺֱΛߦ͍ɺ
ओʹը૾͕Ұக͢Δ߹ʹେྔੜ࢈ͱஅ͍ͯ͠Δ
• ࢹͰ૯ݕग़ʹݶք͕͋ΔͨΊܧଓతͳݕग़͕ࠔ
• ҰൠతͳECαΠτͱͷൺֱΛػցతʹߦ͏͜ͱඇݱ࣮త
• ଟଘࡏ͢ΔαΠτͷཏతͳΫϩʔϦϯά͕ඞཁ
• ཧԼʹͳ͍αΠτͷΫϩʔϦϯάྙཧతʹߦ͏͖Ͱͳ͍
11
େྔੜ࢈ݕग़ͷ՝ (2)
Slide 12
Slide 12 text
• ݱࡏͷαʔϏεӡӦʹ͓͍ͯࢹʹཔ͍ͬͯΔ͕ίετ͕ߴ͍
• େྔੜ࢈Λߋʹྨ͢Δ͜ͱͰɺ
Ұ෦ͰminneͷଐੑใͷΈ͔Βݕग़Ͱ͖ͳ͍͔վΊͯΞϓϩʔν͢Δ
12
ຊݚڀͷత (1)
Slide 13
Slide 13 text
minneͷଐੑใͷΈΛར༻ͯ͠
ܧଓత͔ͭػցతʹେྔੜ࢈Λݕग़͢Δ
13
ຊݚڀͷత (2)
Slide 14
Slide 14 text
2.
ैདྷͷେྔੜ࢈ݕग़ͷ՝
Slide 15
Slide 15 text
ࢹʹΑͬͯେྔੜ࢈Λݕग़͢Δ͜ͱͷ՝
• ࢹʹΑΓҰൠతͳECαΠτͱ໌Β͔ʹಉҰͳͷΈΛݕग़͢Δ͜ͱͰ
ϋϯυϝΠυ࡞ʹରͯ͠ޡͬͯআΞΧϯτఀࢭΛߦ͏͜ͱΛ͙
• ݕग़͢Δ1݅͋ͨΓ10લޙ͕ඞཁ
• minneͷ676ສ
• ཏతɾܧଓతͳݕग़͕ࠔ
15
ैདྷͷେྔੜ࢈ݕग़ͷ՝ (1)
Slide 16
Slide 16 text
ը૾ൺֱʹΑͬͯػցతʹେྔੜ࢈Λݕग़͢Δ͜ͱͷ՝
• ߏਤ͕શ͘ҟͳΔը૾͔ΒඃࣸମͷᐆດҰகΛߦ͏͜ͱ͕ࠔ
• ଟগͷߏਤͷҧ͍Ͱ͋Εը૾ॲཧCNNʹΑΔྨՄೳ
• ൺֱରͱͯ͠େྔੜ࢈͕ग़͞Ε͍ͯΔECαΠτͷը૾͕ඞཁ
• ΫϩʔϦϯάͷқ͕ߴ͍
• ΫϩʔϦϯάྙཧతʹ·͘͠ͳ͍
16
ैདྷͷେྔੜ࢈ݕग़ͷ՝ (2)
Slide 17
Slide 17 text
ϒϥϯυ໊ඪͳͲͷΩʔϫʔυʹΑͬͯେྔੜ࢈Λݕग़͢Δ͜ͱͷ՝
• minneͰϒϥϯυొඪΛؚΉͷݕग़ʹར༻
• ECαΠτͰ͕ৗʹՃ͞Εଓ͚ΔͨΊະͷޠኮʹର͢Δै͕ࠔ
• ϋϯυϝΠυ࡞Λِ͓ͬͯΓطͷޠኮΛؚ·ͳ͍
େྔੜ࢈ݕग़Ͱ͖ͳ͍
17
ैདྷͷେྔੜ࢈ݕग़ͷ՝ (3)
Slide 18
Slide 18 text
3.
ఏҊख๏
Slide 19
Slide 19 text
• ҰൠతͳECαΠτͱͷൺֱΛඞཁͱ͠ͳ͍அج४Ͱେྔੜ࢈Λݕग़͢Δ
• ػցԽՄೳͳํ๏ʹΑͬͯେྔੜ࢈Λݕग़͢Δ
19
ैདྷͷେྔੜ࢈ݕग़ͷ՝Λղܾ͢ΔͨΊͷཁ݅
Slide 20
Slide 20 text
1.ӡӦऀ͕େྔੜ࢈ͷग़ऀͷΞΧϯτΛఀࢭ͢Δ
ɹɹɹɹɹɹɹɹɹɹ‑
2.େྔੜ࢈ͷग़ऀ͕ผΞΧϯτΛ࡞͢Δ
ɹɹɹɹɹɹɹɹɹɹ‑
3.େྔੜ࢈ͷग़ऀ͕ಉ͡ͷ࠶ग़Λߦ͏
ɹɹɹɹɹɹɹɹɹɹ‑
4.ӡӦऀ͕େྔੜ࢈ͷग़ऀΛ࠶ݕग़͢Δ
20
େྔੜ࢈ͷग़ऀͷҰ෦ʹݟΒΕͨಛతͳߦಈ
Slide 21
Slide 21 text
ಛతͳߦಈΛͱΔେྔੜ࢈ͷग़ऀͷΞΧϯτ
• ΞΧϯτ໊ʹແҙຯͳจࣈྻΛઃఆ͍ͯ͠Δ
• ΞΧϯτΛఀࢭ͞ΕͯผͷΞΧϯτΛ࡞ͯ͠࠶ग़Λߦ͏ͨΊ
• ւ֎ECαΠτͷใΛػց༁͓ͯ͠Γ໊આ໌จ͕ෆࣗવ
• ւ֎͔ΒೖΕ͍ͯΔྔ࢈Λ؆୯ʹग़͢ΔͨΊ
21
େྔੜ࢈ͷग़ऀͷಛ
Slide 22
Slide 22 text
͜ΕΒͷಛΛ༻͍ͨେྔੜ࢈ͷग़ऀͷݕग़՝ʹର͢Δཁ݅Λຬͨ͢
• ҰൠతͳECαΠτͱͷൺֱΛඞཁͱ͠ͳ͍அج४Ͱେྔੜ࢈Λݕग़͢Δ
➡ΞΧϯτ໊ͷଐੑใҰൠతͳECαΠτͱͷൺֱ͕ෆཁ
• ػցԽՄೳͳํ๏ʹΑͬͯେྔੜ࢈Λݕग़͢Δ
➡ςΩετॲཧʹΑΔಛྔநग़ͱྨثͷ࣮ͰػցԽ͕Մೳ
22
େྔੜ࢈ͷग़ऀͷݕग़
Slide 23
Slide 23 text
• N-GramτʔΫϯʹΑͬͯจࣈ୯ҐͷڞىؔΛಛྔͱͯ͠ѻ͏
• ୯७ϕΠζྨثʹΑͬͯτʔΫϯͷಉ࣌ൃੜ֬ΛϞσϧʹΈࠐΉ
• ྨثͱͯ͠ݹయత
• ςετσʔλʹ͓͍ͯेͳਫ਼Λࣔ͢
• 1ͷొ࡞ͷྨʹֻ͔Δ͕࣌ؒ100msఔͱߴͰ͋Δ
• ͜Ε·ͰػցԽ͞Εͯ͜ͳ͔ͬͨͨΊӡ༻ʹҠ͢ࡍͷ؆ศ͞Λߟྀ
• τʔΫϯͷ࣍ͷΈ߹ΘͤʹΑͬͯใྔΛ૿͠ਫ਼Λ্͛Δ
23
ख๏1 ΞΧϯτ໊Λ༻͍ΔྨثʹΑΔݕग़
Slide 24
Slide 24 text
• ໊ͱઆ໌จΛ࿈݁ͨ͠จࣈྻΛग़ऀ͝ͱʹ1ͭͷจষͱݟͳ͠
จষʹग़ݱ͢Δ୯ޠΛಛྔͱͯ͠ѻ͏
• ຊޠͷ୯ޠׂʹMeCabΛར༻
• ࢺ͝ͱʹಛΛଊ͑Δఔʹ͕ࠩ͋Δͱ༧͞ΕΔͨΊ
୯ޠׂ࣌ʹಛఆͷࢺͷΈऔΓग़͢
• ΞΧϯτ໊ͱಉ༷ʹ୯७ϕΠζྨثΛ༻͍Δ
24
ख๏2 ໊ͱઆ໌จΛ༻͍ΔྨثʹΑΔݕग़
Slide 25
Slide 25 text
4.
࣮ݧͱߟ
Slide 26
Slide 26 text
• minneͷӡӦऀʹΑΓਖ਼ղϥϕϧ͕༩͞Ε͍ͯΔग़ऀͷΞΧϯτΛ
܇࿅σʔλͱͯ͠༻
• ࢹͰݕग़͞Εͨେྔੜ࢈ͷग़ऀ
• ӡӦऀʹΑͬͯϋϯυϝΠυ࡞Ͱ͋Δͱ֬ೝ͞Ε͍ͯΔग़ऀ
26
ྨثͷߏங
Slide 27
Slide 27 text
• ༧Ί܇࿅σʔλͱׂͨ͠ςετσʔλͷਫ਼ʹΑΔධՁ
• ྨثͷߏஙʹ༻͍͍ͯͳ͍ະͷσʔλͷਫ਼ʹΑΔධՁ
• ྨػʹΑΔྨͷ݁ՌΛӡӦऀ͕ࢹͯ͠ޙ͔Βਖ਼ղϥϕϧΛ༩
େྔੜ࢈ͷग़ऀΛݕग़͢Δ͜ͱ͕Ͱ͖͔ͨ֬ೝ
27
ྨثͷධՁ
Slide 28
Slide 28 text
• େྔੜ࢈ͷग़Λ͙͜ͱͰߪೖऀϒϥϯυΠϝʔδΛकΔ͜ͱ͕త
• ϋϯυϝΠυ࡞ͷग़ऀΛେྔੜ࢈ͷग़ऀͰ͋Δͱޡͬͯஅͯ͠
ΞΧϯτఀࢭͳͲͷରԠΛߦ͏ͱ٫ͬͯϒϥϯυΠϝʔδΛଛͳ͏
• ِཅੑΛॏࢹͯ͠ධՁ
28
ྨثͷِཅੑʹΑΔධՁ
Slide 29
Slide 29 text
• MacBook Pro (Retina, 13-inch, Early 2015)
• CPU: 3.1GHz Intel Core i7
• RAM: 16GB 1,867MHz DDR3
• Python 3.6.0
• scikit-learn 0.19.1
• ngram 3.3.2
• Mecab 0.996
29
࣮ݧڥ
Slide 30
Slide 30 text
ख๏1
ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ
Slide 31
Slide 31 text
• ೖྗͨ͠ग़ऀͷΞΧϯτ
େྔੜ࢈181 / ϋϯυϝΠυ࡞326
• ϋϯυϝΠυ࡞ͷग़ऀͷ1-GramτʔΫϯ
ຊޠͷԻͰ͋Δa,i,e,oͷ͕ߴ͘
ࣈຊޠͷࢠԻʹݱΕͳ͍q,v,x,zͷ͕͍
• 1-GramτʔΫϯͱ2-GramτʔΫϯͷ
Έ߹ΘͤΛಛྔͱͯ͠༻͍Δ
31
ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ
ϋϯυϝΠυ࡞ͷग़ऀ
େྔੜ࢈ͷग़ऀ
ΞΧϯτ໊ͷ(SBNτʔΫϯͷ
Slide 32
Slide 32 text
• ςετσʔλʹ͓͚Δਫ਼92.16%
• ಛʹ͍͜ͱ͕·ِ͍͠ཅੑ51݅த1݅
• 1-Gram·ͨ2-GramτʔΫϯ୯ମΑΓਫ਼ͷ্͕ݟΒΕͨ
32
ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ
ςετσʔλͷྨ݁Ռ
ਖ਼ղϥϕϧ
େྔੜ࢈ ϋϯυϝΠυ࡞
༧ଌϥϕϧ
େྔੜ࢈
ϋϯυϝΠυ࡞
Slide 33
Slide 33 text
• ྨثͷߏஙʹ༻͍͍ͯͳ͍ະͷσʔλ544ݸΛྨثʹద༻
• 70ݸ (12.9%) Λେྔੜ࢈ͷग़ऀͱྨ
• ྨ݁ՌΛӡӦऀ͕ࢹͯ͠17ݸ (24.3%) ͕େྔੜ࢈ͷग़ऀͩͬͨ
• େྔੜ࢈ͷग़ऀͱྨ͞Εͳ͔ͬͨͷͷதʹ
࣮ࡍʹେྔੜ࢈ͷग़ऀ͕ଘࡏ͢ΔՄೳੑ͕͋Δ͕ݱ࣌Ͱະݕূ
33
ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ
Slide 34
Slide 34 text
• ϋϯυϝΠυ࡞ͷग़ऀͰϥϯμϜจࣈྻͷΑ͏ͳID͕ଘࡏ͢ΔͨΊ
ج४ͷՃ͕ඞཁͱߟ͑ΒΕΔ
• ྨثʹΑΓେྔੜ࢈ͱྨ͞Εͨग़ऀͷΛࢹ͢Δ߹
࣌ؒతίετશͷࢹݕࠪʹൺͯ1/8ʹѹॖ͞ΕΔ
34
ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ
Slide 35
Slide 35 text
ख๏2
໊ͱઆ໌จΛ༻͍ΔྨثͷධՁ
Slide 36
Slide 36 text
• ೖྗͨ͠ग़ऀͷΞΧϯτେྔੜ࢈181ɺϋϯυϝΠυ࡞326
• ໊ͱઆ໌จΛࢺ͝ͱʹ୯ޠׂͯ͠ग़ݱճΛಛྔԽ
• ςετσʔλʹ͓͚Δਫ਼໊ࢺΛ༻͍ͨϞσϧ͕࠷ߴ͘98.04%
• େྔੜ࢈ͷग़ऀͷಠಛͷݴ༿ݣ͍Λଊ͍͑ͯΔͱߟ͑ΒΕΔ
36
໊ͱઆ໌จΛ༻͍ΔྨثͷධՁ
ਖ਼ղϥϕϧ
େྔੜ࢈ ϋϯυϝΠυ࡞
༧ଌϥϕϧ
େྔੜ࢈
ϋϯυϝΠυ࡞
Slide 37
Slide 37 text
• ྨثͷߏஙʹ༻͍͍ͯͳ͍ະͷσʔλ720ݸΛྨثʹద༻
• 142ݸ (19.7%) Λେྔੜ࢈ͷग़ऀͱྨ
• ྨ݁ՌΛӡӦऀ͕ࢹͯ͠11ݸ (7.7%) ͕େྔੜ࢈ͷग़ऀͩͬͨ
• େྔੜ࢈ͷग़ऀͱྨ͞Εͳ͔ͬͨͷͷதʹ
࣮ࡍʹେྔੜ࢈ͷग़ऀ͕ଘࡏ͢ΔՄೳੑ͕͋Δ͕ݱ࣌Ͱະݕূ
37
໊ͱઆ໌จΛ༻͍ΔྨثͷධՁ
Slide 38
Slide 38 text
• ςετσʔλʹରͯ͠ߴਫ਼ʹྨ͍ͯ͠Δ
• ະͷσʔλʹରͯ͠ϋϯυϝΠυ࡞ͷग़ऀΛେྔੜ࢈ͷग़ऀͱ
ޡͬͯྨ͢Δʹ͋Δ
• ྨثʹΑΓେྔੜ࢈ͱྨ͞Εͨग़ऀͷΛࢹ͢Δ߹
࣌ؒతίετશͷࢹݕࠪʹൺͯ1/5ʹѹॖ͞ΕΔ
38
໊ͱઆ໌จΛ༻͍ΔྨثͷධՁ
Slide 39
Slide 39 text
5.
·ͱΊͱࠓޙ
Slide 40
Slide 40 text
• ϋϯυϝΠυ࡞Λରͱͨ͠ECαΠτʹ͓͚Δେྔੜ࢈ͷݕग़ΛػցԽ
• minneͷଐੑใҎ֎ʹґଘ͠ͳ͍
େྔੜ࢈ͷग़ऀͷҰ෦͕࣋ͭ2ͭͷಛΛ༻͍ͯྨΛߦͬͨ
• ςετσʔλʹରͯ͠ߴਫ਼ʹྨΛߦ͏͜ͱ͕Մೳͱͳͬͨ
• େྔੜ࢈ͱྨ͞ΕͨΛࢹ͢Δͱ͍͏લఏʹ͓͍ͯ
ैདྷͷࢹʹΑΔݕग़Λશʹରͯ͠ߦ͏߹ʹൺͯ
࣌ؒతίετΛݮͰ͖Δ
40
·ͱΊ
Slide 41
Slide 41 text
• ະͷσʔλʹର͢Δਅཅੑͷׂ߹ΛߴΊΔ
• minneͷଐੑใͷΈ͔Βେྔੜ࢈ͷग़ऀΛྨͰ͖ΔՄೳੑࣔ͞Εͨ
• ग़ऀͷߦಈʹΑΓఆ·Δҙʹ੍ޚࠔͳಛྔΛ༻͍Δ
ྫʣΞΧϯτొ͔Βൢച։࢝·Ͱͷ࣌ؒ
ྫʣ୯Ґ࣌ؒ͋ͨΓͷग़
41
ࠓޙʹ͍ͭͯ