Exploratory Hour # 73 - どの単語の組み合わせがよく使われるかを分析したい

2020/6/23(火)に開催したExploratory Hourのスライドです。
文章を単語化したデータから、テキストペアをカウントを使って単語の組み合わせを集計する方法を紹介しています。

Transcript

1. EXPLORATORY 1
2. 2 εϐʔΧʔ നށ ܟొ Customer Succes EXPLORATORY ུྺ େֶࡏֶதʹϑʔυϩεΛݮΒͨ͢ΊʹɺֶੜஂମΛ্ཱͪ͛୅දΛ ຿ΊΔɻͦͷޙɺϏδωεΛ஌ΔͨΊʹԽֶϝʔΧʔͷσϡϙϯͱ ϑʔυςοΫܥελʔτΞοϓͰӦۀͱϚʔέςΟϯάΛܦݧɻ ΞϓϦͷ੒௕ͷͨΊʹ͸σʔλαΠΤϯε͕ඞཁͩͱײ͡ɺΞϓϦʹ ಛԽͨ͠Ϣʔβʔͷߦಈ෼ੳπʔϧΛ։ൃ͢ΔاۀʹͯɺΞϓϦۀք ͷKPI෼ੳͳͲΛ୲౰͢Δɻ ݱࡏ͸Exploratory, Inc. ͰΧελϚʔαΫηεΛ୲౰͢Δ๣Βɺσʔ λͷՄࢹԽͱ୳ࡧతσʔλ෼ੳΛઐ໳ͱͯ͠σʔλαΠΤϯεͷීٴ ʹऔΓ૊Ήɻ @ShirotoTakato
3. Exploratory Hour
4. ࠓिͷ࣭໰ • Ͳͷ୯ޠͷ૊Έ߹Θ͕ͤΑ͘࢖ΘΕΔ͔Λ෼ੳ͍ͨ͠ • ಛఆͷจࣈྻؚ͕·Ε͍ͯΔߦʹTRUEͷϥϕϧΛ͚͍ͭͨ 4
5. ࠓिͷ࣭໰ • Ͳͷ୯ޠͷ૊Έ߹Θ͕ͤΑ͘࢖ΘΕΔ͔Λ෼ੳ͍ͨ͠ • ಛఆͷจࣈྻؚ͕·Ε͍ͯΔߦʹTRUEͷϥϕϧΛ͚͍ͭͨ 5
6. 6 Twitter search͔ΒʮσʔλαΠΤϯεʯͷΩʔϫʔυͰऔಘͨ͠πΠʔτ(จ ষ)Λ୯ޠԽͨ͠σʔλ
7. લճͷExploratory Hourͷ͋Β͢͡ 7
8. 8 จষΛ୯ޠԽ͢Δ
9. 9 ୯ޠԽͨ͠σʔλΛϫʔυΫϥ΢υͰՄࢹԽ͢Δ
10. 10 ʮσʔλʯͱʮαΠΤϯεʯͱ͍͏୯ޠΛϑΟϧλΛ࢖ͬͯऔΓআ͘ɻ
12. 12 ୯ޠԽͰݕࡧ
13. 13 ͜ͷํ๏Ͱ͸ɺΑ͘࢖ΘΕΔ୯ޠ͸ՄࢹԽͰ͖Δ͕ɺҰॹʹ࢖ΘΕ͍ͯΔ୯ޠ ͸Θ͔Βͳ͍ɻ
14. 14 ྫ͑͹ɺػցͱֶश͸Ұॹʹ࢖ΘΕ͍ͯΔͷͰ͸ͳ͍͔ʁ
15. 15 ͦΕͱ΋ɺpythonͱAI͕Ұॹʹ࢖ΘΕ͍ͯΔ͔΋͠Εͳ͍ɻ
16. Α͘࢖ΘΕΔ୯ޠͷ૊Έ߹ΘͤΛ஌Δʹ͸ʁ 16
17. 17 จষΛ୯ޠԽͨ͠σʔλ token count document_id σʔλ 1 1 αΠΤϯε 1 1 ֶश 1 1
18. 18 ୯ޠͷ૊Έ߹ΘͤΛ਺͑Δɻ token count document_id σʔλ 1 1 αΠΤϯε 1 1 ֶश 1 1 document_id token_x token_y value 1 σʔλ αΠΤϯε 1 1 αΠΤϯε ֶश 1 1 ֶश σʔλ 1
19. 19 ͔͠͠ɺσʔλʹ͸ΑΓଟ͘ͷυΩϡϝϯτ(document_id)͕ଘࡏ͢Δɻ token count document_id σʔλ 1 1 αΠΤϯε 1 1 ֶश 1 1 σʔλ 1 2 αΠΤϯε 1 2 ຊ 1 2
20. 20 υΩϡϝϯτ(document_id)͝ͱʹɺάϧʔϓΛ෼͚Δɻ token count document_id σʔλ 1 1 αΠΤϯε 1 1 ֶश 1 1 σʔλ 1 2 αΠΤϯε 1 2 ຊ 1 2
21. token count document_id σʔλ 1 1 αΠΤϯε 1 1 ֶश 1 1 σʔλ 1 2 αΠΤϯε 1 2 ຊ 1 2 21 υΩϡϝϯτ͝ͱʹɺ୯ޠͷ૊Έ߹ΘͤΛ਺͑Δɻ document_id token_x token_y value 1 σʔλ αΠΤϯε 1 1 αΠΤϯε ֶश 1 1 ֶश σʔλ 1 2 σʔλ αΠΤϯε 1 2 αΠΤϯε ຊ 1 2 ຊ σʔλ 1
22. 22 ୯ޠͷ૊Έ߹Θͤ͝ͱʹɺ஋Λूܭ͢Δɻ document_id token_x token_y value 1 σʔλ αΠΤϯε 1 1 αΠΤϯε ֶश 1 1 ֶश σʔλ 1 2 σʔλ αΠΤϯε 1 2 αΠΤϯε ຊ 1 2 ຊ σʔλ 1 token_x token_y value σʔλ αΠΤϯε 2 αΠΤϯε ֶश 1 ֶश σʔλ 1 αΠΤϯε ຊ 1 ຊ σʔλ 1
23. 23 จষΛ୯ޠԽͨ͠σʔλ
24. 24 ୯ޠ(token)ͷྻϔομϝχϡʔ͔ΒςΩετσʔλͷՃ޻(UI)ͷςΩετϖΞΛ Χ΢ϯτΛબ୒͢Δɻ
25. 25 ςΩετϖΞΛΧ΢ϯτͷμΠΞϩά͕දࣔ͞ΕΔɻ
26. 26 ୯ޠԽ͞Εͨྻʹ͸tokenɺจॻIDͷྻʹ͸document_id͕બ୒͞Ε͍ͯΔɻ
27. 27 ୯ޠͷ૊Έ߹Θͤͷ஋͕ूܭ͞Εͨɻ
28. 28 αϚϦɾϏϡʔ͔Β୯ޠͷ૊Έ߹Θͤͷ஋(value)ͷྻΛݟΔͱɺ1ճ͔Β11ճ ʹσʔλ͕ू·͍ͬͯΔΑ͏ͩɻ
29. 29 ͜ͷ··Ͱ͸ɺ͋·Γ࢖ΘΕͳ͍୯ޠͷ૊Έ߹Θͤ΋ՄࢹԽ͞Εͯ͠·͏ͨ ΊɺϑΟϧλΛ࢖ͬͯ஋͕10Ҏ্ͷ૊Έ߹Θ͚ͤͩΛ࢒͍ͨ͠ɻ
30. 30 ྻϔομϝχϡʔ͔ΒϑΟϧλͷҎ্Λબ୒͢Δɻ
31. 31 ஋ʹ10Λೖྗͯ͠ɺ࣮ߦ͢Δɻ
32. 32 ୯ޠͷ૊Έ߹Θͤͷ஋͕10Ҏ্ͷσʔλͷΈʹ͢Δ͜ͱ͕Ͱ͖ͨɻ
33. 33 • νϟʔτλΠϓʹόʔΛબ୒͢Δɻ • X࣠ʹtoken.xΛબ୒͢Δɻ • Y࣠ʹvalueΛબ୒͢Δɻ
34. 34 ͜ͷ··Ͱ͸ɺҰͭͷ୯ޠͷΈՄࢹԽ͞Εɺ૊Έ߹Θ͕ͤΘ͔Βͳ͍ɻ
35. 35 ͳͥͳΒɺX࣠ʹ͸Ұͭͷྻ(Ұͭͷ୯ޠ)͔͠બ୒Ͱ͖ͳ͍͔Βɻ
36. ୯ޠͲ͏͠Λ૊Έ߹ΘͤͨྻΛ࡞Δʂ 36
37. 37 token.xͱtoken.yΛબͼɺྻϔομϝχϡʔ͔Βෳ਺ͷྻΛͭͳ͛ΔΛબ୒͢Δɻ
38. 38 ෳ਺ͷྻΛͭͳ͛ΔͷμΠΞϩά͕දࣔ͞ΕΔɻ
39. 39 ৽͍͠ྻ໊ʹ೚ҙͷ໊લΛೖྗ࣮ͯ͠ߦ͢Δɻ
40. 40 ୯ޠͲ͏͠Λ૊Έ߹ΘͤͨྻΛ࡞Δ͜ͱ͕Ͱ͖ͨɻ
41. 41 νϟʔτϐϯΛ࠷৽ͷεςοϓʹඥ͚ͮΔɻ
42. 42 X࣠ʹ୯ޠͷ૊Έ߹Θͤ(token_pair)ͷྻΛબ୒͢Δɻ
43. 43 ιʔτʹY1࣠ͷ߱ॱΛબ୒͢Δɻ
44. 44 ՄࢹԽ͞Ε͍ͯΔ୯ޠͷ૊Έ߹Θͤͷ਺͕ଟ͍ͨΊɺ্Ґ50ͷΈΛՄࢹԽ͠ ͍ͨɻ
45. 45 X࣠ͷϝχϡʔ͔Βදࣔ͢Δ஋ͷ੍ݶΛબ୒͢Δɻ
46. 46 • λΠϓʹ্ҐΛબ୒͢Δɻ • ݁Ռͷ਺ʹ50Λબ୒͢Δɻ
47. 47 Α͘࢖ΘΕΔ୯ޠͷ૊Έ߹Θͤͷ্Ґ50ΛՄࢹԽ͢Δ͜ͱ͕Ͱ͖ͨɻ
48. 48 ϊοΫͱຊ΍githubɺެ։ͱ͍ͬͨ୯ޠ͕Α͘࢖ΘΕ͍ͯΔΑ͏ͩɻ
49. 49 TwitterΛݟͯΈΔͱɺσʔλαΠΤϯςΟετڠձ͔ΒɺʮσʔλαΠΤϯε 100ຊϊοΫʯͱ͍͏ίϯςϯπ͕githubͰެ։͞Ε͍ͯͨΑ͏ͩɻ
50. Appendix 50
51. 51 ʮϊοΫ x ຊʯ ͱͳ͍ͬͯΔ͕ɺʮຊ x ϊοΫʯ͕ਖ਼͍͠ͷͰ͸ͳ͍͔ʁ
52. 52 σϑΥϧτͰ͸ɺҰҙͷ૊Έ߹Θ͚ͤͩΛอ͕࣋ద༻͞Ε͍ͯΔɻ
53. 53 Ұҙͷ૊Έ߹Θ͚ͤͩΛอ͕࣋TRUEͷ৔߹ɺಉ͡୯ޠͷ૊Έ߹Θ͕ͤҰͭऔ Γআ͔ΕΔɻ FALSE TRUE (σϑΥϧτ)
54. ࣍ճηϛφʔ
55. 55 EXPLORATORY SaaS ΞφϦςΟΫε ϫʔΫγϣοϓ #5 Τϯήʔδϝϯτ Part 3 - RFV
56. 56 • ୈ1ճɿ SaaSͷ࠷ॏཁKPI ͱͦͷՄࢹԽ Part 1 • ୈ2ճɿ SaaSͷ࠷ॏཁKPI ͱͦͷՄࢹԽ Part 2 • ୈ3ճɿ Τϯήʔδϝϯτ Part 1 - DAU/MAU • ୈ4ճɿΤϯήʔδϝϯτ Part 2 - ύϫʔϢʔβʔɾΧʔϒ • ୈ5ճɿ Τϯήʔδϝϯτ Part 3 - RFV - 6/26 (໦) • ୈ6ճɿίϗʔτ෼ੳ Part 1 • ୈ7ճɿ ίϗʔτ෼ੳ Part 2 • ୈ8ճɿ NPSͷܭࢉͱࣗ༝هड़ͷςΩετ෼ੳ SaaS ΞφϦςΟΫεɾϫʔΫγϣοϓ
57. EDA Salon ୳ࡧతσʔλ෼ੳΛΈΜͳͰֶͿ৔
58. 58 Kickstarter
59. Ϋϥ΢υɾϑΝϯσΟϯά
60. 60 σʔλͷ֓ཁ
61. 61 σʔλɾσΟΫγϣφϦ
62. αϯϓϧͷ࣭໰ • ੒ޭ͍ͯ͠ΔϓϩδΣΫτʹ͸ͲΜͳಛ௃͕͋Δ͔ʁ • ௐୡֹۚ͸ΧςΰϦʔ΍ࠃ͝ͱʹҧ͍͸͋Δ͔ʁ • ࣦഊ͢ΔϓϩδΣΫτͷݪҼ͸Կ͔ʁ 62
66. 7݄։࠵ܾఆʂ ि຤൛ɿ24೔ʢۚʣɺ25೔ʢ౔ʣɺ26೔ʢ೔ʣ ฏ೔൛ɿ28೔ʢՐʣɺ29೔ʢਫʣɺ30೔ʢ໦ʣ
67. Q & A
68. Contact Email takato@exploratory.io Twitter Hashtag #ExploratoryHour ͰπΠʔτʂ Twitter @ExploratoryJp Exploratory Hour https://bit.ly/30odd9q
69. EXPLORATORY