みんなのPython勉強会#38登壇資料 tf-idfを使ったグロースハック

Transcript

1. ͍·͞Β͚ͩͲPythonͰtf-idf΍ͬͯΈͨ UGJEGΛ࢖ͬͯ
   ΞϓϦͷάϩʔεΛͯ͠Έͨ
2. ΤϯδχΞ σʔλΞφϦετ Ϗδωε ຊ೔͍Β͍ͯ͠Δํ
3. ࣗݾ঺հ • Takehiro Sugara @sugartaker • ੲ͸ϦαʔνձࣾͰ
 ෼ੳɾࣄۀ։ൃ͍ͯ͠·ͨ͠
 • ࠓ͸ϔϧεέΞΞϓϦͷ
 άϩʔεϋοΫΛ͍ͯ͠·͢
4. 
    
    
    
     
     
     
     
     
     
     
    
    
    
   
     
     
     
     
     
     
     
     
     
    
    
    
   
     
     
     
     
     ಥવͰ͕͢ɺࢲ͸͋Δ਺ࣈΛͱͯ΋άϩʔεͤ͞·ͨ͠ ໨ඪ
5. 
    
    
    
     
     
     
     
     
     
     
    
    
    
   
     
     
     
     
     
     
     
     
     
    
    
    
   
     
     
     
     
     1 0 2 
      
    ࢲͷମॏͰ͢ దਖ਼ମॏ
6. ࠓ೔࿩͢͜ͱ • ࣗݾ঺հ • tf-idfΛ࢖ͬͯΞϓϦͷάϩʔεΛͯ͠Έͨ
7. ͜Μͳ͜ͱ͋Γ·ͤΜ͔ʁ • Ϛʔέ୲౰ऀ • ݁ہͲΜͳײ͡ͷ޿ࠂόφʔ͕͍͍ͷʁ • ηʔϧε୲౰ऀ • ݁ہͲΜͳײ͡ͷϝϧϚΨɾϓογϡ௨஌͕͍͍ͷʁ • ϥΠλʔ • ݁ہͲΜͳײ͡ͷهࣄ͕͍͍ͷʁ
8. ͜Μͳ͜ͱ͋Γ·ͤΜ͔ʁ ਖ਼௚Ϧιʔε͕଍Γͳͯ͘ࡉ͔͍ͱ͜Ζ·ͰΈͯΒΕͳ͍ʂ
9. 'J/$Ͱ͸͋Γ·ͨ͠
10. ͦ΋ͦ΋'J/$ͬͯͲΜͳձࣾʁ
11. ʮ༧๷ϔϧεέΞºςΫϊϩδʔʯʹಛԽͨ͠ϔϧεςοΫϕϯνϟʔ l"CPVU
    'J/$z
12. ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$͕ఏڙ͍ͯ͠ΔαʔϏε FiNCΞϓϦ ʢToC޲͚ΞϓϦʣ FiNC for Business ʢToB޲͚αʔϏεʣ FiNC Fit ʢύʔιφϧδϜʣ FiNC Mall ʢECαΠτʣ
13. ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$͕ఏڙ͍ͯ͠ΔαʔϏε FiNCΞϓϦ ʢToC޲͚ΞϓϦʣ FiNC for Business ʢToB޲͚αʔϏεʣ FiNC Fit ʢύʔιφϧδϜʣ FiNC Mall ʢECαΠτʣ
14. ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$ΞϓϦ͕ఏڙ͍ͯ͠ΔαʔϏε ϝσΟΞ ϥΠϑϩά νϟοτϘοτ αϒεΫϦϓγϣϯ
15. ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$ΞϓϦ͕ఏڙ͍ͯ͠ΔαʔϏε ϝσΟΞ ϥΠϑϩά νϟοτϘοτ αϒεΫϦϓγϣϯ
16. ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$ΞϓϦ͕ఏڙ͍ͯ͠ΔαʔϏε ϝσΟΞ • 2018೥1݄͔Βελʔτ • ϔϧεέΞؔ࿈ͷهࣄΛܝࡌ͍ͯ͠Δ
17. ՝୊ ݁ہͲΜͳײ͡ͷهࣄ͕͍͍ͷʁ ϥΠλʔ
18. ՝୊ • ݸʑͷίϯςϯπͷCTRɾ͓ؾʹೖΓ཰ɾ଺ࡏ࣌ؒ͸Θ͔Δ • Ͱ΋શମతʹͲΜͳίϯςϯπ͕΢έΔͷ͔͸ײ֮తʹ͔͠Θ͔Βͳ͍
19. ղܾࡦ • ͲΜͳ୯ޠ͕ೖͬͨهࣄͩͱ΢έ΍͍͢ͷ͔Λఆྔతʹग़͢
20. UGJEGΛ࢖ͬͯΈͨ
21. UGJEGͱ͸ʁ • tf-idfͱ͸ʁ • Term Frequency Inverse Document Frequencyͷུ • จষͷத͔Βಛ௃ޠΛநग़͜ͱ͕Ͱ͖Δ • tf-idfΛ࢖͏ཧ༝ • ʢݹయతͳख๏͚ͩͲʣ • ܭࢉ͠΍͍͢ • આ໌͠΍͍͢ • ͺͬͱग़ͤΔ
22. UGJEGͷϩδοΫ • tfɿର৅จষ಺ͷର৅୯ޠͷग़ݱճ਺
 ɹɹ/ ର৅จষͷશͯͷ୯ޠͷग़ݱճ਺
 ɹˠͦͷ୯ޠ͕ͦͷจষʹͲΕ͚ͩଟ͘ग़ݱ͍ͯ͠Δ͔ • idfɿlog(૯จষ਺ / ର৅୯ޠ͕ग़ݱ͢Δจষ਺ʣ+ 1 ɹɹˠͦͷ୯ޠ͕શମͷจষʹରͯ͠ͲΕ͚ͩϨΞ͔ • tf-idfɿtf * idf
23. 45&1 ϩʔσʔλ ࡞੒ ܗଶૉղੳ tf-idf஋Λ ܭࢉ
24. ϩʔσʔλͷ࡞੒ จষ಺༰ จষ1 ࢲ͸PythonͷຊΛಡΉ จষ2 ࢲ͸ຊ͕޷͖ͩ จষ3 ࢲ͸PythonͷຊΛಡΈͳ͕Β PythonͷίʔυΛॻ͘
25. ܗଶૉղੳ จষ಺༰ จষ1 ࢲ͸PythonͷຊΛಡΉ จষ2 ࢲ͸ຊ͕޷͖ͩ จষ3 ࢲ͸PythonͷຊΛಡΈͳ͕Β PythonͷίʔυΛॻ͘
26. ܗଶૉղੳ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Pythonίʔυ
27. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF ࢲ 1/5 = 0.2 Python 2/5 = 0.4 ຊ 1/5 = 0.2 ίʔυ 1/5 = 0.2
28. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF ࢲ 1/5 = 0.2 Python 2/5 = 0.4 ຊ 1/5 = 0.2 ίʔυ 1/5 = 0.2 ର৅จষ಺ͷର৅୯ޠͷग़ݱճ਺
 ɹɹ/ ର৅จষͷશͯͷ୯ޠͷग़ݱճ਺ →ͦͷ୯ޠ͕ͦͷจষʹͲΕ͚ͩଟ͘ग़ݱ͍ͯ͠Δ͔
29. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58
30. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 log(૯จষ਺ / ର৅୯ޠ͕ग़ݱ͢Δจষ਺ʣ+ 1 →ͦͷ୯ޠ͕શମͷจষʹରͯ͠ͲΕ͚ͩϨΞ͔
31. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52
32. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52 TF * IDF
33. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52
34. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52 ͜ͷจষͰ͸ Pythonͱ͍͏୯ޠ ͕ಛ௃తʂ
35. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52 ͜ͷจষͰ͸ Pythonͱ͍͏୯ޠ ͕ಛ௃తʂ
36. ՝୊ • ݸʑͷίϯςϯπͷCTRɾ͓ؾʹೖΓ཰ɾ଺ࡏ࣌ؒ͸Θ͔Δ • Ͱ΋શମతʹͲΜͳίϯςϯπ͕ड͚Δͷ͔͸ײ֮తʹ͔͠Θ͔Βͳ͍
37. ͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍
38. ͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍
39. ͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍ μΠΤοτهࣄ͕ ͍͍Μ͡Όͳ͍ʁ
40. ͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍ ຊ౰͸ μΠΤοτهࣄ͸ ྑ͍΋ͷ΋ѱ͍΋ͷ ΋͋Δ
41. UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍
42. UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτ ӡಈ ྑ͍ هࣄ2 μΠΤοτ ӡಈ ӫཆ ౶࣭ ྑ͍ هࣄ3 ౶࣭ μΠΤοτ ѱ͍ هࣄ4 ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍
43. UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτ ӡಈ ྑ͍ هࣄ2 μΠΤοτ ӡಈ ӫཆ ౶࣭ ྑ͍ هࣄ3 ౶࣭ μΠΤοτ ѱ͍ هࣄ4 ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍
44. UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 هࣄ2 μΠΤοτ ӡಈ μΠΤοτ ӡಈ ӫཆ ౶࣭ ྑ͍ هࣄ3 هࣄ4 ౶࣭ μΠΤοτ ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍
45. UGJEGͩͯ͠ΈΔ tf-idf஋ μΠΤοτ ӡಈ ӫཆ ౶࣭ هࣄ1 هࣄ2 ※KPIྑ͍ 0.54 0.75 0.27 0.27 هࣄ3 هࣄ4 ※KPIѱ͍ 0.56 0 0.58 0.58
46. UGJEGͩͯ͠ΈΔ tf-idf஋ μΠΤοτ ӡಈ ӫཆ ౶࣭ هࣄ1 هࣄ2 ※KPIྑ͍ 0.54 0.75 0.27 0.27 هࣄ3 هࣄ4 ※KPIѱ͍ 0.56 0 0.58 0.58 ӡಈͷهࣄ͕ Αͦ͞͏ʂ
47. ࢪࡦ ྑ͛͞ͳ୯ޠ͔Β೿ੜίϯςϯπΛ࡞੒͢Δ
48. ݁Ռ DAUҰਓ͋ͨΓͷPV਺͕޲্ʂ
49. ·ͱΊ • tf-idf • PythonͰ؆୯ʹͩ͢͜ͱ͕Ͱ͖Δ • จষͷத͔Βಛ௃ޠΛநग़Ͱ͖Δ • ͬ͘͟Γͱ΢έΔ/΢έͳ͍Ωʔϫʔυͷ܏޲Λ͔ͭΊΔ • ςΩετͷཁ໿΍෼ྨͷ࠷ॳͷҰาʹ͓͢͢Ί • ࠓճ͸هࣄͷࣄྫ͕ͩɺϝϧϚΨɾϓογϡ௨஌ͳͲ
 Ͱ΋࢖͑Δ͸ͣ
50. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ