みんなのPython勉強会#38登壇資料　tf-idfを使ったグロースハック

Slide 1

Slide 1 text

͍·͞Β͚ͩͲPythonͰtf-idf΍ͬͯΈͨ UGJEGΛ࢖ͬͯ ΞϓϦͷάϩʔεΛͯ͠Έͨ

Slide 2

Slide 2 text

ΤϯδχΞ σʔλΞφϦετ Ϗδωε ຊ೔͍Β͍ͯ͠Δํ

Slide 3

Slide 3 text

ࣗݾ঺հ • Takehiro Sugara @sugartaker • ੲ͸ϦαʔνձࣾͰ  ෼ੳɾࣄۀ։ൃ͍ͯ͠·ͨ͠  • ࠓ͸ϔϧεέΞΞϓϦͷ  άϩʔεϋοΫΛ͍ͯ͠·͢

Slide 4

Slide 4 text

ಥવͰ͕͢ɺࢲ͸͋Δ਺ࣈΛͱͯ΋άϩʔεͤ͞·ͨ͠ ໨ඪ

Slide 5

Slide 5 text

1 0 2 ࢲͷମॏͰ͢ దਖ਼ମॏ

Slide 6

Slide 6 text

ࠓ೔࿩͢͜ͱ • ࣗݾ঺հ • tf-idfΛ࢖ͬͯΞϓϦͷάϩʔεΛͯ͠Έͨ

Slide 7

Slide 7 text

͜Μͳ͜ͱ͋Γ·ͤΜ͔ʁ • Ϛʔέ୲౰ऀ • ݁ہͲΜͳײ͡ͷ޿ࠂόφʔ͕͍͍ͷʁ • ηʔϧε୲౰ऀ • ݁ہͲΜͳײ͡ͷϝϧϚΨɾϓογϡ௨஌͕͍͍ͷʁ • ϥΠλʔ • ݁ہͲΜͳײ͡ͷهࣄ͕͍͍ͷʁ

Slide 8

Slide 8 text

͜Μͳ͜ͱ͋Γ·ͤΜ͔ʁ ਖ਼௚Ϧιʔε͕଍Γͳͯ͘ࡉ͔͍ͱ͜Ζ·ͰΈͯΒΕͳ͍ʂ

Slide 9

Slide 9 text

'J/$Ͱ͸͋Γ·ͨ͠

Slide 10

Slide 10 text

ͦ΋ͦ΋'J/$ͬͯͲΜͳձࣾʁ

Slide 11

Slide 11 text

ʮ༧๷ϔϧεέΞºςΫϊϩδʔʯʹಛԽͨ͠ϔϧεςοΫϕϯνϟʔ l"CPVU'J/$z

Slide 12

Slide 12 text

ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$͕ఏڙ͍ͯ͠ΔαʔϏε FiNCΞϓϦ ʢToC޲͚ΞϓϦʣ FiNC for Business ʢToB޲͚αʔϏεʣ FiNC Fit ʢύʔιφϧδϜʣ FiNC Mall ʢECαΠτʣ

Slide 13

Slide 13 text

ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$͕ఏڙ͍ͯ͠ΔαʔϏε FiNCΞϓϦ ʢToC޲͚ΞϓϦʣ FiNC for Business ʢToB޲͚αʔϏεʣ FiNC Fit ʢύʔιφϧδϜʣ FiNC Mall ʢECαΠτʣ

Slide 14

Slide 14 text

ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$ΞϓϦ͕ఏڙ͍ͯ͠ΔαʔϏε ϝσΟΞ ϥΠϑϩά νϟοτϘοτ αϒεΫϦϓγϣϯ

Slide 15

Slide 15 text

ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$ΞϓϦ͕ఏڙ͍ͯ͠ΔαʔϏε ϝσΟΞ ϥΠϑϩά νϟοτϘοτ αϒεΫϦϓγϣϯ

Slide 16

Slide 16 text

ɹ FiNC͕ఏڙՄೳͳιϦϡʔγϣϯ 'J/$ΞϓϦ͕ఏڙ͍ͯ͠ΔαʔϏε ϝσΟΞ • 2018೥1݄͔Βελʔτ • ϔϧεέΞؔ࿈ͷهࣄΛܝࡌ͍ͯ͠Δ

Slide 17

Slide 17 text

՝୊ ݁ہͲΜͳײ͡ͷهࣄ͕͍͍ͷʁ ϥΠλʔ

Slide 18

Slide 18 text

՝୊ • ݸʑͷίϯςϯπͷCTRɾ͓ؾʹೖΓ཰ɾ଺ࡏ࣌ؒ͸Θ͔Δ • Ͱ΋શମతʹͲΜͳίϯςϯπ͕΢έΔͷ͔͸ײ֮తʹ͔͠Θ͔Βͳ͍

Slide 19

Slide 19 text

ղܾࡦ • ͲΜͳ୯ޠ͕ೖͬͨهࣄͩͱ΢έ΍͍͢ͷ͔Λఆྔతʹग़͢

Slide 20

Slide 20 text

UGJEGΛ࢖ͬͯΈͨ

Slide 21

Slide 21 text

UGJEGͱ͸ʁ • tf-idfͱ͸ʁ • Term Frequency Inverse Document Frequencyͷུ • จষͷத͔Βಛ௃ޠΛநग़͜ͱ͕Ͱ͖Δ • tf-idfΛ࢖͏ཧ༝ • ʢݹయతͳख๏͚ͩͲʣ • ܭࢉ͠΍͍͢ • આ໌͠΍͍͢ • ͺͬͱग़ͤΔ

Slide 22

Slide 22 text

UGJEGͷϩδοΫ • tfɿର৅จষ಺ͷର৅୯ޠͷग़ݱճ਺  ɹɹ/ ର৅จষͷશͯͷ୯ޠͷग़ݱճ਺  ɹˠͦͷ୯ޠ͕ͦͷจষʹͲΕ͚ͩଟ͘ग़ݱ͍ͯ͠Δ͔ • idfɿlog(૯จষ਺ / ର৅୯ޠ͕ग़ݱ͢Δจষ਺ʣ+ 1 ɹɹˠͦͷ୯ޠ͕શମͷจষʹରͯ͠ͲΕ͚ͩϨΞ͔ • tf-idfɿtf * idf

Slide 23

Slide 23 text

45&1 ϩʔσʔλ ࡞੒ ܗଶૉղੳ tf-idf஋Λ ܭࢉ

Slide 24

Slide 24 text

ϩʔσʔλͷ࡞੒ จষ಺༰ จষ1 ࢲ͸PythonͷຊΛಡΉ จষ2 ࢲ͸ຊ͕޷͖ͩ จষ3 ࢲ͸PythonͷຊΛಡΈͳ͕Β PythonͷίʔυΛॻ͘

Slide 25

Slide 25 text

ܗଶૉղੳ จষ಺༰ จষ1 ࢲ͸PythonͷຊΛಡΉ จষ2 ࢲ͸ຊ͕޷͖ͩ จষ3 ࢲ͸PythonͷຊΛಡΈͳ͕Β PythonͷίʔυΛॻ͘

Slide 26

Slide 26 text

ܗଶૉղੳ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Pythonίʔυ

Slide 27

Slide 27 text

UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF ࢲ 1/5 = 0.2 Python 2/5 = 0.4 ຊ 1/5 = 0.2 ίʔυ 1/5 = 0.2

Slide 28

Slide 28 text

UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF ࢲ 1/5 = 0.2 Python 2/5 = 0.4 ຊ 1/5 = 0.2 ίʔυ 1/5 = 0.2 ର৅จষ಺ͷର৅୯ޠͷग़ݱճ਺  ɹɹ/ ର৅จষͷશͯͷ୯ޠͷग़ݱճ਺ →ͦͷ୯ޠ͕ͦͷจষʹͲΕ͚ͩଟ͘ग़ݱ͍ͯ͠Δ͔

Slide 29

Slide 29 text

Slide 30

Slide 30 text

UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 log(૯จষ਺ / ର৅୯ޠ͕ग़ݱ͢Δจষ਺ʣ+ 1 →ͦͷ୯ޠ͕શମͷจষʹରͯ͠ͲΕ͚ͩϨΞ͔

Slide 31

Slide 31 text

UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3 ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

՝୊ • ݸʑͷίϯςϯπͷCTRɾ͓ؾʹೖΓ཰ɾ଺ࡏ࣌ؒ͸Θ͔Δ • Ͱ΋શମతʹͲΜͳίϯςϯπ͕ड͚Δͷ͔͸ײ֮తʹ͔͠Θ͔Βͳ͍

Slide 37

Slide 37 text

͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍

Slide 38

Slide 38 text

Slide 39

Slide 39 text

͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍ μΠΤοτهࣄ͕ ͍͍Μ͡Όͳ͍ʁ

Slide 40

Slide 40 text

͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍ ຊ౰͸ μΠΤοτهࣄ͸ ྑ͍΋ͷ΋ѱ͍΋ͷ ΋͋Δ

Slide 41

Slide 41 text

UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍ هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍

Slide 42

Slide 42 text

UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτ ӡಈ ྑ͍ هࣄ2 μΠΤοτ ӡಈ ӫཆ ౶࣭ ྑ͍ هࣄ3 ౶࣭ μΠΤοτ ѱ͍ هࣄ4 ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍

Slide 43

Slide 43 text

UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτ ӡಈ ྑ͍ هࣄ2 μΠΤοτ ӡಈ ӫཆ ౶࣭ ྑ͍ هࣄ3 ౶࣭ μΠΤοτ ѱ͍ هࣄ4 ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍

Slide 44

Slide 44 text

UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 هࣄ2 μΠΤοτ ӡಈ μΠΤοτ ӡಈ ӫཆ ౶࣭ ྑ͍ هࣄ3 هࣄ4 ౶࣭ μΠΤοτ ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍

Slide 45

Slide 45 text

UGJEGͩͯ͠ΈΔ tf-idf஋ μΠΤοτ ӡಈ ӫཆ ౶࣭ هࣄ1 هࣄ2 ※KPIྑ͍ 0.54 0.75 0.27 0.27 هࣄ3 هࣄ4 ※KPIѱ͍ 0.56 0 0.58 0.58

Slide 46

Slide 46 text

UGJEGͩͯ͠ΈΔ tf-idf஋ μΠΤοτ ӡಈ ӫཆ ౶࣭ هࣄ1 هࣄ2 ※KPIྑ͍ 0.54 0.75 0.27 0.27 هࣄ3 هࣄ4 ※KPIѱ͍ 0.56 0 0.58 0.58 ӡಈͷهࣄ͕ Αͦ͞͏ʂ

Slide 47

Slide 47 text

ࢪࡦ ྑ͛͞ͳ୯ޠ͔Β೿ੜίϯςϯπΛ࡞੒͢Δ

Slide 48

Slide 48 text

݁Ռ DAUҰਓ͋ͨΓͷPV਺͕޲্ʂ

Slide 49

Slide 49 text

·ͱΊ • tf-idf • PythonͰ؆୯ʹͩ͢͜ͱ͕Ͱ͖Δ • จষͷத͔Βಛ௃ޠΛநग़Ͱ͖Δ • ͬ͘͟Γͱ΢έΔ/΢έͳ͍Ωʔϫʔυͷ܏޲Λ͔ͭΊΔ • ςΩετͷཁ໿΍෼ྨͷ࠷ॳͷҰาʹ͓͢͢Ί • ࠓճ͸هࣄͷࣄྫ͕ͩɺϝϧϚΨɾϓογϡ௨஌ͳͲ  Ͱ΋࢖͑Δ͸ͣ

Slide 50

Slide 50 text

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ