コンバージョン率と信頼区間の推移を可視化する方法

日毎のコンバージョン率の推移を信頼区間付きで可視化することで、どの時点で有意な差が出始めるのかをモニタリングしていくことができます。

このスライドでは、コンバージョン率と信頼区間の推移を可視化するためのデータラングリングと可視化の方法についてご紹介しています。

Transcript

1. ίϯόʔδϣϯ཰ͱ৴པ۠ؒͷਪҠͷՄࢹԽ
2. 2 ೔ຖͷίϯόʔδϣϯͷਪҠΛ৴པ۠ؒ෇͖ͰՄࢹԽ͢Δ͜ͱͰɺͲͷ࣌఺Ͱ ༗ҙͳ͕ࠩͰ࢝ΊΔͷ͔ΛϞχλϦϯά͍ͯ͘͜͠ͱ͕Ͱ͖Δɻ
3. Let’s do it! 3
4. ೔͝ͱͷίϯόʔδϣϯ཰ͱ৴པ۠ؒΛٻΊΔεςοϓ 1. ϥϯσΟϯάϖʔδͰάϧʔϓԽ 2. ϖʔδϏϡʔ਺ɺαΠϯΞοϓ਺ͷྦྷੵ߹ܭ஋ͷྻΛ࡞੒ 3. αΠϯΞοϓ਺ʢྦྷੵʣΛϖʔδϏϡʔ਺ʢྦྷੵʣͰׂͬͯɺίϯόʔδϣ ϯ཰ͷྻΛ࡞੒ 4. ίϯόʔδϣϯ཰ͱϖʔδϏϡʔ਺ʢྦྷੵʣͷྻΛ࢖ͬͯɺ1೔͝ͱͷ৴པ ۠ؒΛٻΊΔ 5. ৴པ۠ؒͷ஋Λ΋ͱʹɺ৴པ۠ؒͷ্ݶɺԼݶͷྻΛ࡞੒ 4
5. 5 1.ϥϯσΟϯάϖʔδͰάϧʔϓԽ
6. 6 2. ϖʔδϏϡʔ਺ɺαΠϯΞοϓ਺ͷྦྷੵ߹ܭ஋ͷྻΛ࡞੒ cumsum(uniquePageView)
7. 7 3. αΠϯΞοϓ਺ʢྦྷੵʣΛϖʔδϏϡʔ਺ʢྦྷੵʣͰׂͬͯɺίϯόʔδϣ ϯ཰ͷྻΛ࡞੒ signUpCount_cumsum / uniquePageView_cumsum
8. 8 4.ίϯόʔδϣϯ཰ͱϖʔδϏϡʔ਺ʢྦྷੵʣͷྻΛ࢖ͬͯɺ1೔͝ͱͷ৴པ ۠ؒΛٻΊΔ calc_con fi nt_ratio(ConversionRate, uniquePageView_cumsum)
9. 9 5. ৴པ۠ؒͷ஋Λ΋ͱʹɺ৴པ۠ؒͷ্ݶɺԼݶͷྻΛ࡞੒ ConversionRate + CI
10. ೔͝ͱͷίϯόʔδϣϯ཰ͱ৴པ۠ؒΛٻΊΔεςοϓ 1. ϥϯσΟϯάϖʔδͰάϧʔϓԽ 2. ϖʔδϏϡʔ਺ɺαΠϯΞοϓ਺ͷྦྷੵ߹ܭ஋ͷྻΛ࡞੒ 3. αΠϯΞοϓ਺ʢྦྷੵʣΛϖʔδϏϡʔ਺ʢྦྷੵʣͰׂͬͯɺίϯόʔδϣ ϯ཰ͷྻΛ࡞੒ 4. ίϯόʔδϣϯ཰ͱϖʔδϏϡʔ਺ʢྦྷੵʣͷྻΛ࢖ͬͯɺ1೔͝ͱͷ৴པ ۠ؒΛٻΊΔ 5. ৴པ۠ؒͷ஋Λ΋ͱʹɺ৴པ۠ؒͷ্ݶɺԼݶͷྻΛ࡞੒ 10
11. 11 landingPagePathͷྻϔομϝχϡʔ͔ΒάϧʔϓԽΛ࣮ߦ͢Δɻ
12. 12 ʮϖʔδAʯͱʮϖʔδBʯͰάϧʔϓԽ͞Εͨɻ
13. ೔͝ͱͷίϯόʔδϣϯ཰ͱ৴པ۠ؒΛٻΊΔεςοϓ 1. ϥϯσΟϯάϖʔδͰάϧʔϓԽ 2. ϖʔδϏϡʔ਺ɺαΠϯΞοϓ਺ͷྦྷੵ߹ܭ஋ͷྻΛ࡞੒ 3. αΠϯΞοϓ਺ʢྦྷੵʣΛϖʔδϏϡʔ਺ʢྦྷੵʣͰׂͬͯɺίϯόʔδϣ ϯ཰ͷྻΛ࡞੒ 4. ίϯόʔδϣϯ཰ͱϖʔδϏϡʔ਺ʢྦྷੵʣͷྻΛ࢖ͬͯɺ1೔͝ͱͷ৴པ ۠ؒΛٻΊΔ 5. ৴པ۠ؒͷ஋Λ΋ͱʹɺ৴པ۠ؒͷ্ݶɺԼݶͷྻΛ࡞੒ 13
14. 14 ϖʔδϏϡʔͷྦྷੵ߹ܭ஋ΛٻΊΔͨΊʹԼهΛࢦఆ͢Δɻ
15. 15 ྦྷੵ߹ܭΛٻΊΔcumsumؔ਺͕ద༻͞Ε͍ͯΔͷͰɺͦͷ··࣮ߦ͢Δɻ
16. 16 ϖʔδϏϡʔ਺ͷྦྷੵ߹ܭ஋ΛٻΊͨྻ͕࡞੒Ͱ͖ͨɻ
17. 17 ಉ༷ͷखॱͰαΠϯΞοϓ਺ͷྦྷੵ߹ܭ஋ΛٻΊͨྻΛ࡞੒͢Δɻ
18. ೔͝ͱͷίϯόʔδϣϯ཰ͱ৴པ۠ؒΛٻΊΔεςοϓ 1. ϥϯσΟϯάϖʔδͰάϧʔϓԽ 2. ϖʔδϏϡʔ਺ɺαΠϯΞοϓ਺ͷྦྷੵ߹ܭ஋ͷྻΛ࡞੒ 3. αΠϯΞοϓ਺ʢྦྷੵʣΛϖʔδϏϡʔ਺ʢྦྷੵʣͰׂͬͯɺίϯόʔ δϣϯ཰ͷྻΛ࡞੒ 4. ίϯόʔδϣϯ཰ͱϖʔδϏϡʔ਺ʢྦྷੵʣͷྻΛ࢖ͬͯɺ1೔͝ͱͷ৴པ ۠ؒΛٻΊΔ 5. ৴པ۠ؒͷ஋Λ΋ͱʹɺ৴པ۠ؒͷ্ݶɺԼݶͷྻΛ࡞੒ 18
19. 19 αΠϯΞοϓ਺ΛϖʔδϏϡʔ਺Ͱׂͬͯίϯόʔδϣϯ཰ΛٻΊΔɻ
20. 20 ྻϔομϝχϡʔ͔ΒܭࢉΛ࡞੒Λબ୒͢Δɻ
21. 21 ܭࢉΤσΟλʹԼهͷࣜΛೖྗ࣮ͯ͠ߦ͢Δɻ
22. 22 1೔͝ͱͷίϯόʔδϣϯ཰ΛٻΊΔ͜ͱ͕Ͱ͖ͨɻ
23. ೔͝ͱͷίϯόʔδϣϯ཰ͱ৴པ۠ؒΛٻΊΔεςοϓ 1. ϥϯσΟϯάϖʔδͰάϧʔϓԽ 2. ϖʔδϏϡʔ਺ɺαΠϯΞοϓ਺ͷྦྷੵ߹ܭ஋ͷྻΛ࡞੒ 3. αΠϯΞοϓ਺ʢྦྷੵʣΛϖʔδϏϡʔ਺ʢྦྷੵʣͰׂͬͯɺίϯόʔδϣ ϯ཰ͷྻΛ࡞੒ 4. ίϯόʔδϣϯ཰ͱϖʔδϏϡʔ਺ʢྦྷੵʣͷྻΛ࢖ͬͯɺ1೔͝ͱͷ৴པ ۠ؒΛٻΊΔ 5. ৴པ۠ؒͷ஋Λ΋ͱʹɺ৴པ۠ؒͷ্ݶɺԼݶͷྻΛ࡞੒ 23
24. 24 ৴པ۠ؒΛܭࢉ͢ΔͨΊɺྻϔομϝχϡʔ͔Β਺஋ؔ਺Λ࢖͏ͷ calc_con fi nt_ratioΛબ୒͢Δɻ
25. 25 ܭࢉΤσΟλʹԼهΛೖྗ࣮ͯ͠ߦ͢Δɻ
26. 26 ֤೔෇·Ͱͷྦྷੵσʔλͷ৴པ͕۠ؒٻΊΒΕͨɻ
27. ೔͝ͱͷίϯόʔδϣϯ཰ͱ৴པ۠ؒΛٻΊΔεςοϓ 1. ϥϯσΟϯάϖʔδͰάϧʔϓԽ 2. ϖʔδϏϡʔ਺ɺαΠϯΞοϓ਺ͷྦྷੵ߹ܭ஋ͷྻΛ࡞੒ 3. αΠϯΞοϓ਺ʢྦྷੵʣΛϖʔδϏϡʔ਺ʢྦྷੵʣͰׂͬͯɺίϯόʔδϣ ϯ཰ͷྻΛ࡞੒ 4. ίϯόʔδϣϯ཰ͱϖʔδϏϡʔ਺ʢྦྷੵʣͷྻΛ࢖ͬͯɺ1೔͝ͱͷ৴པ ۠ؒΛٻΊΔ 5. ৴པ۠ؒͷ஋Λ΋ͱʹɺ৴པ۠ؒͷ্ݶɺԼݶͷྻΛ࡞੒ 27
28. 28 ৴པ۠ؒͷ্ݶ͸ίϯόʔδϣϯ཰ʹ৴པ۠ؒͷ஋Λ଍͠ɺ৴པ۠ؒͷԼݶ͸ ίϯόʔδϣϯ཰͔Β৴པ۠ؒͷ஋ΛҾ͍ͨྻΛ࡞੒͢Δɻ
29. 29 ConversionRateͷྻϔομϝχϡʔ͔ΒܭࢉΛ࡞੒Λબ୒͢Δɻ
30. 30 ConversionRateʹ৴པ۠ؒͷ஋Λ଍͢͜ͱͰɺ৴པ۠ؒͷ্ݶ͕ٻΊΒΕΔɻ
31. 31 ৴པ۠ؒͷ্ݶ͕ٻΊΒΕͨɻ
32. 32 ConversionRateͷྻϔομϝχϡʔ͔ΒܭࢉΛ࡞੒Λબ୒͢Δɻ
33. 33 ConversionRate͔Β৴པ۠ؒͷ஋ΛҾ͘͜ͱͰɺ৴པ۠ؒͷԼݶ͕ٻΊΒΕΔɻ
34. 34 ৴པ۠ؒͷ্ݶͱԼݶͷྻΛ࡞੒͢Δ͜ͱ͕Ͱ͖ͨɻ
35. 35 ϥΠϯνϟʔτͰX࣠ʹ೔෇ΛɺY࣠ʹίϯόʔδϣϯ཰ΛׂΓ౰ͯΔɻ
36. 36 Y࣠ͷϝχϡʔ͔ΒൣғΛબ୒͢Δɻ
37. 37 ൣғλΠϓʹΧελϜΛબͼɺ্ݶͱԼݶʹઌఔ࡞੒ͨ͠৴པ۠ؒͷ্ݶͱԼ ݶΛׂΓ౰ͯΔɻ
38. 38 6݄17೔͋ͨΓ͔ΒɺϖʔδAͱϖʔδBͷ৴པ͕۠ؒॏͳ͍ͬͯͳ͍ͷͰϖʔ δAͱϖʔδBͷίϯόʔδϣϯ཰ͷࠩ͸༗ҙͰ͋Δͱݴ͑Δɻ