AB テストの落とし穴 / "Pitfalls" of AB test

s-dev talks #1 ( https://s-dev-talks.connpass.com/event/86035/ ) で発表した際の登壇資料です。
AB テスト実行時の注意点について話しました。

Transcript

1. AB ςετͷམͱ݀͠
   ΫοΫύουגࣜձࣾ ΤϯδχΞ ৽Ҫ߁ฏ
   

   View Slide

2. ࣗݾ঺հ
   • ৽Ҫ ߁ฏ (Twitter: SpicyCoffee66)
   • ΫοΫύουגࣜձࣾ
   • αʔόʔαΠυΤϯδχΞ
   • ԾઆཱͯͨΓܭଌͨ͠Γ SQL ୟ͍ͨΓ΋͢Δ
   

   View Slide

3. ʢԾઆݕূʹ͸͖ͭ΋ͷͷʣ
   AB ςετͷ࿩Λ͠·͢
   

   View Slide

4. Α͋͘ΔԾઆݕূ
   idea
   product
   data
   ԾઆΛ͔֬ΊΔͨΊͷ
   ϓϩμΫτΛ࡞Δ
   ϓϩμΫτͷ
   ར༻ঢ়گΛσʔλʹ
   σʔλΛ΋ͱʹ
   ৽ͨͳԾઆΛཱͯΔ
   Build
   Measure
   Learn
   

   View Slide

5. Ծઆݕূͱ AB ςετ
   • ཱͯͨԾઆΛݕূ͢ΔͨΊͷखஈͷҰͭ
   • Ծઆͷ࣮૷ΛϢʔβʔ͞Μʹ౰ͯͯ݁ՌΛݟΔ
   idea
   product
   data ͜͜ͷख๏
   Build
   Measure
   Learn
   

   View Slide

6. ΈΜͳେ޷͖ AB ςετ
   

   View Slide

7. ͷ
   མͱ݀͠
   

   View Slide

8. Case 1
   

   View Slide

9. Case1: AB Λ௚ྻʹͭͳ͙
   "#ςετΛ΍Γ͍͕ͨ
   ύΠ͕গͳͯ͘ݕূظ͕ؒ௕͘ͳΓͦ͏
   શମʹެ։ͯ͠
   ϦϦʔεલޙͷ਺ࣈΛൺ΂·͠ΐ͏
   

   View Slide

10. Case1: AB Λ௚ྻʹͭͳ͙
    
    
    
    
    
    ϦϦʔε
    ਺ࣈ΋৳ͼ͍ͯΔ͠Ծઆ͕ਖ਼͔ͬͨ͠ʂ
    

    View Slide

11. Case1: AB Λ௚ྻʹͭͳ͙
    
    
    
    
    
    ϦϦʔε
    ਺ࣈ΋৳ͼ͍ͯΔ͠Ծઆ͕ਖ਼͔ͬͨ͠ʂ
    
    

    View Slide

12. Case1: AB Λ௚ྻʹͭͳ͙ - ͳͥμϝ͔
    • ϢʔβʔͷαʔϏεར༻ʹ͸ पظ΍࣌ظཁҼ ͕͋Δ
    • ౔೔ʹΞΫηε͕૿͑Δ
    • ݄຤ʹୀձऀ͕૿͑Δ
    • όϨϯλΠϯͷΞΫηε͕ҟৗ
    • ਺ࣈͷมԽ͕͜ΕΒͷཁҼʹΑΔ΋ͷͷՄೳੑ͕͋Δ
    

    View Slide

13. Case1: AB Λ௚ྻʹͭͳ͙ - Ͳ͏͢Δ΂͖͔
    • ֎తཁҼΛ׬ᘳʹ೺Ѳ͢Δͷ͸ෆՄೳ
    • جຊతʹ͸࣌ؒΛ͔͚ͯύΠΛ֬อͨ͠ํ͕Α͍
    • ͕࣌ؒ੯͍͠ঢ়گͳΒ AB ςετΛ͢Δඞཁ͕͋Δ͔Λߟ͑Δ
    • ଞʹ΋Ծઆݕূͷํ๏͸͋Δ
    

    View Slide

14. Case 2
    

    View Slide

15. Case2: ཁૉͷ෼ղ͕ෆे෼
    τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ
    දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏
    
    
    
    
    
    ൺֱͯ͠਺ࣈ͕͍͍͠
    ݕࡧཤྺ͔Βͷ͓͢͢Ί͸
    Ձ஋͕͋Δʂ
    

    View Slide

16. Case2: ཁૉͷ෼ղ͕ෆे෼
    τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ
    දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏
    
    
    
    
    
    ൺֱͯ͠਺ࣈ͕͍͍͠
    ݕࡧཤྺ͔Βͷ͓͢͢Ί͸
    Ձ஋͕͋Δʂ
    
    

    View Slide

17. Case2: ཁૉͷ෼ղ͕ෆे෼ - ͳͥμϝ͔
    • Ϣʔβʔ͕ड͚औΔՁ஋͸େࡶ೺ʹ ػೳ ͱ ݟͤํ ʹ෼͔ΕΔ
    τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ
    දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏
    Ձ஋ → ػೳ x ݟͤํ
    • ਺ࣈΛେ͖͘ಈ͔ͨ͠ͷ͸ͲͪΒͷཁૉʁ
    

    View Slide

18. Case2: ཁૉͷ෼ղ͕ෆे෼ - Ͳ͏͢Δ΂͖͔
    • ҰํͷཁૉΛݻఆ ͠ɺ΋͏ҰํͷཁૉΛෳ਺༻ҙͯ͠ݕূ͢Δ
    • ʮݕࡧཤྺ͔Βͷ͓͢͢ΊʯΛෳ਺ͷݟͤํͰݟͤΔ AB
    • τοϓϖʔδʹผͷػೳΛ࣋ͭ࿮Λ༻ҙͯ͠ AB
    

    View Slide

19. Case2: ཁૉͷ෼ղ͕ෆे෼ - ݱ࣮తʹ͸
    • ยํͷཁૉΛ ࣄલ஌ࣝ΍ۃ୺ͳ࣮૷ Ͱݻఆ͢Δ
    • Ϣʔβʔௐ͔ࠪΒधཁ͕໌֬ → ػೳ͸ݻఆͰݟͤํΛݕূ
    • ଟগϊΠδʔͳݟͤํͰ࣮૷͢Δ → ݟͤํ͸ݻఆͰػೳΛݕূ
    • ػೳ x ݟͤํ͕ηοτʹͳ͍ͬͯΔΑ͏ͳࢪࡦ͸·ͱΊͯߟ͑Δ
    • UI ͷվળࢪࡦͳͲ
    

    View Slide

20. Case 3
    

    View Slide

21. Case3: ͦ΋ͦ΋ෆ޲͖
    Ϣʔβʔͷश׳ԽΛ֬ೝ͢ΔͨΊʹ"#Λ͍ͯ͠Δ͕
    ݕূظ͕ؒ௕͘ͳΔͷͰޮ཰͕ѱ͍ʜʜ
    αʔϏεΛ্ཱͪ͛ͨ͹͔ΓͰύΠ͕औΕͳ͍ͷͰ
    ୹ظؒͰ"#ςετ͕ճͤͳ͍ʜʜ
    

    View Slide

22. Case3: ͦ΋ͦ΋ෆ޲͖
    Ϣʔβʔͷश׳ԽΛ֬ೝ͢ΔͨΊʹ"#Λ͍ͯ͠Δ͕
    ݕূظ͕ؒ௕͘ͳΔͷͰޮ཰͕ѱ͍ʜʜ
    αʔϏεΛ্ཱͪ͛ͨ͹͔ΓͰύΠ͕औΕͳ͍ͷͰ
    ୹ظؒͰ"#ςετ͕ճͤͳ͍ʜʜ
    
    

    View Slide

23. Case3: ͦ΋ͦ΋ෆ޲͖ - ͳͥμϝ͔
    • AB ςετʹ͸޲͖ෆ޲͖͕͋Δ
    ޲͍ͯΔ ޲͍ͯͳ͍
    ύΠ͕े෼ʹऔΕΔ
    ֬ೝ͍ͨ͠ૢ࡞͕γϯϓϧ
    ୹ظؒͰܭଌͰ͖Δࢦඪ
    ύΠͷ֬อ͕ࠔ೉
    ֬ೝ͍ͨ͠ૢ࡞͕ෳࡶ
    ௕ظؒͷܭଌΛલఏͱ͢Δࢦඪ
    

    View Slide

24. Case3: ͦ΋ͦ΋ෆ޲͖ - Ͳ͏͢Δ΂͖͔
    • ϓϩδΣΫτʹΑͬͯղܾ๏͸ҧ͏͕……
    • τοϓμ΢ϯͰʮ΍ΔʯͱܾΊΔ
    • ࠜڌͱͳΔ৘ใͷҰ෦Λ AB ςετͰूΊΔ͜ͱ͸Ͱ͖Δ
    ʢ”ࢪࡦ” Ͱ͸ͳ͘ “Ծઆ” Λݕূ͢Δʣ
    • ूΊͨ৘ใΛ੔ཧ্ͯ͠௕ʹ૬ஊɾผϓϩδΣΫτʹ͢Δ
    

    View Slide

25. Case3: ͦ΋ͦ΋ෆ޲͖ - Ͳ͏͢Δ΂͖͔
    • AB ςετʹͩ͜ΘΒͳ͍
    • ݕূํ๏͸͍Ζ͍Ζ͋ΔʢΠϯλϏϡʔ, Ξϯέʔτ, etc…ʣ
    • ଞͷݕূํ๏ͱ߹Θٕͤͱ͍͏ख΋͋Δ
    ԾઆཱҊ
    ϓϩτ࣮૷
    Ϣʔβʔςετ
    ௕ظ AB ςετ
    2~3 days 1 week 1 month~
    ͜͜ͰؒҾ͘
    

    View Slide

26. ·ͱΊ
    

    View Slide

27. ·ͱΊ
    • AB ςετ͸ۜͷ஄ؙͰ͸ͳ͍
    • ރΕͨख๏͔ͩΒͦ͜ࡶʹ΍Δͱ্ख͍͔͘ͳ͍
    • ࣗ෼͕ࠓԿΛݕূ͍ͯ͠Δͷ͔Λৗʹ໰͍ଓ͚Δ͜ͱ
    • ࣌ʹ͸ AB ςετΛ͠ͳ͍ͱ͍͏બ୒ࢶ΋ॏཁ
    

    View Slide