AB テストの落とし穴 / "Pitfalls" of AB test

by Kohei Arai

Slide 1

Slide 1 text

AB ςετͷམͱ݀͠ ΫοΫύουגࣜձࣾ ΤϯδχΞ ৽Ҫ߁ฏ

Slide 2

Slide 2 text

ࣗݾ঺հ • ৽Ҫ ߁ฏ (Twitter: SpicyCoffee66) • ΫοΫύουגࣜձࣾ • αʔόʔαΠυΤϯδχΞ • ԾઆཱͯͨΓܭଌͨ͠Γ SQL ୟ͍ͨΓ΋͢Δ

Slide 3

Slide 3 text

ʢԾઆݕূʹ͸͖ͭ΋ͷͷʣ AB ςετͷ࿩Λ͠·͢

Slide 4

Slide 4 text

Α͋͘ΔԾઆݕূ idea product data ԾઆΛ͔֬ΊΔͨΊͷ ϓϩμΫτΛ࡞Δ ϓϩμΫτͷ ར༻ঢ়گΛσʔλʹ σʔλΛ΋ͱʹ ৽ͨͳԾઆΛཱͯΔ Build Measure Learn

Slide 5

Slide 5 text

Ծઆݕূͱ AB ςετ • ཱͯͨԾઆΛݕূ͢ΔͨΊͷखஈͷҰͭ • Ծઆͷ࣮૷ΛϢʔβʔ͞Μʹ౰ͯͯ݁ՌΛݟΔ idea product data ͜͜ͷख๏ Build Measure Learn

Slide 6

Slide 6 text

ΈΜͳେ޷͖ AB ςετ

Slide 7

Slide 7 text

ͷ མͱ݀͠

Slide 8

Slide 8 text

Case 1

Slide 9

Slide 9 text

Case1: AB Λ௚ྻʹͭͳ͙ "#ςετΛ΍Γ͍͕ͨ ύΠ͕গͳͯ͘ݕূظ͕ؒ௕͘ͳΓͦ͏ શମʹެ։ͯ͠ ϦϦʔεલޙͷ਺ࣈΛൺ΂·͠ΐ͏

Slide 10

Slide 10 text

Case1: AB Λ௚ྻʹͭͳ͙ ϦϦʔε ਺ࣈ΋৳ͼ͍ͯΔ͠Ծઆ͕ਖ਼͔ͬͨ͠ʂ

Slide 11

Slide 11 text

Case1: AB Λ௚ྻʹͭͳ͙ ϦϦʔε ਺ࣈ΋৳ͼ͍ͯΔ͠Ծઆ͕ਖ਼͔ͬͨ͠ʂ

Slide 12

Slide 12 text

Case1: AB Λ௚ྻʹͭͳ͙ - ͳͥμϝ͔ • ϢʔβʔͷαʔϏεར༻ʹ͸ पظ΍࣌ظཁҼ ͕͋Δ • ౔೔ʹΞΫηε͕૿͑Δ • ݄຤ʹୀձऀ͕૿͑Δ • όϨϯλΠϯͷΞΫηε͕ҟৗ • ਺ࣈͷมԽ͕͜ΕΒͷཁҼʹΑΔ΋ͷͷՄೳੑ͕͋Δ

Slide 13

Slide 13 text

Case1: AB Λ௚ྻʹͭͳ͙ - Ͳ͏͢Δ΂͖͔ • ֎తཁҼΛ׬ᘳʹ೺Ѳ͢Δͷ͸ෆՄೳ • جຊతʹ͸࣌ؒΛ͔͚ͯύΠΛ֬อͨ͠ํ͕Α͍ • ͕࣌ؒ੯͍͠ঢ়گͳΒ AB ςετΛ͢Δඞཁ͕͋Δ͔Λߟ͑Δ • ଞʹ΋Ծઆݕূͷํ๏͸͋Δ

Slide 14

Slide 14 text

Case 2

Slide 15

Slide 15 text

Case2: ཁૉͷ෼ղ͕ෆे෼ τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏ ൺֱͯ͠਺ࣈ͕͍͍͠ ݕࡧཤྺ͔Βͷ͓͢͢Ί͸ Ձ஋͕͋Δʂ

Slide 16

Slide 16 text

Case2: ཁૉͷ෼ղ͕ෆे෼ τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏ ൺֱͯ͠਺ࣈ͕͍͍͠ ݕࡧཤྺ͔Βͷ͓͢͢Ί͸ Ձ஋͕͋Δʂ

Slide 17

Slide 17 text

Case2: ཁૉͷ෼ղ͕ෆे෼ - ͳͥμϝ͔ • Ϣʔβʔ͕ड͚औΔՁ஋͸େࡶ೺ʹ ػೳ ͱ ݟͤํ ʹ෼͔ΕΔ τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏ Ձ஋ → ػೳ x ݟͤํ • ਺ࣈΛେ͖͘ಈ͔ͨ͠ͷ͸ͲͪΒͷཁૉʁ

Slide 18

Slide 18 text

Case2: ཁૉͷ෼ղ͕ෆे෼ - Ͳ͏͢Δ΂͖͔ • ҰํͷཁૉΛݻఆ ͠ɺ΋͏ҰํͷཁૉΛෳ਺༻ҙͯ͠ݕূ͢Δ • ʮݕࡧཤྺ͔Βͷ͓͢͢ΊʯΛෳ਺ͷݟͤํͰݟͤΔ AB • τοϓϖʔδʹผͷػೳΛ࣋ͭ࿮Λ༻ҙͯ͠ AB

Slide 19

Slide 19 text

Case2: ཁૉͷ෼ղ͕ෆे෼ - ݱ࣮తʹ͸ • ยํͷཁૉΛ ࣄલ஌ࣝ΍ۃ୺ͳ࣮૷ Ͱݻఆ͢Δ • Ϣʔβʔௐ͔ࠪΒधཁ͕໌֬ → ػೳ͸ݻఆͰݟͤํΛݕূ • ଟগϊΠδʔͳݟͤํͰ࣮૷͢Δ → ݟͤํ͸ݻఆͰػೳΛݕূ • ػೳ x ݟͤํ͕ηοτʹͳ͍ͬͯΔΑ͏ͳࢪࡦ͸·ͱΊͯߟ͑Δ • UI ͷվળࢪࡦͳͲ

Slide 20

Slide 20 text

Case 3

Slide 21

Slide 21 text

Case3: ͦ΋ͦ΋ෆ޲͖ Ϣʔβʔͷश׳ԽΛ֬ೝ͢ΔͨΊʹ"#Λ͍ͯ͠Δ͕ ݕূظ͕ؒ௕͘ͳΔͷͰޮ཰͕ѱ͍ʜʜ αʔϏεΛ্ཱͪ͛ͨ͹͔ΓͰύΠ͕औΕͳ͍ͷͰ ୹ظؒͰ"#ςετ͕ճͤͳ͍ʜʜ

Slide 22

Slide 22 text

Case3: ͦ΋ͦ΋ෆ޲͖ Ϣʔβʔͷश׳ԽΛ֬ೝ͢ΔͨΊʹ"#Λ͍ͯ͠Δ͕ ݕূظ͕ؒ௕͘ͳΔͷͰޮ཰͕ѱ͍ʜʜ αʔϏεΛ্ཱͪ͛ͨ͹͔ΓͰύΠ͕औΕͳ͍ͷͰ ୹ظؒͰ"#ςετ͕ճͤͳ͍ʜʜ

Slide 23

Slide 23 text

Case3: ͦ΋ͦ΋ෆ޲͖ - ͳͥμϝ͔ • AB ςετʹ͸޲͖ෆ޲͖͕͋Δ ޲͍ͯΔ ޲͍ͯͳ͍ ύΠ͕े෼ʹऔΕΔ ֬ೝ͍ͨ͠ૢ࡞͕γϯϓϧ ୹ظؒͰܭଌͰ͖Δࢦඪ ύΠͷ֬อ͕ࠔ೉ ֬ೝ͍ͨ͠ૢ࡞͕ෳࡶ ௕ظؒͷܭଌΛલఏͱ͢Δࢦඪ

Slide 24

Slide 24 text

Case3: ͦ΋ͦ΋ෆ޲͖ - Ͳ͏͢Δ΂͖͔ • ϓϩδΣΫτʹΑͬͯղܾ๏͸ҧ͏͕…… • τοϓμ΢ϯͰʮ΍ΔʯͱܾΊΔ • ࠜڌͱͳΔ৘ใͷҰ෦Λ AB ςετͰूΊΔ͜ͱ͸Ͱ͖Δ ʢ”ࢪࡦ” Ͱ͸ͳ͘ “Ծઆ” Λݕূ͢Δʣ • ूΊͨ৘ใΛ੔ཧ্ͯ͠௕ʹ૬ஊɾผϓϩδΣΫτʹ͢Δ

Slide 25

Slide 25 text

Case3: ͦ΋ͦ΋ෆ޲͖ - Ͳ͏͢Δ΂͖͔ • AB ςετʹͩ͜ΘΒͳ͍ • ݕূํ๏͸͍Ζ͍Ζ͋ΔʢΠϯλϏϡʔ, Ξϯέʔτ, etc…ʣ • ଞͷݕূํ๏ͱ߹Θٕͤͱ͍͏ख΋͋Δ ԾઆཱҊ ϓϩτ࣮૷ Ϣʔβʔςετ ௕ظ AB ςετ 2~3 days 1 week 1 month~ ͜͜ͰؒҾ͘

Slide 26

Slide 26 text

·ͱΊ

Slide 27

Slide 27 text

·ͱΊ • AB ςετ͸ۜͷ஄ؙͰ͸ͳ͍ • ރΕͨख๏͔ͩΒͦ͜ࡶʹ΍Δͱ্ख͍͔͘ͳ͍ • ࣗ෼͕ࠓԿΛݕূ͍ͯ͠Δͷ͔Λৗʹ໰͍ଓ͚Δ͜ͱ • ࣌ʹ͸ AB ςετΛ͠ͳ͍ͱ͍͏બ୒ࢶ΋ॏཁ