Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Exploratory セミナー #51 - A/Bテストのデータ分析

Exploratory セミナー #51 - A/Bテストのデータ分析

2つのもの(AとB)を作成し、それぞれのパフォーマンスを測定、比較することで、どちらがよりいいのかを判断するといった具合に、SaaSやウェブサービスを提供している方であれば、A/Bテストを行われている方も多いのではないでしょうか。

実はこのテストを行うのは比較的簡単なのですが、その結果を正しく評価するためには少し統計の知識が必要になるなど、思ったほど単純ではありません。

そこで、今回のセミナーではA/Bテストの結果を評価するための分析手法に関して紹介したいと思います。

* A/Bテストの基本
* コンバージョン率の比較
* コンバージョン率と信頼区間
* 仮説検定 - カイ二乗検定
* ベイジアンA/Bテスト

Twitter ↓
https://twitter.com/ExploratoryJP

動画の中で使っているUIツール: Exploratory(https://exploratory.io/)
Exploratory オンラインセミナー: https://exploratory.io/online-seminar-jp

Kan Nishida

April 01, 2021
Tweet

More Decks by Kan Nishida

Other Decks in Technology

Transcript

  1. 2 εϐʔΧʔ ੢ా צҰ࿠ CEO EXPLORATORY ུྺ 2016೥य़ɺσʔλαΠΤϯεͷຽओԽͷͨΊɺExploratory, Inc Λཱ

    ্ͪ͛Δɻ Exploratory, Inc.ͰCEOΛ຿ΊΔ͔ͨΘΒɺσʔλαΠΤϯεɾϒʔ τΩϟϯϓɾτϨʔχϯάͳͲΛ௨ͯ͠σʔλαΠΤϯεͷٕज़ͱख ๏ͷීٴͱڭҭʹऔΓ૊Ήɻ ถΦϥΫϧຊࣾͰɺ16೥ʹΘͨΓσʔλαΠΤϯεͷ։ൃνʔϜΛ཰ ͍ɺػցֶशɺϏοάɾσʔλɺϏδωεɾΠϯςϦδΣϯεɺσʔ λϕʔεʹؔ͢Δ਺ଟ͘ͷ੡඼ΛੈʹૹΓग़ͨ͠ɻ @KanAugust
  2. 11 ΞΠ ε Ϋ Ϧ ʔ Ϝ ͷ ച ্

    α ϝ ͷ ऻ ܸ ݅ ਺ 5݄ 6݄ 7݄
  3. 19

  4. 111 0% 20% 40% 60% 80% 100% Yes No Yes

    No ϖʔδA ϖʔδB ׂ߹
  5. 0% 20% 40% 60% 80% 100% 141 0% 20% 40%

    60% 80% 100% खݩͷσʔλʹݟΒΕΔ஋ ͕ࠩͳ͍࣌ʹ ظ଴͞ΕΔ஋ ϖʔδB ϖʔδA ϖʔδB ϖʔδA
  6. 0% 20% 40% 60% 80% 100% 142 0% 20% 40%

    60% 80% 100% ϖʔδB ϖʔδA ϖʔδB ϖʔδA ࣮ࡍͷσʔλ͕ظ଴͞ΕΔ஋ͱͲΕ͚ͩ཭Ε͍ͯΔͷ͔ʁ ࣮ଌ஋ ظ଴஋ 30 170 15 135 26 19 174 131
  7. 0% 20% 40% 60% 80% 100% 143 0% 20% 40%

    60% 80% 100% ϖʔδB ϖʔδA ϖʔδB ϖʔδA ࣮ଌ஋ ظ଴஋ 30 170 15 135 26 19 174 131 ࣮ଌ஋ͱظ଴஋ͷͦΕͧΕରԠ͢Δ஋Ͳ͏͠ͷࠩͷࢦඪͱͳΔ਺஋ɻ ΧΠೋ৐஋
  8. 161

  9. 171 ͕ࠩ͋Δ ͕ࠩͳ͍ ͕ࠩ͋Δ ਖ਼͍݁͠ՌΛಘ͍ͯΔ λΠϓ2Τϥʔ ͕ࠩͳ͍ λΠϓ1Τϥʔ ਖ਼͍݁͠ՌΛಘ͍ͯΔ ݕఆͷ݁Ռ

    ຊ౰͸ŋŋŋ λΠϓ1Τϥʔ ͕ࠩ͋Δͱݴͬͯ͠·ͬͨ࣌ʹ࣮͸͕ࠩͳ͔ͬͨɺͭ·Γؒҧ͍ͬͯΔ৔߹ɻ
  10. 174 ͕ࠩ͋Δ ͕ࠩͳ͍ ͕ࠩ͋Δ ਖ਼͍݁͠ՌΛಘ͍ͯΔ λΠϓ2Τϥʔ ͕ࠩͳ͍ λΠϓ1Τϥʔ ਖ਼͍݁͠ՌΛಘ͍ͯΔ ݕఆͷ݁Ռ

    ຊ౰͸ŋŋŋ λΠϓ2Τϥʔ ͕ࠩͳ͍ͱݴͬͨͱ͖ʹɺ࣮͸͕ࠩ͋ͬͨɺͭ·Γؒҧ͍ͬͯΔ৔߹ɻ
  11. • ςετΛ࢝Ίͨॳ೔ͷίϯόʔδϣϯ཰͕ҎԼͷ݁ՌͰ͋ͬͨɻ • A: 0% • B: 100% • ͔͠͠ɺීஈͷίϯόʔδϣϯ཰͕͍͍ͩͨ10%લޙͩͱ͢Δͱɺ

    0%ɺ100%ͱͯ͠ධՁ͢ΔΑΓ΋ɺීஈͷ10%ͱ͍͏਺ࣈʹ͜ͷ݁ ՌΛՃຯͨ͠΄͏͕ΑΓݱ࣮త 211 ࣄલ஌ࣝΛ൓өͤ͞Δ
  12. 225

  13. ੢ా צҰ࿠ ࡚ۨ װ୓༷ Exploratory, inc גࣜձࣾΠϯςʔδ ઒ޱ େี༷ גࣜձࣾώϡʔϚϯόϦϡʔ

    ໦ͷ߳ԟ਍ΫϦχοΫ দຊ ਅೋ༷ ൃදऀ ઒Ӝ ప༷ גࣜձࣾΞαΠΞϯ
  14. 228 ࣌ؒ λΠτϧ ൃදऀ 12:00 ΦʔϓχϯάɾExploratory v6.5ͷ͝঺հ Exploratory, inc ੢ా

    צҰ࿠ 12:20 Τϥʔόʔʢ৴པ۠ؒʣͱϊʔτΛ׆༻ͨ͠ۀ຿վળ גࣜձࣾΠϯςʔδ ࡚ۨ װ୓༷ 12:35 ࣌ܥྻ༧ଌʢProphetʣΛ࢖ͬͨίʔϧηϯλʔͷडి਺ͷ༧ଌ גࣜձࣾΞαΠΞϯ ઒Ӝ ప༷ 12:50 ExploratoryͱSalesforceΛར༻ͨ͠ϏδωεσʔλͷϞχλϦϯά ໦ͷ߳ԟ਍ΫϦχοΫ দຊ ਅೋ༷ 13:05 ίϩφՒʹ͓͚Δࣾһͷҙࣝͱಇ͖ํͷΞϯέʔτ෼ੳ גࣜձࣾώϡʔϚϯόϦϡʔ ઒ޱ େี༷ 13:20 ࣭ٙԠ౴ ΞδΣϯμ