ABテスト - Speaker Deck

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 1 今日の進め方  講師は、大杉直也(@oosugi_naoya)です  座学形式です  お互いしんどいと思うので、こまめに休憩取ります  Slackに質問は随時なげてほしいです。休憩後にまとめて回答します  普通に新人同士で雑談しながら聞いてください  そっちのほうが記憶に残ると思うので（エピソード記憶）  全体の底上げが目的なのでゆっくり進行します  参考書を理解済みの方はハンズオンしながら聞いてても構いません

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 16 A/B テストが因果関係を立証できる理由「Aさんに介入した場合」「Aさんに介入しない場合」の2つの結果を直接比較できれば良い問題点は3つ「同じAさんは存在しない」「Aさんの事例が一般化できるのか」「介入が100%結果につながらない」統計学のテクニック+大量のユーザーで問題は解決可能

Slide 18

Slide 18 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 17 ログデータ分析とA/Bテストの違い実験手法手順例クオリティコストログデータ分析 CS行動ログから、特定条件へのCV とCSセグメントの共起を見るただの相関かもしれないログさえあればすぐできる A/B テスト特定条件の表出を増やすA/Bテストをし、CSセグメント間のCVR変化を見る因果の可能性大 A/Bテストには準備が必要で、テストには一定以上の期間が必要特定条件にCVしやすいCSセグメントを知りたい場合 A/Bテストはアイデアの価値評価だけでなく因果関係についての知識獲得にも有用

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 21 A/B テストの流れの具体的に追体験調査したい影響は、収益への悪影響 →ユーザーあたりの収益を比較するサイトを訪問したすべてのユーザー購入プロセスを完了したユーザーのみ購入プロセスを開始したユーザーのみ △ 変更の影響を受けないユーザーが混ざる →介入効果の推定のノイズになる ☓ 購入額の影響しか見えない →推定したい悪影響は購入の中断率 ◯

Slide 23

Slide 23 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 22 A/B テストに必要な統計学ここから統計学の話なので用語の整理計算はツールでできるが、基本的な概念を知らずにツールを適切に使えない用語解説サンプルサイズユニークユーザー数などの分析単位の数。慣習的に変数Nが使われる介入効果文字通りの介入の効果。介入群とコントロール群の効果の差で推定仮説検定統計学のフレームワークの一種。帰無仮説を棄却することで主張する帰無仮説否定したい仮説。「介入効果がゼロ」を帰無仮説にすることが多い棄却帰無仮説を考えにくいので正しくないとすること偽陽性帰無仮説が正しいのに棄却してしまうエラーのこと。別名、第Ⅰ種の過誤偽陰性帰無仮説が間違ってるのに棄却できないエラーのこと。別名、第Ⅱ種の過誤 p値帰無仮説を真と仮定して、実験結果と同等以上に極端な結果が得られる確率有意水準 p値から棄却の判断をするさいの閾値。よく5%が使われる。ゆるいと偽陽性が増える信頼区間介入効果のブレを推定したもの。p値と有意水準との関係は後述検出力帰無仮説を棄却できる力。本当の差やサンプルサイズが小さいと低くなる最小検出可能効果今回の実験で検出できる最小の介入効果。実用上意味ある差以上が望ましい

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 27 A/B テストのよくある落とし穴妥当性の種類名称具体例検知方法の例内的妥当性データの統計的取り扱いミス介入群だけ5PV以上のユーザーで分析実験期間中にアクティブであったユーザーだけ分析 p-hackingしてしまっている A/Aテスト（後ろ向き）サンプルサイズの比較専門家レビュー内的妥当性実験割当比率のエラー Cookieで割当を制御し、Cookieの値を使いまわしたが、Cookieの書き換えの制御は完全にはできない効果の高いユーザーをBot扱い実験群の割当比率を監視内的妥当性残留効果過去の割当を使いまわし A/Aテスト（前向き）外的妥当性慣れや新規性の影響慣れた画面でないから使いにくい物珍しいからクリック実験期間中の最初の方と後半を分けて分析開始時期をずらした複数 A/Bテスト外的妥当性セグメントの違い東京で効果あったアイデアが大坂でうまくいくかどうか夏に効果あったアイデアが冬でうまくいくかどうか都度A/B テスト外的妥当性長期影響市場やユーザーの変化機械学習モデルの劣化長期実験

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 30 A/Aテストについて「前向き」のA/A テスト 1. 実際のA/Bテストと同じシステムで実験群に割り当てる 2. 各実験群は同じ状態（通常のA/Bテストとの違いはここだけ） 3. 実際のA/Bテストと同じ分析を実施する 4. 目標指標に有意差が出ないことを確かめるシステム部分のエラー（割当が独立でないなど）や残留効果が検知できる一方、実施に時間がかかり試行数をかせぎにくいため偽陽性や偽陰性のリスクを定量的に評価しにくい →微妙な統計的取り扱いのミスなどが検知しづらい

Slide 32

Slide 32 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 31 A/Aテストについて「後ろ向き」のA/A テスト 1. 過去のログデータをランダムに分割する 2. 当然、各実験群は同じ状態（過去のA/Bテストも等しく影響） 3. 実際のA/Bテストと同じ分析を実施する 4. 1~3を繰り替えし、p値が一様（偏らない）であることを確認する通常のA/B割当と違う割当方法になりがちなのでシステム部分のエラーは検知できない。残留効果も検知できない一方、実施に時間がかからず試行数をかせげるため偽陽性や偽陰性のリスクを定量的に評価できる →微妙な統計的取り扱いのミスなどが検知しやすい

Slide 33

Slide 33 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 32 A/Aテストについて A/Aテストの代表的な実施方法種別やり方長所短所前向き実際のA/Bテストと同じ方法でユーザーを割当て、ログをためA/Bテストと同じ分析を実施する - システム由来のエラーも検知可能 - 新規の開発が不要 - 残留効果も検知可能 - （割当の実装方式にもよるが）試せる割当パターンが少なく一部の統計的ミスが検知不能 - 結果が出るまで時間がかかる後ろ向きランダムな割当を過去のユーザーのログにかけて、A/Bテストと同じ分析を実施する - 大量の割当を試せるので、統計的ミスを検知可能 - 結果がすぐわかる - スクリプトを作る必要がある - 割当関連のシステムや残留効果は検知不能前向きと後ろ向きのA/Aテストで検知可能なミスが異なる両A/Aテストの併用を推奨前向きのA/Aテストは実施コストが高いので、割当割合ミス検知を強く推奨

Slide 34

Slide 34 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 33 システム由来の失敗事例 A/Bテスト勝ちまくってるのにトレンドが改善しないこと、から検知検知が遅れたため数カ月分のA/Bテストがやり直しに FirebaseのRemote Config でテストパターンを取得 Firebaseからの取得失敗した場合、既存条件に割当その結果、通信状態の悪いユーザーが既存条件に多く割り当て結果、ほとんどのA/Bテストで勝利割当割合ミスを監視していればもっと早期に検知可能だった

Slide 35

Slide 35 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 34 A/B テストのよくある落とし穴【発展】A/B テストの統計的取り扱いミスのよくあるものについて 1. p値を何度も確認して有意差が出たら実験終了 1. 例：毎日p値を確認し、5%有意勝ちがでたら実験打ち切り 2. 何がまずいのか：5%でも20回やったらまぁでる。偽陽性率が上がる 2. 分析単位が実験単位より細かい 1. 例：実験割当はユーザー単位だがセッションCVRで比較 2. 何がまずいのか：分散が過小評価され偽陽性率が上がる 3. 介入群とコントロール群で分析方法が違う 1. 例：過去CVしたユーザーのみ介入される。介入群ではCVしたユーザーを対象に分析したが、コントロール群では全ユーザーを対象にした 2. 何がまずいのか：同じユーザー群での比較になってない 4. ユーザーが分析対象になるか否かに介入が影響を与えている 1. 例：実験終了時にアクティブだったユーザーだけで比較 2. 何がまずいのか：アクティブになるか否かに介入が影響した場合、同じユーザー群での比較にならない 1~3 はA/Aテスト(後ろ向き)で検知可能 4は実験群の割当比率の監視で検知可能

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 39 ページロード時間の改善について介入効果の推定→A/Bテストがゴールドスタンダード A/Bテスト実践ガイドでまるまる１章使ってる内容なので補足（第５章）ページロード時間が早いことは良い←自明 0.1 秒の改善にどのくらい投資すべきか←自明でないこれを答えるために「ページロード時間0.1秒の改善」の介入効果の推定を行う MicrosoftのBingでは、0.1秒改善の効果=0.1秒悪化の効果と仮定し、介入群だけ0.1秒表示を遅くしたA/Bテストを行なったその結果、0.1秒の改善が年間1800万ドル収益増の価値があると推定された詳細はA/Bテスト実践ガイドの第５章を参照

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 41 A/B テストをより活用するためには（1/6）変更範囲の局所化開発効率だけでなく、障害時の切り戻しや保守性も重要もし実験のパターンが固まっていたら、設定(configure)の変更だけでできると便利現実的にはすべて設定変更だけ済ませられるとは限らない一種の理想の形

Slide 43

Slide 43 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 42 A/B テストをより活用するためには（2/6）段階的な実験対象の拡大（ランピング）の戦略知識獲得だけならMaximum Power Ramp(MPR)≒50%割当で良い安全のために介入群の割当を段階的に増やすことはよくある例：システム影響を事前に想定しきれないとき

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 45 A/B テストをより活用するためには（4/6）メトリクスを整理し、統計処理の確からしさを向上する例えば、ユーザーあたり平均単価3,000円の ECサイトで「売上」を目標としたとき、あるユーザーが100万円の商品を購入したら、 A/Bテストの結果はそのユーザーの割り当てに大きく依存する →介入効果よりも偶然の影響のほうが大きい（偽陽性リスク） →分散が大きくなり検出力が下がる（偽陰性リスク）メトリクスを工夫することでこの問題は回避できる

Slide 47

Slide 47 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 46 A/B テストをより活用するためには（4/6）メトリクスを整理し、統計処理の確からしさを向上する 3番目が最も検出力が高く、金額への介入効果が重要でない場合は有用 1番目の手法+外れ値の割合も検定、が無難（だと思ってる）加工方法デメリット値が多すぎるユーザーを外れ値として除外する介入によって値が多すぎるユーザーが増えた場合、それを除外してしまうと意思決定を誤りかねない x以上の値はxに丸め込む介入効果の円換算などの解釈時に工夫が必要金額を見ずに購入率だけ着目する金額への介入効果がわからなくなる

Slide 48

Slide 48 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 47 A/B テストをより活用するためには（5/6）メトリクスを整理し、誤った意思決定を避ける Bing検索の例 Bing検索では収益とクエリシェア率が目標指標だったあるアルゴリズム変更をA/Bテストしたところ、目標指標は大きく改善したしかし、このアルゴリズムはBingにとって望ましくないものだった問題: この矛盾はなぜ起きたのかを明らかにしてください私は「はい」「いいえ」「わからない」だけで答えるので質問をどうぞ（突然のウミガメのスープによる時間調整）

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved 49 その他、参考情報  検出力の確認と実験割り当て割合ミスを検知するツールを作りました  【落とし穴検知ツール】A/Bテスト割当割合のミス検知  【適正サンプルサイズ推定ツール】A/Bテスト実施前にサンプルサイズが十分かを確認する  ※社内のVPNからしかアクセスできません  Slackで相談窓口作りました  #help_abテスト相談窓口  落とし穴情報まとめ作りました  A/B テストのテスト一覧 ※2023年度新人研修実施時の社内向け情報です

Slide 51

Slide 51 text