実験デザイン入門

Slide 1

Slide 1 text

実験デザイン⼊⾨ Asei Sugiyama

Slide 2

Slide 2 text

⾃⼰紹介杉⼭阿聖 Software Engineer @ Repro AI Labs TensorFlow コントリビューター TFX : Issue ⽴てたり PR ⽴てたり docs-l10n : 翻訳 & レビュー機械学習図鑑共著

Slide 3

Slide 3 text

⽬的「統計わからん」という悩みに起因する不安を緩和する

Slide 4

Slide 4 text

tl;dr 「統計がわからない」というときには、統計処理がわからないというよりも、データを使ってどのように業務を進めたら良いかわからないというケースのほうが多い実験デザインとは、データ収集・分析の⼿順の設計を⾏い、この実験から何が結論できて何が結論できないのかをデータを収集する前に明らかにする⼿法である実験プロセスをステップに分解し、それぞれのステップで何を⾏うか事前に検討することが重要回答がない分野なので経験も⼤事

Slide 5

Slide 5 text

実験デザイン⼊⾨ . 実験デザインとは <- . 実験デザインを⾏う上での前提条件 . 実験デザインのステップ . 実験デザインの限界

Slide 6

Slide 6 text

1. 実験デザインとは実験をデザインするとは、とったデータの解析に使われる統計法の仕組みを知ることだけではない。それ以上に、科学的なものの考え⽅を学ぶことである。⾃分のデータに⾃信を持つことである。⾃分が測っていると思っているものを本当に測っていると知っていることである。また、特定のタイプの実験から何が結論できて、何が結論できないのか知っていることである。 “ “ from ⽣命科学の実験デザイン [第4版]

Slide 7

Slide 7 text

なぜ実験デザインについて話すのか？「統計わからん」は様々な原因がある . 統計処理がわからん : 各種検定や信頼区間が難しい . データを扱う業務をどう進めればいいかわからない . 収集したデータをうまく解釈できない統計処理は各種ツール (Excel, Spreadsheet) が助けてくれるデータを扱う業務の進め⽅については情報がなかなかない A/B テスト: 1 因⼦完全ランダム化デザイン、因果がわかる A/B テストを⾏うまでに何を⾏うのかは⾃分が決める必要がある

Slide 8

Slide 8 text

実験デザインとは何を⾏うのか失敗を未然に防ぐために、実験の計画を⾏う業務ではレポートのテンプレートを⽤意して埋めていくようにしている

Slide 9

Slide 9 text

レポートの項⽬例項⽬記述内容計画時に記述概要まとめ、要約背景課題の背景、なぜこれを⾏うのかの経緯 ✓ ⽬的検証の⽬的、解決したい課題 ✓ 検証内容計測する指標、成功/失敗のしきい値、仮説 ✓ 結果得られた結果、グラフ、表考察結果の解釈・考察

Slide 10

Slide 10 text

実験デザイン⼊⾨ . 実験デザインとは . 実験デザインを⾏う上での前提条件 <- . 実験デザインのステップ . 実験デザインの限界

Slide 11

Slide 11 text

2. 実験デザインを⾏う上での前提条件 A/B テストのような状況が必要スコープ内スコープ外これからデータを収集するこれまでに収集したデータを分析するデータの集め⽅は⾃分で決めるデータの集め⽅は誰かが決める背景になる理論がある背景になる理論がない (※ ) (※ ) 理論がなくても実施はできるけれど解釈が困難

Slide 12

Slide 12 text

収集済みのデータを分析したい観察研究という分野選択バイアスに注意が必要因果推論ではこの分野を扱う時系列による影響を除去する差の差法は抑えておくと良いかも User:CFCFderivarive work: タバコはマーダー -

Slide 13

Slide 13 text

実験デザイン⼊⾨ . 実験デザインとは . 実験デザインを⾏う上での前提条件 . 実験デザインのステップ <- . 実験デザインの限界

Slide 14

Slide 14 text

3. 実験デザインのステップ . 問の定義 . 仮説⽴案 . 検証内容の検討 . 予備実験 . 実験データの収集結果の集計・可視化 . 考察

Slide 15

Slide 15 text

1. 問の定義実験を通じて明らかにしたい問を⽴てる背景となる理論があると考察が⾏いやすい Lab のテンプレートでは背景と⽬的を記述する今の採⽤活動ってムダが多いんじゃないか “ “ ⾏動履歴から CV を予測できるんじゃないか “ “

Slide 16

Slide 16 text

問の記述時の注意取り組む価値のある問いを⽴てること⽇本中の鉄道で使われている枕⽊を数えるようなことはしない背景でスコープを⽰すこと業務中のどの段階を考えている？サービス利⽤中のどの段階を考えている？⽬的はできる限り単純なものにすることできる限り⼀度に単⼀の⽬的を検証するようにする困難な課題については複数の課題に分割し、⼀つづつ段階的に確認を⾏うこと

Slide 17

Slide 17 text

2. 検証内容の検討計測する指標について定義する成功したとみなすしきい値について定義する仮説を⽴てる作業仮説を⽴てる収集するデータについて決める集計⽅法について決める (利⽤する検定の種類を決める)

Slide 18

Slide 18 text

作業仮説って？実際にデータの分析を⾏うにあたり、とりあえず⽴てておく仮説 (理論)仮説 : アプリを利⽤するユーザーの⽅が CV しやすい作業仮説 : 3⽇以内にアプリを起動した⼈のほうが、アプリを起動していない⼈よりも CVR が⾼い作業仮説は正しかったときと、正しくなかったときのことを考えておく検定を⾏った結果、相関があるとは⾔えなかったら追加で何が分かっているといいだろうか？先週末の⾏動が⼤きく影響していないだろうか？「良い」を「Aの⽅がBより良い」と書き換えておく

Slide 19

Slide 19 text

3. 予備実験⽴案した実験計画に従って、⼀部のデータを収集してみてテストするデータは収集できただろうか？データは予想した形式だっただろうか？想定外の事象が発⽣して仮説を⾒直す必要はなかっただろうか？利⽤しようとしていた集計⽅法は適⽤できただろうか？結果の解釈はできただろうか？データを収集してテストできない場合には、数⼈に試してもらうだけでもやっておくと良い (特にアンケート)

Slide 20

Slide 20 text

良い問や仮説ってどうやったら⽴てられますか？背景になる理論に関して情報収集を⾏っておく最初から良い問や仮説を検証することは難しいので、単純な問や仮説に分割して、何回も繰り返す理想的には、仮説が正しくなくても、正しくないと分かったことが成果となるようにデザインする

Slide 21

Slide 21 text

4. 実験 A/B テストを⾏う場合、典型的には次のうちのどちらかになる仮説検証 : ⽴てた仮説の検証を⾏いたいモニタリング : ⾏っている施策が有効かどうか監視したい仮説検証を⾏いたい場合では、最速で結果を出せると良い例えば、 A:B = 50:50 の割合で実施する仮説検証フェーズと、施策実施フェーズを明確に分けるモニタリングを⾏いたい場合では、逸失利益のことを考える例えば Treatment:Control = 90:10 として実施する

Slide 22

Slide 22 text

5. 考察予想通りの結果が得られた場合でも、そうでなかった場合でも、背景となる理論に⽴ち返る予想通りの結果が得られた場合には、事前に考えた理論から本当にこの結果が説明できるのか確認する予想に反する結果が得られた場合には、事前に考えた理論に加えてどんな事実があるとこの結果を説明できるか考える (有意差が出なかったときも同じ) データの集計とは全く別の頭の使い⽅をするので、別の⽇にやる、別の⼈がやるといった対応をすると捗る

Slide 23

Slide 23 text

実験デザイン⼊⾨ . 実験デザインとは . 実験デザインを⾏う上での前提条件 . 実験デザインのステップ . 実験デザインの限界 <-

Slide 24

Slide 24 text

4. 実験デザインの限界 A/B テストできないケースには適⽤できない全ユーザー向けの施策の効果検証は無理仕組みそのものを知りたいケースには演繹的なアプローチが必要あくまでも得られるのは仕組みが動作していると⽰唆する結果 (ある仕組みが動作していると仮定すると説明できる結果) 現状を説明できるのはこの仮説しか今のところないので、この仮説が正しいということにするというのはありえる実験デザインに正解はない

Slide 25

Slide 25 text

Recap 「統計がわからない」というときには、統計処理がわからないというよりも、データを使ってどのように業務を進めたら良いかわからないというケースのほうが多い実験デザインとは、データ収集・分析の⼿順の設計を⾏い、この実験から何が結論できて何が結論できないのかをデータを収集する前に明らかにする⼿法である実験プロセスをステップに分解し、それぞれのステップで何を⾏うか事前に検討することが重要回答がない分野なので経験も⼤事