要約統計量を計算して検定とか
c. 小さな成功から次のステージにステップアップす る
d. ~10 / years
2. Walk
a. goal: 指標の設計や組織の実験の活性化
b. 実験の信用性のアップ
i. A/A test
ii. Sample Ratio Mismatch (SRM) test
c. ~50 / year
3. Run
a. goal: 実験をスケールさせること
b. 複数の指標のトレードオフを考慮したOECの 明文化
c. たくさんの施策の評価に実験を用いている
d. ~250 / year
4. Fly
a. すべての変化を実験で評価
b. 簡単なテストならDSなしでできる
c. 自動化
d. 実験から組織の知見を積み上げていく
e. thousands / year
3 組織が様々な意思決定を実験からデータドリブンにやるようになるまでの4フェーズ