Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文読み会 / What is the value of experimentation & measurement ?

u-value
February 17, 2020

論文読み会 / What is the value of experimentation & measurement ?

IEEE ICDM 2019 論文読み会

u-value

February 17, 2020
Tweet

More Decks by u-value

Other Decks in Research

Transcript

  1. 目次 ©Miotsukushi Analytics Inc. 2019, All rights reserved. 2 1.

    自己紹介など 2. 論文紹介(要旨、序論、本論、結論) 3. 所感
  2. 自己紹介 3 ▪現職 : データ分析コンサルティング企業 リーダー ・分析ディレクション/品質管理 ・分析手法のリサーチ ・チーム運営 ・社内教育企画運営

    など ▪その他経歴 ・事業会社ではビジネス分析、企画等を経験 ・MBA(経営情報学修士) ▪今後目指すこと ・事業会社におけるデータサイエンスチーム運営支援 ・分析のその先にある「企画」に関与 (・曖昧な世界に踏み込む) ・個人の分析力も引き続き高めていきたい
  3. 本論文の想定 11 ・シンプルに考え、施策効果と推定効果それぞれのノイズは 正規分布すると想定する。 正規分布 正規分布 真の効果 観測された 効果 但し、今回のプロセス下では、

    規則的なバイアスは施策選択に影響を及ぼさない (例えば、全ての施策効果に+3%のバイアスが生じても 施策選択には影響しない)
  4. 改善効果Dの投資リスク 13 ・一方、Dとして見積もれるのはE(D)であって、真の効果ではない。 リスク(=バラツキ)もあるよね。 ・シャープレシオ(Sharpe ratio)を用いる 改善効果Dの期待値 無リスク下の期待効果 (リスクをとらなくても自然と効果が得られる比較対象) ※ファイナンスにおいては無リスク資産の収益率を用いる

    (預金とか国債とか) 改善効果Dの標準偏差 (リスク) 元々は、異なる投資対象を比較する際に、同じリスクならどちらのリターンが高いか (または、同じリターンならどちらのリスクが低いか) の参考になる指標。 本論文ではE&M Capabilityの投資判断に使う。
  5. ①A/Bテスト 15 ・結果 N 6,700 0% 0% (0.7%)2 ・条件 higher

    noise lower noise X軸:E&M Capabilitiesによる価値(%) Y軸:選択数M(logスケール) ・ノイズの減少量に応じてE(D)は増える ・Mが増えればE(D)は減少する→より価値の高い代替施策がなくなっていくから (極端な話、N=MだったらE&M Capabilityは無価値) ・Mが増えればVar(D)は減少する →受容可能なシャープレシオがE&M Capabilityの投資を正当化する 横線:5%-95%の分布
  6. ②マーケティングテスト 16 ・結果 N 184 19.9% 0% (10%)2 ・条件 higher

    noise lower noise X軸:E&M Capabilitiesによる価値(%) Y軸:選択数M(logスケール) ・①のテストと比較して、施策間の変動( )が大きく、Mが小さい →統計的に重要な価値が得られているというには十分ではない →投資には大きなノイズ削減又はE&M Capabilityの 効果的なリスク管理が必要となる →さもなければ、E&M Capabilityではなく、 限られた既存の施策に投資したほうが良いかもしれない 横線:5%-95%の分布
  7. 結論 17 ・E&M Capability( 『ものさしの精度向上』 ) の価値に関する問題について取り組んだ ・ E&M Capabilityの中でも、

    施策の優先順位付け能力向上による価値を計測するメソッドを確立した ・E&M Capabilityの価値を計測するためのシンプルな数式、 シャープレシオによる投資意思決定、及び 投資が不適である条件のガイドラインを提供した
  8. タイトルごとの2019年売上予測 改善効果/年 18.3億円 2.6億円 0.5億円 「スマホゲームの施策企画」で試した 24 ・N=250, M=50,施策の寿命は1年間 ・真の施策効果は期待値(μ)=5%、標準偏差(σ)=5%

    ・企画時:期待値(μ)=0%、標準偏差(σ)=10% ・施策企画の標準偏差が10%→5%になる場合 ・E&M Capabilityの改善効果は1.8% ※国内モバイルゲーム課金売上ランキング【最速どんぶり勘定】 集計期間: 2018-01-01~2018-12-31