DSOps #1

DSOps  #1. 改善に向けたData Science  1

自己紹介  名前：安井翔太（34）職業：Economic Research Scientist 経歴： 2011年立教大学経済学部卒業 2013年
Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社（総合職, 微妙な分析の量産） 2015年アドテク部門へ異動（専門職, MLの応用） 2017年 AILabへ異動（研究職, ML + CI回りの応用） 2

自己紹介  3 名前: 金子雄祐(29) 職業: AI事業本部 Dynalyst データサイエンスチームリーダー経歴:
2018: 東京大学大学院経済学研究科統計学コース卒 (修士) 2018年: CyberAgent 新卒入社 2019年: Dynalyst異動やってるタスク: 予測モデル開発, クリエイティブ評価&最適化改善, チームマネジメント paper: Kenshi Abe, Yusuke Kaneko: “Oﬀ-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games” AAMAS 2021

この研修で話さない事  • 実装の話（MLエンジニア固有・・・？）  ◦ 人によってはやらない  ◦ 学習機会が非常に多い＋すでに別の研修でやった  ▪ プロダクトで学べる  ▪
世の中に良いドキュメントが大量にある   • 各手法の詳細  ◦ 学習機会が非常に多い  ▪ 論文読めばおk  ▪ 教科書読めばおk  4

Q. Data Scientistって  なんで必要なんだっけ？  5

ビジネスモデルとDS  • DSにとってのビジネスモデルは大まかに２パターン  ◦ 分析・予測自体が商品である場合  ◦ 分析・予測の結果を使った意思決定が商品である場合  • この二つを混同すると  ◦
伸ばすべきスキルがよくわからない  ◦ 自分のやることに価値があるかわからない  ◦ 自分の給与が妥当なのかわからない    →いったんこの2パターンをおさらいする  6

①分析・予測自体が商品である場合（分析コンサル）  7 顧客に説明  DSによる分析  顧客が施策実行  DSによる  施策の効果分析  効果の説明  分析した情報の流れ  

売上が発生するポイント  8 効果の説明  分析した情報の流れ   継続時にDSの  売上発生    施策が上手くいくと  顧客の売上発生 
  DSによる分析  DSによる  施策の効果分析  顧客に説明  顧客が施策実行 

Q. このビジネスモデルの問題点は何か？  9 顧客に説明  顧客が施策実行  効果の説明  分析した情報の流れ   継続時にDSの  売上発生 
施策が上手くいくと  顧客の売上発生    DSによる分析  DSによる  施策の効果分析 

分析・予測自体が商品である場合  • レポートの作成やワンショットのML案件が多い  ◦ 社内で横軸コンサル組織を作るとこの座組になることがある    • 良い分析=売れる分析とは限らない  ◦ コミュニケーションが上手ければ売上が発生する 
◦ 顧客の欲しいものが良い分析とは限らない  10

DS/AI バブル説は多分正しい  11 • お客から「予測できそう」と思われることで売上が得られてしまう   • スキルのわりに稼げる  
• クライアント側で評価を持たないと基本的にこの構造は変わらなさそう  

Some Special Cases...  12 モデルの学習  API利用  • これも分析自体が売上に繋がるケース   •
この系統のビジネスは大体Googleが強い   • ex) google vision api   →ここ数年でこれに近いビジネスモデルがCAでも増えた  

②分析・予測の結果を使った意思決定がお金を産む    13 分析  施策の効果分析  効果の説明  分析した情報の流れ   プロダクトで説明  プロダクトに実装 
上手くいくと売上発生（プロダクト）  →効果の観測は難しい   全てがプロダクト内の出来事  

例）ビジネスでの意思決定  • あるユーザーがサイト来訪時にどの広告を表示するか？  • ECサイトでユーザーにどの商品を推薦するか？  • 施策A, Bがある時にどちらを選ぶか？  • 商品の値段を100円あげるべきか否か？ 
  →単位や頻度や決定方法は違えど全て意思決定  14

分析・予測の結果を使った意思決定がお金を産む      15 プロダクトで説明  分析  プロダクトに実装  効果分析  効果の説明  お金の流れ 
上手くいくと売上発生（プロダクト）  →効果の観測は難しい   分析それ自体に  金銭は発生しない  全てがプロダクト内の出来事  

分析・予測の結果を使った意思決定が商品  • とにかく売上や利益の様なKPIの改善が重要  ◦ 良い分析=改善が起きる分析（売上が上がる/利益が上がる/etc..）  ◦ 自動化された意思決定を導入して改善を起こす  ◦ より良い施策をデータから判別して改善を起こす  •
AIスタジオはほぼこのスタイル？in2020  ◦ 改善のためのスキルを磨く必要がある  ◦ という研修です。  16

AIスタジオ in 2021  • 実質後者の話も増えてきた  ◦ アプリ運用センター  ◦ XX DX系 
• あんまりコンセンサスはないけど・・・  ◦ ②の経験と実績を強みとして①の市場に殴り込んでいる感じ  ▪ プロダクト開発で培った経験技術で①を行うパターン（ハイブリッド）     ◦ けど、あまりこれを理解せずに事業を進めている所もあるのは事実  ▪ 受注のために「ドラえもん作ろう」という話はよく聞く   17

まとめ：DSの役割＝なんでDS必要なんだっけ？  • プロダクトのKPIを改善するのが役割  ◦ ビジネスの意思決定を変えて改善する  ▪ 機械学習・強化学習による意思決定の自動化  ▪ 因果推論や統計学を使った
意思決定の改善  ◦ 改善の確認を効果検証として担保する必要がある  ▪ A/B テスト等の実験設計と結果分析   ▪ 実験が不可能な場合の効果分析   ◦ ビジネスのどこでこれらを使うかを考える  →これらの事をプロダクト内外の様々な人たちと協力しながら進めるのがお仕事   18

改善ってどうしたらできる？  19

改善が起きる条件  ＝改善のために担保するべき4つのスキル   • 改善する余地が存在する  ◦ すでに最適なものは改善不可能  • 改善する余地を埋める手段がある  ◦
理想的な行動をした時に改善できるのか？  • 改善のための活動が機能している  ◦ 手段が意図通りに機能しているのか？  • 改善が計測可能  ◦ 改善したことがちゃんとわかるか？  20

改善する余地  • 余地とは・・・？  ◦ 余地 = 最適な状態 - 今の状態  ◦
この2つがよくわかってないと見つけられない  • 今の状態→可視化  ◦ プロダクトのデータをよく見よう  ◦ 分析結果を深く理解しよう  • 最適な状態→事業ドメインに詳しくなる  ◦ これを考えられるくらいプロダクトに詳しくなろう  ▪ 説明できないことは知らないこと→研修後半のディスカッションの意義   ◦ 自分で理想を定義して誰かと議論してみよう  21

改善する余地を埋める手段  • 余地を埋める手段  ◦ 機械学習で何かを予測して、それに基づいて施策を行う。（機械学習）   ◦ 因果推論で選択肢の効果を検証して、意思決定を行う。（因果推論）   ◦
か、それよりもっと単純な何かしらの仕組み。   • 理想的に動くと改善できそうか？を考える必要がある  ◦ 埋めるべき余地に適切な対処ができているのか？   ◦ そもそもムリゲーに挑んでいないか？   ▪ 「ドラえもんを作ればプロダクトの売り上げは１００倍！」→それはそう  ◦ これらの判断には各方法論の基礎と限界を知っている必要がある  22

手段が機能しているか？  • 手段が意図通りに動いているか？  ◦ 頭の中の理想→開発環境→プロダクトと具現化されていく  ◦ 頭の中の理想はちゃんと開発環境上で再現されているか？  ◦ 開発環境上の実装はプロダクト上で再現されているか？  •
どうやったら気が付けるか？  ◦ 理想的には何が起るのかをよく理解している（手法の理解）  ◦ プロダクトのデータをよくみている（可視化）  23

改善が計測可能  • 改善結果の計測  ◦ 作ったものがどんな結果を引き起こすのかは誰もわからない  ◦ ↑の前提では起きた結果を正しく計測することが非常に大事  ▪ 次どうするか？の材料になる  
▪ 改善施策が機能してない可能性の検証   ▪ 計測できない＝フィードバックほぼなし＝ DSとしての経験値ほぼなし・・・   • どう計測するか？  ◦ A/Bテストや因果推論  24

ディスカッション  25 「改善=売上」ではない状況ってあるんだろうか？  • 例えばユーザー体験の向上は直接は売上を増やさない  • これはやる意味が無い事を意味するのか？ 

後半の議論パートについて  • 目的: 自分と他新卒メンバのプロダクトのビジネスモデルを理解し，適切なDSタスクを行うための議論ができるようにする  • 今やっている業務内容についてディスカッション  ◦ ホワイトボードを使って説明  
▪ 1回目 : プロダクトのビジネスモデルの説明. 自分のタスクについて背景とタスクの説明   ▪ 2回目 : 現状やっていること, プロダクトでやるべきこと, 今後やりたいこと   ◦ それを元にみんなで議論  ▪ どの部分でプロダクトにお金が発生しているのか? / 何を改善すればお金が発生するのか?   ▪ タスクにどんな価値があるのか？ / 何か致命的なミスをしてないか？ / 何か他の手法が使えないか？   26

DSOps #1

DSOps #1

Yusuke Kaneko

More Decks by Yusuke Kaneko

Featured

Transcript

DSOps  #1. 改善に向けたData Science  1

自己紹介  名前：安井翔太（34）職業：Economic Research Scientist 経歴： 2011年立教大学経済学部卒業 2013年

自己紹介  3 名前: 金子雄祐(29) 職業: AI事業本部 Dynalyst データサイエンスチームリーダー経歴:

この研修で話さない事  • 実装の話（MLエンジニア固有・・・？）  ◦ 人によってはやらない  ◦ 学習機会が非常に多い＋すでに別の研修でやった  ▪ プロダクトで学べる  ▪

Q. Data Scientistって  なんで必要なんだっけ？  5

ビジネスモデルとDS  • DSにとってのビジネスモデルは大まかに２パターン  ◦ 分析・予測自体が商品である場合  ◦ 分析・予測の結果を使った意思決定が商品である場合  • この二つを混同すると  ◦

①分析・予測自体が商品である場合（分析コンサル）  7 顧客に説明  DSによる分析  顧客が施策実行  DSによる  施策の効果分析  効果の説明  分析した情報の流れ

売上が発生するポイント  8 効果の説明  分析した情報の流れ   継続時にDSの  売上発生    施策が上手くいくと  顧客の売上発生

Q. このビジネスモデルの問題点は何か？  9 顧客に説明  顧客が施策実行  効果の説明  分析した情報の流れ   継続時にDSの  売上発生

DS/AI バブル説は多分正しい  11 • お客から「予測できそう」と思われることで売上が得られてしまう   • スキルのわりに稼げる

Some Special Cases...  12 モデルの学習  API利用  • これも分析自体が売上に繋がるケース   •

②分析・予測の結果を使った意思決定がお金を産む    13 分析  施策の効果分析  効果の説明  分析した情報の流れ   プロダクトで説明  プロダクトに実装

分析・予測の結果を使った意思決定がお金を産む      15 プロダクトで説明  分析  プロダクトに実装  効果分析  効果の説明  お金の流れ

AIスタジオ in 2021  • 実質後者の話も増えてきた  ◦ アプリ運用センター  ◦ XX DX系

まとめ：DSの役割＝なんでDS必要なんだっけ？  • プロダクトのKPIを改善するのが役割  ◦ ビジネスの意思決定を変えて改善する  ▪ 機械学習・強化学習による意思決定の自動化  ▪ 因果推論や統計学を使った

改善ってどうしたらできる？  19

改善が起きる条件  ＝改善のために担保するべき4つのスキル   • 改善する余地が存在する  ◦ すでに最適なものは改善不可能  • 改善する余地を埋める手段がある  ◦

改善する余地  • 余地とは・・・？  ◦ 余地 = 最適な状態 - 今の状態  ◦

改善する余地を埋める手段  • 余地を埋める手段  ◦ 機械学習で何かを予測して、それに基づいて施策を行う。（機械学習）   ◦ 因果推論で選択肢の効果を検証して、意思決定を行う。（因果推論）   ◦

改善が計測可能  • 改善結果の計測  ◦ 作ったものがどんな結果を引き起こすのかは誰もわからない  ◦ ↑の前提では起きた結果を正しく計測することが非常に大事  ▪ 次どうするか？の材料になる

ディスカッション  25 「改善=売上」ではない状況ってあるんだろうか？  • 例えばユーザー体験の向上は直接は売上を増やさない  • これはやる意味が無い事を意味するのか？