Slide 1
Slide 1 text
DSOps
#1. 改善に向けたData Science
1
Slide 2
Slide 2 text
自己紹介
名前：安井翔太（34）
職業：Economic Research Scientist
経歴：
2011年 立教大学 経済学部卒業
2013年 Norwegian School of Economics MSc in Economics
2013年 Cyberagent 入社（総合職, 微妙な分析の量産）
2015年 アドテク部門へ異動（専門職, MLの応用）
2017年 AILabへ異動（研究職, ML + CI回りの応用）
2
Slide 3
Slide 3 text
自己紹介
3
名前: 金子 雄祐(29)
職業: AI事業本部 Dynalyst データサイエンスチームリーダー
経歴:
2018: 東京大学大学院経済学研究科統計学コース卒 (修士)
2018年: CyberAgent 新卒入社
2019年: Dynalyst異動
やってるタスク:
予測モデル開発, クリエイティブ評価&最適化改善, チームマネジメント
paper:
Kenshi Abe, Yusuke Kaneko: “Off-Policy Exploitability-Evaluation in
Two-Player Zero-Sum Markov Games” AAMAS 2021
Slide 4
Slide 4 text
この研修で話さない事
● 実装の話（MLエンジニア固有・・・？）
○ 人によってはやらない
○ 学習機会が非常に多い＋すでに別の研修でやった
■ プロダクトで学べる
■ 世の中に良いドキュメントが大量にある
● 各手法の詳細
○ 学習機会が非常に多い
■ 論文読めばおk
■ 教科書読めばおk
4
Slide 5
Slide 5 text
Q. Data Scientistって
なんで必要なんだっけ？
5
Slide 6
Slide 6 text
ビジネスモデルとDS
● DSにとってのビジネスモデルは大まかに２パターン
○ 分析・予測自体が商品である場合
○ 分析・予測の結果を使った意思決定が商品である場合
● この二つを混同すると
○ 伸ばすべきスキルがよくわからない
○ 自分のやることに価値があるかわからない
○ 自分の給与が妥当なのかわからない
→いったんこの2パターンをおさらいする
6
Slide 7
Slide 7 text
①分析・予測自体が商品である場合（分析コンサル）
7
顧客に説明
DSによる分析
顧客が施策実行
DSによる
施策の効果分析
効果の説明
分析した情報の流れ
Slide 8
Slide 8 text
売上が発生するポイント
8
効果の説明
分析した情報の流れ
継続時にDSの
売上発生
施策が上手くいくと
顧客の売上発生
DSによる分析
DSによる
施策の効果分析
顧客に説明
顧客が施策実行
Slide 9
Slide 9 text
Q. このビジネスモデルの問題点は何か？
9
顧客に説明
顧客が施策実行
効果の説明
分析した情報の流れ
継続時にDSの
売上発生
施策が上手くいくと
顧客の売上発生
DSによる分析
DSによる
施策の効果分析
Slide 10
Slide 10 text
分析・予測自体が商品である場合
● レポートの作成やワンショットのML案件が多い
○ 社内で横軸コンサル組織を作るとこの座組になることがある
● 良い分析=売れる分析とは限らない
○ コミュニケーションが上手ければ売上が発生する
○ 顧客の欲しいものが良い分析とは限らない
10
Slide 11
Slide 11 text
DS/AI バブル説は多分正しい
11
● お客から「予測できそう」と思われること
で売上が得られてしまう
● スキルのわりに稼げる
● クライアント側で評価を持たないと基本
的にこの構造は変わらなさそう
Slide 12
Slide 12 text
Some Special Cases...
12
モデルの学習
API利用
● これも分析自体が売上に繋がるケース
● この系統のビジネスは大体Googleが強い
● ex) google vision api
→ここ数年でこれに近いビジネスモデルがCAでも増えた
Slide 13
Slide 13 text
②分析・予測の結果を使った意思決定がお金を産む
13
分析
施策の効果分析
効果の説明
分析した情報の流れ
プロダクトで説明
プロダクトに実装
上手くいくと売上発生
（プロダクト）
→効果の観測は難しい
全てがプロダクト内の出来事
Slide 14
Slide 14 text
例）ビジネスでの意思決定
● あるユーザーがサイト来訪時にどの広告を表示するか？
● ECサイトでユーザーにどの商品を推薦するか？
● 施策A, Bがある時にどちらを選ぶか？
● 商品の値段を100円あげるべきか否か？
→単位や頻度や決定方法は違えど全て意思決定
14
Slide 15
Slide 15 text
分析・予測の結果を使った意思決定がお金を産む
15
プロダクトで説明
分析
プロダクトに実装
効果分析
効果の説明
お金の流れ
上手くいくと売上発生（プロ
ダクト）
→効果の観測は難しい
分析それ自体に
金銭は発生しない
全てがプロダクト内の出来事
Slide 16
Slide 16 text
分析・予測の結果を使った意思決定が商品
● とにかく売上や利益の様なKPIの改善が重要
○ 良い分析=改善が起きる分析（売上が上がる/利益が上がる/etc..）
○ 自動化された意思決定を導入して改善を起こす
○ より良い施策をデータから判別して改善を起こす
● AIスタジオはほぼこのスタイル？in2020
○ 改善のためのスキルを磨く必要がある
○ という研修です。
16
Slide 17
Slide 17 text
AIスタジオ in 2021
● 実質後者の話も増えてきた
○ アプリ運用センター
○ XX DX系
● あんまりコンセンサスはないけど・・・
○ ②の経験と実績を強みとして①の市場に殴り込んでいる感じ
■ プロダクト開発で培った経験技術で①を行うパターン（ハイブリッド）
○ けど、あまりこれを理解せずに事業を進めている所もあるのは事実
■ 受注のために「ドラえもん作ろう」という話はよく聞く
17
Slide 18
Slide 18 text
まとめ：DSの役割＝なんでDS必要なんだっけ？
● プロダクトのKPIを改善するのが役割
○ ビジネスの意思決定を変えて改善する
■ 機械学習・強化学習による 意思決定の自動化
■ 因果推論や統計学を使った 意思決定の改善
○ 改善の確認を効果検証として担保する必要がある
■ A/B テスト等の実験設計と結果分析
■ 実験が不可能な場合の効果分析
○ ビジネスのどこでこれらを使うかを考える
→これらの事をプロダクト内外の様々な人たちと協力しながら進めるのがお仕事
18
Slide 19
Slide 19 text
改善ってどうしたらできる？
19
Slide 20
Slide 20 text
改善が起きる条件
＝改善のために担保するべき4つのスキル
● 改善する余地が存在する
○ すでに最適なものは改善不可能
● 改善する余地を埋める手段がある
○ 理想的な行動をした時に改善できるのか？
● 改善のための活動が機能している
○ 手段が意図通りに機能しているのか？
● 改善が計測可能
○ 改善したことがちゃんとわかるか？
20
Slide 21
Slide 21 text
改善する余地
● 余地とは・・・？
○ 余地 = 最適な状態 - 今の状態
○ この2つがよくわかってないと見つけられない
● 今の状態→可視化
○ プロダクトのデータをよく見よう
○ 分析結果を深く理解しよう
● 最適な状態→事業ドメインに詳しくなる
○ これを考えられるくらいプロダクトに詳しくなろう
■ 説明できないことは知らないこと→研修後半のディスカッションの意義
○ 自分で理想を定義して誰かと議論してみよう
21
Slide 22
Slide 22 text
改善する余地を埋める手段
● 余地を埋める手段
○ 機械学習で何かを予測して、それに基づいて施策を行う。（機械学習）
○ 因果推論で選択肢の効果を検証して、意思決定を行う。（因果推論）
○ か、それよりもっと単純な何かしらの仕組み。
● 理想的に動くと改善できそうか？を考える必要がある
○ 埋めるべき余地に適切な対処ができているのか？
○ そもそもムリゲーに挑んでいないか？
■ 「ドラえもんを作ればプロダクトの売り上げは１００倍！」→それはそう
○ これらの判断には各方法論の基礎と限界を知っている必要
がある
22
Slide 23
Slide 23 text
手段が機能しているか？
● 手段が意図通りに動いているか？
○ 頭の中の理想→開発環境→プロダクトと具現化されていく
○ 頭の中の理想はちゃんと開発環境上で再現されているか？
○ 開発環境上の実装はプロダクト上で再現されているか？
● どうやったら気が付けるか？
○ 理想的には何が起るのかをよく理解している（手法の理解）
○ プロダクトのデータをよくみている（可視化）
23
Slide 24
Slide 24 text
改善が計測可能
● 改善結果の計測
○ 作ったものがどんな結果を引き起こすのかは誰もわからない
○ ↑の前提では起きた結果を正しく計測することが非常に大事
■ 次どうするか？の材料になる
■ 改善施策が機能してない可能性の検証
■ 計測できない ＝ フィードバックほぼなし ＝ DSとしての経験値ほぼなし・・・
● どう計測するか？
○ A/Bテストや因果推論
24
Slide 25
Slide 25 text
ディスカッション
25
「改善=売上」ではない状況ってあるんだろうか？
● 例えばユーザー体験の向上は直接は売上を増やさない
● これはやる意味が無い事を意味するのか？
Slide 26
Slide 26 text
後半の議論パートについて
● 目的: 自分と他新卒メンバのプロダクトのビジネスモデルを理解し，適切なDSタスクを行
うための議論ができるようにする
● 今やっている業務内容についてディスカッション
○ ホワイトボードを使って説明
■ 1回目 : プロダクトのビジネスモデルの説明. 自分のタスクについて背景とタスクの説明
■ 2回目 : 現状やっていること, プロダクトでやるべきこと, 今後やりたいこと
○ それを元にみんなで議論
■ どの部分でプロダクトにお金が発生しているのか? / 何を改善すればお金が発生するのか?
■ タスクにどんな価値があるのか？ / 何か致命的なミスをしてないか？ / 何か他の手法が使えないか？
26