Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
施策の事業成果への影響メカニズムを明らかにする-ロジックモデルの活用例
Search
CyberAgent
PRO
September 04, 2023
Technology
2
2k
施策の事業成果への影響メカニズムを明らかにする-ロジックモデルの活用例
メディア統括本部 Data Science Center所属 遠藤 洸貴
CyberAgent
PRO
September 04, 2023
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
FastlyとfalcoでNode.jsレスなWebサーバーの構築: IPTV版ABEMAアプリのインフラ刷新
cyberagentdevelopers
PRO
1
22
Amebaチョイス立ち上げの裏側 ~ 依存システムとの闘い ~
cyberagentdevelopers
PRO
1
25
マイグレーションコード自作して File-Based Routing に自動移行!! ~250 ページの歴史的経緯を添えて~
cyberagentdevelopers
PRO
1
16
コードメトリクス計測による課題可視化と品質確保
cyberagentdevelopers
PRO
1
28
サイバーエージェントにおけるインナーソーシングの取り組み
cyberagentdevelopers
PRO
3
420
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
6
2.9k
クリエイティブ制作領域の データ活用を0から推進した話
cyberagentdevelopers
PRO
2
820
opt-in camera:カメラによる行動計測におけるオプトインの仕組みの実現
cyberagentdevelopers
PRO
2
790
競輪選手の体力を視覚化するための物体認識とデータサイエンスの融合
cyberagentdevelopers
PRO
3
1.1k
Other Decks in Technology
See All in Technology
Eventual Detection Engineering
ken5scal
0
850
リクルート新人研修2024 テキスト生成AI活用
recruitengineers
PRO
10
440
SORACOMで実現するIoTのマルチクラウド対応 - IoTでのクリーンアーキテクチャの実現 -
kenichirokimura
0
170
脆弱星に導かれて
nishimunea
1
1.5k
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
15
39k
新しいことを組織ではじめる、そしてつづける
kzkmaeda
4
390
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
1
160
標準最高!標準はださくないぞ! at fukuoka.ts #1
yoiwamoto
0
150
開発者体験を意識した開発チームの生産性向上の取り組み
ham0215
3
670
エンジニア向け会社紹介資料
caddi_eng
15
250k
Functional TypeScript
naoya
5
1.5k
トレタO/X アーキテクチャ移行記 Next.js App Router化への道のり / TORETA TECH UPDATE 1
okunokentaro
2
630
Featured
See All Featured
Teambox: Starting and Learning
jrom
131
8.7k
Infographics Made Easy
chrislema
239
18k
Gamification - CAS2011
davidbonilla
79
4.9k
Optimizing for Happiness
mojombo
375
69k
Done Done
chrislema
180
16k
KATA
mclloyd
27
13k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
27
8.9k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
28
2.2k
5 minutes of I Can Smell Your CMS
philhawksworth
201
19k
Embracing the Ebb and Flow
colly
83
4.4k
Visualization
eitanlees
142
15k
Documentation Writing (for coders)
carmenintech
65
4.3k
Transcript
施策の事業成果への影響メカニズムを明らかにする - ロジックモデルの活用例 Endo Koki
自己紹介 遠藤 洸貴 • 社歴:2017年7月中途入社 • 所属:メディア事業部/DSC • 担当サービス:タップル •
職種:データサイエンティスト • 業務概要: ◦ ユーザ行動分析による課題発見から施策立 案・実施・効果検証・意思決定支援 ◦ 施策の成功確度向上のためのフレームワー クの作成及び普及活動
アジェンダ 1. タップルについて a. プロダクト説明 b. 施策例 c. 施策実行のゴール 2.
施策実施で感じる問題意識 a. 問題意識 b. 問題の原因 3. 問題意識解決のための取り組み a. EBPM・ロジックモデルについて b. チーム内の活用例 4. まとめ
タップルについて
サービス概要 マッチングアプリ「タップル」は、2014年5月にサービスを開始から累計会員数は1700万人を突破。 グルメや映画、スポーツ観戦など、共通の趣味などからパートナーを探せるマッチングアプリです。 ▪公式サイト https://tapple.me/
DSCチームが取り組む施策例 • 推薦アルゴリズムの改善 → より良い出会いの提供 • UI改善 → 利便性の向上 • 機能改善 → 各種機能の体験向上
• 監視フィルタ → 安心安全に利用いただく
施策のGOAL アルゴリズム改善 事業成果への貢献 各施策の指標改善 UI改善 機能改善
施策実施で感じる問題意識
問題意識 アルゴリズム改善施策 A 事業成果への貢献 施策の指標改善 施策の指標が改善しても、上位 KPIが動かない・事業成果に繋がらない
問題の原因:別施策による影響 アルゴリズム改善施策 A 機能改善施策B 評価指標 中間指標 事業評価指標 指標A 指標B 評価指標A
事業評価指標A 指標C ポジティブな影響 ネガティブな影響 評価指標B
問題の原因:別指標による影響 アルゴリズム改善施策 A 評価指標 中間指標 事業評価指標 指標A 評価指標A 事業評価指標A 指標B
ポジティブな影響 ネガティブな影響
問題の原因:特定層への悪影響 アルゴリズム改善施策 A 評価指標 中間指標 事業評価指標 新規ユーザ: 指標A 評価指標A 事業評価指標A
継続ユーザ: 指標A 指標B ポジティブな影響 ネガティブな影響
問題意識 アルゴリズム改善施策 A 評価指標 中間指標 事業評価指標 指標A ? 評価指標A 事業評価指標A
? 「どういうメカニズムで事業貢献するのか」が施策立案者にしか分からない →施策によって「どういう変化」が「どの範囲」で起こり得るのかの認識共有が出来ていない ・施策の成功を再現できない ・施策の失敗を繰り返す
問題意識解決のための取り組み
基本的な施策サイクル 課題特定 施策実施 施策決定 検証設計 施策立案 効果検証 意思決定
基本的な施策サイクル 課題特定 施策実施 施策決定 検証設計 施策立案 効果検証 意思決定 立案段階で 施策の事業成果への
メカニズムを明らかに したい
EBPM・ロジックモデルの活用
参考書籍
EBPM(Evidence-Based Policy-Making) エビデンスに基づく政策形成 • 「データや科学的証拠」に基づいて政策及び施策の決定を行う取り組み。 • 政策実施の価値 → その政策が課題解決に繋がるかどうか ◦ エビデンスに裏付けられた政策 であれば、課題解決に寄与する蓋然性が高まる
大竹文雄,内山融,小林庸平『EBPMエビデンスに基づ く政策形成の導入と実践』.日本経済新聞出版.2022 年,3p-4p
ロジックモデル 活動と成果の繋がり(関係性)を図示したもの • 投入(インプット):人、物(ツール)、予算等 • 活動(アクティビティ):実際に行う施策の具体内容 • 産出(アウトプット):活動が実施されたことを示す事実 ◦ 直接コントロールできる
• 成果(アウトカム):活動完了後に期待する変化 ◦ 直接コントロールできない 投入 活動 初期成果 中期成果 最終成果 成果 産出
ロジックモデルの事例 駐輪場整備費 駐輪場用地 歩行者の通 路・安全が確 保される 駐輪場を整 備する 駐輪場の利 用者が増加
放置自転車 が減少 投入 活動 初期成果 中期成果 最終成果 駐輪可能台 数が増加 産出 例:「駐輪場の整備」事業のロジックモデル • 左から右に向かって因果関係が働くように記述 佐藤徹.『エビデンスに基づく自治体政策入門』.公職 研.2021年,47p
施策への適用 投入 活動 初期成果 中期成果 最終成果 産出 影響要因 リスク 影響要因
リスク 施策同士の影響要因や発生し得るリスクをまとめて管理、認識共有 施策A: 施策B:
チーム内の活用例
ロジックモデル作成 施策立案時に仮説ベースでロジックモデルを作成 • 施策例:男性に対して近隣都道府県に住む女性を推薦する 男性の 評価指標Xが 増加する 男性に 近隣都道府県 ユーザを推薦
する 女性への 「いいかも※」 が増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で 近隣都道府県 のユーザ が増加する 産出 ※相手への選好表明
チーム内議論 作成したロジックモデルを元に施策におけるメカニズムについて議論 ①最終成果が事業成果に繋がるか ②活動と最終成果が具体的に繋がっているか ③施策の妥当性・質・リスクについて ◦ 妥当性:適用が可能かどうか ◦ 質:既存の分析によって因果関係が示されているか ◦
リスク:他の施策に(他の施策から)どのような影響を与えるか
チーム内議論:施策の事業貢献 例)最終成果となる指標が事業的に嬉しくないのでは? 例)対象とするボリュームが小さいのでは? 例)特定のユーザに悪影響があるので、最終的にインパクトが出ないので は? 施策の最終成果が事業成果に繋がるかについて議論 男性の 評価指標Xが 増加する 男性に
近隣都道府県 ユーザを推薦 する 女性への 「いいかも」が 増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で近 隣都道府県の ユーザが 増加する 産出 施策の最終成果が事業成果に繋がるかについて議論
チーム内議論:活動から成果の繋がり 例)対象者(影響を受けるユーザ)は誰なのか? 例)初期成果と中期成果に繋がりがあるのか? 活動と最終成果が具体的に繋がっているかについて議論 男性の 評価指標Xが 増加する 男性に 近隣都道府県 ユーザを推薦
する 女性への 「いいかも」が 増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で近 隣都道府県の ユーザが 増加する 産出
施策の質・妥当性・リスクについて議論 チーム内議論:施策の質・妥当性・リスク 投入 活動 初期成果 中期成果 最終成果 産出 施策B: 例)妥当性:施策がポリシーと合っていないので、適用しない方がよいのでは?
例)質:過去の分析で中期成果と最終成果に因果関係がなかった 例)リスク:一部の女性に「いいかも」が集中するのでは? 例)リスク:施策Bからネガティブな影響を受けそう 男性の 評価指標X が増加する 男性に 近隣都道府県 ユーザを推薦す る 女性への 「いいかも」 が増加する 女性との 「マッチ」 が増加する フリック面で近隣 都道府県のユー ザが 増加する 施策Bの指標 一部の女性に 「いいかも」が 集中する 女性からの 「ありがとう」 が返ってきにくくなる
施策立案後のロジックモデル活用 ①施策実験において「測定すべき指標をロジックモデルから洗い出す」 ②施策評価時に「当初立てたロジックモデルとの差異を確認」する
チーム内活用:施策実験の設計 投入 活動 初期成果 中期成果 最終成果 産出 男性の 評価指標X が増加する
男性に 近隣都道府県ユー ザを推薦する 女性への 「いいかも」 が増加する 女性との 「マッチ」 が増加する フリック面で近隣都 道府県のユーザが 増加する 一部の女性に 「いいかも」が 集中する 女性からの 「ありがとう」 が返ってきにくくなる ・近隣都道府県への フリック割合 実験で見るべき指標に落とし込む ・フリックした中でいい かもした割合 ・いいかもの集中度合 ・マッチング割合 ・いいかもに対して ありがとうされた割合 ・評価指標X 施策実験で見るべき指標への活用
チーム内活用:施策評価 男性の 評価指標Xが 増加する 男性に 近隣都道府県 ユーザを推薦 する 女性への 「いいかも」が
増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で近 隣都道府県の ユーザが 増加する 産出 実験した結果、初期成果→中期成果の繋がりが観測されなかった (「いいかも」は増えてるけど「マッチ」は増えなかった) ・ 要因の調査・分析 ・ 知見の共有 ・ 改善施策の立案 立案時に作成したロジックモデルとの差異を確認し、次の施策に繋げる
まとめ
ロジックモデルを施策サイクルに落とし込む 課題特定 施策実施 施策決定 検証設計 施策立案 効果検証 意思決定 事業貢献までのメカ ニズムの言語化
検証方針の策定 -対象者 -対象指標 -他施策との兼ね合い ロジックモデルに基 づいた振り返り ロジックモデルを活用したコミュニケーションで、 チーム内で施策の事業貢献メカニズムを把握して実施 できる → 成功 の再現・失敗の防止に繋がる 次回施策で取り組む 課題の参考
ご清聴ありがとうございました