施策の事業成果への影響メカニズムを明らかにする-ロジックモデルの活用例

by CyberAgent

Slide 1

Slide 1 text

施策の事業成果への影響メカニズムを明らかにする - ロジックモデルの活用例 Endo Koki

Slide 2

Slide 2 text

自己紹介遠藤洸貴 ● 社歴：2017年7月中途入社 ● 所属：メディア事業部/DSC ● 担当サービス：タップル ● 職種：データサイエンティスト ● 業務概要： ○ ユーザ行動分析による課題発見から施策立案・実施・効果検証・意思決定支援 ○ 施策の成功確度向上のためのフレームワークの作成及び普及活動

Slide 3

Slide 3 text

アジェンダ 1. タップルについて a. プロダクト説明 b. 施策例 c. 施策実行のゴール 2. 施策実施で感じる問題意識 a. 問題意識 b. 問題の原因 3. 問題意識解決のための取り組み a. EBPM・ロジックモデルについて b. チーム内の活用例 4. まとめ

Slide 4

Slide 4 text

タップルについて

Slide 5

Slide 5 text

サービス概要マッチングアプリ「タップル」は、2014年5月にサービスを開始から累計会員数は1700万人を突破。グルメや映画、スポーツ観戦など、共通の趣味などからパートナーを探せるマッチングアプリです。 ■公式サイト　https://tapple.me/

Slide 6

Slide 6 text

DSCチームが取り組む施策例 ● 推薦アルゴリズムの改善 →　より良い出会いの提供 ● UI改善　　→　利便性の向上 ● 機能改善 →　各種機能の体験向上 ● 監視フィルタ　　→　安心安全に利用いただく

Slide 7

Slide 7 text

施策のGOAL アルゴリズム改善事業成果への貢献各施策の指標改善 UI改善機能改善

Slide 8

Slide 8 text

施策実施で感じる問題意識

Slide 9

Slide 9 text

問題意識アルゴリズム改善施策 A 事業成果への貢献施策の指標改善施策の指標が改善しても、上位 KPIが動かない・事業成果に繋がらない

Slide 10

Slide 10 text

問題の原因：別施策による影響アルゴリズム改善施策 A 機能改善施策B 評価指標中間指標事業評価指標指標Ａ指標B 評価指標Ａ事業評価指標Ａ指標C ポジティブな影響ネガティブな影響評価指標B

Slide 11

Slide 11 text

問題の原因：別指標による影響アルゴリズム改善施策 A 評価指標中間指標事業評価指標指標Ａ評価指標Ａ事業評価指標Ａ指標B ポジティブな影響ネガティブな影響

Slide 12

Slide 12 text

問題の原因：特定層への悪影響アルゴリズム改善施策 A 評価指標中間指標事業評価指標新規ユーザ：指標Ａ評価指標Ａ事業評価指標Ａ継続ユーザ：指標Ａ指標B ポジティブな影響ネガティブな影響

Slide 13

Slide 13 text

問題意識アルゴリズム改善施策 A 評価指標中間指標事業評価指標指標Ａ？評価指標Ａ事業評価指標Ａ？「どういうメカニズムで事業貢献するのか」が施策立案者にしか分からない　→施策によって「どういう変化」が「どの範囲」で起こり得るのかの認識共有が出来ていない　・施策の成功を再現できない　・施策の失敗を繰り返す

Slide 14

Slide 14 text

問題意識解決のための取り組み

Slide 15

Slide 15 text

基本的な施策サイクル課題特定施策実施施策決定検証設計施策立案効果検証意思決定

Slide 16

Slide 16 text

基本的な施策サイクル課題特定施策実施施策決定検証設計施策立案効果検証意思決定立案段階で施策の事業成果へのメカニズムを明らかにしたい

Slide 17

Slide 17 text

EBPM・ロジックモデルの活用

Slide 18

Slide 18 text

参考書籍

Slide 19

Slide 19 text

EBPM（Evidence-Based Policy-Making）エビデンスに基づく政策形成 ● 「データや科学的証拠」に基づいて政策及び施策の決定を行う取り組み。 ● 政策実施の価値　→　その政策が課題解決に繋がるかどうか ○ エビデンスに裏付けられた政策であれば、課題解決に寄与する蓋然性が高まる大竹文雄,内山融,小林庸平『EBPMエビデンスに基づく政策形成の導入と実践』.日本経済新聞出版.2022 年,3p-4p

Slide 20

Slide 20 text

ロジックモデル活動と成果の繋がり（関係性）を図示したもの ● 投入（インプット）：人、物（ツール）、予算等 ● 活動（アクティビティ）：実際に行う施策の具体内容 ● 産出（アウトプット）：活動が実施されたことを示す事実 ○ 直接コントロールできる ● 成果（アウトカム）：活動完了後に期待する変化 ○ 直接コントロールできない投入活動初期成果中期成果最終成果成果産出

Slide 21

Slide 21 text

ロジックモデルの事例駐輪場整備費駐輪場用地歩行者の通路・安全が確保される駐輪場を整備する駐輪場の利用者が増加放置自転車が減少投入活動初期成果中期成果最終成果駐輪可能台数が増加産出例：「駐輪場の整備」事業のロジックモデル ● 左から右に向かって因果関係が働くように記述佐藤徹.『エビデンスに基づく自治体政策入門』.公職研.2021年,47p

Slide 22

Slide 22 text

施策への適用投入活動初期成果中期成果最終成果産出影響要因リスク影響要因リスク施策同士の影響要因や発生し得るリスクをまとめて管理、認識共有施策A：施策B：

Slide 23

Slide 23 text

チーム内の活用例

Slide 24

Slide 24 text

ロジックモデル作成施策立案時に仮説ベースでロジックモデルを作成 ● 施策例：男性に対して近隣都道府県に住む女性を推薦する男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも※」が増加する女性との「マッチ」が増加する投入活動初期成果中期成果最終成果フリック面で近隣都道府県のユーザが増加する産出 ※相手への選好表明

Slide 25

Slide 25 text

チーム内議論作成したロジックモデルを元に施策におけるメカニズムについて議論 ①最終成果が事業成果に繋がるか ②活動と最終成果が具体的に繋がっているか ③施策の妥当性・質・リスクについて ○ 妥当性：適用が可能かどうか ○ 質：既存の分析によって因果関係が示されているか ○ リスク：他の施策に（他の施策から）どのような影響を与えるか

Slide 26

Slide 26 text

チーム内議論：施策の事業貢献例）最終成果となる指標が事業的に嬉しくないのでは？例）対象とするボリュームが小さいのでは？例）特定のユーザに悪影響があるので、最終的にインパクトが出ないのでは？施策の最終成果が事業成果に繋がるかについて議論男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加する投入活動初期成果中期成果最終成果フリック面で近隣都道府県のユーザが増加する産出施策の最終成果が事業成果に繋がるかについて議論

Slide 27

Slide 27 text

チーム内議論：活動から成果の繋がり例）対象者（影響を受けるユーザ）は誰なのか？例）初期成果と中期成果に繋がりがあるのか？活動と最終成果が具体的に繋がっているかについて議論男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加する投入活動初期成果中期成果最終成果フリック面で近隣都道府県のユーザが増加する産出

Slide 28

Slide 28 text

施策の質・妥当性・リスクについて議論チーム内議論：施策の質・妥当性・リスク投入活動初期成果中期成果最終成果産出施策B：例）妥当性：施策がポリシーと合っていないので、適用しない方がよいのでは？例）質：過去の分析で中期成果と最終成果に因果関係がなかった例）リスク：一部の女性に「いいかも」が集中するのでは？例）リスク：施策Ｂからネガティブな影響を受けそう男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加するフリック面で近隣都道府県のユーザが増加する施策Ｂの指標一部の女性に「いいかも」が集中する女性からの「ありがとう」が返ってきにくくなる

Slide 29

Slide 29 text

施策立案後のロジックモデル活用 ①施策実験において「測定すべき指標をロジックモデルから洗い出す」 ②施策評価時に「当初立てたロジックモデルとの差異を確認」する

Slide 30

Slide 30 text

チーム内活用：施策実験の設計投入活動初期成果中期成果最終成果産出男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加するフリック面で近隣都道府県のユーザが増加する一部の女性に「いいかも」が集中する女性からの「ありがとう」が返ってきにくくなる・近隣都道府県へのフリック割合実験で見るべき指標に落とし込む・フリックした中でいいかもした割合・いいかもの集中度合・マッチング割合・いいかもに対してありがとうされた割合・評価指標Ｘ施策実験で見るべき指標への活用

Slide 31

Slide 31 text

チーム内活用：施策評価男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加する投入活動初期成果中期成果最終成果フリック面で近隣都道府県のユーザが増加する産出実験した結果、初期成果→中期成果の繋がりが観測されなかった（「いいかも」は増えてるけど「マッチ」は増えなかった）・　要因の調査・分析・　知見の共有・　改善施策の立案立案時に作成したロジックモデルとの差異を確認し、次の施策に繋げる

Slide 32

Slide 32 text

まとめ

Slide 33

Slide 33 text

ロジックモデルを施策サイクルに落とし込む課題特定施策実施施策決定検証設計施策立案効果検証意思決定事業貢献までのメカニズムの言語化検証方針の策定 -対象者 -対象指標 -他施策との兼ね合いロジックモデルに基づいた振り返りロジックモデルを活用したコミュニケーションで、チーム内で施策の事業貢献メカニズムを把握して実施できる　→　成功の再現・失敗の防止に繋がる次回施策で取り組む課題の参考

Slide 34

Slide 34 text

ご清聴ありがとうございました