Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

施策の事業成果への影響メカニズムを明らかにする-ロジックモデルの活用例

CyberAgent
September 04, 2023

 施策の事業成果への影響メカニズムを明らかにする-ロジックモデルの活用例

メディア統括本部 Data Science Center所属 遠藤 洸貴

CyberAgent

September 04, 2023
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. 自己紹介 遠藤 洸貴 • 社歴:2017年7月中途入社 • 所属:メディア事業部/DSC • 担当サービス:タップル •

    職種:データサイエンティスト • 業務概要: ◦ ユーザ行動分析による課題発見から施策立 案・実施・効果検証・意思決定支援 ◦ 施策の成功確度向上のためのフレームワー クの作成及び普及活動
  2. アジェンダ 1. タップルについて a. プロダクト説明 b. 施策例 c. 施策実行のゴール 2.

    施策実施で感じる問題意識 a. 問題意識 b. 問題の原因 3. 問題意識解決のための取り組み a. EBPM・ロジックモデルについて b. チーム内の活用例 4. まとめ
  3. 問題意識 アルゴリズム改善施策 A 評価指標 中間指標 事業評価指標 指標A ? 評価指標A 事業評価指標A

    ? 「どういうメカニズムで事業貢献するのか」が施策立案者にしか分からない  →施策によって「どういう変化」が「どの範囲」で起こり得るのかの認識共有が出来ていない  ・施策の成功を再現できない  ・施策の失敗を繰り返す
  4. ロジックモデルの事例 駐輪場整備費 駐輪場用地 歩行者の通 路・安全が確 保される 駐輪場を整 備する 駐輪場の利 用者が増加

    放置自転車 が減少 投入 活動 初期成果 中期成果 最終成果 駐輪可能台 数が増加 産出 例:「駐輪場の整備」事業のロジックモデル • 左から右に向かって因果関係が働くように記述 佐藤徹.『エビデンスに基づく自治体政策入門』.公職 研.2021年,47p
  5. 施策への適用 投入 活動 初期成果 中期成果 最終成果 産出 影響要因 リスク 影響要因

    リスク 施策同士の影響要因や発生し得るリスクをまとめて管理、認識共有 施策A: 施策B:
  6. ロジックモデル作成 施策立案時に仮説ベースでロジックモデルを作成 • 施策例:男性に対して近隣都道府県に住む女性を推薦する 男性の 評価指標Xが 増加する 男性に 近隣都道府県 ユーザを推薦

    する 女性への 「いいかも※」 が増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で 近隣都道府県 のユーザ が増加する 産出 ※相手への選好表明
  7. チーム内議論:施策の事業貢献 例)最終成果となる指標が事業的に嬉しくないのでは? 例)対象とするボリュームが小さいのでは? 例)特定のユーザに悪影響があるので、最終的にインパクトが出ないので は? 施策の最終成果が事業成果に繋がるかについて議論 男性の 評価指標Xが 増加する 男性に

    近隣都道府県 ユーザを推薦 する 女性への 「いいかも」が 増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で近 隣都道府県の ユーザが 増加する 産出 施策の最終成果が事業成果に繋がるかについて議論
  8. 施策の質・妥当性・リスクについて議論 チーム内議論:施策の質・妥当性・リスク 投入 活動 初期成果 中期成果 最終成果 産出 施策B: 例)妥当性:施策がポリシーと合っていないので、適用しない方がよいのでは?

    例)質:過去の分析で中期成果と最終成果に因果関係がなかった 例)リスク:一部の女性に「いいかも」が集中するのでは? 例)リスク:施策Bからネガティブな影響を受けそう 男性の 評価指標X が増加する 男性に 近隣都道府県 ユーザを推薦す る 女性への 「いいかも」 が増加する 女性との 「マッチ」 が増加する フリック面で近隣 都道府県のユー ザが 増加する 施策Bの指標 一部の女性に 「いいかも」が 集中する 女性からの 「ありがとう」 が返ってきにくくなる
  9. チーム内活用:施策実験の設計 投入 活動 初期成果 中期成果 最終成果 産出 男性の 評価指標X が増加する

    男性に 近隣都道府県ユー ザを推薦する 女性への 「いいかも」 が増加する 女性との 「マッチ」 が増加する フリック面で近隣都 道府県のユーザが 増加する 一部の女性に 「いいかも」が 集中する 女性からの 「ありがとう」 が返ってきにくくなる ・近隣都道府県への フリック割合 実験で見るべき指標に落とし込む ・フリックした中でいい かもした割合 ・いいかもの集中度合 ・マッチング割合 ・いいかもに対して ありがとうされた割合 ・評価指標X 施策実験で見るべき指標への活用
  10. チーム内活用:施策評価 男性の 評価指標Xが 増加する 男性に 近隣都道府県 ユーザを推薦 する 女性への 「いいかも」が

    増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で近 隣都道府県の ユーザが 増加する 産出 実験した結果、初期成果→中期成果の繋がりが観測されなかった (「いいかも」は増えてるけど「マッチ」は増えなかった) ・ 要因の調査・分析 ・ 知見の共有 ・ 改善施策の立案 立案時に作成したロジックモデルとの差異を確認し、次の施策に繋げる
  11. ロジックモデルを施策サイクルに落とし込む 課題特定 施策実施 施策決定 検証設計 施策立案 効果検証 意思決定 事業貢献までのメカ ニズムの言語化

    検証方針の策定 -対象者 -対象指標 -他施策との兼ね合い ロジックモデルに基 づいた振り返り ロジックモデルを活用したコミュニケーションで、 チーム内で施策の事業貢献メカニズムを把握して実施 できる → 成功 の再現・失敗の防止に繋がる 次回施策で取り組む 課題の参考