メディア統括本部 Data Science Center所属 遠藤 洸貴
施策の事業成果への影響メカニズムを明らかにする- ロジックモデルの活用例Endo Koki
View Slide
自己紹介遠藤 洸貴● 社歴：2017年7月中途入社● 所属：メディア事業部/DSC● 担当サービス：タップル● 職種：データサイエンティスト● 業務概要：○ユーザ行動分析による課題発見から施策立案・実施・効果検証・意思決定支援○施策の成功確度向上のためのフレームワークの作成及び普及活動
アジェンダ1. タップルについてa.プロダクト説明b.施策例c.施策実行のゴール2. 施策実施で感じる問題意識a.問題意識b.問題の原因3. 問題意識解決のための取り組みa.EBPM・ロジックモデルについてb.チーム内の活用例4. まとめ
タップルについて
サービス概要マッチングアプリ「タップル」は、2014年5月にサービスを開始から累計会員数は1700万人を突破。グルメや映画、スポーツ観戦など、共通の趣味などからパートナーを探せるマッチングアプリです。■公式サイト https://tapple.me/
DSCチームが取り組む施策例● 推薦アルゴリズムの改善→ より良い出会いの提供● UI改善 → 利便性の向上● 機能改善→ 各種機能の体験向上● 監視フィルタ → 安心安全に利用いただく
施策のGOALアルゴリズム改善事業成果への貢献各施策の指標改善UI改善機能改善
施策実施で感じる問題意識
問題意識アルゴリズム改善施策 A事業成果への貢献施策の指標改善施策の指標が改善しても、上位 KPIが動かない・事業成果に繋がらない
問題の原因：別施策による影響アルゴリズム改善施策 A機能改善施策B評価指標中間指標 事業評価指標指標Ａ指標B評価指標Ａ 事業評価指標Ａ指標Cポジティブな影響ネガティブな影響評価指標B
問題の原因：別指標による影響アルゴリズム改善施策 A評価指標中間指標 事業評価指標指標Ａ 評価指標Ａ 事業評価指標Ａ指標Bポジティブな影響ネガティブな影響
問題の原因：特定層への悪影響アルゴリズム改善施策 A評価指標中間指標 事業評価指標新規ユーザ：指標Ａ評価指標Ａ 事業評価指標Ａ継続ユーザ：指標Ａ指標Bポジティブな影響ネガティブな影響
問題意識アルゴリズム改善施策 A評価指標中間指標 事業評価指標指標Ａ？評価指標Ａ 事業評価指標Ａ？「どういうメカニズムで事業貢献するのか」が施策立案者にしか分からない →施策によって「どういう変化」が「どの範囲」で起こり得るのかの認識共有が出来ていない ・施策の成功を再現できない ・施策の失敗を繰り返す
問題意識解決のための取り組み
基本的な施策サイクル課題特定施策実施施策決定検証設計施策立案効果検証意思決定
基本的な施策サイクル課題特定施策実施施策決定検証設計施策立案効果検証意思決定立案段階で施策の事業成果へのメカニズムを明らかにしたい
EBPM・ロジックモデルの活用
参考書籍
EBPM（Evidence-Based Policy-Making）エビデンスに基づく政策形成● 「データや科学的証拠」に基づいて政策及び施策の決定を行う取り組み。● 政策実施の価値 → その政策が課題解決に繋がるかどうか○エビデンスに裏付けられた政策 であれば、課題解決に寄与する蓋然性が高まる大竹文雄,内山融,小林庸平『EBPMエビデンスに基づく政策形成の導入と実践』.日本経済新聞出版.2022年,3p-4p
ロジックモデル活動と成果の繋がり（関係性）を図示したもの● 投入（インプット）：人、物（ツール）、予算等● 活動（アクティビティ）：実際に行う施策の具体内容● 産出（アウトプット）：活動が実施されたことを示す事実○直接コントロールできる● 成果（アウトカム）：活動完了後に期待する変化○直接コントロールできない投入 活動 初期成果 中期成果 最終成果成果産出
ロジックモデルの事例駐輪場整備費駐輪場用地歩行者の通路・安全が確保される駐輪場を整備する駐輪場の利用者が増加放置自転車が減少投入 活動 初期成果 中期成果 最終成果駐輪可能台数が増加産出例：「駐輪場の整備」事業のロジックモデル● 左から右に向かって因果関係が働くように記述佐藤徹.『エビデンスに基づく自治体政策入門』.公職研.2021年,47p
施策への適用投入 活動 初期成果 中期成果 最終成果産出影響要因リスク影響要因リスク施策同士の影響要因や発生し得るリスクをまとめて管理、認識共有施策A：施策B：
チーム内の活用例
ロジックモデル作成施策立案時に仮説ベースでロジックモデルを作成● 施策例：男性に対して近隣都道府県に住む女性を推薦する男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも※」が増加する女性との「マッチ」が増加する投入 活動 初期成果 中期成果 最終成果フリック面で近隣都道府県のユーザが増加する産出※相手への選好表明
チーム内議論作成したロジックモデルを元に施策におけるメカニズムについて議論①最終成果が事業成果に繋がるか②活動と最終成果が具体的に繋がっているか③施策の妥当性・質・リスクについて○妥当性：適用が可能かどうか○質：既存の分析によって因果関係が示されているか○リスク：他の施策に（他の施策から）どのような影響を与えるか
チーム内議論：施策の事業貢献例）最終成果となる指標が事業的に嬉しくないのでは？例）対象とするボリュームが小さいのでは？例）特定のユーザに悪影響があるので、最終的にインパクトが出ないのでは？施策の最終成果が事業成果に繋がるかについて議論男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加する投入 活動 初期成果 中期成果 最終成果フリック面で近隣都道府県のユーザが増加する産出施策の最終成果が事業成果に繋がるかについて議論
チーム内議論：活動から成果の繋がり例）対象者（影響を受けるユーザ）は誰なのか？例）初期成果と中期成果に繋がりがあるのか？活動と最終成果が具体的に繋がっているかについて議論男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加する投入 活動 初期成果 中期成果 最終成果フリック面で近隣都道府県のユーザが増加する産出
施策の質・妥当性・リスクについて議論チーム内議論：施策の質・妥当性・リスク投入 活動 初期成果 中期成果 最終成果産出施策B：例）妥当性：施策がポリシーと合っていないので、適用しない方がよいのでは？例）質：過去の分析で中期成果と最終成果に因果関係がなかった例）リスク：一部の女性に「いいかも」が集中するのでは？例）リスク：施策Ｂからネガティブな影響を受けそう男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加するフリック面で近隣都道府県のユーザが増加する施策Ｂの指標一部の女性に「いいかも」が集中する女性からの「ありがとう」が返ってきにくくなる
施策立案後のロジックモデル活用①施策実験において「測定すべき指標をロジックモデルから洗い出す」②施策評価時に「当初立てたロジックモデルとの差異を確認」する
チーム内活用：施策実験の設計投入 活動 初期成果 中期成果 最終成果産出男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加するフリック面で近隣都道府県のユーザが増加する一部の女性に「いいかも」が集中する女性からの「ありがとう」が返ってきにくくなる・近隣都道府県へのフリック割合実験で見るべき指標に落とし込む・フリックした中でいいかもした割合・いいかもの集中度合・マッチング割合・いいかもに対してありがとうされた割合・評価指標Ｘ施策実験で見るべき指標への活用
チーム内活用：施策評価男性の評価指標Ｘが増加する男性に近隣都道府県ユーザを推薦する女性への「いいかも」が増加する女性との「マッチ」が増加する投入 活動 初期成果 中期成果 最終成果フリック面で近隣都道府県のユーザが増加する産出実験した結果、初期成果→中期成果の繋がりが観測されなかった（「いいかも」は増えてるけど「マッチ」は増えなかった）・ 要因の調査・分析・ 知見の共有・ 改善施策の立案立案時に作成したロジックモデルとの差異を確認し、次の施策に繋げる
まとめ
ロジックモデルを施策サイクルに落とし込む課題特定施策実施施策決定検証設計施策立案効果検証意思決定事業貢献までのメカニズムの言語化検証方針の策定-対象者-対象指標-他施策との兼ね合いロジックモデルに基づいた振り返りロジックモデルを活用したコミュニケーションで、 チーム内で施策の事業貢献メカニズムを把握して実施 できる → 成功の再現・失敗の防止に繋がる次回施策で取り組む課題の参考
ご清聴ありがとうございました
cyberagentdevelopers
taichinakamura
dahatake
takanorig
takesection
ryomaru0825
biwashi
culvert
_kensh
orgachem
pkshadeck
akiroom
muziyoshiz
iamctodd
thoeni
robhawkes
bkeepers
davidbonilla
tanoku
eileencodes
lauravandoore
morganepeng
jonyablonski
paulrobertlloyd
addyosmani