「EBPMエコシステム」の可能性

第19回政策情報学会「EBPMの最前線」登壇資料

Transcript

1. 「EBPM エコシステム」の可能性 多様な立場を超えて 第19回政策情報学会
2. 2 EBPMデータベース（LINK）について[1][2] • 日本初？のエビデンスポータル • 63本（11/28現在）の論文のレビュー ◦ 少子化対策、医療、教育、環境、介護 • 協力機関 ◦ サイバーエージェント ◦ 三菱UFJリサーチ＆コンサルティング ◦ エビデンス共創機構 ◦ エコノミクスデザイン • アドバイザー ◦ 中室牧子慶大教授 ◦ 山口慎太郎東大教授 ◦ 茂木良平南デンマーク大助教 ◦ 杉谷和哉岩手県立大講師 ◦ 髙橋雅生上智大学特任助教
3. 3 多方面での反響 • 内閣官房「EBPMガイドブック」[3] • こども政策の強化に関する関係省庁会議 [4] ◦ 山口東大教授からデータベースについて報告 • 関係団体への登壇・交流 ◦ SIIF ◦ DST ◦ Policy Garage • 関係省庁 ◦ 類似データベースの創設の機運 • 自治体での研修 ◦ 盛岡市、姫路市 • 記事掲載 ◦ 日経ビジネス[5] ◦ CSISレポート[6] • 取材
4. 4 多方面での反響 • 内閣官房「EBPMガイドブック」掲載 • こども政策の強化に関する関係省庁会議 ◦ 山口東大教授からデータベースについて報告 • 関係団体への登壇・交流 ◦ SIIF ◦ DST ◦ Policy Garage • 関係省庁ヒアリング ◦ 類似データベースの創設の機運 • 自治体での研修 ◦ 盛岡市、姫路市 • 記事掲載 ◦ 日経ビジネス ◦ CSISレポート • 取材 ◦ 某公共放送ほか 実際にEBPMを進めたのか？ ・・・NO.
5. 5 EBPMの多様性 01 EBPMの限界 02 EBPMエコシステムに向けて 03 EBPMの森で見えたこと 本日のお話
6. 6 EBPMの多様性
7. 7 EBPMに対するイメージ（技術論） • ある自治体職員の悩み • ある研究者のフラストレーション オープンデータを進めてきたが、ど うやったらEBPMが進むだろうか 実験もできないしコントロール群の データもないのに厳密な因果推論 なんてできないよ
8. 8 技術レベルに応じてさまざまなEBPMがある • 主要KPIの可視化 ◦ 例：デジタル庁のマイナンバーダッシュボード ▪ わかりやすい・意思決定への活用👌 ▪ 統計などの専門家不要👌 ▪ 政策オプションの選択には無関係👎 • 「自然実験」による政策評価 ◦ 例：厚労省の若手中堅 prj ▪ RDなどによる厳密な因果効果を推定👌 ▪ 比較データや適切なランニング変数が必要👎 ▪ 専門家によるチェック👎 • 政策オプションの事前評価 ◦ 例：自治体「ナッジユニット」 ▪ RCTによる厳密な因果効果推定👌 ▪ 実施できる分野や政策が限られる👎 ▪ 専門家によるチェック👎 デジタル庁ウェブサイト 厚生労働省ウェブサイト
9. 9 EBPMに対するイメージ（機能論） • ある事業担当者の焦り • ある首長の楽観 担当事業の非効率性が批判されて いる。なんとか正当化する数字を 見つけないと・・・ 少子高齢化人口減少財政悪化、 ビッグデータを使えば何かいい案 が出るのでは・・・
10. 10 政策評価 vs. 計画立案 • 行政評価・政策評価 ◦ 例：行政事業レビュー ▪ 非効率性な政策を炙り出して改善を促す👌 ▪ とりあえずこなすだけになりがち👎 ▪ 合格か不合格かという視点が強く、じゃあどうすればいいのかがない（成果志向ではない）👎 • 総合計画や政策会議の基礎資料 ◦ 例：公的統計 ▪ 長期計画の前提となる課題認識👌 ▪ そもそも自治体ごとの細かい統計がない👎 ◦ 例：アンケート調査 ▪ 課題意識にあった情報収集👌 ▪ さまざまな政策立案の根拠👌 ▪ 数年ごとのアンケートだと政策との連動性が見えない👎 ◦ 例：位置情報や検索データなどのオルタナデータの活用 ▪ リアルタイム性のある情報が手に入る👌 ▪ カバレッジや代表性👎
11. 11 EBPMに対するイメージ（目的論） • ある自治体職員の熱意 • ある行政官の独白 モデル事業の予算が通った！絶対 に成功させる！ 政治家の思いつき案件に貴重なリ ソースを奪われたくない。 EBPMが 盾になってくれないか
12. 12 積極的EBPM vs. 消極的EBPM • 積極的EBPM ◦ 例：デジ田事業における効果検証 ▪ 事前に施策のロジックを検討👌 ▪ 効果的な施策を選択👌 ▪ 「効果がなかった」というインセンティブがない👎 • 消極的EBPM ◦ 例：予算査定 ▪ 効果の見えない事業を廃止してリソースを最適配分👌 ▪ コスパ追求になると仕事をゼロにすることが最適に👎 • その他 ◦ 例：東日本大震災等の被害想定 [7][8] ▪ 補正予算額を根拠に基づき決定👌 ▪ 正確性👎 「タイパ」を追求するなら最初から生きて いなければいい by 東浩紀[9]
13. 13 お互いのEBPMを尊重しよう 映画”everything everywhere all at once”より 別宇宙のEBPMは奇異に見えるかもしれないが同等に価値のある EBPM 著作権の関係で削除
14. 14 EBPMの限界
15. 15 EBPMのリアリティ • ある研究者の願い • 実務担当者の心中 私に全権を与えたまえ、さすれば 実験によって完璧な政策効果の推 定値を与えよう 政策立案って推定だけじゃでき ないんだよな・・・
16. 16 リアルなEBPMプロジェクト • 郡山市における利用基準改正プロジェクト [10] ◦ 事前打ち合わせ・協定締結 ◦ 課題定義 ▪ 課題意識の確認&目的や制約条件の確認 ◦ データの準備 ▪ 庁内でのデータ準備&データの定義や意味の確認 ▪ データの齟齬の確認&データクレンジング ◦ データ分析 ◦ 結果報告 ▪ シミュレーション結果の説明&担当者からのフィードバック ▪ 適宜、「課題定義」「データ分析」に戻る ◦ 意思決定 ▪ 庁内における調整&最終的な判断 ◦ 事後評価のための調査 ◦ 事後評価分析 「推定」はデータ分析の一部にしかすぎない そうなの？
17. 17 EBPMの限界：コスト問題 • 分野ごと、プロジェクトごとに専門家と担当する職員が必要 ◦ 単一の専門家で行うことは難しい • 職員は通常業務もあるので時間を割いていられない • かといってコンサルを雇うとコストがかかる
18. 18 ハイエンドEBPM • 論文化と代替での手弁当プロジェクト ◦ データ整備 ▪ 研究者にわかるようにドキュメント整理 ▪ 庁内でのデータ加工作業 ◦ 研究者とのコミュニケーションコスト ▪ データについての質問 ▪ 背景についての質問 ▪ 定例会議、報告会議 • 研究者の説明を咀嚼して庁内で説明 ◦ アンケート実施など追加的なデータ収集 ◦ 論文化にあたっての調整コスト ◦ 論文化できない案件には応用できない • コンサルへの委託 ◦ １案件　数百万円〜 ◦ 発注能力がなければクオリティを上げることはできない
19. 19 EBPMのEBPM？ • EBPMプロジェクトに必要な３つのリソース ◦ 行政職員の工数=コンサルで代替は可能 ◦ データ=調整コスト・データ抽出コスト ◦ 専門知=ヒトか資料から知識を拾ってくる必要 • 現状は、EBPMへの熱狂でこのリソースを無理やり作っている状況 • 人的・財政的リソースが枯渇する行政において持続的に EBPMを普及させるには ◦ EBPMにより課題解決が進むという現場における認識（＝証拠）が必要 ◦ 熱狂が冷めないうちにこれを達成できなければ・・・？
20. 20 キャズムを超えられないEBPMはどうなるのか？ EBPMやればすごい政策がバンバ ン出てくるのでは？ 時間・予算・労力ばかりかかって大 したものが出てこない！ 第一分かりにくい！
21. 21 EBPMエコシステムに向けて
22. 22 EBPMの技法の探索・確立・普及 • 技術が確立されている分野はごく一部 ◦ エビデンス創出の方法は研究が進んでいるが、庁内調整・専門家・データ・職員の工数の確 保など「それ以外」の部分の技術は言語化されていない ◦ 分野ごとの異質性 ▪ 医療・教育 > 少子化・まちづくり・産業振興・観光 ◦ ダッシュボードや課題把握のためのアンケート調査など因果推論以外の手法 • 分野・政策・目的・機能・技術に応じた EBPM技術が確立されるべき ◦ 計画策定から実施までの政策フェーズに応じたフレームワーク ◦ 分野ごとに異なる利用可能なデータと分析手法 • アクセス可能なリソースの整備・普及 ◦ EBPM本[11-13]の出版は続くが、ハンズオンなマニュアルはない ◦ さまざまな部署の行政職員にとってすぐに参照できるリソースが必要
23. 23 ローエンドEBPM • すべての行政現場が東京から一流研究者を呼んでコンサルを雇えるわけではない • ローエンド（半内製化）EBPMの可能性 ◦ ツールを駆使した専門知の集約 ▪ EBPMデータベースやGoogle Scholarによる情報収集 ▪ GPTを活用した効率的なAIによる文献探索 • Consensus.app[14]: Chat GPT上でも利用可能なResearch GPTプラグインを開発 • elicit.org[15]: 文献の自動収集・要約が可能 ◦ EBPM技術の言語化・マニュアル化 ▪ EBPMガイドブックの分野別バージョン • 厚労省の健診促進ナッジパンフ[16] • 阪大・PolicyGarage・行動経済学会によるナッジ事例集[17] ◦ EBPMコミュニティ・イベント ▪ EBPMデータベース Discord ▪ Policy Garage Slack ▪ エビデンス共創機構 論文読み会
24. 24 EBPMエコシステム • 幻滅期に入る前に、関係者がEBPMを貶し合うのではなく多様なEBPMを認め合い育てて いき、膨大な政策分野、政策手法に対して EBPMの技術を確立し言語化 • 交流を進めGPTなどの技術を駆使してコストを低減して参入障壁を減らす 著作権の関係で削除
25. 25 参考文献 [1]EBPMデータベース, https://cyberagentailab.github.io/EBPMDB/ [2]森脇大輔 (2022), EBPMを作った理由, リンク [3]内閣官房 (2023), EBPMガイドブック, リンク [4]こども政策の強化に関する関係省庁会議 山口慎太郎委員報告資料 , (2023) リンク [5]森脇大輔, テック企業のエコノミストがつくる「スマホでできる EBPM」, 日経 ビジネス電子版 [6]Kobayashi, Yohei, Can Japan’s ‘New Dimension’ Measure Reverse Its Low Fertility Rate?, CSIS [7]月例経済報告等に関する関係閣僚会議 震災対応特別会合資料 [8]平成28年熊本地震の影響試算について : 経済財政政策 - 内閣府 [9]NewsPicks (2023), Weekly Ochiai, https://newspicks.com/live-movie/2475 [10]株式会社サイバーエージェント , サイバーエージェントと東京大学 マーケットデザインセンター、郡山市との「保育利用調整」に関する実証 実験のもと、利用調整基準を変更 , リンク [11]杉谷和哉 (2022), 政策にエビデンスは必要なのか , ミネルヴァ書房 [12]大橋弘編 (2020), EBPMの経済学, 東京大学出版 [13]大竹文雄・小林庸平・内山融編著 (2022)「ＥＢＰＭ―エビデンスに 基づく政策形成の導入と実践」日経 BP 日本経済新聞出版 [14] consensus.app, https://consensus.app [15]ought.org, https://elicit.org [16]厚生労働省, 明日から使える - ナッジ理論 [17]自治体ナッジシェア , https://nudge-share.jp/