Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
EBPM, “E”から見るか? “PM”から見るか?
Search
takehikoihayashi
December 11, 2019
Research
2
800
EBPM, “E”から見るか? “PM”から見るか?
研究者の側から見るEBPMと、政策の現場の側から見るEBPMのギャップなどについて議論しました
takehikoihayashi
December 11, 2019
Tweet
Share
More Decks by takehikoihayashi
See All by takehikoihayashi
まだ生態学に本格導入されていない統計的因果推論手法の紹介:傾向スコア、回帰分断デザイン、操作変数法を中心に
takehikoihayashi
2
1.7k
「学術的に理解する」ってどういうこと? :統計的因果推論のフレームワークから見た 「量的×質的」に関する眺望の (いささかとっちらかった)スケッチを共有する
takehikoihayashi
17
15k
“エビデンス”と”政策形成”を巡って: 「政策/社会のためのエビデンス評価」へ向けた 5x3の検討枠組み
takehikoihayashi
2
1.3k
“エビデンス”の適切な政策利用に向けて: 学術的に議論するなら最低限このくらいのレベルを出発点としたい5X3のperspectives
takehikoihayashi
1
10k
統計的因果推論、構造から見るか? 差分から見るか?:非巡回有向グラフ(DAG)、潜在反応モデル、そして構造的 (関数)因果モデルによる両者の統合的理解
takehikoihayashi
8
12k
“因果推論駅”の奥の方を探訪しながら考える:われわれの諸研究は内的に/外的にどのような繋がりを持っているのか
takehikoihayashi
9
2.9k
“規範的リスク分析”の確立に向けて:リスク評価に求められる価値のフレームとはなにか
takehikoihayashi
0
660
Other Decks in Research
See All in Research
Julia Tokyo #11 トーク: 「Juliaで歩く自動微分」
abap34
1
1.2k
Experiments on ROP Attack with Various Instruction Set Architectures
yumulab
0
310
床面圧力センサ開発における感圧導電シート分離方式の検討 / WISS2023
yumulab
0
250
ゼロからわかるリザバーコンピューティング
kurotaky
1
230
Target trial emulationの概要
shuntaros
2
1.1k
[2023 CCSE] ZOZOTOWN検索における 研究開発の取り組みについて
tomoyayama
0
120
論文紹介: Generating News-Centric Crossword Puzzles As A Constraint Satisfaction and Optimization Problem
upura
0
140
Active Retrieval Augmented Generation
kiyohiro8
3
420
第14回対話システムシンポジウム EMNLP 2023 参加報告
atsumoto
0
130
200名の育児中男性の声 「僕たちは、キャリアとライフをトレードオフにしたくない」共働き3.0世代の男性が 本当に求める働き方とは【ワーキングペアレンツの転職意識調査2023|XTalent株式会社】
xtalent
0
420
東工大Swallowプロジェクトにおける大規模日本語Webコーパスの構築
aya_se
13
5.2k
[ICLR'24] Towards Assessing and Benchmarking Risk-Return Tradeoff of OPE
harukakiyohara_
0
120
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
119
16k
Side Projects
sachag
451
41k
For a Future-Friendly Web
brad_frost
170
8.9k
The World Runs on Bad Software
bkeepers
PRO
60
6.6k
Keith and Marios Guide to Fast Websites
keithpitt
407
22k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
4 Signs Your Business is Dying
shpigford
174
21k
The Power of CSS Pseudo Elements
geoffreycrofte
58
4.9k
In The Pink: A Labor of Love
frogandcode
137
21k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
19
1.9k
Product Roadmaps are Hard
iamctodd
43
9.6k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
1
1.2k
Transcript
EBPM、 “E”から⾒るか? “PM”から⾒るか? 研究者/研究所として”EBPM”とどう関わるとよいのか?(2019/12/10@国⽴環境研) 林岳彦 国⽴環境研究所環境リスク・健康研究センター
話の前に:林のバックグラウンドと観点 環境リスク学(環境データの統計学、因果推論) ・ Science-Policy Interfaceに関する学術領域 SPIの議論⾃体は昔から⾊々あった/ある中で、 EBPMはそのうちのone of themの流れ Science-Policy
Interfaceに関する議論と知⾒ の蓄積を踏まえた観点から”EBPM”を議論する 例えば物理学の原⼦⼒への利⽤とか 本⽇の話
本⽇の論点 E B PM EIPM 加納・林・岸本(submitted) Kano & Hayashi (submitted)
の論点 の論点 の論点 については別の機会に +個別論点のピックアップ Evidence-Informed Policy Making
本⽇の論点 E B PM EIPM 加納・林・岸本(submitted) Kano & Hayashi (submitted)
の論点 の論点 の論点 については別の機会に +個別論点のピックアップ
“E”の論点:狭義の/広義の”エビデンス” 広義の”エビデンス”の⽤例 ▪ ಛ ू ͳ͍ɻ ʮΤϐιʔυɾϕʔεʯ͔ΒʮΤϏσ ϯεɾϕʔεʯʹجͮ͘ࡦཱҊͷ ࢼΈ
̍ . ͷݴ༿͕ॳΊͯͷࢿྉʹొͨ͠ͷɺ ʮ.ʯͱ͍͏खஈͷ͍ํ ʙจՊলʮݚڀେֶڧԽଅਐࣄۀʯͷࣄྫΛͱʹʙ Ұൠࣾஂ๏ਓߏຊ૯ׅσΟ ϨΫλʔʢཧࣄʣ ҏ౻ɹ৳ *504IJO ϓϩϑ Ο ʔϧ ւಓੜ·ΕɻࠃձٞһൿॻΛܦͯߏຊۈɻ ݄͔ ಛू .ͱߦࣄۀϨϏϡʔ 伊藤伸(2016)『「EBPM」という⼿段の使い⽅ : ⽂科省「研究⼤学強化促進事業」の事例をもと に』より引⽤ CUC view & vision 48, 25-30 http://id.nii.ac.jp/1381/00005823/ CC BY-NC-ND
“E”の論点:狭義の/広義の”エビデンス” ▪ Ͱ ʮূڌʹجͮ͘ࡦཱҊʯ ͱ༁͞ΕΔ͜ͷݴ༿͕ɺ গͣͭ͠Ͱ͋Δ͕Ͱ͞Εͭͭ͋Δɻ . ͱɺ ʮ ʢ̍ʣ
ࡦతΛ໌֬Խͤ͞ɺ ʢ̎ʣ ͦ ͷతͷͨΊຊʹޮՌ্͕͕ΔߦखஈԿ͔ͳ Ͳɺ ʮࡦͷجຊతͳΈʯ Λূڌʹج͍ͮͯ໌֬ʹ ͢ΔͨΊͷऔɻ ʯ ʢฏֳ݄ߦվ ֵਪਐຊ෦ࣄہࢿྉΑΓʣ ͱ͞ΕΔɻ ࡦɾࣄۀͷཱҊΛ͢Δ࣌ʹɺͦͷతΛ໌֬Խ͠ ͨ͏͑ͰޮՌͷଌఆʹॏཁͳؔ࿈Λ࣋ͭใσʔλ ʢΤϏσϯεʣ ʹج͍ͮͨͷʹ͠Α͏ͱ͍͏ͷͩɻ ͜ͷࡍɺࡦɾࣄۀ͕ͦͷతΛୡ͢ΔʹࢸΔ·Ͱ 広義の”エビデンス”の⽤例 伊藤伸(2016)『「EBPM」という⼿段の使い⽅ : ⽂科省「研究⼤学強化促進事業」の事例をもと に』より引⽤ CUC view & vision 48, 25-30 http://id.nii.ac.jp/1381/00005823/ CC BY-NC-ND
“E”の論点:狭義の/広義の”エビデンス” ▪ ΘΕͳ͍ɺ͔͙͢͠ʹൈ͔ΕΔͩΖ͏ͱ͍͏༧ ଌ͋ΔɺͳͥͦΕͳͷʹεϐʔυ͔Γʹͩ͜ΘΔ ͷ͔ʁɹͱ͍͏झࢫͩͬͨʣ ɻ ͜ΕΒͷ͍ʹର͢ΔจՊলͷճɺ ʮ࠷ઌͷ εύίϯ͕ͳ͍ͱ࠷ઌͷڝ૪ʹউͯͳ͍ʯ ʮੈքҰ
ΛऔΔ͜ͱʹΑΓࠃຽʹເΛ༩͑Δʯ ͳͲɺ·͞ʹΤ ϏσϯεͰͳ͘Τϐιʔυɾϕʔε ʢఆੑతɺॹ తʣ ͔ΓͰ͔Έ߹Θͳ͔ͬͨɻ εύίϯͱ͍͏ ʮಓ۩ʯ Λ͏͜ͱͰɺͲͷΑ͏ͳݚڀՌΛظ͍ͯ͠Δͷ ͔ɺεϐʔυͰੈքҰΛऔΔͱɺ۩ମతʹͲͷΑ͏ͳ มԽ͕͋Δͷ͔͕͑ΒΕ͍ͯΕ࣌͋Ε΄ͲऔΓ ্͛ΒΕΔ͜ͱͳ͔ͬͨͷͩΖ͏ͱࢥ͏ɻ 広義の”エビデンス”の⽤例 伊藤伸(2016)『「EBPM」という⼿段の使い⽅ : ⽂科省「研究⼤学強化促進事業」の事例をもと に』より引⽤ CUC view & vision 48, 25-30 http://id.nii.ac.jp/1381/00005823/ CC BY-NC-ND
“E”の論点:狭義の/広義の”エビデンス” ▪ 「エビデンスとは政策(A)がoutcome(B)に影響 を及ぼした因果関係」であり、この因果関係を ⽰すことのできるデータ分析が求められる 伊藤公⼀朗(2016)『政策の効果をどう測定するか?海外における「エビデンスに基づく 政策」の最新動向』発表資料より引⽤ https://www.rieti.go.jp/jp/events/bbl/16102501_ito.pdf 狭義の”エビデンス”の⽤例 Science-Policy
Interfaceの領域の⼀般的な感覚 から⾒ると、⾮常に狭さを感じる定義である CO2が気候変動の原因である”エビデンス”はない? “エビデンス”という⼀般的な⽤語をここまで限定的な意味で使う論理的な必然性があまり明確でないような
本⽇の論点 E B PM EIPM 加納・林・岸本(submitted) Kano & Hayashi (submitted)
の論点 の論点 の論点 については別の機会に +個別論点のピックアップ
“PM”の論点:狭義の/広義の”政策形成” 政策効果の検証は”政策形成”の⼀部でしかない ▪ ⼩林編著(2010) 『政策形成 BASIC公共政策学』より引⽤ ①政策課題の設定 ②具体的な政策⽴案 ③政策決定 ④政策実施
⑤実施した政策の評価 ⑥評価にもとづく修正等 狭義のEBPMでは 政策効果の事前or事後検証 に強いフォーカスが 置かれる (その実態はほぼ”EBPTesting”) 「Policy-Making」は検証以外のフェーズも本来的に 含む概念であり、たとえば政策課題の設定時に学術的 に確かな根拠に基づくことは極めて重要な課題である 概念的ギャップ ここが後景化するのは(特に⽇本の現状を考えると)⾮常に良くないのでは
“狭義のEBPM”と”広義のEBPM” “エピソードベースド”PMのオルタナティブとして 提⽰するには「狭義のEBPM」は論理的に不適当 エ ビ デ ン ス の 概
念 範 囲 狭 広 PMの概念範囲 狭 広 狭義の EBPM 広義の EBPM ←ここはもう”What Works”と呼んでしまった ほうが⾊々と捗るのでは(私⾒) 認識のギャップ 端的に概念範囲が狭すぎる
研究者の多くは”Eから視点” ▪ 良い研究(E)を良い政策形成につなげたい! これはある意味、ジャーナル(peer-review)共同体の 価値観をそのまま公共政策のアリーナに持ち込んでい る側⾯がある(そこに⾃覚的である⼈はよいのだが・・) 質が低い 質が⾼い ランダム化⽐較試験・メタアナリシス 擬似実験・⾃然実験
純粋な観察研究 専⾨家意⾒ トップジャーナル&政策形成へ
政策の現場の⼈の多くは”PMから視点” ロジックモデルのフレームワーク内で、PMに必要 な情報におけるエビデンスギャップを明らかにする 現時点において最も重⼤なギャップを埋めるために 必要なエビデンスを取得すべき ▪ 良い政策形成のために確かな知⾒に基づきたい このとき、 「エビデンスヒエラルキーにおいて質 のより⾼い研究」
が「PMのために必要性のより⾼ い研究」であるとは全く限らない 研究者の”Eから視点”のアプローチと、現場の”PMか ら視点” のアプローチをどう絡めていけばよいのか?
本⽇の論点 E B PM EIPM 加納・林・岸本(submitted) Kano & Hayashi (submitted)
の論点 の論点 の論点 については別の機会に +個別論点のピックアップ
論点のピックアップ(1):PBEMは悪か? ▪ PMドリブンだと“PBEM”になりやすい? 特定の政策を誘導するためにエビデンス形成を⾏ う→悪いPolicy-Based Evidence Making ・ 政策の内容に応じて、政策を選択するためのエビ デンス評価(エビデンスの位置づけ)の枠組み形
成を⾏う→良い、というか業務上必要なPBEM ・ 参考:EUのネオニコチノイド系農薬規制の例 ミツバチへのリスクが懸念される(が情報が不⼗分 の)ため3年間のネオニコ使⽤の時限的禁⽌ →3年間の間に各種の科学的知⾒を政策形成において どう位置づけるかの評価フレームワークを構築 →必要な科学的知⾒の形成→正式の規制へ ・ 良いEの追求がPMに直結するのは稀であり、PMからの⼀定程度の誘導は必要
論点のピックアップ(2):PBEMと利益相反 ▪ 「特定利益誘導のためのエビデンス形成」の罠 医学分野では⻑年、タバコ産業(およびそこから資 ⾦提供を受けた研究者)によりタバコ産業の利益と なる研究知⾒が⽣産され、タバコの健康リスク 管理のあり⽅が歪められてきた ・ 例えば教育分野において(現在、⼤学⼊試での⺠間試 験の利⽤においてベネッセ等が利益相反を疑われる活動を
していることは諸報道の通りであるが)仮にベネッセの ような利害関係者がEBPMを前提とした枠組みに おけるエビデンス形成へ関与する際に、何の制限 もなくそれを認めてもよいのか? ・ EBPMでの利益相反の議論は軽視されすぎでは?
論点のピックアップ(2): PBEMと利益相反 ▪ たとえエビデンス形成⼿法⾃体は中⽴であった としても、テーマの選定⾃体のところで⼤きな バイアスが⽣じうることが本質的に問題 ・ EBPMはある意味「エビデンスと政策」を繋ぐ“優 先道路”となりうるため、通常よりも厳しく利益相 反は問われるべきであり、EBPMのエビデンス形成
における何らかの利益相反ルール整備は急務では たとえばRCTに⼿⼼を加えることは⼿法的に難しいが、 もしRCTによる効果検証の対象となる教育⼿法が特定の 業者のグループが提供するものに偏っているとき、RCT の使⽤が利益相反の免責に繋がるわけでは全くない 「特定利益誘導のためのエビデンス形成」の罠
論点のピックアップ(3):ロジックモデルという要所 ग़ॴɿจ෦Պֶলݚڀৼڵہ 伊藤伸(2016)『「EBPM」という⼿段の使い⽅ : ⽂科省「研究⼤学強化促進事業」の事例をもと に』より引⽤ CUC view & vision
48, 25-30 http://id.nii.ac.jp/1381/00005823/ CC BY-NC-ND
論点のピックアップ(3):ロジックモデルという要所 ग़ॴɿจ෦Պֶলݚڀৼڵہ 課題の明確化 ⽬的の明確化 やることの明確化 想定アウトプット・アウトカムの明確化 想定インパクトの明確化 (⼀般論として) トリートメントとアウトカム等の関係の想定 や効果測定の際の指標の設定については
単にRCTとか因果推論に詳しいだけの半可通によるものではなく 対象分野に対する確かな質的・量的な理解のある者による 学術的な検討が有効かつ必要である たとえば「適切な指標の選択」は ⼀般に⾮常に奥深い問題である ここが担保されていくのか アカデミシャンとしては正直 不安を感じるところ
論点のピックアップ(4):狭義/広義のどっちよ? ”What Works”的な狭義のEBPMを輸⼊したい →わかる。できるものからやるべきである ▪ 健全なデータの測定・整備・管理すらおぼつか ないのに、”What Works”なんてできるの? ▪ 九九もできてないのに、因数分解やろうとしてない?
→これもわかる。基盤的な部分から地道に整備 して、データ・エビデンス・ロジックモデル に基づく広義のEBPM⽂化を拡げていくべき ⽇本の現状を鑑みると「狭義のEBPM&広義の EBPM」の⼆正⾯作戦を取らざるをえない? でも”品評会⽤の鉢植え的EBPM”は成⽴できても、⽇本の⼟地と ⽂化に根付くものにはならないかも?
論点のピックアップ(4):狭義/広義のどっちよ? ⽇本の現状においては「狭義のEBPM」よりも 「広義のEBPM」の⽅がより本質的である ▪ 後者の上に前者が花開くことはあっても、 その逆はおそらくない なぜなら 後者の⽅が健全な政策形成においてより基底的である 敢えてさらに踏み込んで⾔うならば
議論のために:研究者/アカデミアの役割は? ▪「学術的に正しいロジックモデルの構築」への 貢献というのもわりと本件の要所なのでは ▪ 「健全なデータの測定・整備・管理」に貢献 する&その重要さを執拗にアピールするべき ・ やはりここが現状の⼀丁⽬⼀番地かと思われる ・オープンデータの流れと積極的にリンクさせていくべき? 「学術的におかしいロジックモデルに基づく正しいEBPM」
みたいな倒錯的な事態はわりと普通に起こりうると思う ▪「良いエビデンス」と「良い政策」をどんどん 繋げるための筋道を整備していこう (1)良いケーススタディを積み上げる、(2)エビデンス評価 (の枠組みづくり)に貢献する、とともに(3)EBPMにおけ る利益相反ルールを整備する必要があると思われる