EBPのための論文の読み方

Evidence Based Planning （根拠の基づく立案）を行う上で「論文を読んでみる」という作業を行うことがあります．
理系ではなく，論文を読んだことも無い人が，初めて「論文を読んでみる」ときの注意点をまとめてみました．

Transcript

1. EBPのための論文の読み方 2019.08版 定量分析系 ※ EBP：Evidence Based Planning
2. はじめに n 対象 u これまで定量分析系の論文を読んだ経験がない社会人 n 定量分析系の論文？ u この資料の作成に当たって便宜的に，勝手に作った用語 u 定量的な分析を主体とする論文 p ここでの「定量的な分析」は，統計的検定を想定 • 数学的な何らかの証明や，質的観点のみのケーススタディ， 哲学的な論考，などの論文は含まない • EBM※関連の論文や，実験心理学系の論文，などを想定 2 ※ EBM：Evidence Based Medicine ← 正確性よりわかりやすさ重視
3. つまり，こんなの。 n 暗記力が高まる薬品の開発 u 暗記力を高める薬品を作った u 被験者を80人あつめて， p 40人には開発した薬 p 40人にはただのジュース …を，飲ませた u その後，辞典の内容を暗記させ， どれだけ書き出せるかテストした u 薬品を飲んだグループは， 有意にテストの点が高かった u この薬はいいやつ。 3
4. つまり，こんなの。 n 理解力が高まる教育法の開発 u 理解力が高まる教え方を考えた u 被験者を80人あつめて， p 40人には開発した教え方 p 40人には従来通りの教え方 …で，授業した u その後，授業内容の理解度について， テストした u 開発した方法の授業を受けたグルー プは，有意にテストの点が高かった u この方法はいいやつ。 4
5. つまり，こんなの。 n 政策介入効果の検証 u カエルはウサギよりカワイイとい う正しい認識を適切に広めるため， 政策介入をおこなった u ラジオ，テレビ，ネットの3つで それぞれ異なる介入を行った u 介入効果を検証するため，選挙人 名簿を用いた層化2段階無作為抽出 で電話による聞き取りを行った u 普段ネットをよく使う人のみ，介 入後のカエルがカワイイ派が40％ 増加していた u カエルはウサギよりカワイイし， 政策介入するならネットがよい。 5
6. 目標 n 実務者観点で，論文を斜め読みするコツをつかむ n 概ね信頼できそうかどうかを 大まかに判断するポイントをつかむ 6
7. 論文の種類 n 「論文」にもいろいろ u 原著論文・ジャーナル論文 u （国際会議の）プロシーディング u オープンアクセスジャーナル（？） u レター u 予稿・紀要 7 信頼度/価値：高 信頼度/価値：低
8. 論文の種類と価値 n 前掲の区分けで行くと，「査読」の有無がポイント n 査読がある方が信頼性・価値が高い n 査読が厳しいほど信頼性・価値が高い n 査読：peer review u 一種の第三者評価 u 原著論文や国際会議は基本的に査読あり p 査読を通過しないと，掲載されない 8 論文の穴は どこかな〜
9. オープンアクセスジャーナル（OA） n オープンアクセスジャーナルは，玉石混淆度が高い n 査読がちゃんとしているかどうか，内容は信頼に足 るかどうか，など，慎重な検討が必要 9
10. 定量分析系論文の中身 n なにかの仮説・提案があって n それが正しい・良いかどうか確かめたい n そこで，実験などでデータを集めて仮説を検証 n 検証結果がどうだったか議論 10 残念ながら多くの場合，仮説が正しかったら 論文になる（執筆＆採録される）ことが多い ここが定量！
11. 定量分析系論文の構造 n 中身は難解ですが，構造は単純 n 仮説 u XXXはXXXでは？ u AよりBの方がよいのでは？ n 作業 u 関連する既存研究を整理 u 仮説が新手法などを提案の場 合は，ここにレシピも u 本資料の読者は読み飛ばして もOK n 検証（実験） u 仮説の検証を行う u 基本はデータを集めて比較 n 考察 u 検証の結果はどうだったか n まとめ u まとめ 11
12. هड़͍͋·͍ࡑͰ ୁั͢Δʂ どこ・何を読むか：Step0 n 心構え u 論文を読むときは「推定有罪」の原則 p 基本，信用しない，疑ってかかる • きちんと査読を経た論文であっても，意外とミスはあります p 詳細が不明なときは，詳細として想定されうる 最も悪い・ダメなケースとして取り扱う 12
13. 再現性の危機 n レシピや評価の詳細を記載するのは， 第三者の検証を担保する側面も n 近年，年間に1人の人間が読めないほどの論文が… n 成果主義や任期制と相まって論文数ゲームも過熱 n 再現性のない（内容が再現できない）論文も多数… u Natureの1500人調査で70%は再現性なし (2016年7月) u 心理学の論文100本中，追試で有意差アリは36% (2015年8月) u などなど 13 参考： https://junkato.jp/ja/blog/2017/07/05/artifact-review- for-replicability/ ※ 再現性の有無と，悪意の有無は別問題
14. どこ・何を読むか：Step1 n ポイント u なにが目的で u なにをどうして u なにがわかったか？ 14 ちゃんとした論文であれば 概要にこれらの要素が 書いてある 概要だけで結論を信用してはダメ。 この時点では「これはパス」 「これは保留」の判断まで。
15. どこ・何を読むか：Step2 n保留にした論文の中身を読む u 実務者＆EBPの観点であれば，斜め読みでOK nポイント u ロジックは適切か？ u 目的に対して検証方法は適切か？ p 対象，手続き，手法，などなど u 結論のリミテーションは？ p どこまで一般化できるか 15
16. ロジックの適切さ n バリエーションが多すぎるので割愛 16 連言錯誤 後件肯定 前件否定 選言肯定 4個概念の誤謬 媒概念不周延の誤謬 公正世界誤謬 早まった一般化 誤った二分法 間違った類推 例外の撲滅 偏りのある標本 前後即因果の誤謬 因果関係の逆転 論点先取 曖昧語法 連続性の虚偽 多義語の誤謬 多重質問の誤謬
17. 検証方法の適切さ n この方法でやりたいこと（目的）は評価できるか？ u 被験者などは目的に合致しているか？ u 被験者集団のサイズは十分か？ u 実験のデザインは目的に合致しているか？ u 統計的検定を行う場合，適切な手法が選ばれているか？ 17 後のスライドで別途解説
18. リミテーション n 定量分析系論文は基本的に「ある条件下で…した場合， XXが成り立つ/XXになる確率が高い（…かも？）」と主張 n 「ある条件」が変わったときにも成立するかは不明 u 「ある条件」の自由度の高さ＝一般化可能性 n リミテーション u 論文で得た結論はどういう時に通用するか，もしくは通用しないか， という適用範囲 u リミテーションがはっきりしない論文は怪しい… u 「何にでも使える」「いつでも成り立つ」はかなり不審 p こういう発明・発見は滅多にないし，検証も困難 p だからこそ，そうした理論を作れたら/見つけられたらスゴイ！ 18
19. n ロジックや検証方法が適切で，リミテーションも 明確であればエビデンスとして採用してもよい u ただし，同等にエビデンスとして採用するに足る 対立する見解が存在する場合も…？ p 一つだけ見つけて満足するのは危ないかも 19 青信号は「進め」ではなく， 「進んでも良い」
20. 検証の適切さ n ドリル形式でポイントだけを見ていきます n より詳しい内容は他の書籍で 20
21. 1問目 21 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者に大学生を20人あつめて， 開発した薬を飲ませた u その後，計算ドリルを解かせる テストを実施した u 平均80点と高い点数だった u この薬はいいやつ。 問題点は？ （少なくとも3つ）
22. 1問目 22 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者に大学生を20人あつめて， 開発した薬を飲ませた u その後，計算ドリルを解かせる テストを実施した u 平均80点と高い点数だった u この薬はいいやつ。 児童が対象なのに， 実験は大学生で実施 暗記力を試すのに， 計算のテストを実施 比較対象もないのに， 高いかどうかはわからない
23. 2問目 23 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者に小学生を20人あつめた u その後，薬を飲む前と後で1回ずつ 辞書を読んで覚えている内容を 書き出すテストを実施した u 薬を飲んだ後のテストの点数は 飲む前に比べて有意に高かった u この薬はいいやつ。 問題点は？ （少なくとも1つ）
24. 2問目 24 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者に小学生を20人あつめた u その後，薬を飲む前と後で1回ずつ 辞書を読んで覚えている内容を 書き出すテストを実施した u 薬を飲んだ後のテストの点数は 飲む前に比べて有意に高かった u この薬はいいやつ。 暗記ものなのに，同じ辞書 を覚えて書き出す…だと， 2回目の方が成績が上がる 薬の効果か，学習効果か， よくわからない ABテストと呼ばれる実験デザ インです
25. 3問目 25 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者として，ある小学校から 2クラスの協力を得て p 1クラスには開発した薬 p もう1クラスにはただのジュース …を，飲ませた u その後，辞書を暗記して覚えている 内容を書き出すテストを実施した u 薬を飲んだクラスのテストの点数は 他方に比べて有意に高かった u この薬はいいやつ。 問題点は？ （気になる点が1つ）
26. 3問目 26 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者として，ある小学校から 2クラスの協力を得て p 1クラスには開発した薬 p もう1クラスにはただのジュース …を，飲ませた u その後，辞書を暗記して覚えている 内容を書き出すテストを実施した u 薬を飲んだクラスのテストの点数は 他方に比べて有意に高かった u この薬はいいやつ。 もともと片方のクラスの方 が点数が高かった可能性も （バイアスの存在） 比較対照実験と呼ばれる実験デ ザインです
27. 4問目 27 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者に2万人の小学生を集め ランダムに2群に割り付けし… p 1万人には開発した薬 p 1万人にはただのジュース …を，飲ませた u その後，辞書を暗記して覚えている 内容を書き出すテストを実施した u 薬を飲んだ群のテストの点数は 他方に比べて有意に高かった u この薬はいいやつ。 問題点は？ （微妙に気になる点が1つ）
28. 4問目 28 一般的な統計手法では， サンプル数が大きいと， わずかな差でも有意差が！ もしかすると，点数の差は 100点満点で0.1点かも？ ランダム化比較対照実験(RCT) と呼ばれる実験デザインです n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者に2万人の小学生を集め ランダムに2群に割り付けし… p 1万人には開発した薬 p 1万人にはただのジュース …を，飲ませた u その後，辞書を暗記して覚えている 内容を書き出すテストを実施した u 薬を飲んだ群のテストの点数は 他方に比べて有意に高かった u この薬はいいやつ。 （もちろんサンプルが少ないのもダメ）
29. 5問目？ 29 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者に100人の小学生を集め ランダムに2群に割り付け… p 50人には開発した薬 p 50人にはただのジュース …を，飲ませた u その後，辞書を暗記して覚えている 内容を書き出すテストを実施した u 薬を飲んだ群のテストの点数は 他方に比べて2割高く，有意差も 認められた u この薬はいいやつ。 注意点は？ （？）
30. 5問目 n 基本的には良さそう u 論文査読ではここから， 正しい統計手法が使われていそうか， 差を生み出す隠れた要因がなさそうか，など調査 u 小学生だと年齢，学年や男女差が成績に大きく影響する可能性 そのあたりの条件がどうなっているかは要注意 n 政策や経営に活用の場合は，この薬の製造コストや 適用することの倫理性，副作用，長期作用などなど検討 30
31. より望ましいデザイン 31 n 暗記力が高まる薬品の開発 u 児童の暗記力を高める薬品を作った u 被験者に100人の小学生を集めて※1 ランダムに2群に割り付け… p 50人には開発した薬 p 50人にはただのジュース …を，飲ませることにした u その後，両群とも薬・ジュースを飲む 前と後で，テスト用紙※2に記載された 単語を5分暗記して，10分後に覚えて いる内容を書き出すテストを実施した u 薬を飲む前は両群で点数に有意差は なかったが，事後では薬を飲んだ群は 他方に比べて点数が2割高く，有意差も 認められた u この薬はいいやつ。 ※2: 前後でそれぞれ問題は異なるものとする 事前 事後 薬 ジュース 点数 ※1: 群ごとの学年，性別比などは別途記載とする
32. 誤差とバイアス 32 真値（上図だと中心）からの バラツキ 真値からの系統的なズレ 誤差 (Error) バイアス (Bias)
33. 誤差とバイアス 33 誤差 ：大 バイアス：大 誤差 ：小 バイアス：大 誤差 ：小 バイアス：小 誤差 ：大 バイアス：小 実際には，誤差の程度はわかるが， バイアスの程度はわからない （現実は十字マークがない状態）
34. 誤差とバイアス n バイアスは誤差の一種 u バイアス ＝ 系統誤差 n 誤差については，特に実験物理学などで “誤差論”として，系統的に整理 n この資料ではわかりやすさ優先で，あいまいに 34
35. バイアス n 選択バイアス u 標本を抽出する際に発生するバイアス p インターネットで被験者を募る場合， そもそもインターネットをよく利用する人で， 被験者募集のページを見るようなタイプの人しか来ない • 20代，30代だと特殊ではないかもしれないが， 70代の応募者となると，かなり特殊なプロファイルの可能性 p 暗記力を向上させる薬の被験者を募る場合，自由応募で来る人は， そもそも暗記力に不安がある可能性 p 霞ヶ関で働く人の考える世間は，地方で契約社員として 働いている人の考える世間とは違っている可能性 35
36. イドラ n 種族のイドラ（生物） u 人間の生物的制約から生じるバイアス n 洞窟のイドラ（個人経験） u 個人の経験から生じるバイアス n 市場のイドラ（伝聞） u 言葉や思考から生じるバイアス n 劇場のイドラ（権威） u 権威や伝統に無批判に従うことで生じる誤り 36
37. 相関 n 線形相関 u 一般的に「相関」という時は線形相関 u 2つの変数の間に線形の関係があるかどうか p Xが大きい/小さいとき，Yが大きい/小さい。 37 このタイプの関係はわかる このタイプの関係はわからない
38. 因果と相関 n 因果と相関は関係するけど要注意！ u 相関は因果の方向性について言及していない p ex. 歩行速度と心拍数は相関 • 歩行速度が速いと，心拍数が高くなる ← ただしい • 心拍数が高いと，歩行速度が速くなる ← まちがい • この例だとわかりやすいので，間違っているとわかるが， 相関から都合の良い因果を導くことはよくある 38
39. 相関・因果の注意点 n 見えていない要素が影響していることも 39 Latent X Y Latent X Y X Y 関係を見誤ると，操作しても 無意味・非効率
40. 問題 40 n 世帯年収と子供の成績 u 子供の成績に関連しそうな指標を いろいろ調べて見た u 世帯年収と成績は相関している u 子供の成績が上がれば， 世帯収入UPで，景気も向上！！ 問題点は？ （少なくとも2つ）
41. 解答例 41 手当たり次第に比較すると， 疑似相関の可能性UP 「そうはならんやろ。」 因果の方向が違うのでは… n 世帯年収と子供の成績 u 子供の成績に関連しそうな指標を いろいろ調べて見た u 世帯年収と成績は相関している u 子供の成績が上がれば， 世帯収入UPで，景気も向上！！ 相関はあるかもしれないが， 隠れた要因があるかも？
42. 疑似相関 n 計算上，相関はあるが実際は無関係なこと n 例えば… u ニコラス・ケイジの映画出演数と， プールの水難事故発生件数は相関がある p ニコラス・ケイジが暇だと，水難事故は発生しない？ p 水難事故を起こせば，ニコラスの映画が増える？ u アメリカでは，商店街の総収入と， 計算機科学の博士号取得者数は相関がある p 最先端の計算機科学は商店街の活性化に直接役立つ？？ p 商店街で儲かった人たちは計算機科学の博士号を取りに行く？ 42 cf. 偽陽性
43. 隠れた要因 n 世帯年収と成績は相関している u データ上は確かにそうかも…でも… u 世帯年収が高いと… p 保護者が学習の重要性をよく認識している p さらに学習塾に通わせるなど，教育にコストをかけられる p 上記のプロファイルが似通った層で付き合うので， 子供も勉強するのが当たり前と認識している u …と言った確率が上がって，成績が上がるのかも？ p つまり，本当は保護者の学習の重要性の認識が最重要で， それが世帯年収と相関していたのかも？？ • 「景気が良くなって世帯年収が上がれば，成績UP！」にはならない 43
44. さらに勉強するために n 大野木，中沢：心理学マニュアル 研究法レッスン，北大路書房，2002 http://www.kitaohji.com/books/2264_7.html n 数理社会学会：社会の見方、測り方―計量社会学への招待，勁草書房，2006 http://www.keisoshobo.co.jp/book/b26175.html n メルツォフ：クリティカルシンキング 研究論文篇: 心理学と関連領域，北大路書房，2005 http://www.kitaohji.com/books/2459_3.html n 山田，村井：よくわかる心理統計（やわらかアカデミズム・わかるシリーズ），ミネルヴァ書房，2004 http://www.minervashobo.co.jp/book/b48724.html n アメリカ心理学会：APA論文作成マニュアル 第2版，医学書院，2011 http://www.igaku-shoin.co.jp/bookDetail.do?book=81317 n エヴェラ：政治学のリサーチ・メソッド，勁草書房，2009 http://www.keisoshobo.co.jp/book/b35050.html n S.B Hulley, et al.：医学的研究のデザイン 第4版 － 研究の質を高める疫学的アプローチ －， メディカルサイエンスインターナショナル，2014 https://www.medsi.co.jp/books/products/detail.php?product_id=3400 44
45. 演習 n 政策介入効果の検証 u カエルはウサギよりカワイイという 正しい認識を適切に広めるため， 政策介入をおこなった u ラジオ，テレビ，ネットの3つで それぞれ異なる介入を行った u 介入効果を検証するため，選挙人名 簿を用いた層化2段階無作為抽出で 電話による聞き取りを行った u 普段ネットをよく使う人のみ，介入 後のカエルがカワイイ派が40％増 加していた u カエルはウサギよりカワイイし， 政策介入するならネットがよい。 45 大小様々なレベルで 様々な問題のある内容です 問題を列挙，整理し， 修正案を考えましょう ※ こんな論文が採録される可能性はほぼゼロです J
46. 演習 n 実際の論文も読んでみましょう。 u MOOCにおける英語・日本語字幕の学習効果 DOI https://doi.org/10.24458/jaems.23.1_1 u 模擬授業を取り入れた教科教育法における受講者のICT活 用指導力の分析 DOI https://doi.org/10.24458/jaems.22.2_21 u 初等中等教育におけるeラーニング活用教育モデルの構築 と検証 DOI https://doi.org/10.14926/jsise.29.76 u eラーニング・対面講義・グループワークに対する学習者 の認知と成績との関連性 DOI https://doi.org/10.14926/jsise.28.247 46 ※ J-Stage で 適当に選んだものです
47. 責任者はどこか… n 論文の内容に関しては当然著者 u 明らかに大きなミスがあるのに査読を通っていれば，査読者にも 少しは責任がある…かも。 n 論文の内容を採用するか，採用して何に使うか， 採用した結果どうなったか，は採用側の責任 u 誤った論文の主張を採用してしまい，好ましくない結果が起きた… u この場合，第1責任者は基本的に採用した側に p データがねつ造されたものだったりした場合だけは例外 47
48. データは真実を語るか？ n 当然，語らないときもある u 測定対象や粒度など“もと”が間違っていたら当然ダメ u データは正しくても，読み取りを間違っていたらダメ …などなど n 数値データが無いからエビデンスにならない！ …ということも，当然ない u 十分データが取れないこと，検証のしようがないこと， まだ誰も考えてないこと，なども，世の中には沢山あったりする u エスノメソドロジーなど，質的分析も当然大事 n 結局，“信じるか信じないかはあなた次第” u データがある方が「より合理性が高そう」だし， 検証/議論の可能性は高そう 48 ← この辺りは社会学の先生とかに聞いてみよう
49. 実社会におけるRCTのむつかしさ n “社会現象”はそもそも統制することが困難 u 「XXという手法が上手くいった！」 p 景気動向がよかったからじゃないの？ p XXX国のXXXX地域だったからじゃないの？ p 数年前にXXXという政策を導入していたからじゃないの？ n 社会は基本的に不可逆 u 「XXXはダメだったか，今度はYYYYを試してみるか」 p XXXによって既に，YYYYには耐えられない社会状況になっている可能性 p XXXの失敗経験により，社会が次の実験を受容しない可能性 n 倫理の問題も… u 「学力がすごく上がるかもしれないXXXを試したい！」 p A学校にはXXX，B学校は従来手法…もし，XXXが効果がある場合， B学校の人は機会損失，もしXXXが悪影響ならA学校の人が機会損失 49 RCTが何にでも適用可能・すべき…なわけではない，特に実社会問題には適用困難
50. 説明原理と設計原理 n 説明原理（仮説的構成概念？） u こう考えたら，説明・理解できる/しやすいよね。的な？ n 設計原理 u こうやったら，これこれが出来るよ。というレシピ的な？ n 理解をするための枠組と，作るための枠組みは，独立かも u 理解するために行った研究の論文は，直接は設計に活かせない… と，いうようなことも u 論文の方向性がどちらなのかを考えてみることも大事かも？ 50
51. 免責＆License n 免責 u 内容その他について，完全無保証です n License u クリップアートや，一部の画像 p 別に著者が存在しますので，改変等の際には， それぞれのライセンスに準じてご利用ください p クリップアートのライセンス • http://www.chojugiga.com/terms/ • http://icooon-mono.com/license/ u その他の部分（文字部分のほとんど） p 著作権の放棄はしませんが，再配布，改変，配信等ご自由に！ 51