知識社会マネジメント 5月10日 第4回 「予測と無知とリスクの複雑な関係」 佐々木一 Hajime Sasaki Ph.D. 東京大学 特任准教授 未来ビジョン研究センター Innovation management in knowledge society 2024夏学期講義金曜2限（10:25〜12:10）

科学的予測なるものの圧⼒が増⼤するなかで。先端バイオテクノロジーやDNA型鑑定への期 待、災害予測、感染症シミュレーション、地震予測、放射線被ばくのリスク予測、そして政 策や経済での活⽤まで、予測と社会の複雑かつ多⾯的な関係性を考察する。

•科学の価値は事前にわかるのか？

被引用数が多い論文を書いた科学者でも、過半数は助成金を取れなかった Stavropoulou, C., Somai, M., & Ioannidis, J. P. (2019). Most UK scientists who publish extremely highly-cited papers do not secure funding from major public and charity funders: A descriptive analysis. PloS one, 14(2), e0211460. 1000以上の被引⽤数がある⽣命科学分野の研究者のうち、 助成（グラント）を取れていた研究者の割合。（英国）

Case: Science explores innovative frontier Sales (SCI） Discovery by Prof. Honda and Fujishima （Nature,1972) →#Papers (after ‘75) →#Patents (after ‘95) →Market (after ‘03) （Industrial Association of Photocatalysis） # patents （JPO） Photocatalysis (光触媒) 榊原・辻本・松本(2011) Technology Market 0 100 200 300 400 500 600 1970 1975 1980 1985 1990 1995 2000 論文数 出版年 その他 米国 中国 日本 # Papers Science Year # papers Others US CHN JPN Talent, Organiza.on, Ins.tu.on

Sleeping Beauties Van Raan, A. F. (2004). Sleeping beauties in science. Scientometrics, 59(3), 467-472. 100年以上引⽤のない休眠中の論⽂が、突如脚光をあびる「眠れる森の美⼥（sleeping beauty）」論⽂

Ke, Q., Ferrara, E., Radicchi, F., & Flammini, A. (2015). Defining and identifying sleeping beauties in science. Proceedings of the National Academy of Sciences, 112(24), 7426-7431.

論文も特許も破壊的な知識が減少傾向（再掲:第2回より） Park, M., Leahey, E. & Funk, R.J. Papers and patents are becoming less disruptive over time. Nature 613, 138–144 (2023). • この傾向は、科学者や発明家が既存の知識の狭いセットに依存していることに⼀因がある。 • 知識の成⻑のプロセスが展開されるためには、現存する幅広い知識との関わりが必要。 • 狭い知識に頼ることは個⼈のキャリアに利益をもたらすかもしれないが、科学の進歩とはいえない。

「『役に立つ』という言葉が社会を ダメにしていると思っています。 科学で役に立つということが、数 年後に企業化できることと同義語 みたいに使われているのは問題。 本当に役に立つとわかるのは10 年後かもしれないし、100年後か もしれない。将来を見据えて、科 学を一つの文化として認めてくれ るような社会にならないかなと強 く願っています」

役に立つ知識かどうかは知単独で判断できない。 その知識が「役に立つ」か「役に立たない」かの判断は、その時間・ 空間、さらにはそれを扱う主体に依存する。 他の知識（主体(役に立たせようとするヒト) が持つ知識、その環境に存在する 知識）との関係性でしかない。 知識 役に⽴つ︖ t 「役に⽴つ（⽴たない）」は当該知識が持つ普遍的な属性ではない。 「役に⽴たせる（ようとする）」主体が存在するだけ。

それでも我々は予測をする。 •「予測する」とはなにを意味するのか？

（防災における）予測が内包する矛盾その１ •予測の自己破壊： 「（防災の）予測の枠組み」には、予測通りの被害をうまない ようにするミッションが内包されている。 • 被害（否定的な結末）を予測←→回避することを社会に提示。外れてもらうためにする予測。 • 予測の対象として、人間は、モノのように客体的なオブジェクトの枠に収まりきらず、ど うしても主体的なエージェントとしてもあらわれてしまうがゆえ起こる矛盾。 ⼤ 津 波 来 た ら ば 共 に 死 ん で や る 今 ⽇ も 息 が ⾔ う ⾜ 萎 え 吾 に こ の 命 落 と し は せ ぬ と ⾜ 萎 え の 我 は ⾏ き た り 避 難 訓 練

（防災における）予測が内包する矛盾その２ •“防災予測=人知及ばず発生してしまう例外的な自然現象や人間社会行動を 予測しようとすること” • 予測通りに生じた災害の予測は「人知が及ぶ程度の災害事象だった」という点で、意義あ る予測たりえない。 •「想定外」に対する課題： • 予測を根底から覆すような自然現象や被害としての「想定外」。予測された被害をさらに 悪い方向に乗り越えられてしまう課題。 • すなわち「想定外」の異常事態に対処することを志向しなければいけない。「矛盾1」とは 別の意味で外れることにもまた意義がある。 →どういうことか。 •想定外に対処する：森羅万象を予測し尽くし想定内に包摂しようとすることは できない（定義上不可能）。 • （劇的な）想定外に直面し「想像だにしていなかった」という体験を続けることで「想定」の 範囲を広げる。 •想定外へ直面するためには、予測が外れる経験こそ重要。 •（他にはないの？）→それを促す仕組みづくり。

『カメラではなくエンジン』 ブラック・ショールズモデルを例に （An engine, Not a camera: How Financial Models Shape Markets, 2006） • ⾔語⾃体が社会を動かす構成要素（エンジン） • 予測を⾔語として伝達することによる相互 影響は無視することはできない。 “経済モデルは経験的事実を再現するためのカメラで はなく、探求のためのエンジンである” 経済学の遂⾏性︓「経済学的知識の活⽤によって経 済プロセスが経済学的記述に近づくこと」 カメラ（記述的）︓世界に⾔語を合わせる エンジン（遂⾏的）︓世界が⾔語に合わせる MacKenzie (2007) “What Does it Mean to Say that Economics is Performative”

「予測」をめぐる二つの視点 • 自然科学的な予測の視点 • 予測は中立性、客観性を重視し、未来の 世界を記述しようとするもの。 双⽅の視点によって、科学的な予測 → ⼈びとの⾏為 → 社会が変化 =⾏為遂⾏性(Performative) ︔⾔語⾏為論 Austin, J. L. 1962 How do things with Words. 「科学的な予測による社会への影響」と同時に 「社会による予測科学への影響」の存在の存在。 記述⽂︓世界と⾔語が不⼀致の場合、 ⾔語が世界に合わせるよう修正される。 ex ・強い⾵が吹いている。 ・津波が近づいている。 遂⾏⽂︓世界と⾔語が不⼀致の場合、 世界を⾔語に合わせる。 ex ・窓を閉めてください。 ・急いで逃げてください。 ・社会科学的な予測の視点 ・予測は⼈びとの⾏為と連動し社会を変え るためのもの。

予測の行為遂行性 •予測が社会を変化させるメカニズム 行為遂行的な発言の存在:予測的な語りが社会に向けての宣言や約束 •「今後20年以内に、マグニチュード8〜9級の大地震が起こる確率が70 〜80%である。」 •「ゲノム編集食品がこの夏までには、販売許可になる見込み。」 → （言外に社会的な対応を要請） 技術ロードマップ、フォーサイト、工程表、経済予測にも、行為遂行性 がある。 （未来を提示することで資源の獲得と配分を促し、結果として提示 した未来像を実現する：期待の社会学） van Lente, H. (2012). "Navigating foresight in a sea of expectations: lessons from the sociology of expectations." Technology Analysis & Strategic Management 24(8): 769-782.

技術フォーサイトについての社会学的視点 ■ムーアの法則 集積度︓「半導体産業のニーズとそれに答える⼯場⽣産においては、 1.5年から2年で、集積回路の機能（トランジスタ数等）が倍になる。」 スピード︓「マイクロプロセッサの性能（クロック周波数×命令数/ ク ロック/ 秒）は、1.5年から2年で倍になる。」 Moore⾃⾝の発⾔の経緯として⾒ると、 1965年の段階で、『ビット コストは年々下落するので、年々集積度を⾼めてゆかなければなら ないし、それは可能である』という主旨のより抽象的であるが原理 的なことに⾔及。コストを意識した指針。 従って、ムーアの法則は、関係者が⾃らの⾏動を 調整するための道具として作⽤するもの。 (G. Moore, Electronics, vol.38 no. 8, (Apr.19, 1965).) 過去の経路によって技術が進む➡ ⼈びとの期待といった未来への意識が技術をつくる ex: ムーアの法則, ハイプカーブ

• 23項⽬のすべてが100年前の⼈々 の欲求に深く根ざしたもの • 実現した13項⽬は主として電 気・機械・通信・エネルギーな どの産業⾰命以降の技術⾰新を ベースとしたもの • 実現しなかった7項⽬は環境と医 療・⽣命科学に関するもの ⼆⼗世紀の予⾔ 分類 予言の内容と実現状況 実現した予言 無線電信電話（→携帯電話による国際電話） 遠距離の写真（→カラー写真の電送） ７日間世界一周（→航空機の発達、海外旅行の一般化） 暑寒知らず（→エアコン） 植物と電気（→人工光による室内栽培） 人声十里に達す（→電話） 写真電話（→テレビ電話・テレビ会議） 買物便法（→通信販売・ネットショッピング） 電気の世界（→電気エネルギー） 鉄道の速力（→鉄道の高速化） 市街鉄道（→地下鉄・高架） 自動車の世（→モータリゼーションの到来） 電気の輸送（→水力発電・電力網） 一部が実現し た予言 サハラ砂漠の沃化（一部に砂漠の灌漑は実現した） 空中軍艦・空中砲台（爆撃機や戦闘機は発達したが、飛行船 による戦闘は実現せず） 人の身幹・身長は6尺以上に（体格の向上はあるものの個人 差大） 実現しなかっ た予言 野獣の滅亡 蚊及び蚤の滅亡 鉄道の連絡・5大陸に鉄道貫通 暴風を防ぐ 人と獣の会話自在 幼稚園の廃止 （出典︓報知新聞1901年1⽉2、3⽇、科学技術⽩書平成17年版、内閣府イノベーション25戦略会議資料） 「技術の進歩の予測」 よりも 「⼈々の欲求の強さ」

未来を予測する最善の方法は、 自らそれを創りだすことである “未来は、あらかじめ引かれた線路の延長上にあるの ではない。それは、われわれ自身が決定できるような ものであり、宇宙の法則に逸脱しない範囲で、われわ れが望むような方向に作り上げることもできるのであ る”

問いかけ： 「予測」とは、 誰かによって語られた 未来社会のあり方に関する 現在の決定といえるのではないか

予測が科学であることの副作用 専⾨家の視点 社会の状況や期待の視点 地震、気象、市場、⼈⼝動態等、予測精度の向上 専⾨的になればなる程、⼀般の⼈には理解が難し くなる。 また、予測過程がブラックボックス化したと感じ る。 学術雑誌 Public Understanding of Science 科学の限界や不確実性の存在 例:地震予測 モデルの構築・検証が難しい。実物⼤の実験もできない。過去 の地震発⽣に関する経験が不⾜しているが、現状経験的アプ ローチを取ざるを得ない(鷺⾕ 2012;鈴⽊・纐纈 2019)。 ⻑期予測に対する政策的な期待 Aykut et al. (2019) “The Politics of Anticipatory Expertise: Plurality and Contestation of Futures Knowledge in Governance. Science & Technology Studies, 32 (4), pp. 2- 12. 予測の原理や⽅法論の探索 例:シミュレーション、モデリングなどの⼿法の洗練 何をすべきかを⽰唆するような予測への期待 (⽮ 守 2019)

科学としての予測と政策の接続に関わる課題 台湾の感染症シミュレーションモデルの事例(日比野 2019) • 2009年のH1N1新型インフルエンザのパンデミック以来、予測と政策の接続の為 の社会的基盤が整えられてきた • 行政のスタンス • 感染症予測モデルに対する肯定的な態度 • 対策に対して積極的に数理モデルを活用 • 行政官自身がシミュレーション科学を学習し分析できる能力を涵養 日本の課題(日比野 2019) 数理モデルの政策活用は遅れている • シミュレーション結果を使い対策を試みるものの、法律や既存の制度の壁に阻ま れ実行できない • 例:「学級閉鎖」 • すでに確立された社会的基盤との接続の難しさ • 例:AEDの配置

期待と想像の行為遂行性 （期待の社会学） •研究開発資源の確保 •投資に値する未来の提示と実践との間の関係 •過去を理解することによる魅力的な未来の提示 • 例）第三次人工知能ブーム •提示する未来像や提示の幅は主体ごとに異なる。 •実施者：研究者、企業、スタートアップ •支援者：行政、株主、VC •実験的な未来像の提示 •SFプロトタイピング/スペキュラティブアート 標葉, ⾒上 (2024) ⼊⾨科学技術と社会

「想定外」の混同による独り歩き •想定から外した • 例「原子力発電所に隕石が落ちることは考えない」(リスク） •想定できるがしなかった • 例「原子力発電所に大津波が押し寄せる」（不確実性） •想定すらできなかった • 例「原子力発電所の事故により原子力発電に対する社会的信頼が大きく喪失する」（無 知） →対象にかかる知識の状態を理解した上で 想定しておかなくてよいものなのか， 想定して予防措置を講じておくべきものなのか， 想定しえない が事前警戒や事後対応を図るものなの を区別（これは価値観の問題）

リスクの定義 •「危害の発生確率及び危害の程度の組み合わせ。」 •combination of the probability of occurrence of harm and the severity of that harm. (ISO/IEC 2004: 日本規格 協会2015)ガイド51 •環境分野、放射線防護分野含む一般的な利用。 • c.f.) ガイド73の定義「目的に不確実性が及ぼす影響」(ISO 2009) • 経済や金融での利用：つまりリターンを含めてリスク（不確実性）という考え方。 ⇔安全の定義 「許容不可能なリスクがないこと。」(ISO/IEC 2004: 日本規格協会2015): freedom from unacceptable risk =ゼロリスクを意味しない。 •「安全」は「リスク」を経由して定義される。 •許容不可能なリスクに対する合意（事象ごとに異なる）

科学的不定性における４象限 有害事象の発⽣可能性と結果についての知識 定まっている 定まっていない 事 象 の 発 ⽣ 確 率 ︵ 定 量 ︶ に つ い て の 知 識 定 ま 3 て い る リスク RISK e.g. ⼯学的要素 決定論的閉鎖システム ⾼頻度の事象 よく知られた⽂脈 多義性 AMBIGUITY e.g. 賛成反対の定義 影響の対⽴ 多様な視点 他の選択肢 定 ま 3 て い な い 不確実性 UNCERTAINTY e.g. 動的開放システム 低頻度の事象 ⼈的要因 変化する⽂脈 無知 IGNORANCE e.g. 新規物質 サプライズ 新しい選択肢 視野を狭める者の存在 By アンドリュー・スターリング(英国サセックス⼤学 SPRU) リスクの例 ・国に提出する化学物質の毒性データ ・消費 ⽣活⽤品のJIS規格 不確実性の例 ・ BSE感染⽜摂取によるヤコブ病発症 ・弱い電磁場を⻑期間浴びた健康影響 多義性の例 ・遺伝⼦組み換え操作（倫理⾯） ・携帯基地局（健康被害ではなく景観 の話） 無知の例 ・オゾン層の減少 ・環境ホルモンの発⾒初期 ・DDT Andrew Sarling “Opening Up Scienafic Inceratude: Some wider methodological and policy implicaaons”

無知学から考える研究資源のありかた ・無知学：agnotology (2000年〜） •生来の(native)無知 •科学技術：何がまだ知られていないのかを特定して（Known Unknown) はじめ て「問い」が立つ。 •「特定された（specified）無知こそが科学の資源」(Merton 1987) •科学は知を作り出すと同時に、無知を作り出してきた。 •人類は知れば知るほど知らないこと（知と無知の境界）が増える。 •「無知こそ科学の原動力」 （Firestein 2012) → •意図的な無知 •非意図的な無知 標葉, ⾒上 (2024) ⼊⾨科学技術と社会

意図的な無知 （作られた無知：無知の社会的構成） •米国たばこ業界団体の「たばこ戦略」 (Proctor 1995） •たばこ以外の発がん性物質の研究助成 • →積極的にたばこの害から世間の目を逸らす。 •発がん性を示す証拠の不確実性（ゆれ）の協調 • →さらなる研究を要求 •→酸性雨、オゾンホール、温暖化等の懐疑論も「少数の研究者 による作られた活動」 (Oreskes and Conway, 2010) •「公平の原則」：メディアは２つ以上の仮説がある場合、中立性 を重視し公平に報道。→「まだ明らかになっていない」という印 象。無知の製造。 標葉, ⾒上 (2024) ⼊⾨科学技術と社会

非意図的な無知 •オウコチョウ •南米先住民・奴隷が中絶薬に用い ていた薬草。 •欧州に伝来したが長らく鑑賞用。 • 植物学者がほとんど男性であったこと。 • 中絶が医師の優先的な研究対象ではなかった こと。 • （奴隷たちがあえて教えようとしなかったとい う事実も（意図的な無知と、非意図的な無知は 相互排他ではない） ⾮意図的な無知︓研究の資源が有限であるがゆえ→「誰が科学をするか」。 インターセクショナリティ︓⼈種、階級、障害、環境破壊など抑圧の交差性 が無意識に反映される。 →無知学の応⽤︓ジェンダードイノベーション（ex:シートベルト） 標葉, ⾒上 (2024) ⼊⾨科学技術と社会

ヒトの認知バイアス １．利用可能性ヒューリスティクス（availability heuristics） （直前に）起きたことへの強い（強すぎる）関心、マスメディ アやインターネットによって歪められる認知） ２．自分から時間的及び距離的（社会的/物理的）に遠い出 来事への無関心（social discounting, psychic numbing） •より強いシステム１で対抗 •～アート（やSF）の可能性

ヒトの認知バイアス １．利用可能性ヒューリスティクス（availability heuristics） （直前に）起きたことへの強い（強すぎる）関心、マスメディ アやインターネットによって歪められる認知 ２．自分から時間的及び距離的（社会的/物理的）に遠い出 来事への無関心（social discounting, psychic numbing） •より強いシステム１で対抗 •～アート（やSF）の可能性

専門家も「起きたこと」に影響を受けすぎる (Kishimoto, 2019)

再発防止の落とし穴 • 事件や事故が発生すると「再発防止」 の名のもとに大きな予算がつけられ、組織や法律が新設。 • 「再発する」可能性が非常に小さいものについても「再発防止」は大義名分。 • 客観的に見ると費用対効果の悪い対策もある。 • 根本原因ではなく、当該事象に過適合した小さなルールの追加になることもある。 • 私たちの思考の根本的欠陥：本当に未然防止されると、未然防止されたことに誰も気づかない。 • マンホールの蓋問題 • 蓋がズレていたマンホールに落ちた人を助けるのはヒーロになれるが、マンホールの蓋を そっと直しても感謝されない。（ワクチン、マスク、防災一般、、、予測が持つ矛盾） • 社会としては誰かが落ちる前に蓋をする方が望ましい。 • この非対称性が世の中の対応を「起こったこと」に偏らせている。 • まさに落とし穴。 • 起きていないことにどう対処すべきか。 •Unknown unknowns （未知の未知/無知の無知）=ブラックスワン への対処。 (Kishimoto, 2019)

•「・・・でも、予防にために何かをして高 く評価されることはあまりない。 •本に書かれることもない貢献をした人 たちの犠牲のうえに、歴史の本に名を 遺した人たちを、私たちは崇め奉る。 •私たち人間は軽薄だ。 •でも、それだけじゃない（軽薄なのは、 ある程度直せる）。私たちはとても不公 平な種族なのである。」 （ナシーム・ニコラス・タレブ著『ブラック・スワン（上）』ダイヤモンド社p.14） unknown unknowns

•「なにかが起きなかったという報告はいつ聞いて もおもしろい。なぜならご存知の通り、世の中に は「知っていると知っていること＜known knowns＞」があるからです、これは、自分がそれ を知っていると自覚している物事のことです。 •あるいは「知らないと知っていること＜known unknowns＞」があることも私たちは知っていま す。すなわち、自分が知らない（と自覚している） 物事が世の中にはあることに私たちは知ってい ます。 •そしてまた「知らないと知らないこと＜unknown unknowns＞」もあります。――これについて言え ば、私たちはそれを知らないことを自覚していま せん。そして、我が国を初め他の自由諸国の歴史 を振り返るならば、最も難しいことが多いのが、 この最後の種類なのです。 2002年︓イラク政府がテロリスト集 団に⼤量破壊兵器を提供している証 拠がないという報告に対して。 Unknown unknown ⾃分が⾃覚している知 世の中が⾃覚している知 Known knowns Known unknowns

• 起こらなかったことの例 • 4月にはJR東日本の山手線の神田・秋葉原駅間で架線支柱が倒壊しているのが見つかった。付近の 電車を一斉に止める措置がとられたために脱線や衝突は1件も発生しなかった。 • 箱根山や桜島では恐れられた大きな噴火は起こらず、11月には噴火警戒レベルが引き下げられた。 • 4月20日に南米で最初の感染が確認されたMERS（中東呼吸器症候群）は5月に入り感染が拡大し、 南米で死者が10人を超えたにもかかわらず、日本国内では感染は起こらなかった。 • 2022年夏に約70年ぶりに東京を中心に国内感染が確認されたデング熱は、2023年にさらなる 流行も恐れられていたものの実際は1例も見つからなかった。 岸本充⽣ 政策ビジョン研究センター コラム 2015年のリスク︓「起こったこと」と「起こらなかったこと」 • きちんと対策がとられたから起こらなかったこともあれば、たまたま起こら なかったこともある。 • 「起こったこと」に対応するだけでは、同じ種類のリスクは減らせても、次に 起こる別の事故や事件を防ぐことはできない。 • 事前対策がうまくいって「起こらなかったこと」は誰にも気づかれない。

私たちの日頃の思考・議論すべてが、「（たまたま）起 きたこと」に強烈に縛られているというバ イアスがあることを誰も意識していない し、そのことに誰も気づいていない。 そして、起きなかったことは気づかれないまま(Unknown unknowns)

ゲスト講師 ⼭本覚 さん 株式会社電通デジタル執⾏役員 よい週末をJ 佐々⽊⼀ sasaki@ifi.u-tokyo.ac.jp 次回は5/15(水) 10:25- です。 知識社会マネジメント2024⽤ 講義関連フォルダ https://qr.paps.jp/1rawC