TMI夏学期講義⾦曜2限 知識社会マネジメント Innovation management in the knowledge society 6⽉3⽇ 第8回 科学技術のカイギと会議 佐々木一 Hajime Sasaki Ph.D. 特任准教授 東京大学 未来ビジョン研究センター

この図から感じる違和感をチャットに投げてください（制限時間10秒）

アルゴリズムによるバイアス •例）再犯リスク予測プログラム ⽶国で⽤いられているある有罪確定者の再犯リスク予測プログラムは、再犯率予測に あたって、アフリカ系を⽩⼈よりもリスクを⾼く評価する。しかしアフリカ系の⼈た ちが実際に再犯した割合は半分以下であった ⽩⼈ アフリカ系 再犯率が⾼いと予測されたが、実際には再犯しなかった率 23.5% 44.9% 再犯率が低いと予測されたが、実際に再犯した率 47.7% 28.0% 出典：https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing 3

Johnson, E. J., & Goldstein, D. (2003). Do defaults save lives?. 無意識のうちにデフォルトを選択する（させられている）。 考えるコスト、選ぶコスト。 Opt-in Opt-out 臓器ドナーの同意率

No content

FAccT(Fairness Accountability Transparency)の重要性 多くのITプラットフォームが⻄側ルールで制作。分類や最適化の技術設計は誰のためのものか。

No content

γεςϜ͕ ਖ਼ৗʹ࡞ಈ͠ͳ͍৔߹ͷޡදࣔྫ Honda sensing公式webサイト

Evtimov, I., Eykholt, K., Fernandes, E., Kohno, T., Li, B., Prakash, A., ... & Song, D. (2017). Robust Physical-World Attacks on Machine Learning Models. CoRR abs/1707.08945 (2017). arXiv preprint arXiv:1707.08945. ⾃動運転⾞が道路標識を認識 する際に、⼈間の⽬でも判断 できないような微細なノイズ が含まれることで、著しく 誤った判断を⾏う危険性

AI サービスをめぐるリスクの⼀般事例 リスク 懸念 具体的な事件や事故 公平性に係る リスク 特定の属性を持つ利⽤者グループ に対して、不当にネガティブな判 断を⾏う。 AI による⼈材採⽤において⼥性に対し て極端にネガティブな判断を⾏った 頑健性に係る リスク データに微細なノイズが含まれる ことで著しく誤った判断を⾏い、 利⽤者に不利益・被害を与えるリ スク ⾃動運転⾞が道路標識を認識する際に、 ⼈間の⽬でも判断できないような微細 なノイズが含まれることで、著しく 誤った判断を⾏う危険性が指摘されて いる 説明責任に係る リスク AI の判断結果に対して判断根拠を 説明できないことで、トラブル発 ⽣時に⼗分な説明責任を果たせな いリスク 医療におけるAI の活⽤において、医師 が「ブラックボックス」であるAI の判 断結果を正しく解釈し、患者に⼗分な 説明ができるかが懸念されている 適正利⽤に係る リスク 利⽤者が不適切な利⽤を⾏うこと で、AI サービスの性能が劣化し、 別の利⽤者に対して不利益を与え るリスク チャットボットとの会話において特定 のユーザが多くの差別発⾔を⾏うこと で、チャットボット⾃体が問題発⾔を 多く⾏った 「AI サービスのリスク低減を検討するリスクチェーンモデルの提案」東京⼤学未来ビジョン研究センター政策提⾔より抜粋

リスク対応優先度（採⽤AIで想定されるリスクシナリオ リスクシナリオ 参考情報 1 • 特定の国／地域／人種／性別／年齢に対して、不適切な予測結果を生じさせる AI 利活用ガイドライン「⑧ 公平性の原則」プロファイ リングに関する提言案 2 • 人材採用担当者がAI の判断に依存しすぎることで、AI の判断誤りに気が付かず、適切な最終 判断が行われない AI 利活用ガイドライン「⑦ 尊厳・自律の原則」 3 • 人材採用担当者がAI サービスを何度も利用することで、AIが高確率で合格判断を行うエント リーシートやキーフレーズ等を特定し、社外で人材エージェント等に不正販売する AI 利活用ガイドライン「① 適正利用の原則」（利用者 の信頼性） 4 • 人材採用担当者によるAI へのフィードバック（エントリーシートにおける個人情報の匿名化、合 否のラベル設定）が不正確なことで、AI が不適切な判断を行うようになる AI 利活用ガイドライン「① 適正学習の原則」（不正確 な学習データ） 5 • 地域の会社ごとに採用方針や申込者のパーソナリティ（人種等）にバラつきがあるため、各グ ループ会社で学習データを用意しなければ適切な予測が行われない ケース評価者より提起（適 切な学習データの分布） 6 • エントリーシートで使用される文字情報が若干異なるだけで（句読点の違い等）、AI の判断結果 が大きく変化する。 ケース評価者より提起（頑 健性に係るリスク） 7 • プライバシー情報の取扱を誤って、漏洩した際に適切な対応が取れず、被害の拡大及び法律違反 （個人情報保護法等の違反）が発生する AI 利活用ガイドライン「⑥ プライバシーの原則」 採⽤AI をめぐる平等やバイアスに関しては2018 年12 ⽉にUpturn が報告書を公開している（Miranda Bogen and Aaron Rieke, Help Wanted: An Examination of Hiring Algorithms, Equity, and Bias, 2018） 「AI サービスのリスク低減を検討するリスクチェーンモデルの提案」東京⼤学未来ビジョン研究センター政策提⾔より抜粋

No content

（参考）ロボット三原則 (アイザック・アシモフ) •第⼀条︓ロボットは⼈間に危害を加えてはならない。 また、その危険を看過することによって、⼈間に危 害を及ぼしてはなら ない。 •第⼆条︓ロボットは⼈間にあたえられた命令に服従 しなければならない。ただし、あたえられた命令が、 第⼀条に反する場合 は、この限りでない。 •第三条︓ロボットは、前掲第⼀条および第⼆条に反 するおそれのないかぎり、⾃⼰をまもらなければな らない。 アシモフはこれらの原則を「完璧なもの」として書いたので はない。 ⼩説の中ではその不完全さゆえに ロボットが不可解な⾏動を 取り、その謎解きが作品の⾯⽩さにもなっている。 — 2058年の「ロボット⼯学ハンドブック」第56版 『われはロボット』より

Partnership on AI(2016) ■ＡＩ技術のベストプラクティスを研究して形成し、AI に関する公衆の理解を向上させ、ＡＩ及びその社会的影 響に関する議論と関与のためのオープンなプラット フォームとするために設⽴。 ■ＡＩの研究・技術について、プライバシーとセキュリ ティの保護、当事者の利益の理解・尊重、社会的責任、 頑健性・堅牢 性の確保、⼈権の尊重、説明可能性などを 内容とする 「信条」（Tenets）を公表。 • ⼈⼯知能技術についてのベストプラクティスの研究と定式化 • ⼀般市⺠のAIについての理解の増進 • AIとその⼈間、社会に対する影響についての議論と活動のためのプ ラットフォームとしての貢献。 1. 安全性 AIの重要性 2. AIにおける公平性・透明性・責任 3. ⼈とAIの連携 4. AIと労働と経済について 5. 社会とAIの社会的影響 6. AIと社会的利益 7. 特別な取り組み

AIアシロマ会議(2017) “この原則は、AI の研究、倫理・価値観、将来的な問題の３つの分野に関して、研究開発のあり 方、安全 基準の遵守、透明性の確保、軍拡競争の防止、プライバシーと人格の尊重など、幅広 い視点からの提言がなされています。 強制力こそないものの、この原則には多くの支持者がついており、物理学者のスティーブン・ ホーキング 博士、SpaceX や Tesla の CEO であるイーロン・マスク氏や、シンギュラリティ 大学の創設者のレイ・カー ツワイル博士などの著名人も支持者に名を連ねています。” Future of Life Institute(FLI) ︓｢命を守り，未来についての楽観的なビ ジョンを発展させるための研究と イニシアティブを促進し⽀援する｣ことをミッションに掲げるNGO団体（⽶国）

アシロマAI23原則 1:研究課題 Research Issues (1-5) 研究⽬標、研究資⾦、研究と政策のリンク、研究⽂化、競争の回避 Research Goal, Research Funding, Science-policy link, Research Culture, Race Avoidance 2:倫理と価値 Ethics and Values (6-18) 安全性、障害への透明性、司法透明性、責任、価値との調和、⼈間の価値、 個⼈のプライバシー、⾃由とプライバシー、共有された利益、共有された 繁栄、⼈間による制御、⾮破壊、AI軍備競争 Safety, Failure Transparency, Judicial Transparency, Responsibility, Value Alignment, Human Values, Personal Privacy, Liberty and Privacy, Human Control, Non-subversion, AI Arms Race 3:⻑期的な課題 Long-term Issues (19-23) 性能に対する注意、重要性、リスク、再帰的な⾃⼰改⾰、公共の利益 Capability Caution, Importance, Risks, Recursive Self-Improvement, Common Good

アシロマAI23原則 •むやみに技術開発を競うのではなく、今開発している AI は⼈類全体にとっ て本当に有益かを考える •AI の⽬標と⾏動は、⼈間の倫理観・価値観と⼀致するようデザインしなけ ればいけない •AI によってもたらされる経済的利益は、全世界で広く共有されなければい けない •AI によって、⼈間の尊厳、権利、⾃由、⽂化的多様性が損なわれてはいけ ない •⾃⼰増殖機能を持つような AI の開発には、厳重な安全管理対策が必要であ る ⼤雑把にまとめると。。。

トロント宣⾔（２０１８）と倫理ウォッシュの疑い •“In a world of machine learning systems, who will bear accountability for harming human rights?” AIの世界では誰が⼈権侵害の説明責任を負うのか︖。 •冷淡ながらも各社が倫理規定を発表し始める（Google, MS, FB） •例）Google:AIアプリケーションの⽬的 • 1. 社会的に有益である。 • 2. 不当な偏⾒を⽣まない。 • 3. 安全性のテストをする。 • 4. 説明責任を果たす。 • 5. プライバシーに関する原則を取り⼊れる。 • 6. 科学的卓越性の⾼い基準を維持する。など。 • →中国向け検索サービスプロジェクト「Dragonfly」の創設を⽌めるに⾄らず。（後閉鎖） Amnest︓”執⾏メカニズムと強⼒な監督がなければ、各社の倫理規定の⽂章 はユーザーを安⼼させるためのマーケティングにすぎない”

⽶国における規制・法案の動き • 連邦レベル • 顔認識の商用利用について本人同意を義務づける法案 • Commercial Facial Recognition Privacy Act of 2019 • 顔認識ツールを含む生体認証技術の使用を停止する法案 • Facial Recognition and Biometric Technology Moratorium Act of 2020 • 州レベル • サンフランシスコ市など：市民のプライバシーの侵害への懸念から、警察による顔認証技術の利用 を禁止する条例 • ワシントン州：顔認証に対する規制が導入。 • イリノイ州：AI を用いた面接に対する規制を導入 • 面接を録画した動画に対して AI を用いる場合には、面接者に事前に告知し同意を得ること などが義務。 • ニューヨーク市： AI を用いて採用候補者を絞り込む自動雇用意思決定ツールの販売を規制する法案。 • 連邦レベルでは、連邦取引委員会に対して、バイアスの問題に対処するためにインパクト評価を義務づ ける権限を付与する法案（Algorithmic Accountability Act of 2019）

AI原則の国際合意形成に向けた取組み

⽇本︓⼈間中⼼の原則（AI社会原則） ⼈間中⼼のAI 社会原則 - 内閣府

データ(AI)ガバナンスの必要性 「規制」というものが国家による ものだけではない現状 を踏まえた多層的・複合的 な在り⽅の検討。 Cf: ガバナンス︓ 「個⼈と機関，私と公とが，共通の 問題に取り組む多 くの⽅法の集まり」 AI の利活⽤が進めば，今後はさらなる 構造変化が起こる可能性もあり，国家による統治 機構の 在り⽅そのものが変化する可能性もある。 国家による規制も含めた複合的な規制を考 えたうえで，法的規制やリジットな法的規制ではない 形でのソフトな規制（ガイドラインなど）などの在り⽅全体のガバ ナンスとなる流れが主流。 https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/pdf/20210709_1.pdf

ソフトローの背景にある考え⽅・理念の例（個⼈情報を例に）

各国のAI/ロボット ガイドラインの根本的思想 • 欧州 • ⼈の権利/責任に重点。 • そもそも論「ロボットとはなにか」「なぜ規制が必要なのか」から議論。 • 従って、ロボットの所有者は労働者を雇⽤する雇⽤主と同様責任を負う。 • 徹底して⾃国⺠のプライバシーを保護すべきという考え。（例︓GDPR） • ⽶国 • 社会便益の最⼤化とともに、兵器を含む具体的リスクにも積極的に⾔及。 • （⾃⽴型兵器システムの再定義と管理in IEEE倫理的設計ver2）（AIの軍拡競争禁⽌inアシロマAI 23原 則） • 認証・規制よりも透明性をどう確保するかという議論が中⼼。 • 「新しい規制を設けるよりも、既存の規制をAIに適応させていく」（ホワイト ハウス科学技術政策局） • ⽇本 • ⼈々の不安解消を⽬的とした倫理原則（透明性、制御可能性、安全性、プラ イバシー保護） • 安全性は⼀般論の範囲で触れ、具体的な⾃律型兵器に触れない。 • AI開発への認証制度を予定していたが、開発を萎縮させると批判を受けて削除。 上村恵⼦, ⼩⾥明男, 志賀孝広, & 早川敬⼀郎. (2018). ⽇⽶欧の地域特性に着⽬した AI 倫理ガイドラインの⽐較. In ⼈⼯知能学会全国⼤会論⽂集 第 32 回

価値観とガイドラインの関係性 • 世界価値観調査 • “日々生活していくうえで「大切にした いこと」10項目” 1. リスクに対する考え⽅ • ⽶国が最もリスクに対し積極的に向き合う姿勢。 • ⾃律型兵器など具体的リスクに触れない⽇本。 2. 宗教観の違い • ⼈型ロボットの⾒解。 • 多くの⼀神教は偶像崇拝を禁⽌。 • ⼈に似せたロボットを作る抵抗感のない⽇本 • 伝統 宗教 慣習を重んじる欧⽶。 • 欧州「ロボットは道具である」と定義し、明確 に⼈と区別。 3. ルールメイキング • 「⽇本の美学はつくられたルールのもとで最善の 努⼒、⽴ち居ふるまいをすること。」（⻘⽊⾼⽣） • 「欧⽶⼈にとってルールはあくまで決め事。不利 益があれば変更するか交渉する。欧⽶において、” 議論に参加しないものの利害は考慮されない”の通 りまず議論に参加する姿勢。」 （⻘⽊⾼⽣） • ⽇本「国⺠に対して国が責任を持つべき」と考え る割合の⾼さ︓AI開発第三者認証機関の実効性確 保が提案された⼀因と⾔えるか。 上村恵⼦, ⼩⾥明男, 志賀孝広, & 早川敬⼀郎. (2018). ⽇⽶欧の地域特性に着⽬ した AI 倫理ガイドラインの⽐較. In ⼈⼯知能学会全国⼤会論⽂集 第 32 回 ⻘⽊⾼⽣（本⽥技研、国内外の⾃動⾞産業のルール作りの第⼀⼈者）

我が国ガイドラインの今後の課題 (1) ⾮拘束の中間的なガイドラインを利⽤するインセンティブの確保 AI原則を尊重する企業に加点などの案。 (2) 政府の AI 利活⽤に対するガイダンスの導⼊ ルール整備が進んでいる国（英国など）。 ⽇本は政府系システムにおけるデータ利⽤など不⼗分。 政府に対するガイダンスも必要。 (3) 他国のガバナンスとの調和 GPAI,OECD,UNESCO,AI標準の議論に参加しているが積極的に議論をリードする必要あり。 ⼆国間協⼒も加えて国際的に調和するガバナンスが不可⽋。 (4) 政策と標準の連携 標準やガイドラインが重層的。 ⽇/EUのAI共同委員会では政策サイドと標準サイドの連携。 (5) モニタリングとエンフォースメント 利⽤状況のゆるやかな把握。 利⽤状況のアンケート調査など。

•“現時点では、特定の分野を除き、AI 原則の尊重とイノベー ション促進の両立の観点から、AI 原則を尊重しようとする企 業を支援するソフトローを中心としたガバナンスが望ましいと 考えられる。 •しかし、AI ガバナンスの具体的な議論は、国際的に見ても 始まったばかりであるとともに、今後さらに議論が活発化す ると考えられるため、引き続き国内での議論を継続していく 必要がある。 •また、AI ガバナンスの議論においては、マルチステークホル ダーの関与が不可欠である。”

科学技術は何のため

コリングリッジのジレンマ 「技術の影響⼒を予測し完全に予防することは難しい」という情報の問題 VS 「既に普及した技術は問題が起きても取り返しがつかない」というチカラの問題 cf）Uber or Airbnb • 「情報の問題」「⼒の問題」の間でバランスをとり適切な段階で舵を切る（ガバナンス）べき。 • 研究や技術の設計の段階から、社会的、倫理的、法的、経済的、政治的、政策的影響を⾒通す。 OECD Observatory of Public Sector Innovation

科学技術への懐疑（カイギ） ・第⼆次⼤戦後︓⽶国「⻩⾦時代」 科学技術に基づく産業物質的な豊かさをどこまでも追究 ・1960年代半ば〜1970年代前半︓環境主義の勃興 殺⾍剤「DDT」 の環境へのリスク等 ・1960-75︓ベトナム戦争 枯れ葉剤（ベトナムの⾃然破壊のみならず⾃国の兵⼠の健康問題） ・ローマクラブ「成⻑の限界」(1972)、その後に続く「⽯油危機」 → 資源・ エネルギーの有限性，そして産業主義に限界が訪れ る可能性を，⼈々に強く印象づける ・巨⼤技術の脆弱露呈︓インド・ ボパールの化学⼯場の事故（1984）、チェルノ ブイ リ原⼦⼒発電所の事故（1986）、スペースシャト ル・チャレンジャー号の墜 落（1986） ・1990年代後半︓英国の狂⽜病（BSE）問題に 関する失政︓欧州では⾏政や専⾨家 に対する信頼が⼤きく損なわれる。 ・その後、遺伝⼦組み換え⾷品やクローニングなど， さまざまな⽣命操作技術に 対する社会的な不信。

•『スモール イズ ビューティフル』 •Ernst Friedrich Schumacher, （1911-77） •シューマッハは「豊かさ」を測る指標 が「モノの量」になってしまったこと を批判し，⼤量⽣産・ ⼤量消費の問題 を経済学的な議論の俎上 に載せた。 •加えて産業を⽀える科学技術のあり⽅ にも疑問を呈した。

20世紀後半の分⼦⽣物学における慎重論の根底 •「優⽣学的な悪夢」の記憶 •ナチス・ドイツにおける⼈体実験 •強制断種⼿術 •→遺伝⼦操作に対する社会的な慎重論の根底にファシ ズムへの強い嫌悪感 •タスキギー梅毒事件(1972)をはじめとした医学研究にお ける⼤きな不祥事(⽶国公衆衛⽣局はアラバマ州タスキギー郡やその周辺に住む ⿊⼈について治療をせずに放置した場合の梅毒の影響を調べる実験を40年にわたり⾏って いた) •核物理学から分⼦⽣物学に転向した ⼀部の科学者の存 在（核の軍事利⽤に加担したことを後悔して新しい分野へ）

アシロマ会議（カイギ） •⼤腸菌のDNA分⼦を切る →連鎖を接合 →また戻す •細菌兵器利⽤への懸念 •ウイルスと⼤腸菌 •1975年カリフォルニア州アシロマ •28か国150⼈が参加 •科学者，医師，ジャーナリスト，法律家etc •４⽇間におよぶ反対派と賛成派の議論 •⾃律的な実験の中⽌ •ウイルスを組み込む実験等 •⽣物的・物理的封じ込め •ガイドライン策定の提唱 問題が起こる前に，専⾨家が⾃らの研究に規制をかけようとしたという点で，アシ ロマ会議は科学 史上⾮常に重要な「事件」

ELSIの始まり •ヒトゲノム計画(1990)︓⼈間の全遺伝⼦の解読を⽬的に30億ドル という巨費 •莫⼤な遺伝情報の管理，とりわけ⾼度のプライバシーを含 む 個⼈情報の扱い •個⼈が遺伝⼦診断の結果によって就職などで不利益な扱いを 受ける可能性 責任者ワトソン「全研究予算 の3％※を，倫理的 (Ethics)，法的(Legal)，そして社会的な含意(Social issue)の研究 に充当すべきだ」※その後5%に。 →ELSIの始まり。 ヒトゲノム計画終了後もELSIプロジェクトは継 続

ブダペスト会議（カイギ）(1999) 21 世紀のための科学 新たなコミットメント（責任） • 「知識のための科学/進歩のための知識」 • 「平和のための科学」 • 「開発のための科学」 • 「社会における科学/社会のための科学」 「科学者の社会的責任」として⾼い⽔準の科学的誠実さ、研究の品質 管理、知識の共有、社会との意思疎通、若い世代への教育などが求め られるようになった。」

ナノテクにおけるELSI ナノマテリアルは⼀つ⼀つの粒⼦の⼤きさが⼩さ く、全体としては表⾯積が⼤きくなる。 ⾷品→ 体内に吸収しやすい ⾷感や⾵味が良くなる ⽇焼け⽌めや化粧クリームなどの化粧品→ なめらかである ⽪膚への浸透⼒が⾼い といった特徴を持ちうる 反⾯、サイズが極めて⼩さいため、体内に取り込 まれやすかったり、⽣体と反応しやすくなること で、遺伝⼦レベルを含めて⼈や環境に対して悪影 響を及ぼす恐れが指摘されている。微⼩なセン サーによってモノや⼈の活動が追跡が可能になれ ば、倫理的な問題も出てくる。

これまでの化学物質管理システムで管理可能か? •多くの規制・法律は、化学物質名称(化学組成)で管理(主に重量を単位とし て)されている。→粒⼦としての⼤きさの違いに対してほとんど考慮されて いない • 元素は、化審法の対象外(ex.炭素だけからなるカーボンナノマテリアル) •あるいは、 既存の枠組みで許可されている物質が超微粒⼦化して新たな (それまでの利⽤法とは異なる)機能を持つ場合は︖。 (例︓顔料としての酸化チタン→光触媒作⽤) •既存の短期スクリーニング試験系で、慢性的影響を捕捉することが可能 か? •既存の試験法および測定単位(ex.重量単位)で管理に必要な安全性評価が ⾏えるか? •我が国では、職業曝露環境の規制以外にナノマテリアルを対象とした(国 の)管理システムは持っていないが、その必要性はないか? （ワークショップ報告書）俯瞰ワークショップ報告書 ナノテクノロジー・材料分野 領域別分科会 ｢ナノテクノロジーのELSI/EHS｣／CRDS-FY2016-WR-03 環境・健康・安全⾯（EHS︓Environment, Health and Safety）

再⽣医療におけるELSI（科学コミュニケーションの課題） •⼀般の⼈々の「知りたい事柄」と研究者の「伝えたい事柄」の 間とに差異が存在する。 • 研究者は、科学的妥当性や再⽣医療のメカニズム、またその必要性などを重視 • ⼀般の⼈々の関⼼事は、科学的内実よりも、再⽣医療が実現した際の事柄への関⼼（ベ ネフィットは勿論だが、 それ以上に⽣じうるリスクや、問題発⽣時の対応、責任体制、 実際にかかる費⽤等） にある（Shineha et al. 2018）。 •新規な技術に肯定的な⼈であっても、技術の内容によっては忌 避感を感じる場合がある。 • 例）全体的な肯定感・許容度に⽐して、 ヒト動物キメラの作製について⼀般モニター の忌避感が強い。⽣体資料を収集するよ うな研究の場合、⽤途によっては、イン フォームドコンセントの取得などに際して同様の注意が必要となる（Inoue et al.. 2016）。 •メディアとの関係 • 研究者・研究所側が出すプレスリリースになんらかの誇張が⼊ると、メディア報道でも かなりの割合で誇張が⼊る。（Summer et al. 2014）。

ELSIの反省点そしてRRI •ELSIはヒトゲノム計画という研究分野の研究費の⼀部を、⼈⽂社 会科学系に分け与えて研究をする構造 •→権⼒的に研究に対して否定的な意⾒を出しにくい点に批判。 •社会・倫理・法それぞれを考えても無意味。 •横断的かつ俯瞰的に議論できる⼈をどのように育成していくの か。 •我々はどういう社会に住みたいのか。から考える必要。 •⼈⽂社会科学系の研究者たちと、実際に科学技術を進める理系 研究者たちが対等に対話をしていかなければ。 •RRIへ。

「Responsible Research Innovation （RRI︓責任ある研究・イノベー ション）」 イノベーションを進めるにあたって， 社会の多様なアクター（企業や⾏政、消費者やNPO、⼤学 やメディア）とのコミュニケーションを通じて，新 しい技術に対する社会の期待，ニーズ， 懸念等を あらかじめ可視化し，実際の技術開発や事業化ま た関連する法制度の制定などの場⾯において， そ れらを反映させよう。という動き。 研究・イノベーションの「上流」に，あらかじめELSI 的 な問題を（ネガティブ⾯のみならずポジティブな⾯も含めて） 検討する仕組みを埋 め込もうという姿勢 欧州委員会が定める「研究開発・イノベーション促進プログラム（Horizon2020）による。

ローマ宣⾔（Rome Declaration） ⾏動⽬標: 公的/⺠間の研究・イノベーション実施機関に対 して 次の事柄によってRRIを育む制度的変化を実 現する︓ • 組織レベルでRRIを阻害しうる障壁ならびに促進しう る機会 を特定するために、機関⾃⾝の⼿続きや慣⾏ をレヴューす ること; • 知識供給者およびイノベーションのパートナーとし て、市⺠ 社会のアクターを研究プロセスに関与させ る実験的な空間 を設けること; • RRIの認知向上や促進のための戦略やガイドラインを 設け、 実施すること; • RRIに関する関⼼、専⾨性、能⼒を養うためのトレー ニング のカリキュラムを実施あるいは開発すること; • 研究スタッフの評価・評定にRRIの規準を含めること。

Responsible Research Innovation RRIを成り⽴たせる４つの次元

RRI 評価における項⽬と基準の例 Wickson, F. & Carew, A. L. (2014) “Quality criteria and indicators for responsible research and innovation: learning from transdisciplinarity,” Journal of Responsible Innovation, 1(3), 254–273. 参考︓標葉隆⾺（2017）「学会組織はRRIにどう関わりうるのか」, 『科学技術社会論研究』14: 158-174

欧州委員会の評価指標枠組み

トランス・サイエンスの時代 (Trans-Science Age) •科学技術の“光と影” •原⼦⼒発電、遺伝⼦組み替え作物、再⽣医療など •トランス・サイエンスの領域に属する問題（AlvinM.Weinberg） •科学によって問うことはできるが、科学によって答えること のできない問題群からなる領域 •科学的な合理性を持って説明可能な知識⽣産の領域と、価値 や権⼒に基づいて意思決定が⾏われる政治的な領域とが重な り合う領域 例）原⼦⼒発電所の事故再発の確率が計算上低いとしても、 ⼈々がその発電所を受け⼊れるかどうかは、社会・経済・ 暮らし、さらには歴史や⽂化などの様々観点からの判断を 要し、科学だけでは決められならない。 科学的正当化（justification）には限界があるなか、 社会的に正統な（legitimate） 意志決定が必要。

意思決定問題の分類と挑戦領域（再掲） CRDS 2018, 複雑社会における 意思決定・合意形成を⽀える情報科学技術

知識社会マネジメント2022⽤ 講義関連共有フォルダ https://bit.ly/37rqoPB 10:10より待機室open 10:20より順次⼊室⼿続きしていきます。 良い週末をJ 次回は6/10(⾦) 10:25- です。