202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 1 【考察ノート】 「AGIリスク」の議論にどう向き合えばいいのか 2024年9月29日公開レポートの概要版 丸山隆一　 レポートはこちら：https://researchmap.jp/rmaruy/published_works

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） はじめに　 2 ● 2023年5月、非営利組織CAISより「AIによる絶滅リスクの軽減を、世界的な優先事項にすべき である」とのオープンレター発出。 ● しかし「AIによる絶滅リスク」とは？　日本の言論空間では理解しにくいのが現状。 ● 筆者は、一般社団法人AIアライメントネットワーク（ALIGN）の事務局を９か月担当。 ● 本稿は、そこで得た見聞や考察を日本語で共有すべくレポート形式でまとめたものです。 本稿の問い（未来のAIのもたらす甚大なリスクを「AGIリスク」と呼ぶことにする） ● AGIリスクとは何か、何が懸念されているのか？ ● AGIリスクを語っているのはどういう人たちなのか？ ● AGIリスクはどのように対処されようとしているのか？ ● AGIリスク論はどれくらい主流なのか？ ● 日本語圏でAIに関わる私たちは、この問題についてどんな態度でいればよいのか？

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 注意事項　 3 ● 本稿の目的は、AGIリスクの言論状況を「外」から見るための簡易な見取り図を描き、この議 論にどう向き合えばよいかのヒントを提供することです。 ● ただし「客観的」な見取り図ではありません。筆者なりにバランスをとるよう努めたが、偏っ て見えることは避けられないはず。また、ファクトと意見の区別に努めるが、「どのファクト に注目するか」自体が議論を分極化させているのが現状かと思います。 ● また、本稿は筆者が関わった団体（ALIGN）の見解とは関係なく、あくまで個人の責任におい てまとめたものです。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 第1章　何が懸念されているのか　 ～ AGIリスク論の概略 ～ 4 英米を中心に一部のAI専門家が懸念している、近未来のAIが人類にもたらすリスクは「AIによる存 亡リスク」「壊滅的なAIリスク」「長期リスク」など様々に呼ばれるが、本稿ではこれを便宜上 「AGIリスク」と呼ぶことにする。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 1.1　AGIとは何か　 5 狭い(Narrow) 汎用的(General) レベル0：AIなし 例：電卓ソフトウェア、コ ンパイラ 例：アマゾンメカニカルター ク レベル1：萌芽的（emerging） 人間の初心者と同等、または やや優れている 萌芽的な狭いAI 萌芽的なAGI 例：ChatGPT、Claude、 LLaMA、Gemini レベル2：有能（competent） スキルを持つ大人の50%以上の パフォーマンス 例：多数 有能なAGI：未達成 レベル3：専門家（expert） スキルを持つ大人の90%以上の パフォーマンス 例：スペル＆文法チェッ カー（Grammarlyなど）、 生成画像モデル（Stable Diffusion、Dall-E 2など） 専門家AGI：未達成 レベル4：達人（Virtuoso） スキルを持つ大人の99％以上 のパフォーマンス 例：チェス（Deep Blue）、囲碁（AlphaGo） 達人AGI：未達成 レベル5：超人間（Super human） 人間の100％を上回る 例：タンパク質構造予測 （AlphaFold）、囲碁 （AlphaZero）、チェス （StockFish） 超知能（ASI）：未達成 表1-1　パフォーマンスと汎用性によるAIの分類 （出典：Morris et al. (2023) のTable 1を簡略化して引用） ● AGI（人工汎用知能）は、人間のように広範なタス クをこなせるAI。1950年代のAI研究の原点に立ち返 るべく2000年代に作られた言葉。 ● OpenAIは「ほとんどの経済的に価値のある仕事で 人間を凌駕する高度に自律的なシステム」と定義。 ● AGIの定義は研究者によって異なり、経済的価値、 パフォーマンス、人間の脳との類似性など、様々な 観点がある。 ● Google DeepMindは2023年、AGIを「汎用性」と「パ フォーマンス」の2軸で評価する実用的なタクソノ ミーを提案。 ● 【考察】AGIの定義が明確ではない。ビジネス上の 戦略や学術的な扱いやすさから、別の概念に置き換 えられる可能性もある。 OpenAI Charter. https://openai.com/charter/ Morris, M.R. et al. (2023). Position: Levels of AGI for Operationalizing Progress on the Path to AGI. International Conference on Machine Learning.　https://arxiv.org/pdf/2311.02462

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 1.2　AGIはいつ到来するのか：AIタイムライン　 6 ● 界隈では、AIの発展の予測「AIタイムライン」が参加に 議論される（例：2027年〜2063年にAIが現在の完全リ モート仕事の99%を置換） ● 元OpenAI社員のAschenbrenner氏のエッセイ： 「Situational Awareness」は、「実効的な計算能力」の 急速な向上（ハードウェア、アルゴリズム、AIの潜在能 力解放）2027年までのAGI実現を予想。 ● Aschenbrenner氏はAGI開発を米国の国家プロジェクトに すべきと提言。中国との技術競争を意識し、AGI関連研 究の機密保持を強調 ● AGIが一定のレベルに達すると、AI自身による自己改良が 始まるという想定がある。 ● AGIを単一の到達点ではなく段階的に捉える見方も。例 ：Altman氏による5段階説。 ● 【考察】タイムラインの議論には当事者たちの利害と、 情報の非対称性が絡むことに留意が必要。 Aschenbrenner, Leopold. (2024.6) Situational Awareness. https://situational-awareness.ai/ 図1-1 Aschenbrenner⽒が予想する「実効的計算能⼒」の向上 （出典： Aschenbrenner 2024）

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 1.3　AGIの何がリスクなのか？（1）　 7 ● まだ存在していないAI技術がもたらすリスクは、 「長期リスク（longterm risk）」、「壊滅的リスク （catastrophic risk）」、「存亡リスク（existential risk）」など様々な言い方がなされている。本稿で は図のように整理する。 ● Hendrycksらは壊滅的リスク（catastrophic risk）と いうカテゴリーを提唱： ● AGI特有のリスクはRogue AI。自律性を増した未来 のAIが、人間にとって制御不能になるリスクであ り、コントロール喪失（loss of control）問題とも。 Hendrycks, D., Mazeika, M., & Woodside, T. (2023). An Overview of Catastrophic AI Risks. ArXiv, abs/2306.12001. 図1-2　本稿が提案するAIリスク全体におけるAGIリスクの位置づけ （筆者作成）

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 1.3　AGIの何がリスクなのか？（2）　 8 ● コントロール喪失は、AIシステムに「目的（objective）」を与えた とき、人間の意図とは異なる行動をとる可能性。 ● AIの内部で望ましくない副目標（subgoal）（例：「自己保存」）が 出てくる可能性も。Yoshua Bengio氏は2024年3月の東大講演でこの 点を強調。 ● コントロール喪失のシナリオは人間の意図とAIの目標の「ミスアラ イメント」だとされる。人間が与えた報酬関数が意図とずれている 外部アライメント（outer alignment）の失敗と、報酬を得るための 副目標の創発により、新しい状況で人間にとって望ましくない行動 が生じる内部アライメント（inner alignment）の失敗が指摘されて いる。 ● これらはAIが「意識」を持つこととは関係ない。 ● 【考察】コントロール喪失のシナリオは、エージェント型AIの存在 が前提。商用化を見据えたAIエージェント技術がどの程度各企業の 手元にあるのかは不明であり、そのことがコントロール喪失リスク の不確実性となっている。 図1-4　AIによる望ましくないショートカットの発見（出 典：Hendrycks et al. 2023） 日本ディープラーニング協会（2024.5)「【2024年3月7日開催】Yoshua Bengio氏来日特別講演会レポート」https://www.jdla.org/topic/event-20240307-1/

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 第2章　誰がAGIリスクを語るのか　 ～AGI脅威論の系譜と「分野構築」の文化～ 9 AGIリスクの議論が誰にどのように形成されているのか。AGIリスク論が出てきた歴史的な背景、 そして単なる議論を超えて、そこに資金が回り、研究分野が成立している状況を概観する。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 2.1　AGIリスク論の5つの流れ 10 2000年 2010年 2020年 2024年 1. トランスヒューマニスト によるAGI脅威論 3. 効果的利他主義 2．科学者と哲学者＋フィラ ンソロピストによるx-risk論 4. AGI企業‧技術的AI Safety系non-profit 現代の AGIリスク論 MIRI設⽴ LessWrong開始 （旧：Overcoming Bias） Open Philanthropy設⽴ FLI設⽴ CAIS設⽴ CSER設⽴ Bostrom Superintelligence アシロマAI原則 Tallinn⽒ Survival and Flourishing fund始動 FLI Pause-AI letter 5．政府との連携 英‧⽶AISI Anthropic創業 英ARIA Safeguarded AI OpenAI設⽴ 80000 hours設⽴ Ord Precipice FHI設⽴ Giving what we can 設⽴ ARC設⽴ ● 過去20年のAGIリスク論は、異なるグループの人々が形 成。ごく大雑把に、現在のAGIリスク論を形成する、以下 の5つの流れとして捉える。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 2.1　AGIリスク論の5つの流れ 11 1. トランスヒューマニストによるAGI脅威論：AGI脅威論はトランスヒューマニズムをとるEliezer Yudkowsky氏らを中心と する限られたコミュニティ（「合理主義（rationalist）」運動）で展開。Nick Bostrom氏の著書『Superintelligence』は AGI脅威論を広く普及させる一つの契機に。 2. 科学者と哲学者＋フィランソロピストによる「exsistential risk」の議論：フィランソロピー資金を背景に、英米の大 学にexistential riskを研究するセンターが複数設立し、AIリスクがその中心に。非営利組織Future of Life Institute （FLI）は、2017年には超知能に関する記述も含む「アシロマAI原則」を発表。 3. 効果的利他主義によるAIリスク論の推進：2009年頃から世界中に広がった効果的利他主義は、重要性（importance）、 改善の可能性（tractability）、看過されやすさ（neglectedness）の三要素からAIのリスクを重視し、活発に活動。 4. AGI企業・AIセーフティ系non-profitの台頭：OpenAIやそこから分岐したAlignment Research CenterやAnthropicにてAI セーフティ研究推進。近年、米国西海岸を中心に、AIセーフティに特化した非営利組織（non-profit）が次々と誕生。 5. 政府の取り組みとの連携：近年、英米の政府のイニシアチブとの接点が生じ始めている（例：米国AI Safety Institute はAGIのアライメント研究の第一人者であるPaul Christiano氏をhead of AI safetyに抜擢） ● ChatGPTの衝撃で、分野の第一人者もAI脅威論に転向する動きあり（Yoshua Bengio氏、Douglas Hofstadter氏）。 ● 人類を破滅に追いやるようなAIが出現する確率「p-doom」の議論も。ただし、物理学者のMichael Nielsen氏は絶滅の 確率（p-doom）を「概念的ハザード（conceptual hazard）」と指摘。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 2.2　分野構築（field building）という活動 12 図2-2　林立するAIセーフティ関連組織 （出典：Map of AI Existential Safetyに日本語追記） ● AIセーフティ/AIアライメントをひとつの分野 （field）として確立しようとする自覚的な動き =「field building（分野構築）」。 ● 1）オンラインを活用したコミュニティ形成、 2） AIに関する未来予測の共有、 3) AIセーフ ティの研究、4) 賞金コンテストといった活動が 相互に連携し、「認識的文化」を形成。 ● 大口の資金提供者として、Open Philanthropy （効果的利他主義のグループ）、Jaan Tallinn氏 （Skype社の創業者として知られる起業家・投 資家）など。 Map of AI Existential Safety. https://map.aisafety.world/ Ahmed, S., Jaźwińska, K., Ahlawat, A., Winecoff, A., & Wang, M. (2024). Field-building and the epistemic culture of AI safety. First Monday, 29. https://firstmonday.org/ojs/index.php/fm/article/view/13626/11596

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 2.3　米国の組織例：CAISとMATS 13 Center for AI Safety（CAIS） ● Dan Hendrycks氏が2022年に設立。Hendrycks氏は2018年にシカゴ大学を卒業 し、カリフォルニア大学バークレー校に進学、2022年にPh.D.を取得（6年足 らずで60篇以上のAI関連論文を執筆）。非営利組織としてCAISを設立。 ● 研究、啓発活動（教材づくりや講演）、政策提言を実施。2024年のカリ フォルニア州AI規制法案の起草に深く関与。 ML Alignment & Theory Scholars (MATS) ● 1）AIアライメントの分野で高い影響力を持つ研究者を増やすこと、2）そう した研究者を指導できる研究メンターを支援すること、3）研究者を Anthropicなどの企業のラボや、アカデミアのポスドク職に送り込むことを 目的とする。 ● 過去6回のプログラムを実施し、213人の研究者と47人のメンターを支援。修 了生がGoogleやOpenAI、Anthropicに入社するルートをつくることで、キャ リアパスの構築とともに実質的なAGIセーフティへのインパクトを出そうと している。 AIアライメントネットワーク「【開催記録】ALIGN Webinar #1 Dan Hendrycks博士（Center for AI Safety）」（2024.5）https://www.aialign.net/blog/20240517 AIアライメントネットワーク「【開催記録】ALIGN Webinar #4 Dr. Ryan Kidd on AI Safety field building」（2024.6）https://www.aialign.net/blog/20240614

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 2.4　英米以外の組織 14 ● AGIリスクに取り組む組織はほとんどが米国、それもサンフランシスコ近辺に密集。 ● ただし過去1、2年、世界の様々な地域でAGIリスクをスコープに入れた組織や活動が見られるようになってきてい る。網羅的な調査はできていないが、以下はその一例である。 ● Chinese AI Safety Network：中国に存在しているAIセーフティに関わる組織間の対話、国際協力のためのプ ラットフォームとして設立。 ● 台湾での動き：シビックハッカーコミュニティであるg0vのメンバーらが、OpenAIの“Democratic Inputs to AI” という助成プログラムに採択され、デジタル民主主義の活動（vTaiwan）のプロセスを使ったマルチステーク ホルダーの意思形成手法を提案。 ● AI Safety Asia：アジアにおける「壊滅的なAIリスク」を低減し、世代を超えたAI政策対話、アジアのグローバ ルサウス諸国とグローバルノースのAIセーフティ研究者を結びつけることを掲げる非営利組織として、2024年 設立に設立。 ● Equiano Institute：アフリカとグローバルサウスのためのAIセーフティ研究所を掲げる組織。ケニアと南アフ リカに拠点を持つ。2023年設立。 日本での動きとしては以下がある。 ● AI Safety Tokyo：東京を起点にAI Safetyに関連する勉強会等の啓発活動を展開する団体。主に日本在住の海外出身の 研究者・エンジニアが参加。2024年4月、国際会議Technical AI Safety Conference 2024を主宰。 ● 一般社団法人AIアライメントネットワーク：2024年4月ころから活動開始。AIの長期リスクに関する啓発活動、コミュ ニティ運営のほか、理事らを中心に独自の研究活動を展開。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 第3章　どのように対処するのか　 ～AIセーフティ／アライメントとガバナンス～ 15 第2章でみたコミュニティが、どのようなアプローチでAGIリスクに対処しようとしているのかを 概観する。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 3.1　「AIセーフティ」と「AIアライメント」 16 ● （技術的）AIセーフティ：AGIリスク論に出自を持つが近年はより広範に 用いられている（例：リスク管理と安全工学、公平性と代表性のための技 術、プライバシー保護技術など） ● AIアライメント：AIアライメントは、Stuart Russell氏が提唱した「Value Alignment問題」に由来。「AIシステムの目標と行動が、その開発者の価 値観や意図に沿うようにする」という狭い定義。Google DeepMind所属の 倫理学者Iason Gabriel氏らは、「開発者・ユーザ・AI・社会」の4項関係で アライメントを捉えることを提案。 ● AIセーフティ/アライメントの「広さ」と「今の技術か／未来の技術か」 の2軸で捉えてはどうか（表）。 ● AGIリスク論におけるAIセーフティ／AIアライメントとは、主に（2）と （4）。 ● LLMの不適切な出力を抑える問題は（1）。例：AnwarらはLLMのアライメ ントと安全性の未解決問題を1）LLMの科学的理解、2）訓練手法や実装場 面の課題、3）社会における課題に分け、広範な文献調査に基づき200超の リサーチクエスチョンを同定。 今あるAIへ の対応 未来のAIへ の対応 AIモデル単体レベルの 対応 （1） （2） 複数のAIシステムや人 が混在する系への対応 （3） （4） 表3-2　AIセーフティ／AIアライメントの 大まかな4分類 Anwar, Usman et al. (2024). “Foundational Challenges in Assuring Alignment and Safety of Large Language Models.” ArXiv abs/2404.09932 丸山隆一 note（2024.6）「AIアライメント／AIセーフティの4つの問題領域」 https://note.com/rmaruy/n/n80ebb81c6036

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 3.2　AIセーフティ/AIアライメントの技術トピック例 17 図3-1　AIセーフティ/AIアライメント研究で話題に上がるトピック（筆者作成） ● Mechanistic interpretability：LLMなど深層 ニューラルネットワークの働きをメカニズ ムレベルで解明することを目指す研究領 域。 ● Scalable oversight：AIをコントロールをAI で行うことを目指す研究。 ● いずれのアプローチも「前パラダイム的 （pre-paradigmatic）」と言われ、新しいア イディアが日々提案されている。 ● 社会 - 技術的（sociotechnical）な方法を 使ってよりよく制御・設計していくか、と いう（3）視点も（例：Collective Intelligence Project） ● 「誰」の意図・価値観にアラインするのか （”align with what?”）の問題：「多元的ア ライメント（pluralistic alignment）」へ

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 第4章　何が批判されるのか　 ～AGIリスク論の対立軸～ 18 英米ではAGIリスクの議論が完全に主流なのかといえば、そういうわけではない。むしろ、AGIリ スクの実在性を疑うなど、批判的な論調も根強い。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 4.1　AIの専門家を二分するAGIリスク論 19 ● AI研究者の中でも、AGIリスクに関する見方 は非常に分かれている。 ● コントロール喪失問題（第1章参照）などの AGIリスクを全く心配していないAI研究者と しては、Rodney Brooks氏、Yann Lecun氏、 Pedro Domingos氏など。 ● 専門家の立場の違いを象徴的にあぶりだし たのが、カリフォルニア州のAI規制法案 （SB1047）。Yoshua Bengio氏、Scott Aaronson氏など賛成に回るアカデミア研究 者もいる一方で、スタンフォード大学 Human-Centered AI Institute（HAI）所長の Fei-Fei Li氏やAndrew Ng氏などは反対。 図4-1　専門家はAIの諸問題をどれくらい心配しているか （出典：UN. High-level Advisory Body on Artificial Intelligence 2024） UN. High-level Advisory Body on Artificial Intelligence (2024.9). Governing AI for Humanity. https://www.un.org/sites/un2.un.org/files/governing_ai_for_ humanity_final_report_en.pdf

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 4.2　AGIリスク論に対する批判 20 ● AGIというコンセプトそのものに対する批判：英国アラン・チューリング研究所の哲学者David Leslie氏は、2024年3 月に東京で行われたシンポジウムにて、昨今のAIブームの特徴は、経済的な意味での「バブル」ではなく、AGIの 議論に見られる概念的なハイパーインフレであると主張。 ● 哲学者Emil Torres氏は、米国西海岸を中心に展開するAIの加速主義とAGI脅威論（doomer）がテクノロジーによる ユートピア思想という点で同根であり、それらの立場にAI技術の未来をゆだねるのは「どちらも同様に危険であ る」との論を展開。 ● 科学技術社会論などAI倫理（AI ethics）系の論者からは、AIによる「existential risk」というアジェンダが、AIに よって奪う人と奪われる人の差を隠し、より現実的で重要な議論からリソースを奪う、との批判も。英国のSTS （科学技術社会論）研究者のJack Stilgoe氏は、Science誌のコラムにてこうした論を展開し、昨年の米国大統領令 がx-riskに触れなかったのは健全だと述べた。 Torres, E. (2023.12). ‘Effective Accelerationism’ and the Pursuit of Cosmic Utopia https://www.truthdig.com/articles/effective-accelerationism-and-the-pursuit-of-cosmic-utopia/ Stilgoe, J. (2024). Technological risks are not the end of the world. Science, 384 6693, eadp1175 . 10.1126/science.adp1175

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 4.3　AGIリスク論をめぐる3極 21 ● 以上見てきた立場の違いを、以下の3極で 捉えてはどうか。 ● ① AGI脅威論：本稿で扱ってきたAGIが人 類の存在を脅かすという恐れがあるとい う立場。 ● ② 今・ここのリスク論：AGIに至る前 に、現在のAIがすでにリスクであり、脆 弱な人々を生んでいることをより重大視 する立場。 ● ③ 規制有害論：AIの開発はよいことであ り、規制によってイノベーションを阻害 すべきではないという立場。　 図4-2　AGIリスク論をめぐる3極（筆者作成） ① AGI脅威論 ② 今‧ここの   リスク論 ③ 規制有害論 AI倫理 AGIリスクを否定するAI 研究者‧投資家  AGI Safetyの 「認識的⽂化」 今あるAIへの利用規制に強く 反対 今あるAIへの利用規制※※ に大筋賛成 未来のAI開発の 規制に反対 未来のAI開発の 規制※は必要 　　※例：カリフォルニア AI規制法案 AGI 対 人類の図式 AIで得する人 対 AIで虐げられる人の図 式 「責任あるAI」 ※※例：EU AI規制法

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 第5章　この議論に私たちはどう向き合えばいいのか　 ～ まとめと提案 ～　 22 以上を踏まえた考察と、日本語圏のステークホルダーへの提案を行う。ここでは、今後の社会を 大きく変革するAI技術のガバナンスは米国などAI先進国の議論だけでなく、日本語圏のステークホ ルダーも主体的に関与すべきであり、日本の政府や企業などが、AGIのリスクについて、可能な限 り信頼できる情報に基づいて効果的な意思決定を行えることが望ましい、という価値観を前提と する。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 6つのポイント 23 1. AGIのリスクはどれくらい重大なのかは、結局のところ「わからない」。不確実性を減らすに は、先端AI研究のコミュニティとつながる必要がある。 ○ コントロール喪失問題がどれくらいの蓋然性で起こるのかは明らかになっていない。 ○ AIの進歩は多重の「無知」に覆われている。不確実性を少しでも下げるには、国際的なネットワークとつ ながること。東京に出現しつつある海外コミュニティとの交流が深まることにも期待。 2. AGIリスクをめぐる言説にはポジショントークと願望も含まれる。慎重な論者の見解を尊重した い。 ○ AGIを語る関係者たちのインセンティブとモチベーションは多様ななか、真に受ける言説を選び取っていか なければならない。深い専門知を持ちながら、一定の不可知論をとる慎重な有識者を見極めたい。 3. 英米におけるAGIリスク論は、3つの立場に分極化している。日本語圏においてはこの対立を再生 産する必要はなく、バランスをとることが望ましい。 ○ AGIリスクの実在性と重要性について英語圏で分極化した議論を、文脈を切断して「輸入」することで、こ の対立構造を再生産することは望ましくない。 ○ 日本はAIの開発競争（arms race）を外から見ていられる立場であり、冷静な議論が可能。 ○ 政策議論のメンバーの5～10％は、西海岸におけるAGIリスクの議論の最前線をある程度追っている有識者 をアサインするようなバランスが適切か。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 6つのポイント 24 4. AGIセーフティ／アライメントの研究は英米が大きく先行するが、まだまだ参入は可能。 ○ AIセーフティ／AIアライメントの盛り上がりに日本の研究コミュニティはまだ数名しか入り込んでいない のが現状。 ○ この分野は黎明期であり、日本からも若手研究者が参画し、分野形成の一端を担っていくことを期待。 5. 「技術をめぐる戦い」とは別に「言葉をめぐる戦い」がある。コンセプト、ビジョン、問題のフ レーミングでインパクトを出す余地がある。 ○ 技術的なAGIセーフティの主要な概念の多くが「前パラダイム的」。魅力的で見通しの良い新しいコンセプ ト、ビジョン、問題のフレーミングをいかに提示するかの競争がある。 ○ ジャーゴンを単に輸入するだけではなく、再解釈に開かれたものと考える柔軟さが必要。日本語圏のなか で議論している新たなフレームワークをわかりやすく打ち出し、提案したい。 6. AIと人間の関係性の捉え方の文化的な多様性に着目しつつ、言説の厚みを上げていきたい。 ○ 今日のAGI脅威論は、西洋社会固有の価値観・宗教観がその背後に。AIを「道具」「パートナー」「敵」と いうイメージで捉える必然性もない。文知も巻き込んだ、新しいAIアライメントのフレームワークを構築 し、提示したい。

202410　【考察ノート】「AGIリスク」の議論にどう向き合えばいいのか（概要スライド） 結語・謝辞　 25 ● 本稿は、AGIの開発状況やAGIリスクそのものではなく、「AGIリスクをめぐる言説」に 関する動向と、筆者なりのその解釈を記述したものです。今これを共有することが、日 本語圏における議論形成に役立つのではないかと考え、急遽まとめました。 ● 本稿ドラフトに目を通し、貴重なコメントをくださった有路翔太さん、泉川茉莉さん、 高木志郎さんに感謝いたします。本稿の内容の不備の責任は、すべて筆者にあります。 ● また過去1年間、本稿で扱ったトピックについて様々な形で情報提供、議論してくださっ た皆様に感謝申し上げます。 ● 記述が足りない部分、考えが及んでない点が多々ありますし、今後の動向も急速に進展 していくと見込まれます。本稿への批判やコメントを歓迎します。 ● 本稿が、少しでも日本語圏におけるAGIリスク論のこれからを考えるきっかけとなり、 実りあるコミュニケーションにつながることがあれば幸いです。 レポートはこちら：https://researchmap.jp/rmaruy/published_works