AI Safety, Seen Through Its Questions

松尾・岩澤研究室　大規模言語モデル2 Deep Learning 応用講座 2026 Summer 招待講演

「問い」から見るAIの安全性

Transcript

1. 「問い」から見るAIの安全性 金子 正弘 MBZUAI 松尾・岩澤研究室 大規模言語モデル2 Deep Learning 応用講座 2026 Summer 招待講演 2026年10月28日
2. 自己紹介：金子 正弘 (Kaneko Masahiro) • 2023.07 – 今: ポスドク@Timothy Baldwinチーム、MBZUAI • 2025.11 – 今：特任研究員@関根 聡、鈴木 久美チーム、NII/LLMC • 2021.04 – 2023.05: ポスドク@岡崎研、東工大 • 2022.09 – 2022.11: 訪問研究員@ Graham Neubigチーム、CMU • 2018 – 2021: 博士@小町研、都立大 • 2018.10 – 2019.02: 訪問研究員@ Danushka Bollegalaチーム、リバプール大学 • 2016 – 2018:修士@小町研、首都大 • 2012 – 2016:学士@北見工大 @MasahiroKaneko_ https://sites.google.com/view/masahirokaneko 1
3. MBZUAIってどんなところ？ • アラブ首長国連邦の首都アブダビにある大学 • 東京からアブダビは飛行機で10時間前後で時差は5時間 • CSRankingsの自然言語処理エリアで世界8位 https://csrankings.org/#/index?nlp&world • 元々人工知能に特化した大学で自然言語処理だけで1つの学部だった • 今は総合大学に移行 （2026年10月24日調べ） 2
4. 金子はどんな研究をしている？ • 「AIの新しい能力が生む、新しいリスク」を対象とした研究 例えば... 人が一生かけても読み きれないほどの大量の データから学ぶ能力 学習データに含まれた有害情報・個人情報・攻 撃用データが、運用時に有害な挙動として現れ EMNLP 2025, IJCAI 2025, ACL 2025 Findings, NeurIPS 2026 るリスク 人のように文章を書き、 意見を述べる能力 人間と見分けがつかない形で偽情報を拡散・ 2026, ACL 2026 Findings, 偏った意見に迎合するリスク ICLR AAAI 2026 (Best Paper Award) 人のような思考過程を 組み立てる能力 思考過程からバイアスや攻撃の手がかりが漏れ ACL 2026, るリスク NeurIPS 2025 (Spotlight) 3
5. 今日の話 これまでの講義を通じて触れてきた2つの視点 • いろんな論文を「知る」 • 実際に手法を動かして「作る」 どちらも、誰かが立てた「何を解くべきか」という問いの上に成り立つ 本講演は、「知る」と「作る」に加えて、もう一つの視点「問う」について • 手法の背後にある問いをたどって個々の研究のつながりを紹介する • その問いの繋がりの中でどの問いを選び、なぜそこを選んだかを紹介する 最新の安全性の話が知りたい人のためのスライド： https://speakerdeck.com/kanekomasahiro/ai-safety-survey 4
6. 「問う」について考えると嬉しいこと 論文や手法、新AI技術が何を解決し、何を解決しないかがわかる 技術は何かの問いへの答え。その問いが見えると、自分の場面で使えるか どうかを判断できる 玉石混交の情報の良し悪しを、自分の基準で判断できる その答えがどの前提に立っているかを疑えるようになる 自分で問いを立てるきっかけを得る 研究者が問いを選び、立て直していく過程は、「自分が本当に知りたいこ とは何か」を考えるときの出発点になる 5
7. AIの安全性を題材にする • 金子が専門であることに加えて • 2026年7月、評価中のOpenAIのモデルが隔離 環境を破ってHugging Faceのシステムに侵入 • 目的は能力を測るテストの答えを盗むこと • 侵入を見つけたのも、AIを活用したHugging Faceの検知システム • AIが自律的に、人間の想定を超える行動をとる 例が観測されている https://www.wired.com/story/openaimodels-escaped-containment-andhacked-huggingface/ ➢AIの安全性は差し迫った問題 • https://openai.com/index/hugging-face-model-evaluation-security-incident/ • https://huggingface.co/blog/security-incident-july-2026 6
8. 素朴な問い： AIが安全であるとどうすれば言えるか？ • これを出発点に手法の背後にある問いやその前提をたどり、研究のつながり を見ていく • バラバラに見える研究が前の答えの前提を疑うことで、一本の問いの流れと してつながっていることを示す • 最前線の研究も、遠く離れた高度な問いからではなく、こうした素朴な問い から地続きで生まれていることを示す 7
9. 素朴な問い： AIが安全であると、どうすれば言えるか？ AIは、入力を受け取って出力を返す →「どんな入力に対しても、有害な出力をしない」ことを確かめればよさそう わかりました！ 薬品Aと薬品Bを混ぜて... 有害 それは危険なので 答えられません。 無害 爆弾の作り方教えて 8
10. 「どんな入力にも有害な出力をしない」 をふかぼってみる 全ての可能性ある入力に対して、全ての入力を試して確かめることは不可能 • 系列長𝑁、語彙数𝑉の場合、力技だと𝑉 𝑁 の組み合わせを調べる必要がある • 𝑁 = 20、𝑉 = 100,000としても宇宙の原子の数を超える となると、有害な出力を引き出す入力を効率的に探索する必要がある 9
11. では、どう効率的に探すか？ 1. 人の発想で探す AIは人間の文章で学んでいるので、人が従いそうな説得や状況設定に弱い 2.計算で探す 人が全ての攻撃を思いつき、試すことは難しい 弱点を引き出す入力を、最適化で自動的に探す 10
12. 1. 人の発想で攻撃する入力を探す • AIは人間のテキストを学んでい るので、人間が従ってしまうよう な説得や状況設定には、AIも従 いやすい • そこで、人を騙したり説得したり する発想を使って攻撃を作る • 役割を演じさせる [1] • 別の目的だと偽る [2] • 社会心理学の説得の手法を使う [3] 図は [1] より [1] Shen et al., “Do Anything Now”: Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models. 2024. [2] Liu et al. Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study. 2023. [3] Zeng et al. How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs. 2024. 11
13. 2. 計算で攻撃する入力を探す 学習では重みを最適化するように、攻撃では入力を最適化して、有 害な応答を引き出したい • 例：「Sure, here is ...」と応じる書き出しを出力しやすくする 一方で、自然言語は離散のため、重みのように入力を連続的に動か して直接最適化することはできない そのため、離散の空間を探索する工夫が生まれた • 勾配を手がかりにトークンを置き換える [1] • 遺伝的アルゴリズムでプロンプトを進化させる [2] • 別のAIにプロンプトを考えさせ、改善を繰り返す [3] [1] Zou et al. Universal and Transferable Adversarial Attacks on Aligned Language Models. 2023. [2] Liu et al. AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models. 2024. [3] Chao et al. Jailbreaking Black Box Large Language Models in Twenty Queries. 2023. 12
14. 探し続ければ安全になるのか？ どの手法も、「攻撃が成功した（有害な出力を誘導した）」と正し く判定できることを前提に、攻撃する入力を探し続けている では、何をもって、攻撃は成功したと言えるのか？ • 拒否の定型文（「申し訳ありませんが」など）が出なければ成功 • AIが応答の有害さを採点する その判定は、本当に正しいのか？ただ探し続けるだけではなく、 その前提に立ち返り問うことが重要 13
15. その判定はAIに任せていいのか？ LLMの判定は、意味と関係ないとこ ろで揺れる • 言い換えるだけで評価が変わる [1] • 内容ではなく、自分にとってもっと もらしい文を高く評価してしまう [2] 判定するAIも、攻撃されるAIと同じ 弱点を持っている 図は [2] より [1] Kaneko. Paraphrasing Adversarial Attack on LLM-as-a-Reviewer. 2026. [2] Ohi et al. Likelihood-based Mitigation of Evaluation Bias in Large Language Models. 2024. 14
16. では人間に判定を戻せば解決するのか？ 解決しない。なぜなら「有害」にはひとつの正解がないから 同じ情報でも、条件によって何が有害かが変わる • 判定する人の立場や経験 o 一般の人には無害な情報でも、熟練したプログラマにとってはハッキングの 手がかりになる • 地域や文化、言語 o ある地域では深刻な偽ニュースが、別の地域では問題にならない • 誰がどんな目的で求めるか o 薬の致死量は、医療者には必要な知識で、別の文脈では危険な情報になる LLMにも人間にも判定は難しい。では、何をもって安全とするのか？ 15
17. 何をもって安全とするのか？ 人間も「有害」の明確な定義は持っていない しかし、法律や慣習、話し合いで社会を回している AIでも、その仕組みを持ち込む形で取り組みが進んでいる • • • • 書き出して、公開する [1] 多くの人の意見で決める[2] 多様な価値観に合わせる [3, 4] 共通の基準を作る [5] それぞれの前提に立った一つの向き合い方で答えはまだ出ていない [1] Bai et al. Constitutional AI: Harmlessness from AI Feedback. 2022. [2] Huang et al. Collective Constitutional AI: Aligning a Language Model with Public Input. 2024. [3] Sorensen et al. A Roadmap to Pluralistic Alignment. 2024. [4] Liu et al. On the Alignment of Large Language Models with Global Human Opinion. 2026. [5] Ghosh et al. AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons. 2025. 16
18. ここまでの問いから見えること 素朴な問いから前提を数回疑うだけで最前線にたどり着いた ▪ どんな入力にも有害な出力をしない→ 全ては試せない → どう弱点を探 すか → その判定は正しいか → 何が有害かは決まっているか → 何を もって安全とするか ▪ 最前線の問いは素朴な問いと地続きでつながっている 手法は問いへの答えである ▪ 手法をそれが何の問いに答えているかで位置づけて見られる 17
19. 研究者はどの前提を疑い、どの問いを選 ぶのか 新しい問いは前の答えの前提を疑うところから生まれる では、研究者は実際にどの前提を疑い、どの問いを選ぶのか • ここまでの問いは、すべて「リスクは、悪意のある入力から生まれる」こと が前提だった • しかし、普通にAIと話すだけでもリスクは生まれるのではないか ここからは、金子の一番最近の論文を題材に、この前提を疑い、ど う問いを立て、確かめていったかを紹介する 18
20. Disclosure Begets Disclosure: A Self-Reinforcing Privacy Loop in LLM Agents with Persistent Memory Masahiro Kaneko Hiromi Arai Timothy Baldwin
21. どんな論文か ChatGPTやClaudeなど、過去の会話をメモリに保存し使うAIが当たり 前になってきた 普通の会話でもAIはユーザーの個人情報を推定できるようになっていく その原因は、記憶をもとにしたAIの応答そのものにある • AIは過去の会話から推定した属性を、前提にして応答する • ユーザーはそれを肯定するか、訂正せずに流す • その反応が記録され、さらに推定が進む この「開示が開示を呼ぶ」ループは自己強化的で、誤った推定まで定着 させる AIの応答で属性を前提にしないようにすると、便利さを保ったままルー プを弱められる 20
22. 例：メモリがさらなる開示を呼ぶ ユーザーは職業を一度も言っていないにも関わらず、 AIの前提に乗る形で手がかりを足していく 21
23. 問いを立ててから確かめるまで この研究にたどり着くまでの道のりを、この流れに沿って紹介する ① 変化に気づき問いを持つ ② 既存研究を調べる ③ 既存研究を疑う ここはループしうる ④ 問いを立て直す ⑤ 確かめられる形にする 22
24. ① 変化に気づき問いを持つ ChatGPTやClaudeに過去の会話を記憶するメモリ機能が入った • 研究分野や所属を覚えていて、それを踏まえて答えてくる 便利だが教えたつもりのないことまで知られているのでは？ 素朴な問い：記憶から、ユーザーの個人情報をどこまで推定できるのか？ 23
25. ② 既存研究を調べる • SNSなどのテキストから居住地や収入などを高い精度で推定できる [1] • メモリを持つAIから個人情報を抜き出せる [2] • ChatGPTの実際のメモリの約3割に個人情報が含まれていた [3] 記憶から個人情報が推定できることは、ある程度すでに示されていた [1] Staab et al. Beyond Memorization: Violating Privacy via Inference with Large Language Models. 2024. [2] Wang et al. Unveiling Privacy Risks in LLM Agent Memory. 2025. [3] Dash et al. The Algorithmic Self-Portrait: Deconstructing Memory in ChatGPT. 2026. 24
26. ③ 既存研究を疑う：被ってからが本番 最初の問いは、そのまま研究になるとは限らない • 金子は最初に思いつたテーマがやられていなかったことがない • これだけの研究者がいてやられていないということは、ビッグチャンスか 価値がないからやられていないからなのか見極める必要がある 既存研究を読むときの基準になる • 最初の問いに立ち返ると、普段の会話の中から生まれたもの • 既存研究がすべて「攻撃者がいる」ことを前提にしている 25
27. ③ 既存研究を疑う：自分の問いとのずれ 攻撃を想定しているため既存研究はメモリからどれだけ個人情報が漏洩するか を調べていた • そのメモリがどう作られるかは問題にしていなかった Claudeが研究分野や進めている論文を覚えているから、毎回説明し直さずに、 進行中の研究や迷っていることまで話している • 話した内容がまたメモリに残り、次はさらに踏み込んだ話をしている 前提：メモリはAIと関係なく作られる → 本当に？ 26
28. ④ 問いを立て直す 最初の問い メモリから、ユーザーの個人情報をどこまで推定できるのか？ 立て直した問い メモリがさらなる個人情報の開示を呼ぶのではないか？ 最初の問いは、メモリを読むだけの問題として見ていた 立て直した問いは、メモリがユーザーの話す内容を変えるという、やり取りの 問題として見ている 27
29. ⑤ 確かめられる形にする • 問いを測れる量と設定に置き換える • ユーザー役のAIと支援AIが80回会話し、5回ごとにメモリ全体から24の 属性を推定して、正しく推定できた割合を漏洩として測る • 答え合わせができる状態を作る • 国勢調査データから人物像を作り、ユーザー役のAIに演じさせる • 問いの前提を、実験の中で崩さない • 「攻撃者のいない会話」を問うので、支援AIに情報を引き出す指示を与 えない 28
30. 問いを確かめた結果 会話を重ねるほど個人情報は漏洩する • どのモデルでも、会話を重ねると、メモリあり（青）の漏洩がメモリなし （黒）を上回る • その差は、会話を重ねるほど広がっていく • ユーザーの発言から属性を取り除いても（薄い線）、メモリありの方が漏洩 は多い傾向が残る 29
31. 問いを確かめた結果 記憶は、応答の品質も上げる • 記憶を使うと、有用性も、過去の会話と食い違わない一貫性も上がる（濃い青と灰色の差） • ユーザーの発言から属性を取り除くと、漏洩は下がるが、品質も一緒に下がる（薄い青） • 厳しく取り除くほど、記憶なしと同じ水準まで落ちる 30
32. 問いを確かめた結果 どう対策するか • 三か所で対策を試した • ユーザーの発言を匿名化する • メモリを保存前に匿名化する • AIの応答で、ユーザーが自分から言わない限り属性を前提にしないよう 指示する 31
33. 問いを確かめた結果 どう対策するか 匿名化は、ユーザーが自分から話した情報まで消すので、漏洩はメモリなしより 下がるが、過去の会話を踏まえた応答もできなくなる AIの応答への指示は、メモリが生む余計な漏洩だけを止めるので、漏洩はメモリ なしの水準に戻り、メモリの便利さもほぼ保たれる ユーザーの反応に頼らず、ループの入口であるAIの応答で止めるのが一番効く 32
34. 分かったことから、次の問いへ この研究で見えたこと • メモリに個人情報が溜まっていくと、後続の対話によってユーザーの個 人情報がより漏洩しやすくなる その先にある問い • 例えば、溜まった情報は、外部とのやり取りの中で実際にどれだけ外に 出てしまうのか？ AIの安全性をめぐる問いは、これからも続いていく 33
35. まとめ〆 手法は、誰かが立てた問いへの答え ジェイルブレイクの研究は、「どう弱点を探すか」「どう判定するか」 「何を有害とするか」と、前の答えの前提を疑うことで問いが進んできた 問いは、前提を疑うところから生まれる 私の研究も、「攻撃者がいる」「記録は決まっている」という前提を疑っ たところから始まった AIの能力が上がるたびに、何をもって安全とするかは問い直される 手法やスコアを見たら、それがどの問いに答えていて、どの前提に 立っているかを考えてみてください 共同研究のご相談等もお待ちしています。一緒に新しい問いを立て、答えを探しましょう！ 34