Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Language and AI

Language and AI

2026年6月19日 慶應義塾大学 物理情報工学特別講義資料
「言語とAI 〜NLP研究の世界とキャリアの広がり〜」

Avatar for Ayana Niwa

Ayana Niwa

June 18, 2026

More Decks by Ayana Niwa

Other Decks in Research

Transcript

  1. 2 自己紹介:丹羽彩奈(にわ あやな) 所属 アラブ首長国連邦にある大学Mohamed bin Zayed University of Artificial

    Intelligence (MBZUAI) にてポスドク 略歴 国内大学卒業→国内企業で研究開発→海外大学でポスドク 博士(工学)@東京工業大学 情報理工学院 (2023/03取得) リサーチサイエンティスト @Web系企業のAI研究所 (2024/04〜2025/09) ポスドク@MBZUAI / 研究員@理研AIP、NII (2025/10〜現職) 専門 自然言語処理(NLP) LLMの知識の解釈・獲得・推論プロセスの理解をテーマに研究
  2. LLMのベースとなる考え方 11 Next token prediction:次に来る単語の確率分布を予測する 猫 研 究 者 ア

    イ ド ル • LLMは言葉の意味を明示的に教え込まれるというより、膨大な 文脈から、次に自然に続く表現を確率的に学習している。 • これは、LLMが生まれるずっと前から使われている考え方 … LLM 吾輩は
  3. 現在の主要なLLM発展の多くを支える モデルアーキテクチャ 12 2017年 Transformerが発表された • 「より速く」「並列化しやすく」「長距離の 依存関係を捉えられる」画期的なモデル。 Next token

    predictionの際、遠くにある文脈 の情報を直接参照できるように • 現在では被引用数25万を超える。 • 当時Attention Is All You Needという挑戦的 なタイトルでも話題に “Attention Is All You Need,” Ashish Vaswani et al., (2017). 詳細は、解説記事がたくさん出ているので興味あればぜひ
  4. 2018年 BERT :事前学習という転換点 13 BERT発表後 LM タスクAで 推論 BERT発表前 LM

    タスクAで 推論 事前学習済み LM 特定タスクの解き方を 小規模なテキストデータから学習 (例:感情分析:嬉しい→positive) 追加学習済み LM 大量のテキストから汎用的な 言語知識を学ぶ (例:主語の後は「は」) • 言語理解タスク(文章から答えを抽出するQAタスク; SQuAD 1.1)で人間のスコアを超える • この時点では、主役はまだ言語理解タスクで、言語生成タスクは一般的ではなかった タスクAで 学習 あらゆるテキス トで事前学習 タスクAで 追加学習 学習済み LM Transformer
  5. 2018年頃 ChatGPTの前身 GPT-1, 2発表 14 2018年 GPT論文発表 • 生成能力に長けるが、当時研究としてはあまり使われなかった •

    原著論文ではGPTという略称すらない。 2019年 GPT-2発表 • GPT-1の約10倍サイズ、より大きな学習データ • 一般的には、学習には正解データがいる(例:日英翻訳なら、りんご→Apple)。しかし、 大量のテキストを学んだLMは、そのような正解データなしに翻訳、QAなどのタスクを学 び始めることを示した • 技術の悪用を防ぐため、最大規模の学習済みモデルの公開を控え、段階的に公開 “Improving Language Understanding by Generative Pre-Training,” Alec Radford et al., (2018).
  6. 2020年 具体例を見て解くGPT-3発表 15 • モデル規模がさらに拡大し、パラメータの更新なしに少数の例をプロンプト に入れるfew-shot learning が注目される。これにより、タスク特化のfine- tuningなしに解ける場面が増えた •

    この頃から、タスク特化のモデルではなく、ひとつのモデルで動的にタスク を切り替えられるように “Language Models are Few-Shot Learners,” Tom B. Brown et al., (2020)
  7. 2022年、ChatGPT発表 17 • GPT3.5 × InstructGPTの学習方法 × 対話形式 × チャットUI

    • (研究者目線では)当時は論文も出ておらず、詳細がわからないまま実社会応 用が先行実施 • アーキテクチャや学習方法などは、それまでの研究の積み重ねである • 専門家のみが使う技術ではなく、多くの人が直接触ることができる社会のイン フラへ移行
  8. ChatGPT発表により何が起きた? 18 史上最も急成長した消費者向けアプリケーションに • リリースからわずか2ヶ月後に月間アクティブユーザー数が1億人に 企業にも一気に浸透 • リリースからわずか9か月で、Fortune 500企業(世界売上高上位500社) の80%超のチームがChatGPTを使用開始(アカウント作成)

    仕事のかたちも変わる • 米労働者の約80%がタスクの1割以上に影響、約19%はタスクの半分以上 に影響 (OpenAIの研究者ら) 専門家は「半年の開発停止」を求めた • その危険性が適切に評価されずに普及することに対する警鐘
  9. 学習時のスケーリング 22 “Scaling Laws for Neural Language Models,” Jared Kaplan

    et al., (2020). スケーリング則:学習に使用する計算リソース、データセットのサイズ、およびモ デルサイズを増やすにつれて、言語モデルの性能は順調に向上するという経験則
  10. 学習スケーリング則の「壁」 27 ただし、いくらでもスケールさせれば良いと言うわけではない 計算量はお金や時間に相当する “Will we run out of data?

    Limits of LLM scaling based on human- 人間が書いた質の高いテキスト データはいずれ枯渇する 1000兆 100兆 10兆 “The rising costs of training frontier AI models,” Ben Cottier et al., (2024).
  11. そこで推論のスケーリング 28 学習済みのモデルをどう賢くするか? => 一つの出力を計算するときの計算量を増やすことで性能を高める 1. より多くの候補出しをさせる (Parallel Scaling) 2.

    深く考えさせる(Sequential Scaling) リンゴが12個。3人に等分して各自1個食 べた。残りは何個? 3個です。 スケーリング前の通常の会話 “A Survey on Test-Time Scaling in Large Language Models: What, How, Where, and How Well,” Qiyuan Zhang et al., (2025).
  12. より多くの候補出しをさせる (Parallel Scaling) 29 多数決などで最終判断 リンゴが12個。3人に等分して 各自1個食べた。残りは何個? 12÷3=4、4−1=3 → 3個

    12−3=9 → 9個 (4−1)×3=9 → 9個 9個 同じ質問 同じ質問 “A Survey on Test-Time Scaling in Large Language Models: What, How, Where, and How Well,” Qiyuan Zhang et al., (2025).
  13. 深く考えさせる(Sequential Scaling) 30 リンゴが12個。3人に等分して各自1個食べた。残りは何個? 12÷3=4、4−1=3、答え3個。 「3個」は1人分では? 問われたのは全体。 3×3=9。答え9個。 もう一度考える。12−(1×3)=9。一致。確定9個。 LLMにとっての深い思考

    = より多くのトークン(単語)を消費して回答すること フィードバック 自己修正 “A Survey on Test-Time Scaling in Large Language Models: What, How, Where, and How Well,” Qiyuan Zhang et al., (2025).
  14. 人間に寄り添いすぎることによるリスク Sycophancy(迎合) 39 モデルが「ユーザーが喜びそうな応答」を優先しすぎてしまう傾向 “Towards Understanding Sycophancy in Language Models,”

    Mrinank Sharma et al., (2023). 実例: ChatGPTの応答がユー ザーの精神的危機を悪化 させたとして、遺族らが OpenAIを提訴する事例も 出ている。 LLMの肯定・賛同を「正しさの証拠」と受け取らないことが重要
  15. その他にもさまざまな問題を抱えている 40 著作権・クリエイターの権利問題 • LLMは大量のテキスト・画像・コードから学習する。著作権をどうケアするか • 日本でも、無断で記事がAIに使用されたとして、朝日新聞・日経新聞が Perplexityを訴訟。技術だけでなく、法律・制度・社会合意の問題でもある。 教育への影響:学習の代替と不正利用 •

    LLMは強力な学習支援でもあり、同時に学びを阻害し得る • UC Berkeleyでは、授業の落第率が通常の5倍に急増し、教員はLLMの利用に起因 する学業上の不正行為の大幅な増加を一つの要因として挙げた(記事リンク) プライバシーと個人情報漏洩 • LLMに入力した情報は再度学習され、誰かに提示される可能性 • また、モデル自身から学習に使われたデータを復元することもできる
  16. 著名研究者の批判的見方: Stochastic Parrots 42 流暢だからといって、言語が理解できているというわけではない Emily Bender & Timnit Gebru

    らの問題提起 • LLMは、意味・コミュニケーション意図・世界モデルを持たずに統計的に人間の言語 をつなぎ合わせるシステムである • 巨大モデルの環境・金銭コスト、データの偏り、意味理解の過大評価を批判 • 「AIが何をしているのか」を人間が誤解すること自体が社会的リスクになる • この立場は、LLMブーム以前から現在まで重要な批判軸になっている
  17. 別の見方:LLMがもつ「新しい形の理解」 43 LLMは人間と同じ経験や身体性を持たないが、人間には不可能なほど の規模で統計的相関を利用して超人的な予測能力を発揮しており、こ れを人間とは異質な新しい形の「理解」と呼べるかもしれない Melanie Mitchell & David C.

    Krakauer らの議論 • NLP研究者の間でも「LLMは言語を理解しているか」について意見は割れている。 • Mitchell & Krakauerは、LLMの「理解」を人間の理解と同一視するのではなく、別種の理解と して捉える可能性を議論している。 “The Debate Over Understanding in AI’s Large Language Models,” (2023).
  18. 言語の「ダークマター」 44 人間には当たり前すぎる知識(ダークマター)が、AIには難しい Yejin Choiによる発表 • Normal matter: 目に見えるテキスト •

    Dark matter: 世界がどう機能しているかに関する目に見えないルール。言語理 解・利用に影響する。いわゆる常識 • 馬は幾つの目を持つ? • 息を吸う & 吐くって? "The Dark Matter of Language and Intelligence,” (2023).
  19. LLMを使った成果物の均質化リスクは テキストだけではない 49 多様だったはずの視点、考え方が均質化されてしまう • 同じLLMを共有して使った採用担当者たちが同じ人を落とし続けてしまうリスク • 似通ったデータセット・ガードレールがモデル間で収斂することで、気付かない うちに単一文化を教育を通して子どもに刷り込んでしまうリスク •

    ChatGPTを創造支援ツールとして使った参加者同士のアイデアが、別の創造支援 ツールを使った場合より意味的に似てしまうリスク “Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization?,” Rishi Bommasani et al., (2022). “The Silent Curriculum: How Does LLM Monoculture Shape Educational Content and Its Accessibility?,” Aman Priyanshu et al., (2024).
  20. 人間の態度・視点・思考の均質化リスク 50 LLMを使ってある社会的事象の是非に関する質問に回答すると、その後そのユー ザー自身の意見も変化する もっと根本的な話をすると、 認知負債リスクを示 唆する研究もある • LLMへの依存によって、人間の判断力・批判的思 考力・創造力が徐々に低下していく見えない負債

    が溜まって行く。その結果、さらに均質化が進む “Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task,” Nataliya Kosmyna et al., (2025). “Co-Writing with Opinionated Language Models Affects Users' Views,” Maurice Jakesch et a., (2023).
  21. ことばを超えた分野の広がり 52 あらゆる知的成果物から • 論文 • コード • 数式 •

    実験ログ • 画像 • シミュレーション結果 LLM あらゆる知的作業をつなぐ 共通インターフェース あらゆる専門分野へ • 医療 • 法務 • 教育 • 科学研究 • 創薬・バイオ • … NLPは、もう言語および工学だけの研究ではない 今後はより学際的な連携が重要
  22. だからこそキャリアも広がっている 53 基礎研究 モデル構築 ・ データ作成 ・ アルゴリズム構築 ・ 評価

    ・ 解釈 ・ 安全性 応用研究 教育 ・ 医療 ・ 法律 ・ 科学 ・ 産業への導入 プロダクト開発 AIアプリ ・ 検索 ・ 対話システム ・ 業務支援 現場活用・運用 現場でAIを使いこなす ・ 運用・定着させる 専門分野との橋渡し 物理 × AI ・ 言語 × 科学 ・ 社会 × 技術 制度・倫理・教育 AIをどう使うべきかを設計する
  23. 自身のキャリアの話 54 所属 アラブ首長国連邦にある大学Mohamed bin Zayed University of Artificial Intelligence

    (MBZUAI) にてポスドク 略歴 国内大学卒業→国内企業で研究開発→海外大学でポスドク 博士(工学)@東京工業大学 情報理工学院 (2023/03取得) リサーチサイエンティスト @Web系企業のAI研究所 (2024/04〜2025/09) ポスドク@MBZUAI / 研究員@理研AIP、NII (2025/10〜現職) 私自身、インダストリ→アカデミア、国内→国外 とキャリアに広がりがあるので、 個人的な話も少ししたい 略歴再掲
  24. 海外大学に就職:なぜ欧米ではなく 中東(MBZUAI)を選んだのか 61 理由① 多様性 • アジア・欧州・アフリカに囲まれ、人口の90%が外国人。真に多様で未知 な国にAI専門大学ができる。多様なほどつなぐ効果が大きい 理由② 日本の学生にとっての新しい選択肢を作りたかった

    • 日本の学生がもっと留学して、それを日本に持ち帰ることが、日本のNLP コミュニティにとって必要なサイクルだと思った 日本の学会で大学のスポンサーブースを企画・運営したり、アブダビ や大学について知ってもらうトークイベントを行ったりしている 「世界と日本を繋ぐ」も自分が出せる価値になった
  25. 62 Q. オンラインが普及した今、わざわざ海外に行く必要はある? A. ある。コミュニティに入り込むことに価値がある • 多様なトピックの専門家がいる • より多くの情報が、自然と流れてくる •

    わざわざ海外に来る程度に、アクティブな人が多い • カルチャーショックそのものが学びになる 海外で研究する意味 =コミュニティに入ること やはりコミュニティをつなぐことは重要だとここで再認識した。
  26. いま働いているMBZUAIはこんなところ 65 • Mohamed bin Zayed University of Artificial Intelligence

    (MBZUAI) • 2019年設立の、世界初の人工知能特化の大学 • NLP分野で世界ランク Top7(CSRankings) • 世界中から研究者が集まる面白い環境