Upgrade to Pro — share decks privately, control downloads, hide ads and more …

大規模言語モデルのインパクトと課題/oc2023

Mamoru Komachi
May 26, 2024
21

 大規模言語モデルのインパクトと課題/oc2023

一橋大学の2023年のオープンキャンパスの模擬授業で使ったスライドを少し改変したものです。

Mamoru Komachi

May 26, 2024
Tweet

Transcript

  1. 自己紹介: 小町守(こまちまもる) • 2005.03 東京大学教養学部基礎科学科 科学史・科学哲学分科卒業 • 2010.03 奈良先端科学技術大学院大学 博士(工学)

    • 2010.04〜2013.03 奈良先端大 助教(自然言語処理研究室) • 2013.04〜2023.03 首都大学東京(現都立大) 准教授〜教授(自然言語処理研究室) • 2023.04〜 一橋大学 教授(計算言語学研究室) 2
  2. 1990年代以降の統計的機械翻訳の発展 1. 翻訳モデルの開発 2. オープンソースのツール 3. 自動評価手法の普及 4. 最適化手法の発展 5.

    対訳データの拡充 5 IBM モデル (1993) からフレーズベースの手法 (2003) GIZA++ (1999) Moses (2003) BLEU: 参照訳を用いた自動評価 (2002) 誤り率最小化学習 (2003) EU 議事録 (2005) 国連議事録 (2016) カナダの国会議事録
  3. 学習データが多ければ多いほど性能向上 6 低い 翻訳性能 高い 少ない データ 多い Large Language

    Models in Machine Translation [Brants+, 2007] 言語モデルの学習 データ量に対し、 対数スケールで直線 的に翻訳性能向上
  4. 言語モデルが自然言語処理の基礎 吾輩 は 猫 で ある 8 P(吾輩は猫である) ・・・文の生成確率 =P(吾輩)

    ×P(は|吾輩) × P(猫|吾輩は) × P(で|吾輩は猫) × P(ある|吾輩は猫) 周辺文脈から 単語を予測
  5. 分野に特化したテキストデータを使って 事前学習することでさらに改善 • Liu et al. 2020. FinBERT: A Pre-trained

    Financial Language Representation Model for Financial Text Mining. IJCAI. • Chalkiodis et al. 2020. LEGAL-BERT: The Muppets straight out of Law School. EMNLP. 11 ↑ LEGAL-BERT ← FinBERT
  6. ChatGPT を支える技術 15 事前学習 教師あり学習 強化学習 どういう出力が良くて どういう出力がダメか 教える 多言語データで

    大規模言語モデルを 自己教師あり学習 どう生成すれば いい出力になるのか 学習する
  7. 生成AIの問題〜社会科学との交差点② • 差別的な出力の生成、モデルに内在するバイアス • 事実とは異なる内容を生成する(ハルシネーション) 22 Towards Automatic Generation of

    Messages Countering Online Hate Speech and Microaggressions [Ashida and Komachi, 2022] https://www.un.org/en/hate-speech/understanding-hate-speech/hate-speech-versus-freedom-of-speech