第10回言つくば 言語学徒のための自然言語処理入門

Transcript

1. 言語学徒のための自然言語処理入門 ―ChatGPTの話も少々― 筑波大学人文・文化学群 人文学類4年 小畑文佳
2. 目次 自己紹介 1. 概要 2. 歴史 3. 技術の仕組み 3.1 ニューラル言語モデルとは 3.2 今まで出てきた言語モデル研究 4. 今後どうなる 5. 参考文献 2
3. 自己紹介 小畑文佳 • 18生 • 人文学類応用言語学コース4年→1休→春から言語学SPのM1 【専門分野のようなもの】 • 打ちことば • ポライトネス理論 • ほか、日本語を談話単位で扱うやつ色々 【Twitter】 夜間 @gotobed0723 3
4. 1.概要 自然言語処理（NLP） • 「自然言語のコンピュータ処理に関する学問分野,研究開発分野」(黒 橋,2019:9） • だいたい工学 ØGoogle翻訳の性能がどっかのタイミングで上がった気がしませんか？ Ø上がったのは、自然言語処理の進歩が反映されたから 4
5. 1.概要 5 自然言語処理の研究は…… • 転換点が大規模 • 一番大きいのは国際学会だが国内研究も盛ん • 言語処理学会 • ACL • EMNLP • 企業研究がたいへん盛ん GoogleとかMicrosoft
6. 2.歴史 スタートは機械翻訳の研究から 【黎明期】 1933 Troyanskiiが機械翻訳のプロセス発案 1954 ジョージタウン大が機械翻訳の公開デモ 【停滞期】 1964 ALPAC報告書によって米国MT研究への援助が打ち切りに 1978 JIS漢字制定 1985 IBMが統計的機械翻訳の研究を再開 6
7. 2.歴史 7 【発展期】 1990 World Wide Web提唱 2013 Word2vec発表 2014 seq2seqによるニューラル機械翻訳の発表 2016 ↑がGoogle翻訳に導入される 2017 Transformer発表 2018 BERT発表 2020 GPT-3発表 2022 ChatGPT発表 先週 GPT-4発表（←!?）
8. 3.技術の仕組み 8 3.1 ニューラル言語モデルとは 現在の主流は「ニューラルネットワークで構築された言語モデル」 • ニューラルネットワークとは？ • 言語モデルとは？ • ニューラル言語モデルはどういう仕組み？ 3.2 今まで出てきた言語モデル研究 se2qseq Transformer BERT GPTシリーズ, ChatGPT
9. 3.1ニューラル言語モデルとは 9 ニューラルネットワーク 図が直撮りで申し訳ない（斎藤,2018:9） Ø「生物の神経細胞の振る舞いをモデル化したもの」（黒橋, 2019:175） Ø多数のニューロンによって構成される
10. θ 𝑥! 𝑥" 𝑦 3.技術の仕組み 10 最も単純なニューラルネットワーク（黒橋,2019:175-176） 𝑤! 𝑤" 𝑤! , 𝑤" は「重み」 ニューロン間の結合の強さを表す 𝑥! 𝑤! + 𝑥" 𝑤" > 𝜃ならば𝑦 = 1 𝑥! 𝑤! + 𝑥" 𝑤" ≤ 𝜃ならば𝑦 = 0 重みが変化すると出力が変化する 2入力 1出力
11. 3.1ニューラル言語モデルとは 11 ニューラルネットワークの学習ってつまり何？ Ø学習は「入出力から重みを設定すること」 ØEnd-to-End学習 パラメータ数……学習で設定する値の数 ファインチューニング Øタスクに合わせてモデルの重みを微調整すること
12. 3.1ニューラル言語モデルとは 12 言語モデル Ø狭義：ある単語の並びが自然にあり得る確率を求めるしくみ（斎藤,2018） Ø広義：ある言葉が自然に出現する確率を求めるしくみ Øもっと広義：言語を扱うモデル 【例】bigramモデル（直前の1単語のみを考慮して次の単語を予測する）の確率 （黒橋,2019:53） 𝑃 𝑤! 𝑤!"# = 𝐶 𝑤!"# , 𝑤! 𝐶(𝑤!"# ) 要は条件付き確率である Cは出現回数のこと
13. 3.1ニューラル言語モデルとは 13 じゃあニューラル言語モデルの構造ってどうなってるのか？ なんかいろいろ層があるみたいだけど……
14. 3.1ニューラル言語モデルとは 14 Encoder-Decoderモデル（ニューラル言語モデルの一種）のざっくり構造 エンコード 中間層 デコード ベクトルから 特徴量を抽出 特徴量をもとに 自然言語を出力 自然言語を ベクトルに
15. 3.2今まで出てきた言語モデル研究 15 seq2seq • “Sequence to Sequence Learning with Neural Networks” • https://papers.nips.cc/paper_files/paper/2014/hash/a14ac55a4f27472c5d 894ec1c3c743d2-Abstract.html • この研究ではLSTM（長短記憶ネットワーク）を2つ繋げて利用 LSTM ØRNN（再帰型ニューラルネットワーク）の一種 再帰 Ø時系列を扱う仕組み
16. 3.2今まで出てきた言語モデル研究 16 再帰構造の図 エンコーダー 中間層 デコーダー エンコーダー 中間層 デコーダー エンコーダー 中間層 デコーダー
17. 3.2今まで出てきた言語モデル研究 17 （ただの）Transformer • “Attention is All you need” 論文タイトルかっけえ〜 • https://papers.nips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a84 5aa-Abstract.html • Attentionベースのモデル • LSTMより長い文脈を捉えられる Attention Ø必要な情報だけに「注意」を向けさせる機構 Ø重要なベクトルの重みを増やす
18. 3.2今まで出てきた言語モデル研究 18 BERT • “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” • https://aclanthology.org/N19-1423/ • 少ない学習量で様々なタスクに応用可能 事前学習 Ø 事前に大規模データでの学習をしておく Ø ファインチューニングして固有タスクに対応 Masked Language Modeling（MLM） りんごの色は赤い りんごの[MASK]は赤い MASKに入るやつは何？ Ø 文の進行順に関係なく文脈を捉えられるようにする学習タスク
19. 3.2今まで出てきた言語モデル研究 19 GPTシリーズ • “Improving Language Understanding by Generative Pre-Training” • https://s3-us-west-2.amazonaws.com/openai-assets/research- covers/language- unsupervised/language_understanding_paper.pdf • とにかくデカいモデルにデータを食わせたら性能がすごい上がった Scaling Law Øパラメーター数を増やせば増やすほど言語モデルの性能が上がる法則 Øもしかしたら際限がないかも……
20. 3.2今まで出てきた言語モデル研究 20 ChatGPT • GPT-3.5(仮称)をファインチューニングして作られたモデル • できたてホヤホヤでまだ論文がない！ • 何がすごい？ Ø実用化が爆速すぎる Ø使い方が非常に簡単
21. 3.2今まで出てきた言語モデル研究 21 （ChatGPTを含む）大規模言語モデルの苦手なこと→既にある事実に基づく生成 • ↑の例だとパラメーター数が間違っている • 確率に基づいて言葉を置いている Øなにかを理解しているわけではない （はず……）
22. 4.今後どうなる 22 ブラックボックス • 「言葉の特徴」は言語モデル内でどう処理されている？ Ø人間では分からない！ • 言語モデルの判断根拠は？ パラメーターハラスメント（NLP2023） • 少ないデータ数でSOTA（最新性能）を出すには膨大なパラメータ数が必要 Øパラメータ数のみが研究のミソに……？ • BERT（3億）→GPT-2（10億）→GPT-3（1750億）→GPT-4（???）
23. 4.今後どうなる 23 • 他言語に向けて調整したChatGPTの開発が進む？ • ChatGPTと人間の言語能力はどう違うかの考察が出てくる？ • GPT産の文章に特徴はあるのか？ • 大企業同士の札束戦争はどうなる？ Ø大規模言語モデルを作るにはお金がたくさんいるので…… あとは言語モデル関係で面白そうな言語学の仕事増えないかなあと思ったり
24. 5.参考文献 24 黒橋禎夫(2019).『改訂版 自然言語処理』一般財団法人放送大学教育振興会. 斎藤康毅(2018).『ゼロからつくるDeep Learning② 自然言語処理編』オライリー・ジャパン. 中澤敏明(2017).「機械翻訳の新しいパラダイム：ニューラル機械翻訳の原理」『情報管理』60巻5号,299-306 Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova(2019)BERT: pre-training of deep bidirectional transformers for language understanding, ” In Proc. of NAACL-HLT, pp. 4171-4186. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei(2020) Scaling Laws for Neural Language Models. arXiv preprint arXiv:2001.08361, Alec Radford, Karthik Narasimhan, Time Salimans, and Ilya Sutskever(2018). Improving language understanding by generative pre-training. Technical report, OpenAI. Ilya Sutskever, Oriol Vinyals, and Quoc V Le.(2014). Sequence to Sequence Learning with Neural Networks. Proc. of the 27th Int. Conf. on Neural Information Processing Systems, pp. 3104-3112. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin(2017). Attention is all you need. Advances in Neural Information Processing Systems, Vol. 30, pp. 6000–6010.
25. さいごに 25 スライドをチェックしてくださったNAIST吉田さん、名大塚越さん 本当にありがと うございました NLP新米の会：自然言語処理を研究する学生のDiscord鯖 • https://twitter.com/FreshmanNlp • 主催の一人が筑波大生 • 言語の人もいます 言語処理学会2023ワークショップ「深層学習時代の計算言語学」: http://clml.ism.ac.jp/~daichi/workshop/2023-deepcl/