深層学習を用いた自然言語処理(1)

長岡技術科学大学 自然言語処理研究室 第一回B3ゼミ

Transcript

1. 深層学習を用いた 自然言語処理(1) 2019 年1月11日 長岡技術科学大学 自然言語処理研究室 16104587 鈴木脩右 1
2. 目次 2 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 • ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
3. 目次 3 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 • ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
4. はじめに ~学習目的~ •近年，自然言語処理で深層学習が用いられている (word2vec，seq2seqなど) •深層学習への理解および言語処理への活用される 仕組みを学ぶ
5. はじめに ~学習項目~ 深層学習 分散表現 word2vec seq2seq
6. はじめに ~学習項目~ 深層学習 分散表現 word2vec seq2seq
7. 目次 7 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 • ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
8. 深層学習 ~深層学習とは~ 機械学習手法の一つ ニューラルネットワークを多層構造につなげたもの
9. 深層学習 ~ニューラルネットワークとは(1)~ 入力を出力に変換する→関数のようなもの
10. 深層学習 ~ニューラルネットワークとは(1)~ 入力を出力に変換する→関数のようなもの ニューロン
11. 深層学習 ~ニューラルネットワークとは(1)~ 入力を出力に変換する→関数のようなもの ニューロンの繋がり
12. 深層学習 ~ニューラルネットワークとは(1)~ 入力を出力に変換する→関数のようなもの 全結合層
13. 深層学習 ~ニューラルネットワークとは(2)~ 2つのフェーズに分けられる •問題に対する答えを見出す作業 推論 •最適なパラメータを見つける作業 学習
14. 深層学習 ~ニューラルネットワークの推論(1)~ ニューロン一つの推論処理は次式で求められる :ニューロン, :入力層のデータ, 重み バイアス 中間層のニューロンは重み付き和で計算されている
15. 深層学習 ~ニューラルネットワークの推論(2)~ 行列にまとめることですべての計算ができる しかし，これでは線形な変換となる
16. 深層学習 ~ニューラルネットワークの推論(3)~ 求めたニューロン ニューラルネットワークの表現力増加 非線形に変換
17. 深層学習 ~ニューラルネットワークの推論(3)~ 求めたニューロン ニューラルネットワークの表現力増加 非線形に変換 活性化関数
18. 深層学習 ~ニューラルネットワークの学習(1)~ 学習手順 ミニバッチ 訓練データから 複数のデータを選出 勾配の算出 各重みの損失関数から 勾配を算出 パラメータ更新 勾配を使って 重みを更新
19. 深層学習 ~ニューラルネットワークの学習(2)~ 損失・・・ニューラルネットワークの予測が どれだけ悪いかを表すパラメータ → この損失を求める関数を損失関数という 勾配・・・重みの損失を最も増やす方向を示す → 勾配を逆方向に更新することで損失を減らす
20. 目次 20 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 • ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
21. 分散表現 ~分散表現とは~ 深層学習のデータは数値である必要がある しかし，自然言語は数値ではない 単語の意味をベクトルで表現する(分散表現)
22. 分散表現 ~分散表現とは~ 深層学習のデータは数値である必要がある しかし，自然言語は数値ではない 単語の意味をベクトルで表現する(分散表現) 分散表現は分布仮説を基にしている
23. 分散表現 ~分布仮説とは~ 単語の意味は，周囲の単語で形成されるという仮説 例） 私は本を買った，彼はパンを買った 私は本を購入した，彼はパンを購入した 「買う」と「購入」は同じ文脈で使われている → 二つの単語は近い意味を持っている
24. 分散表現 ~具体的な手法~ • ある単語の周囲の単語をカウントし， そこから分散表現を得る カウントベース • 推測することを目標とし， 福産物として分散表現を得る 推論ベース
25. 分散表現 ~具体的な手法~ • ある単語の周囲の単語をカウントし， そこから分散表現を得る カウントベース • 推測することを目標とし， 福産物として分散表現を得る 推論ベース
26. 目次 26 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 • ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
27. おわりに ~まとめ~ •深層学習とはニューラルネットワークの多層構造 •ニューラルネットワークとは関数のようなもの 推論と学習の二つのフェーズがある •分散表現とは単語の意味をベクトルで表現したもの •分散表現を得る手法にはカウントベースと 推論ベースの二つがある
28. おわりに ~参考文献~ [1] 斉藤康毅.『ゼロから作る Deep Learning②:自然言語処理編』. オライリー・ジャパン.2018. [2]小高知宏.『自然言語処理と深層学習:C言語によるシミュレーション』. オーム社.2017. [3] 高村大地.『言語処理のための機械学習入門』.コロナ社.2010.