Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習を用いた自然言語処理(1)
Search
shu_suzuki
January 11, 2019
Technology
0
200
深層学習を用いた自然言語処理(1)
長岡技術科学大学 自然言語処理研究室 第一回B3ゼミ
shu_suzuki
January 11, 2019
Tweet
Share
More Decks by shu_suzuki
See All by shu_suzuki
文献紹介:Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
shu_suzuki
0
110
文献紹介:Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
shu_suzuki
0
59
文献紹介: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
shu_suzuki
0
210
文献紹介:Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
shu_suzuki
0
130
文献紹介:Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
shu_suzuki
0
46
文献紹介:ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
shu_suzuki
0
170
文献紹介:Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings
shu_suzuki
0
93
文献紹介:Why are Sequence-to-Sequence Models So Dull?
shu_suzuki
0
52
文献紹介:Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
shu_suzuki
0
180
Other Decks in Technology
See All in Technology
スクラムに出会って「できた」を実感できるようになってきた話 / Scrum makes me feel like I can do it
yayoi_dd
2
110
AWSの生成AI入門書を執筆しました🎉
minorun365
PRO
0
140
生成AIと産業向けソフトウェアの自動生成 〜 ハノーバーメッセ2024より〜
kioto
2
420
NewSQL Landscape
oracle4engineer
PRO
5
3.2k
OPENLOGI Company Profile for engineer
hr01
1
2.2k
[PyconUS 2024] Having fun with Pydantic and pattern matching
enforcerpl
0
140
TDD - Test Driven Drupal
opdavies
0
3k
The depthes of profiling Ruby - RubyKaigi 2024
osyoyu
0
140
TailwindCSSでUIライブラリを作る際のハマりどころ
shuta13
0
230
YJIT Makes Rails 1.7x faster / RubyKaigi 2024
k0kubun
3
450
個人的、Kubernetes の最新注目機能! (2024年5月版) / TechFeed Experts Night#28 〜 コンテナ技術最前線
pfn
PRO
3
210
Databricksの生成AI戦略
taka_aki
1
370
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
7k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
How to train your dragon (web standard)
notwaldorf
75
5.2k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
15
1.6k
The Invisible Side of Design
smashingmag
294
49k
The Language of Interfaces
destraynor
151
23k
Side Projects
sachag
451
41k
Building Your Own Lightsaber
phodgson
100
5.7k
Documentation Writing (for coders)
carmenintech
60
4k
Music & Morning Musume
bryan
41
5.6k
The Invisible Customer
myddelton
114
12k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
Transcript
深層学習を用いた 自然言語処理(1) 2019 年1月11日 長岡技術科学大学 自然言語処理研究室 16104587 鈴木脩右 1
目次 2 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 •
ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
目次 3 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 •
ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
はじめに ~学習目的~ •近年,自然言語処理で深層学習が用いられている (word2vec,seq2seqなど) •深層学習への理解および言語処理への活用される 仕組みを学ぶ
はじめに ~学習項目~ 深層学習 分散表現 word2vec seq2seq
はじめに ~学習項目~ 深層学習 分散表現 word2vec seq2seq
目次 7 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 •
ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
深層学習 ~深層学習とは~ 機械学習手法の一つ ニューラルネットワークを多層構造につなげたもの
深層学習 ~ニューラルネットワークとは(1)~ 入力を出力に変換する→関数のようなもの
深層学習 ~ニューラルネットワークとは(1)~ 入力を出力に変換する→関数のようなもの ニューロン
深層学習 ~ニューラルネットワークとは(1)~ 入力を出力に変換する→関数のようなもの ニューロンの繋がり
深層学習 ~ニューラルネットワークとは(1)~ 入力を出力に変換する→関数のようなもの 全結合層
深層学習 ~ニューラルネットワークとは(2)~ 2つのフェーズに分けられる •問題に対する答えを見出す作業 推論 •最適なパラメータを見つける作業 学習
深層学習 ~ニューラルネットワークの推論(1)~ ニューロン一つの推論処理は次式で求められる :ニューロン, :入力層のデータ, 重み バイアス 中間層のニューロンは重み付き和で計算されている
深層学習 ~ニューラルネットワークの推論(2)~ 行列にまとめることですべての計算ができる しかし,これでは線形な変換となる
深層学習 ~ニューラルネットワークの推論(3)~ 求めたニューロン ニューラルネットワークの表現力増加 非線形に変換
深層学習 ~ニューラルネットワークの推論(3)~ 求めたニューロン ニューラルネットワークの表現力増加 非線形に変換 活性化関数
深層学習 ~ニューラルネットワークの学習(1)~ 学習手順 ミニバッチ 訓練データから 複数のデータを選出 勾配の算出 各重みの損失関数から 勾配を算出 パラメータ更新
勾配を使って 重みを更新
深層学習 ~ニューラルネットワークの学習(2)~ 損失・・・ニューラルネットワークの予測が どれだけ悪いかを表すパラメータ → この損失を求める関数を損失関数という 勾配・・・重みの損失を最も増やす方向を示す → 勾配を逆方向に更新することで損失を減らす
目次 20 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 •
ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
分散表現 ~分散表現とは~ 深層学習のデータは数値である必要がある しかし,自然言語は数値ではない 単語の意味をベクトルで表現する(分散表現)
分散表現 ~分散表現とは~ 深層学習のデータは数値である必要がある しかし,自然言語は数値ではない 単語の意味をベクトルで表現する(分散表現) 分散表現は分布仮説を基にしている
分散表現 ~分布仮説とは~ 単語の意味は,周囲の単語で形成されるという仮説 例) 私は本を買った,彼はパンを買った 私は本を購入した,彼はパンを購入した 「買う」と「購入」は同じ文脈で使われている → 二つの単語は近い意味を持っている
分散表現 ~具体的な手法~ • ある単語の周囲の単語をカウントし, そこから分散表現を得る カウントベース • 推測することを目標とし, 福産物として分散表現を得る 推論ベース
分散表現 ~具体的な手法~ • ある単語の周囲の単語をカウントし, そこから分散表現を得る カウントベース • 推測することを目標とし, 福産物として分散表現を得る 推論ベース
目次 26 深層学習 • 深層学習とは • ニューラルネットワークとは • ニューラルネットワークの推論 •
ニューラルネットワークの学習 分散表現 • 分散表現とは • 分布仮説 • 具体的な手法 おわりに • まとめ • 参考文献 はじめに • 学習目的 • 学習項目
おわりに ~まとめ~ •深層学習とはニューラルネットワークの多層構造 •ニューラルネットワークとは関数のようなもの 推論と学習の二つのフェーズがある •分散表現とは単語の意味をベクトルで表現したもの •分散表現を得る手法にはカウントベースと 推論ベースの二つがある
おわりに ~参考文献~ [1] 斉藤康毅.『ゼロから作る Deep Learning②:自然言語処理編』. オライリー・ジャパン.2018. [2]小高知宏.『自然言語処理と深層学習:C言語によるシミュレーション』. オーム社.2017. [3]
高村大地.『言語処理のための機械学習入門』.コロナ社.2010.