ゼロつく2輪読会 資料 2.1 - 2.4

「ゼロから作るDeep Learning 2」の輪読会で使った資料です

Transcript

1. 自然言語って なんだい？ ゼロから作るDeep Learning 2 輪読会 @Piortyyy 範囲：第2章 2. 1 〜 2. 4
2. 参考資料 著書名：ゼロから作るDeep Learning 2 著者：斎藤 康毅 発行日：2018年07月
3. 自然言語処理とは？ 01 自然言語処理における手法 02 まとめと次回予告 03 目次
4. 自然言語とは 私たちが日常的に使っている言葉 例）「これ重くね？」、「このタスク重いな」 、「重い雰囲気」など 自然言語処理（Natural Language Processing: NLP） 自然言語をコンピュータに理解させるための技術 人の話す言葉でコンピュータを操ることができたら最高だよね？？
5. 自然言語とは - 固い言語と柔らかい言語 固い言語：文章に曖昧さがなく、機械的である言語 柔らかい言語：文章に曖昧さがあり、柔軟に意味や形が変わる言語 固い言語 柔らかい言語 プログラミング言語など 自然言語など if文やfor文は一定の意味を持 ち、状況によってその意味が 変化することがない 「重い」という言葉の意味は 前後関係（コンテキスト）に よって変化する
6. 代表的な手法 自然言語とは - 固い言語と柔らかい言語 自然言語は柔らかい言語である → コンピュータに理解させるには少し工夫が必要！！ Q. どのように理解させるか？ 私たちの言葉は「単語」の連なりによって構成される 単語の意味を理解させることで言葉を理解させることができるかも？ シソーラスによる手法 1. カウントベースの手法 2. 推論ベースの手法（word2vec） 3.
7. car 自然言語処理における手法 - シソーラスによる手法 シソーラス：類語辞典。同じ意味の単語や似た意味の単語をグループ化する。 例）「car」のシソーラス ＝ auto automobile motorcar 「car」という単語に対して、類語がグループ化される。
8. 自然言語処理における手法 - シソーラスによる手法 特に自然言語処理においては、単語間の上下関係も定義される。 例）「car」における上下関係 object motor vehicle car track SUV compact sports 抽 象 度 上 下
9. 自然言語処理における手法 - シソーラスによる手法 Q. シソーラスによって何ができるようになるのか？ コンピュータに単語間の関連を理解させることができる 例）検索システム シソーラスなし シソーラスあり car car car car, automobile, motocar 「car」という検索に対して、同グループの単語 の検索結果を含めることができる
10. 自然言語処理における手法 - シソーラスによる手法 シソーラスの問題点 1. 時代の変化に対応するのが困難 2. 人の作業コストが高い 3. 単語の細やかなニュアンスを表現できない 時代とともに失われる単語もあれば、造られる単語もある 英単語だけでも1000万語を超える 似たような単語であっても、人間の感覚によって使う場面が全く異なることがある
11. I say 自然言語処理における手法 - カウントベースの手法 カウントベースの手法とは ある単語の周囲にある単語に着目する手法 You say goodbye and hello . 例）「say」に着目する 周囲にある単語をベースに単語の関連を導き出す。
12. say hello I 自然言語処理における手法 - カウントベースの手法 カウントベースの手法の考え 「goodbye」と「hello」は互いに綴りや意味が異なる単語であるが、 周囲に「say」という単語が出現する You say goodbye and . カウントベースの手法において、「goodbye」と「hello」は似ていると 判断する。
13. 自然言語処理における手法 - カウントベースの手法 コーパス：数値化された大量のテキストデータ I say You say goodbye and hello . 4 1 0 1 2 3 5 6 [0, 1, 2, 3, 4, 1, 5, 6] Text Data Numerical Data
14. say hello 自然言語処理における手法 - カウントベースの手法 共起行列：単語の周囲に出現する単語を数値データ化したもの。 I You say goodbye and . 例）「say」に着目する
15. 自然言語処理における手法 - カウントベースの手法 すべての単語に関する共起行列を作成すると [0, 1, 0, 0, 0, 0, 0] [1, 0, 1, 0, 1, 1, 0] [0, 1, 0, 1, 0, 0, 0] [0, 0, 1, 0, 1, 0, 0] [0, 1, 0, 1, 0, 0, 0] [0, 1, 0, 0, 0, 0, 1] [0, 0, 0, 0, 0, 1, 0] {'you': 0, 'say': 1, 'goodbye': 2, 'and': 3, 'i': 4, 'hello': 5, '.': 6} 0 1 2 3 4 5 6 0 1 2 3 4 5 6
16. 自然言語処理における手法 - カウントベースの手法 文に出現する単語についてベクトル形式のデータに変換することができた 単語の意味が似ている → ベクトルが似ている
17. 自然言語処理における手法 - ベクトルの類似度 コサイン類似度：ベクトル同士の類似度を表す手法 a b 類似度が高いほど、1に近づき、低いほど-1に近づく
18. 自然言語処理における手法 - ベクトルの類似度 共起行列に対して、コサイン類似度を適用させる。 [0, 1, 0, 0, 0, 0, 0] [1, 0, 1, 0, 1, 1, 0] [0, 1, 0, 1, 0, 0, 0] [0, 0, 1, 0, 1, 0, 0] [0, 1, 0, 1, 0, 0, 0] [0, 1, 0, 0, 0, 0, 1] [0, 0, 0, 0, 0, 1, 0] 0 1 2 3 4 5 6 0 1 2 3 4 5 6 {'you': 0, 'say': 1, 'goodbye': 2, 'and': 3, 'i': 4, 'hello': 5, '.': 6} 人間の感覚に近い 人間の感覚とずれがある
19. 自然言語処理における手法 - ベクトルの類似度 Q. なぜずれが生じるのか？？ A. 単語の周囲に現れる単語の出現回数がベースとなっているため 例）ある動詞に対する冠詞の類似度が非常に高くなってしまう。 I have a pen and I have a ball .
20. まとめと次回予告 自然言語処理において、以下三つの手法がある。 シソーラスによる手法 1. カウントベースの手法 2. 推論ベースの手法（word2vec） 3. 次回は、コサイン類似度に変わる新たな指標を導入し、より良い精度の 単語の関連付けを行う。