Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ゼロつく2輪読会 資料 2.1 - 2.4

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
Avatar for Pirotyyy Pirotyyy
February 10, 2024
67

ゼロつく2輪読会 資料 2.1 - 2.4

「ゼロから作るDeep Learning 2」の輪読会で使った資料です

Avatar for Pirotyyy

Pirotyyy

February 10, 2024
Tweet

Transcript

  1. 代表的な手法 自然言語とは - 固い言語と柔らかい言語 自然言語は柔らかい言語である → コンピュータに理解させるには少し工夫が必要!! Q. どのように理解させるか? 私たちの言葉は「単語」の連なりによって構成される

    単語の意味を理解させることで言葉を理解させることができるかも? シソーラスによる手法 1. カウントベースの手法 2. 推論ベースの手法(word2vec) 3.
  2. 自然言語処理における手法 - シソーラスによる手法 シソーラスの問題点 1. 時代の変化に対応するのが困難 2. 人の作業コストが高い 3. 単語の細やかなニュアンスを表現できない

    時代とともに失われる単語もあれば、造られる単語もある 英単語だけでも1000万語を超える 似たような単語であっても、人間の感覚によって使う場面が全く異なることがある
  3. 自然言語処理における手法 - カウントベースの手法 すべての単語に関する共起行列を作成すると [0, 1, 0, 0, 0, 0,

    0] [1, 0, 1, 0, 1, 1, 0] [0, 1, 0, 1, 0, 0, 0] [0, 0, 1, 0, 1, 0, 0] [0, 1, 0, 1, 0, 0, 0] [0, 1, 0, 0, 0, 0, 1] [0, 0, 0, 0, 0, 1, 0] {'you': 0, 'say': 1, 'goodbye': 2, 'and': 3, 'i': 4, 'hello': 5, '.': 6} 0 1 2 3 4 5 6 0 1 2 3 4 5 6
  4. 自然言語処理における手法 - ベクトルの類似度 共起行列に対して、コサイン類似度を適用させる。 [0, 1, 0, 0, 0, 0,

    0] [1, 0, 1, 0, 1, 1, 0] [0, 1, 0, 1, 0, 0, 0] [0, 0, 1, 0, 1, 0, 0] [0, 1, 0, 1, 0, 0, 0] [0, 1, 0, 0, 0, 0, 1] [0, 0, 0, 0, 0, 1, 0] 0 1 2 3 4 5 6 0 1 2 3 4 5 6 {'you': 0, 'say': 1, 'goodbye': 2, 'and': 3, 'i': 4, 'hello': 5, '.': 6} 人間の感覚に近い 人間の感覚とずれがある