自然言語処理研究室B3ゼミ_03rd

機械学習について

Transcript

1. 自然言語処理研究室 B3 Seminar ２０１３ 年度 第２回 ～機械学習と自然言語処理について～ 長岡技術科学大学 B3 竹野 峻輔
2. • 計算機が データから規則性や法則性を見出し それ自身をアルゴリズムに反映させること 例えば… 広告（Facebook, Google…） ロボットのバランス制御 天気予報、地震予測などなど 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 機械学習とは？
3. • 機械学習(Machine Learning) –既知のデータから法則性を発見し データの予測できるようにすること • データマイニング(Data Mining) –既存のデータから 有益な未知のデータの特徴を発掘すること 2013/1/14 自然言語処理研究室 2013年度 B3コアタイム 第２回 機械学習とデータマイニングの違い
4. • 教師有あり学習（Supervised ML） – 予め用意されたサンプルから法則性を見つける – クラス分類 • （ナイーブベイズ推定、SVM、ニューラルネットワーク） • 教師なし学習(Unsupervised ML) – サンプルなしでデータから法則性を見つける。 – クラスタ分析 • （k-means法、EMアルゴリズム) • 強化学習(Reinforcement ML) – 評価関数からアルゴリズムへフィードバックを行い改良を、 独自に改善を図っていく。 – 自動要約？ • TD学習、Q学習 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 機械学習の種類
5. • 教師有あり学習（Supervised ML）（一番やりやすい） – 予め用意されたサンプルから法則性を見つける – クラス分類 • （ナイーブベイズ推定、SVM、ニューラルネットワーク） • 教師なし学習(Unsupervised ML) – サンプルなしでデータから法則性を見つける。 – クラスタ分析 • （k-means法、EMアルゴリズム) • 強化学習(Reinforcement ML) – 評価関数からアルゴリズムへフィードバックを行い改良を、 独自に改善を図っていく。 – 自動要約？ • TD学習、Q学習 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 機械学習の種類
6. • 文書（自然言語）そのままでは処理しづらい 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 どうやって自然言語処理に対応するか？
7. • 文書（自然言語）そのままでは処理しづらい ⇒具体的な数値（素性抽出）を知る必要がある。 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 どうやって自然言語処理に対応するか？
8. • 文書（自然言語）そのままでは処理しづらい ⇒具体的な数値（素性抽出）を知る必要がある。 ⇒どのようなことに気を付ければよいだろうか？ 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 どうやって自然言語処理に対応するか？
9. • 文書（自然言語）そのままでは処理しづらい ⇒具体的な数値（素性抽出）を知る必要がある。 ⇒どのようなことに気を付ければよいだろうか？ 改めて、機械学習とは？ 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 どうやって自然言語処理に対応するか？
10. • 文書（自然言語）そのままでは処理しづらい ⇒具体的な数値（素性抽出）を知る必要がある。 ⇒どのようなことに気を付ければよいだろうか？ 改めて、機械学習とは？ 既知のデータから法則性を発見し データの予測ができるようにすること …未知のデータと既知のデータとの比較が必要 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 どうやって自然言語処理に対応するか？
11. • 文書（自然言語）そのままでは処理しづらい ⇒具体的な数値（素性抽出）を知る必要がある。 ⇒どのようなことに気を付ければよいだろうか？ 改めて、機械学習とは？ 既知のデータから法則性を発見し データの予測ができるようにすること …未知のデータと既知のデータとの比較が必要 類似度の計算ができるような値を取り出す 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 どうやって自然言語処理に対応するか？
12. • ベクトル –内積 • 木構造（グラフ）データ – シソーラス • 格フレーム • 確率分布（関数） – 平均値、偏差、歪度、尖度 （モーメント） 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 類似度が計算できるもの（例）
13. • ベクトル： –Bag-of-words（文書、文比較） • ある単語（方向）の頻度（長さ） Ex) The pen is better than that pen! ⇒(pen, better, stick) = (2, 1 , 0) –文脈ベクトル（単語の比較） • 空 高く 飛ぶ（名詞 副詞 動詞） ⇒（名詞, 形容詞, 副詞, 動詞, 形容動詞） = (1,0,0,0,1,0) 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 代表的な素性
14. • 素性の抽出方法はかなり難しい問題 英語 a, the, is, have, take…(どの文書でも出現する) run, ran, runner (品詞・活用の揺れ：派生語) 話題と関係ない単語：ストップワード ステミング(Stemming)…派生語を一つにまとめる 見出し語化(lemmatization)…語句を基本形に戻す。 データスパースネス問題… 学習データが増えれば増えるほど ベクトルが疎になりやすい 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 文書に対する前処理とデータパスネス問題
15. • 訓練データからクラスの傾向を学習し、 データがどのクラスに所属するか予測する。 not クラスタ解析（≒クラス分析） ・ナイーブベイズ分類器 -条件付き確率を学習 P(c|d) ≌ P(c)P(d|c) 簡単、学習早い、精度それなり ・SVM(Support Vector Machine) -多次元の境界面を学習 -解析的、学習時間かかる、精度高い 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 クラス分類(Classification)のための機械学習
16. 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 ナイーブベイズ分類器（ベルヌーイ型） | ≅ = � , , 1 − , 1−, ∈ ̂ = arg max = ∑ , , = , = + 1 ∑ + 2 , , = , + 1 + || Keywerds: ラグランジュの未定乗数法, ベイズ推 定,最尤推定, IMAP推定, ディリクレ分 布, スムージング 1.学習データから確率分布を求める。(pw,c , pc ) P(c)：クラスcの事前分布 P(d|c)：クラスc で文書dが出る事後確率 2. P(c|d)が最も高い：尤もらしい ものが分類の答え。 ベルヌーイモデル 多項モデル 実装簡単で早い 精度もそこそこ
17. 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 SVM(Support Vector Machine) 2次元モデル 境界線をどうやって引くか？ ⇒ マージン最大化 = ∙ − = � () ∙ 類似度の関数：カーネル関数 派生：多項式カーネル, RBFカーネル、 動径基底関数カーネル,木構造カーネル 精度が高い。計算量は多い：GPGPUの計算が向いてる
18. • 学習データと調整用データと評価データに分ける – オープンテストとクローズドテスト • 交差検定 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 実験の仕方
19. • 奥村学 監修 「言語処理のための機械学習入 門」, 高村大地著 • 機械学習をはじめよう, gihyo.jp, http://gihyo.jp/dev/serial/01/machine-learning 2013/12/24 自然言語処理研究室 2013年度 B3コアタイム 第２回 参考文献