HMM、CRFの概要

長岡技術科学大学
自然言語処理研究室
学部3年　守谷歩

Transcript

1. 識別モデル 2019/01/24 長岡技術科学大学 自然言語処理研究室 学部3年 守谷 歩 マルコフモデル復習、隠れマルコフモデル、条 件付確率場
2. マルコフモデル ⚫状態が過去の状態に依存するマルコフ性があるモデル。 ⚫過去データ数ｍに依存するモデルをm階マルコフモデルという。 ⚫このマルコフモデルの中でも状態が離散的なものをマルコフ連鎖と呼ぶ。 ⚫マルコフ性のある天気で考える。晴れ、雨、雪の3状態があったときその3状態に対し て次に来る天気が以下のようであったとする。 今日の天気 明日の天気の確率 晴れ 雨 雪 晴れ 0.8 0.15 0.05 雨 0.7 0.2 0.1 雪 0.5 0.2 0.3
3. 天気（マルコフモデル復習） ⚫今日の天気が70%の確率で晴れ、25%の確率で雨、5%の確率で雪であれば、晴れ晴れ雪雪 雨晴れとくる確率は下の表と初期の確率から より状態をSとすると 1 ∗ 1 1 ∗ 3 1 ∗ 3 3 ∗ 2 3 ∗ 1 2 = 0.7 ∗ 0.8 ∗ 0.05 ∗ 0.3 ∗ 0.2 ∗ 0.7 = 0.001176 ということがわかる。 これをマルコフモデルという。 今日の天気 明日の天気の確率 晴れS1 雨S2 雪S3 晴れS1 0.8 0.15 0.05 雨S2 0.7 0.2 0.1 雪S3 0.5 0.2 0.3 初期の確率 晴れ=0.7 雨=0.25 雪=0.05
4. 隠れマルコフモデル(HMM) ⚫状態そのものを観測できないと仮定したときに状態に依存した観 測可能な値より状態を推定することができる。 ⚫例えばある地域の天気の状態が晴れか雨の2値であるとする。天 気がマルコフ性があるとしたとき、観測者はある人間の体調しか見 ることができないとする。晴れの時は0.6の確率で元気で、0.4の確 率で体調不良になる。また、雨の時は0.5の確率元気で、0.5の確率 で体調不良になる。この人間の体調を見ればおおよその天気が推 測できる。このように観測可能な変数に対して、状態が隠れている モデルを隠れマルコフモデルという。
5. 図解 状態遷移確率 X T 晴れ T 雨 T-1 晴れ 0.8 0.2 T-1 雨 0.7 0.3 確率分布 Y 元気 体調不良 晴れ 0.6 0.4 雨 0.5 0.5 X X X Y Y Y Y 観測可能領域 状態（隠れ変数） 体調不良 元気 晴れ 雨
6. 言語処理への展開 ⚫英語の品詞タグ付けの問題を、隠れ状態が品詞であると し、品詞から単語が出力されると考えると品詞付与コーパ スがあれば、コーパス中の品詞の頻度や品詞bi-gramの頻 度で最も確率の高い品詞列を求める問題に変わる。
7. 条件付確率場（CRF） ⚫品詞のタグ付けを例として考える。 ⚫CRFでは入力x(ここでは文字列）が与えられたとき状態ｙ（品詞）を 持つ条件付確率を以下のように計算する。 = 1 ෍ ෍ (λ ∗ , −1 , , ) Z=σ = 1 で確率の和を1にする正規化項 この時の (, −1 , , )は素性関数と呼ばれる。 λ は各素性に対する重み
8. 言語処理への展開 条件付き確率が最大＝品詞列は正しいっぽい 正規化項とexpを無視すれば、 = ෍ ෍ ( λ ∗ , −1 , , ) となり、ビタビアルゴリズムによって最大値を与えるｙを求めることが できる。