(1) Stochastic graphical model (2) What is Bayesian network? (3) Probability propagation method (4) Application to natural language processing
ベイジアンネットワークとはベイジアンネットワークの基本第3回 B3勉強会2019/1/24長岡技術科学大学自然言語処理研究室 吉澤 亜斗武
View Slide
参考文献・資料書籍[1] 小林一郎:人工知能の基礎,サイエンス社(2016)[2] 鈴木譲 他:確率的グラフィカルモデル,共立出版(2016)資料[3] 植野真臣:ベイズ的人工知能特論http://www.ai.lab.uec.ac.jp/ベイズ的人工知能特論/[4] 秋葉友良:自然言語処理におけるベイジアンネット,人工知能学会誌 Vol.17 No.5 (2002)2
Contents(1) 確率的グラフィカルモデル(2) ベイジアンネットワークとは(3) 確率伝播法(親:1, 子:1)(4) 自然言語処理への利用3
(1) 確率的グラフィカルモデル狭義:Bayesian Network と Markov Network を指す.広義:グラフ表現された確率変数間の依存関係を扱う数理モデルしかし,すべての確率モデルに1対1対応のグラフ(パーフェクトマップ:P-map) が存在するわけではない.ベイジアンネットワークはグラフ表現できる確率モデルのみを扱うことにし,極小 I-map とd分離を導入し,対応を保証する.4
(1) 確率的グラフィカルモデル計算量 精度大 厳密解厳密解近似解小 荒い近似解比較的少ない 高精度の近似解5ベイジアンネットワークボルツマンマシン深層学習マルコフ確率場マルコフネットワーク
・素朴な確率推論確率変数が2値しかとらなくても,10変数で1024パターンの同時確率を推定する必要がある.(指数的に爆発)6(2) ベイジアンネットワークとはA B C D E F P(A,B,C,D,E,F)0 0 0 0 0 0 0.020 0 0 0 0 1 0.080 0 0 0 1 0 0.11・・・・・・・・・・・・・・・・・・・・・1 1 1 1 1 1 0.03
・確率変数間の依存関係を非循環有向グラフ(DAG)で表現された知識表現モデルノード:確率変数(Random Variables)アーク:確率的関係の有無を表す確率知識(Probabilistic Knowledge) , , , , , , ,(|, )7(2) ベイジアンネットワークとは
・確率知識は,グラフ構造より次の関係を表している. , , , , = (|, )・これにより,確率知識の積で同時確率が計算可能(証明略) , , , , , = , � , � , � � � ・パターンは4+4+4+2+1+1=16(素朴推論では26 = 64)8(2) ベイジアンネットワークとは
ベイジアンネットワークの特徴・変数の数が多く,因果関係が連鎖する複雑な問題をDAGでモデル化できると仮定することにより,同時確率分布が条件付き確率(確率知識)の積に因数分解が可能となる・逐次的に新しい証拠(evidence)が来るたびに,確率伝播法(Belief Propagation)によって確率を更新できる9(2) ベイジアンネットワークとは
ベイジアンネットワークの問題・計算量(メモリ,計算速度)が多い・厳密推論では,200ノードのネットワーク (Li and Ueno 2017)・厳密学習では,2000ノードのネットワーク(Natori, Uto, Ueno2017)10(2) ベイジアンネットワークとは
・J. Pearl は新しい観測によって生じる信念(確率分布)の変化を,ネットワーク上の情報の伝播によって計算する方法を提案・計算アルゴリズムは複雑だが,計算量は従来に比べるとはるかに少なく,確率計算の人工知能への応用を実用的なものにした11(3) 確率伝播法(親:1, 子:1)
・Xの上流で観測された証拠を+, 下流で観測された証拠を−とする.すべての証拠は = + ∪ −・証拠 が与えられた時のXの事後確率は, = +, − = (, +,−) +,−= (−|,+)�(|+)�(+) +,−12(3) 確率伝播法(親:1, 子:1)+−
・ここで, (+) +,−は原因として与えられる確率で決まる値であるから正規化定数 とする.・ − , + は−と+が直接的因果関係がないので条件付き独立となり, − , + = (−|)∴ = � (−|) � (|+)・再帰的な処理によって確率が伝播する13(3) 確率伝播法(親:1, 子:1)+−
・単語の多義性解消:語彙資源を利用したベイジアンネット・文書の自動分類:Naive Bayes 分類器,k-依存ベイズ分類器・情報検索:Inference Network, Belief Network・談話処理・対話理解:動的ベイジアンネットワーク計算量の問題より今のところ実用的ではないが,ベイジアンネットワークの研究は盛んであるため注目されている.14(4) 自然言語処理への利用