ベイジアンネットワークとは / What is Bayesian network ?

(1) Stochastic graphical model
(2) What is Bayesian network?
(3) Probability propagation method
(4) Application to natural language processing

Transcript

1. ベイジアンネットワークとは ベイジアンネットワークの基本 第3回 B3勉強会 2019/1/24 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
2. 参考文献・資料 書籍 [1] 小林一郎：人工知能の基礎，サイエンス社（2016） [2] 鈴木譲 他：確率的グラフィカルモデル，共立出版（2016） 資料 [3] 植野真臣：ベイズ的人工知能特論 http://www.ai.lab.uec.ac.jp/ベイズ的人工知能特論/ [4] 秋葉友良：自然言語処理におけるベイジアンネット， 人工知能学会誌 Vol.17 No.5 (2002) 2
3. Contents (1) 確率的グラフィカルモデル (2) ベイジアンネットワークとは (3) 確率伝播法（親：1, 子：1） (4) 自然言語処理への利用 3
4. (1) 確率的グラフィカルモデル 狭義：Bayesian Network と Markov Network を指す． 広義：グラフ表現された確率変数間の依存関係を扱う数理モデル しかし，すべての確率モデルに１対１対応のグラフ(パーフェ クトマップ：P-map) が存在するわけではない． ベイジアンネットワークはグラフ表現できる確率モデルのみを 扱うことにし，極小 I-map とd分離を導入し，対応を保証する． 4
5. (1) 確率的グラフィカルモデル 計算量 精度 大 厳密解 厳密解 近似解 小 荒い近似解 比較的少ない 高精度の近似解 5 ベイジアンネットワーク ボルツマンマシン 深層学習 マルコフ確率場 マルコフネットワーク
6. ・素朴な確率推論 確率変数が２値しかとらなくても，10変数で1024パターンの 同時確率を推定する必要がある．（指数的に爆発） 6 (2) ベイジアンネットワークとは A B C D E F P(A,B,C,D,E,F) 0 0 0 0 0 0 0.02 0 0 0 0 0 1 0.08 0 0 0 0 1 0 0.11 ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ 1 1 1 1 1 1 0.03
7. ・確率変数間の依存関係を非循環有向グラフ（DAG）で 表現された知識表現モデル ノード：確率変数（Random Variables） アーク：確率的関係の有無を表す 確率知識（Probabilistic Knowledge） , , , , , , , (|, ) 7 (2) ベイジアンネットワークとは
8. ・確率知識は，グラフ構造より次の関係を表している． , , , , = (|, ) ・これにより，確率知識の積で同時確率が計算可能（証明略） , , , , , = , � , � , � � � ・パターンは4+4+4+2+1+1＝16（素朴推論では26 = 64） 8 (2) ベイジアンネットワークとは
9. ベイジアンネットワークの特徴 ・変数の数が多く，因果関係が連鎖する複雑な問題をDAGで モデル化できると仮定することにより，同時確率分布が 条件付き確率（確率知識）の積に因数分解が可能となる ・逐次的に新しい証拠（evidence）が来るたびに， 確率伝播法（Belief Propagation）によって確率を更新できる 9 (2) ベイジアンネットワークとは
10. ベイジアンネットワークの問題 ・計算量（メモリ，計算速度）が多い ・厳密推論では，200ノードのネットワーク (Li and Ueno 2017) ・厳密学習では，2000ノードのネットワーク(Natori, Uto, Ueno 2017) 10 (2) ベイジアンネットワークとは
11. ・J. Pearl は新しい観測によって生じる信念（確率分布）の 変化を，ネットワーク上の情報の伝播によって計算する方法を 提案 ・計算アルゴリズムは複雑だが，計算量は従来に比べるとはるか に少なく，確率計算の人工知能への応用を実用的なものにした 11 (3) 確率伝播法（親：1, 子：1）
12. ・Xの上流で観測された証拠を+, 下流で観測された 証拠を−とする．すべての証拠は = + ∪ − ・証拠 が与えられた時のXの事後確率は， = +, − = (, +,−) +,− = (−|,+)�(|+)�(+) +,− 12 (3) 確率伝播法（親：1, 子：1） + −
13. ・ここで， (+) +,− は原因として与えられる確率で 決まる値であるから正規化定数 とする． ・ − , + は−と+が直接的因果関係がないので 条件付き独立となり， − , + = (−|) ∴ = � (−|) � (|+) ・再帰的な処理によって確率が伝播する 13 (3) 確率伝播法（親：1, 子：1） + −
14. ・単語の多義性解消：語彙資源を利用したベイジアンネット ・文書の自動分類：Naive Bayes 分類器，k-依存ベイズ分類器 ・情報検索：Inference Network, Belief Network ・談話処理・対話理解：動的ベイジアンネットワーク 計算量の問題より今のところ実用的ではないが，ベイジアン ネットワークの研究は盛んであるため注目されている． 14 (4) 自然言語処理への利用