ベイジアンネットワークとは / What is Bayesian network ?

(1) Stochastic graphical model
(2) What is Bayesian network?
(3) Probability propagation method
(4) Application to natural language processing

Transcript

1. ベイジアンネットワークとは
   ベイジアンネットワークの基本
   第3回 B3勉強会
   2019/1/24
   長岡技術科学大学
   自然言語処理研究室 吉澤 亜斗武
   

   View Slide

2. 参考文献・資料
   書籍
   [1] 小林一郎：人工知能の基礎，サイエンス社（2016）
   [2] 鈴木譲 他：確率的グラフィカルモデル，共立出版（2016）
   資料
   [3] 植野真臣：ベイズ的人工知能特論
   http://www.ai.lab.uec.ac.jp/ベイズ的人工知能特論/
   [4] 秋葉友良：自然言語処理におけるベイジアンネット，
   人工知能学会誌 Vol.17 No.5 (2002)
   2
   

   View Slide

3. Contents
   (1) 確率的グラフィカルモデル
   (2) ベイジアンネットワークとは
   (3) 確率伝播法（親：1, 子：1）
   (4) 自然言語処理への利用
   3
   

   View Slide

4. (1) 確率的グラフィカルモデル
   狭義：Bayesian Network と Markov Network を指す．
   広義：グラフ表現された確率変数間の依存関係を扱う数理モデル
   しかし，すべての確率モデルに１対１対応のグラフ(パーフェ
   クトマップ：P-map) が存在するわけではない．
   ベイジアンネットワークはグラフ表現できる確率モデルのみを
   扱うことにし，極小 I-map とd分離を導入し，対応を保証する．
   4
   

   View Slide

5. (1) 確率的グラフィカルモデル
   計算量 精度
   大 厳密解
   厳密解
   近似解
   小 荒い近似解
   比較的少ない 高精度の近似解
   5
   ベイジアンネットワーク
   ボルツマンマシン
   深層学習
   マルコフ確率場
   マルコフネットワーク
   

   View Slide

6. ・素朴な確率推論
   確率変数が２値しかとらなくても，10変数で1024パターンの
   同時確率を推定する必要がある．（指数的に爆発）
   6
   (2) ベイジアンネットワークとは
   A B C D E F P(A,B,C,D,E,F)
   0 0 0 0 0 0 0.02
   0 0 0 0 0 1 0.08
   0 0 0 0 1 0 0.11
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   ・
   1 1 1 1 1 1 0.03
   

   View Slide

7. ・確率変数間の依存関係を非循環有向グラフ（DAG）で
   表現された知識表現モデル
   ノード：確率変数（Random Variables）
   アーク：確率的関係の有無を表す
   確率知識（Probabilistic Knowledge）
   , , , , , , ,
   (|, )
   7
   (2) ベイジアンネットワークとは
   
   
   
   
   
   

   View Slide

8. ・確率知識は，グラフ構造より次の関係を表している．
   , , , , = (|, )
   ・これにより，確率知識の積で同時確率が計算可能（証明略）
   , , , , , =
   , � , � , � � �
   ・パターンは4+4+4+2+1+1＝16（素朴推論では26 = 64）
   8
   (2) ベイジアンネットワークとは
   

   View Slide

9. ベイジアンネットワークの特徴
   ・変数の数が多く，因果関係が連鎖する複雑な問題をDAGで
   モデル化できると仮定することにより，同時確率分布が
   条件付き確率（確率知識）の積に因数分解が可能となる
   ・逐次的に新しい証拠（evidence）が来るたびに，
   確率伝播法（Belief Propagation）によって確率を更新できる
   9
   (2) ベイジアンネットワークとは
   

   View Slide

10. ベイジアンネットワークの問題
    ・計算量（メモリ，計算速度）が多い
    ・厳密推論では，200ノードのネットワーク (Li and Ueno 2017)
    ・厳密学習では，2000ノードのネットワーク(Natori, Uto, Ueno
    2017)
    10
    (2) ベイジアンネットワークとは
    

    View Slide

11. ・J. Pearl は新しい観測によって生じる信念（確率分布）の
    変化を，ネットワーク上の情報の伝播によって計算する方法を
    提案
    ・計算アルゴリズムは複雑だが，計算量は従来に比べるとはるか
    に少なく，確率計算の人工知能への応用を実用的なものにした
    11
    (3) 確率伝播法（親：1, 子：1）
    

    View Slide

12. ・Xの上流で観測された証拠を+, 下流で観測された
    証拠を−とする．すべての証拠は = + ∪ −
    ・証拠 が与えられた時のXの事後確率は，
    = +, − = (, +,−)
    +,−
    = (−|,+)�(|+)�(+)
    +,−
    12
    (3) 確率伝播法（親：1, 子：1）
    
    
    
    +
    −
    

    View Slide

13. ・ここで， (+)
    +,−
    は原因として与えられる確率で
    決まる値であるから正規化定数 とする．
    ・ − , + は−と+が直接的因果関係がないので
    条件付き独立となり， − , + = (−|)
    ∴ = � (−|) � (|+)
    ・再帰的な処理によって確率が伝播する
    13
    (3) 確率伝播法（親：1, 子：1）
    
    
    
    +
    −
    

    View Slide

14. ・単語の多義性解消：語彙資源を利用したベイジアンネット
    ・文書の自動分類：Naive Bayes 分類器，k-依存ベイズ分類器
    ・情報検索：Inference Network, Belief Network
    ・談話処理・対話理解：動的ベイジアンネットワーク
    計算量の問題より今のところ実用的ではないが，ベイジアン
    ネットワークの研究は盛んであるため注目されている．
    14
    (4) 自然言語処理への利用
    

    View Slide