Теория байесовских сетей - осень 2020 - 3 лекция

Transcript

1. ТЕОРИЯ БАЙЕСОВСКИХ СЕТЕЙ: ФРАГМЕНТЫ ЗНАНИЙ М. В. Абрамов, А. Л. Тулупьев, А. Г. Максимов mva@dscs.pro, alt@dscs.pro, agm@dscs.pro 23 сентября 2020
2. 2/31 Фрагмент знаний (определение) • Математическая модель • Идеал конъюнктов • Оценки вероятностей элементов идеала (точечные и интервальные) dscs.pro x, p(x) y, p(y) xy, p(xy) x, p(x) y, p(y) z, p(z) xy, p(xy) xz, p(xz) yz, p(yz) xyz, p(xyz) <x, y> <x, y, z>
3. 3/31 Зачем? • Поддержание непротиворечивости • Априорный вывод • Апостериорный вывод • Экспоненциальный рост сложности • Метод грубой силы не работает • Декомпозиция dscs.pro
4. 4/31 Скалярная непротиворечивость • p()=0.4 • p( ҧ )=0.6 • непротиворечиво • (согласовано, совместно) dscs.pro • p()=0.7 • p( ҧ )=0.6 • противоречиво • (несовместно)
5. 5/31 Интервальная непротиворечивость • p()=[0.4;0.5] • p( ҧ )=[0.5;0.6] • непротиворечиво • (согласовано, совместно) dscs.pro • p()=[0.7;0.8] • p( ҧ )=[0.5;0.6] • противоречиво • (несовместно) • p()=[0.3;0.5] • p( ҧ )=[0.4;0.6] • непротиворечиво • (не согласовано, совместно)
6. 6/31 Матрицы и • Матрицы преобразования вектора вероятностей конъюнктов в вектор вероятностей квантов и наоборот. • Строятся как тензорная степень. dscs.pro 1 1 −1 0 1 −1 −−1 −1 × () = () 1 1 1 0 1 −1 −1 −1 × () = ()
7. 7/31 Матрицы I (2, 3, 4, 5) dscs.pro
8. 8/31 Множество ограничений () • Обозначим множество ограничений, вытекающих из вероятностной аксиоматики, как (). • В матрично-векторном виде они записываются как dscs.pro   n n n 0 P I   ) (
9. 9/31 Непротиворечивость ФЗ (скалярные оценки) • Преобразовать вероятности на конъюнктах в вероятности на квантах; • Проверить соответствие вероятностной аксиоматике получившихся оценок на квантах dscs.pro 0                              − − − − ) x x ( p ) x ( p ) x ( p 1 1 0 0 0 1 1 0 0 1 0 1 0 1 1 1 1 2 1 2 1               =               =  ) ( ) ( ) ( 1 ) ( ) ( ) ( ) ( 2 1 2 1 1 2 2 1 ) 2 ( x x p x p x p x x p x p x p e p P ; ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 ) 2 (               =               = x x p x x p x x p x x p x x p x x p x x p x x p Q     . 1 , ) ( ) ( =  n n n n 1 Q 0 Q          −  −  + − − 0 ) x x ( p 0 ) x x ( p ) x ( p 0 ) x x ( p ) x ( p 0 ) x x ( p ) x ( p ) x ( p 1 2 1 2 1 2 2 1 1 2 1 2 1 ) ( ) ( n n n Q P I = 
10. 10/31 Непротиворечивость ФЗ (общий случай) • Набор интервальных оценок (ограничения предметной области) мы обозначим как (). dscs.pro ) ( , ) ( ) ( , n n n + −     P P P
11. 11/31 Непротиворечивость ФЗ (общий случай) • Набор интервальных оценок непротиворечив (согласован), если для произвольного элемента при выборе произвольной точки из интервальной оценки в остальных интервалах можно выбрать точки так, что получившийся набор точечных оценок непротиворечив. dscs.pro
12. 12/31 Непротиворечивость ФЗ (общий случай) dscs.pro ) ( ) ( ) ( n n n E D R  =   ) ( min ) ( ) ( f p f p n R = −   ) ( max ) ( ) ( f p f p n R = +   P P R min = −   P P R max = +
13. 13/31 Зачем? • Отметим, что поддержание непротиворечивости также делает оценки согласованными. Это особенно полезно, если фрагмент знаний сформирован из оценок экспертов, поскольку позволяет абсолютно бесплатно и математически строго уточнить полученные у экспертов сведения. dscs.pro
14. 14/31 Априорный вывод Зная оценки вероятности конъюнктов в ФЗ хотим оценить вероятность истинности произвольной пропозициональной формулы над соответствующим алфавитом dscs.pro
15. 15/31 Зачем? Априорный вывод фактически позволяет делать выводы на основе знаний, содержащихся во фрагменте знаний. Например, если переменные и соответствуют утверждениям "сломалась клавиатура" и "сломался компьютер", мы можем провести априорный вывод для формулы → и получить оценку вероятности того, что в следствие поломки клавиатуры сломается и компьютер. dscs.pro
16. 16/31 Априорный вывод Из теоремы о СДНФ и свойств матрицы dscs.pro ( ) ) ( ) ( ) ( ) ( : ! ) ( n n n f p A F f P L L =      ) ( min ) ( ) ( f p f p n R = −   ) ( max ) ( ) ( f p f p n R = + Снова задачи линейного программирования
17. 17/31 Апостериорный вывод • Мы что-то узнали, например, что пошел дождь. Тогда вероятность переменной «идет дождь» становится равна 1. • Информация, поступающая из внешнего мира, называется свидетельством; • Как свидетельство повлияет на оценки вероятностей утверждений из нашей базы знаний; • [Как распространить влияние свидетельства]; • Несколько разных типов свидетельств. dscs.pro
18. 18/31 Детерминированное свидетельство • Атомарные <> или < ҧ > и кортежи <1 2 >, <1 8 >, < ҧ 2 ҧ 3 5 >... Кратко dscs.pro  =  m x x x X ~ ... ~ ~ ~ 2 1
19. 19/31 Стохастическое свидетельство dscs.pro • Атомарные < > и < ҧ > • Кортежи < 2 3 , 2 3 , 2 3 , 2 3 > • ― апостериорная вероятность • В краткой записи:  =    ) ~ ... ~ ~ ( ) ~ ( ) ~ ( 2 1 ] [ ] [ ] [ m a a a x x x p X p x p В теории алгебраических байесовских сетей кортеж стохастических свидетельств также представляется в виде фрагмента знаний.
20. 20/31 Неопределенное свидетельство dscs.pro В теории алгебраических байесовских сетей кортеж неопределенных свидетельств также представляется в виде фрагмента знаний с интервальными оценками.   = =      ) ~ ... ~ ~ ( Pr ) ~ ... ~ ~ ( ) ~ ( Pr ) ~ ( ) ~ ( Pr ) ~ ( 2 1 ] [ 2 1 ] [ ] [ ] [ ] [ ] [ m a m a a a a a x x x x x x p X X p x x p
21. 21/31 Апостериорный вывод • Разберем случай детерминированного свидетельства • В случае поступления детерминированного свидетельства во фрагмент знаний со скалярными оценками мы можем провести прямые вычисления по определению условной вероятности • При работе с интервальными оценками возникает задача гиперболического программирования. dscs.pro
22. 22/31 Апостериорный вывод «по определению» dscs.pro x1 x2 x3 x1 x2 x1 x3 x2 x3 x1 x2 x3 <x1 > x2 x3 x2 x3   ). | ( ) | ( ; , , ); ( : ) | ( ; ) ( ) ( ) | ( : ) | ( 3 2 3 2   =    =   = =   x Z p x xZ p x x x x Z x p C x p x p xZ p x Z p x Z p a a a
23. 23/31 Апостериорный вывод «по определению» dscs.pro   ). | ( ) | ( ; , , ); ( 1 ) ( : ) | ( ; ) ( 1 ) ( ) ( ) ( ) ( ) | ( : ) | ( 3 2 3 2   =    − = =   − − = = =   x Z p x Z x p x x x x Z x p x p C x p x p xZ p Z p x p Z x p x Z p x Z p a a a x1 x2 x3 x1 x2 x1 x3 x2 x3 x1 x2 x3 <x1 > x2 x3 x2 x3 За счет процедуры переозначивания атомов и пересчета вероятностей, можно считать, что поступают лишь свидетельства, означенные положительно
24. 24/31 Апостериорный вывод для интервальных оценок dscs.pro ( ) ( ) ( ) ( )       =       =   + − 1 2 1 R 1 2 1 2 1 R 1 2 x p x x p x x p x p x x p x x p 2 2 , , max ) | ( min ) | (                                  + − −  −  −  + − + − + − 12 2 1 12 2 2 2 1 1 1 2 1 2 1 2 1 2 2 1 1 2 1 p x x p p p x p p p x p p 0 x x p x p x p 1 0 x x p x p 0 x x p x p 0 x x p ) ( , ) ( , ) ( , ) ( ) ( ) ( , ) ( ) ( , ) ( ) ( , ) ( Необходимо свести задачу гиперболического программирования к задаче линейного программирования
25. ( ) ( ) ( ) ( )       =       =   + − 1 2 1 R 1 2 1 2 1 R 1 2 x p x x p x x p x p x x p x x p 2 2 , , max ) | ( min ) | (                                  + − −  −  −  + − + − + − 12 2 1 12 2 2 2 1 1 1 2 1 2 1 2 1 2 2 1 1 2 1 p x x p p p x p p p x p p 0 x x p x p x p 1 0 x x p x p 0 x x p x p 0 x x p ) ( , ) ( , ) ( , ) ( ) ( ) ( , ) ( ) ( , ) ( ) ( , ) ( ) ( 1 x p 1 =  25/31 Апостериорный вывод для интервальных оценок dscs.pro Необходимо свести задачу гиперболического программирования к задаче линейного программирования
26. ( ) ( ) ( ) ( )       =       =   + − 1 2 1 R 1 2 1 2 1 R 1 2 x p x x p x x p x p x x p x x p 2 2 , , max ) | ( min ) | (                                  + − −  −  −  + − + − + − 12 2 1 12 2 2 2 1 1 1 2 1 2 1 2 1 2 2 1 1 2 1 p x x p p p x p p p x p p 0 x x p x p x p 1 0 x x p x p 0 x x p x p 0 x x p ) ( , ) ( , ) ( , ) ( ) ( ) ( , ) ( ) ( , ) ( ) ( , ) (                                                      +   −   −      −      −      + − + − + − 12 2 1 12 2 2 2 1 1 1 2 1 2 1 2 1 2 2 1 1 2 1 p x x p p p x p p p x p p 0 x x p x p x p 1 0 x x p x p 0 x x p x p 0 x x p ) ( , ) ( , ) ( , ) ( ) ( ) ( , ) ( ) ( , ) ( ) ( , ) (     ) ( max ) | ( ) ( min ) | ( , , 2 1 R 1 2 2 1 R 1 2 x x p x x p x x p x x p 2 d 2 d   =   =   + − ) ( 1 x p 1 =  26/31 Апостериорный вывод для интервальных оценок dscs.pro Необходимо свести задачу гиперболического программирования к задаче линейного программирования
27.                                                      +   −   −      −      −      + − + − + − 12 2 1 12 2 2 2 1 1 1 2 1 2 1 2 1 2 2 1 1 2 1 p x x p p p x p p p x p p 0 x x p x p x p 1 0 x x p x p 0 x x p x p 0 x x p ) ( , ) ( , ) ( , ) ( ) ( ) ( , ) ( ) ( , ) ( ) ( , ) (     ) ( max ) | ( ) ( min ) | ( , , 2 1 R 1 2 2 1 R 1 2 x x p x x p x x p x x p 2 d 2 d   =   =   + − 27/31 Апостериорный вывод для интервальных оценок dscs.pro
28.                                                      +   −   −      −      −      + − + − + − 12 2 1 12 2 2 2 1 1 1 2 1 2 1 2 1 2 2 1 1 2 1 p x x p p p x p p p x p p 0 x x p x p x p 1 0 x x p x p 0 x x p x p 0 x x p ) ( , ) ( , ) ( , ) ( ) ( ) ( , ) ( ) ( , ) ( ) ( , ) (     ) ( max ) | ( ) ( min ) | ( , , 2 1 R 1 2 2 1 R 1 2 x x p x x p x x p x x p 2 d 2 d   =   =   + −                                                  + − −   −  −    + − + − + − 12 2 1 2 1 12 2 2 2 2 1 1 2 1 2 2 1 2 2 1 2 1 p x x d x x d p p x d x d p p 1 1 p 0 x x d x d 1 0 x x d x d 0 x x d 1 0 x x d 1 ) ( ), ( , ) ( ), ( , , , ) ( ) ( , ) ( ) ( , ) ( , ) ( ,     ) ( max ) | ( ) ( min ) | ( , , 2 1 R 1 2 2 1 R 1 2 x x d x x p x x d x x p 2 d 2 d   = = + − ) ( ) ( f p f d   = 28/31 Апостериорный вывод для интервальных оценок dscs.pro
29. 29/31 Несовместимость со свидетельством dscs.pro x1 ~ x2 ~ x3 ~ p000 p001 p010 p011 p100 p101 p110 p111 <x1 > x1 ~ x2 ~ x3 ~ p001 p011 p101 p111 p001 +p011 +p101 +p111
30. 30/31 Апостериорный вывод для стохастических свидетельств dscs.pro C <x1 x2 > p(Z|<x1 x2 >) ×p[a] (x1 x2 ) C <x1 x2 > p(Z|<x1 x2 >) ×p[a] (x1 x2 ) C <x1 x2 > p(Z|<x1 x2 >) ×p[a] (x1 x2 ) C <x1 x2 > p(Z|<x1 x2 >) ×p[a] (x1 x2 ) S p(Z|<p[a] (x1 x2 )>) <p[a] (x1 x2 )>
31. ТЕОРИЯ БАЙЕСОВСКИХ СЕТЕЙ: ФРАГМЕНТЫ ЗНАНИЙ М. В. Абрамов, А. Л. Тулупьев, А. Г. Максимов mva@dscs.pro, alt@dscs.pro, agm@dscs.pro 23 сентября 2020
32. Задачи Проверить непротиворечивость следующего фрагмента знаний. dscs.pro
33. Задачи Рассчитать апостериорные оценки вероятностей во фрагменте знаний с оценками при поступлении свидетельства Ev dscs.pro