(14.04.2021) Семинар – "Введение в АБС: вероятность пропозициональной формулы и основы логико-вероятностного вывода"

Transcript

1. Алгебраические байесовские сети: вероятность пропозициональной формулы и основы логико-вероятностного вывода Н.А. Харитонов 14 апреля 2021 г. Н.А. Харитонов 14 апреля 2021 г. 1 / 54
2. Алгебраические байесовские сети Вероятность пропозициональной формулы Фрагмент знаний Идеал конъюнктов Обучение фрагмента знаний Поддержание непротиворечивости Априорный вывод Н.А. Харитонов 14 апреля 2021 г. 2 / 54
3. Алгебраические байесовские сети Н.А. Харитонов 14 апреля 2021 г. 3 / 54
4. Алгебраические байесовские сети Н.А. Харитонов 14 апреля 2021 г. 4 / 54
5. Алгебраические байесовские сети Н.А. Харитонов 14 апреля 2021 г. 5 / 54
6. Основные операции Обучение Априорный вывод Апостериорный вывод Н.А. Харитонов 14 апреля 2021 г. 6 / 54
7. Алгебраические байесовские сети Вероятность пропозициональной формулы Фрагмент знаний Идеал конъюнктов Обучение фрагмента знаний Поддержание непротиворечивости Априорный вывод Н.А. Харитонов 14 апреля 2021 г. 7 / 54
8. Атомарное высказывание Обозначение: x Примеры: Человек A знаком с человеком B Человек B знает пароль от компьютера C Алфавит: Xn = {x0, . . . , xn−1} Н.А. Харитонов 14 апреля 2021 г. 8 / 54
9. Квант Имеется Xn = {x0, . . . , xn−1} Квант: q = ˜ xn−1 ∧ ˜ xn−2 ∧ . . . ∧ ˜ x1 ∧ ˜ x0 Набор квантов Qn - всевозможные кванты длины n Н.А. Харитонов 14 апреля 2021 г. 9 / 54
10. Набор квантов Q2 : {q0, q1, q2, q3} q0 = ¯ x1 ∧ ¯ x0 q1 = ¯ x1 ∧ x0 q2 = x1 ∧ ¯ x0 q3 = x1 ∧ x0 Н.А. Харитонов 14 апреля 2021 г. 10 / 54
11. Совершенная дизъюнктивная нормальная форма x0 ⇒ x1 = ¯ x1 ¯ x0 ∨ x1 ¯ x0 ∨ x1 x0 = q0 ∨ q1 ∨ q3 ¯ x0 ∨ x1 = ¯ x1 ¯ x0 ∨ x1 ¯ x0 ∨ x1 x0 = q0 ∨ q1 ∨ q3 x0 ⊕ x1 = ¯ x1 x0 ∨ x1 ¯ x0 = q1 ∨ q2 Н.А. Харитонов 14 апреля 2021 г. 11 / 54
12. Вероятность квантов Вероятностная тройка (Ω, A, P) Ω = Q A - сигма-алгебра Q P : Ω− > [0; 1] вероятностная мера: P(qi ) ≥ 0∀qi ∈ Q, n−1 i=0 P(qi ) = 1. Н.А. Харитонов 14 апреля 2021 г. 12 / 54
13. Вероятность формулы p(F) = P(qi ), qi ∈ SDNF(F) Н.А. Харитонов 14 апреля 2021 г. 13 / 54
14. Пример Q2 : {q0, q1, q2, q3} p(q0 ) = 0.5 p(q1 ) = 0.2 p(q2 ) = 0.1 p(q3 ) = 0.2 p(x0 ⇒ x1 ) = p(q0 ∨ q1 ∨ q3 ) = 0.5 + 0.2 + 0.2 = 0.9 Н.А. Харитонов 14 апреля 2021 г. 14 / 54
15. Алгебраические байесовские сети Вероятность пропозициональной формулы Фрагмент знаний Идеал конъюнктов Обучение фрагмента знаний Поддержание непротиворечивости Априорный вывод Н.А. Харитонов 14 апреля 2021 г. 15 / 54
16. Фрагмент знаний со скалярными оценками Вектор вероятностей квантов: Pn q = {p(q0 ), . . . , p(qn−1 )} Пример: P2 q = {0.5, 0.2, 0.1, 0.2} Н.А. Харитонов 14 апреля 2021 г. 16 / 54
17. ? Н.А. Харитонов 14 апреля 2021 г. 17 / 54
18. ? Н.А. Харитонов 14 апреля 2021 г. 18 / 54
19. Непротиворечивость фрагмента знаний ∀p(qi ) : p(qi ) = 1; p(qi ) ≥ 0 Н.А. Харитонов 14 апреля 2021 г. 19 / 54
20. Интервальные оценки вероятности Вектора верхней и нижней границ оценок вероятности: P+ q = {p+(q0 ), . . . , p+(qn−1 )} P− q = {p−(q0 ), . . . , p−(qn−1 )} ∀p−(qi ), p+(qi ) : p−(qi ) ≤ p+(qi ) Н.А. Харитонов 14 апреля 2021 г. 20 / 54
21. ? Н.А. Харитонов 14 апреля 2021 г. 21 / 54
22. ? Н.А. Харитонов 14 апреля 2021 г. 22 / 54
23. Алгебраические байесовские сети Вероятность пропозициональной формулы Фрагмент знаний Идеал конъюнктов Обучение фрагмента знаний Поддержание непротиворечивости Априорный вывод Н.А. Харитонов 14 апреля 2021 г. 23 / 54
24. Идеал конъюнктов Н.А. Харитонов 14 апреля 2021 г. 24 / 54
25. Идеал конъюнктов P2 q =                      p(e∨ ) p(x0 ) p(x1 ) p(x0 x1 ) p(x2 ) p(x0 x2 ) p(x1 x2 ) p(x0 x1 x2 )                      Н.А. Харитонов 14 апреля 2021 г. 25 / 54
26. Матрица I I1 =   1 −1 0 1   ; In =   In−1 −In−1 0 In−1   Н.А. Харитонов 14 апреля 2021 г. 26 / 54
27. Матрица J I2 =         1 −1 −1 1 0 1 0 −1 0 0 1 −1 0 0 0 1         Н.А. Харитонов 14 апреля 2021 г. 27 / 54
28. Матрица I I3 =                      1 −1 −1 1 −1 1 1 −1 0 1 0 −1 0 −1 0 1 0 0 1 −1 0 0 −1 1 0 0 0 1 0 0 0 −1 0 0 0 0 1 −1 −1 1 0 0 0 0 0 1 0 −1 0 0 0 0 0 0 1 −1 0 0 0 0 0 0 0 1                      Н.А. Харитонов 14 апреля 2021 г. 28 / 54
29. Матрица I J1 =   1 1 0 1   ; Jn =   Jn−1 Jn−1 0 Jn−1   Н.А. Харитонов 14 апреля 2021 г. 29 / 54
30. Матрица I J2 =         1 1 1 1 0 1 0 1 0 0 1 1 0 0 0 1         Н.А. Харитонов 14 апреля 2021 г. 30 / 54
31. Матрица I J3 =                      1 1 1 1 1 1 1 1 0 1 0 1 0 1 0 1 0 0 1 1 0 0 1 1 0 0 0 1 0 0 0 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 1                      Н.А. Харитонов 14 апреля 2021 г. 31 / 54
32. Преобразование вероятностей Pn q = In × Pn c Pn c = Jn × Pn q Н.А. Харитонов 14 апреля 2021 г. 32 / 54
33. Пример Pc =         1 1 1 1 0 1 0 1 0 0 1 1 0 0 0 1         ×         0.1 0.2 0.3 0.4         =         0.1 + 0.2 + 0.3 + 0.4 0.2 + 0.4 0.3 + 0.4 0.4         =         1 0.6 0.7 0.4         Н.А. Харитонов 14 апреля 2021 г. 33 / 54
34. Пример Pq =         1 −1 −1 1 0 1 0 −1 0 0 1 −1 0 0 0 1         ×         1 0.6 0.7 0.4         =         1 − 0.6 − 0.7 + 0.4 0.6 − 0.4 0.7 − 0.4 0.4         =         0.1 0.2 0.3 0.4         Н.А. Харитонов 14 апреля 2021 г. 34 / 54
35. Алгебраические байесовские сети Вероятность пропозициональной формулы Фрагмент знаний Идеал конъюнктов Обучение фрагмента знаний Поддержание непротиворечивости Априорный вывод Н.А. Харитонов 14 апреля 2021 г. 35 / 54
36. Алфавит x0 : Алексей работает в отделе О1 x1 : Алексей имеет доступ к ПК1 Н.А. Харитонов 14 апреля 2021 г. 36 / 54
37. Входные данные x0 x1 1 * * 0 0 * 1 1 0 1 Н.А. Харитонов 14 апреля 2021 г. 37 / 54
38. Входные данные x0 x1 x0 x1 1 * * * 0 0 0 * 0 1 1 1 0 1 0 Н.А. Харитонов 14 апреля 2021 г. 38 / 54
39. Вероятности x1 x2 x3 [1; 1] [0; 1] [0; 1] [0; 1] [0; 0] [0; 0] [0; 0] [0; 1] [0; 0] [1; 1] [1; 1] [1; 1] [0; 0] [1; 1] [0; 0] [0.4; 0.6] [0.4; 0.8] [0.2; 0.4] Н.А. Харитонов 14 апреля 2021 г. 39 / 54
40. Поддержание непротиворечивости Pc − 0 =         1 0.4 0.4 0.2         ; Pc + 0 =         1 0.6 0.8 0.4         ; Н.А. Харитонов 14 апреля 2021 г. 40 / 54
41. Алгебраические байесовские сети Вероятность пропозициональной формулы Фрагмент знаний Идеал конъюнктов Обучение фрагмента знаний Поддержание непротиворечивости Априорный вывод Н.А. Харитонов 14 апреля 2021 г. 41 / 54
42. Поддержание непротиворечивости P− c = minR (Pc ) P+ c = maxR (Pc ) Н.А. Харитонов 14 апреля 2021 г. 42 / 54
43. Ограничения R = E ∪ D E теория вероятности D предметная область Н.А. Харитонов 14 апреля 2021 г. 43 / 54
44. Ограничения теории вероятностей E = Pq ≥ 0 = I × Pc ≥ 0 Н.А. Харитонов 14 апреля 2021 г. 44 / 54
45. Ограничения теории вероятностей E =                      1 − p(x0 ) − p(x1 ) + p(x0 x1 ) ≥ 0 p(x0 ) − p(x0 x1 ) ≥ 0 p(x1 ) − p(x0 x1 ) ≥ 0 p(x0 x1 ) ≥ 0 Н.А. Харитонов 14 апреля 2021 г. 45 / 54
46. Ограничения предметной области D = P− 0 ≤ P ≤ P+ 0 Н.А. Харитонов 14 апреля 2021 г. 46 / 54
47. Ограничения предметной области D =                      1 ≤ 1 ≤ 1 p− 0 (x0 ) ≤ p(x0 ) ≤ p+ 0 (x0 ) p− 0 (x1 ) ≤ p(x1 ) ≤ p+ 0 (x1 ) p− 0 (x0 x1 ) ≤ p(x0 x1 ) ≤ p+ 0 (x0 x1 ) =                      1 ≤ 1 ≤ 1 0.4 ≤ p(x0 ) ≤ 0.6 0.4 ≤ p(x1 ) ≤ 0.8 0.2 ≤ p(x0 x1 ) ≤ 0.4 Н.А. Харитонов 14 апреля 2021 г. 47 / 54
48. Ограничения R =                                                    1 − p(x0 ) − p(x1 ) + p(x0 x1 ) ≥ 0 p(x0 ) − p(x0 x1 ) ≥ 0 p(x1 ) − p(x0 x1 ) ≥ 0 p(x0 x1 ) ≥ 0 1 ≤ 1 ≤ 1 0.4 ≤ p(x0 ) ≤ 0.6 0.4 ≤ p(x1 ) ≤ 0.8 0.2 ≤ p(x0 x1 ) ≤ 0.4 Н.А. Харитонов 14 апреля 2021 г. 48 / 54
49. Пример P− c =         1 0.4 0.4 0.2         ; P+ c =         1 0.6 0.8 0.4         ; Н.А. Харитонов 14 апреля 2021 г. 49 / 54
50. Алгебраические байесовские сети Вероятность пропозициональной формулы Фрагмент знаний Идеал конъюнктов Обучение фрагмента знаний Поддержание непротиворечивости Априорный вывод Н.А. Харитонов 14 апреля 2021 г. 50 / 54
51. Представление в виде суммы вероятностей конъюнктов p(x0 ⇒ x1 ) = p(q0 ) + p(q1 ) + p(q3 ) = = (1 − p(x0 ) − p(x1 ) + p(x0 x1 )) + (p(x1 ) − p(x0 x1 )) + p(x0 x1 ) = = 1 − p(x0 ) + p(x0 x1 ) Н.А. Харитонов 14 апреля 2021 г. 51 / 54
52. Априорный вывод p−(x0 ⇒ x1 ) = minR (1 − p(x0 ) + p(x0 x1 )) p+(x0 ⇒ x1 ) = maxR (1 − p(x0 ) + p(x0 x1 )) Н.А. Харитонов 14 апреля 2021 г. 52 / 54
53. Пример P− c =         1 0.4 0.4 0.2         ; P+ c =         1 0.6 0.8 0.4         ; p(x0 ⇒ x1 ) = [0.6; 1] Н.А. Харитонов 14 апреля 2021 г. 53 / 54
54. Алгебраические байесовские сети: вероятность пропозициональной формулы и основы логико-вероятностного вывода Н.А. Харитонов 14 апреля 2021 г. Н.А. Харитонов 14 апреля 2021 г. 54 / 54