Теория байесовских сетей - осень 2020 - 4 лекция

Transcript

1. ТЕОРИЯ БАЙЕСОВСКИХ СЕТЕЙ-2020 Максим Викторович Абрамов, Александр Львович Тулупьев, Арсений Дмитриевич Завалишин mva@dscs.pro, alt@dscs.pro, adz@dscs.pro 23 сентября 2020
2. 2/30 Конечное пространство исходов dscs.pro  X , ,p  — пространство исходов, пространство элементарных событий или множество элементарных событий. В нашем изложении здесь и далее предполагается, что оно состоит из конечного числа элементов: .  = 1 2 3 { , ,... } q q q Элементарное событие или исход, возможный мир — мыслится как результат эксперимента, исключающий другие результаты, или как состояние системы, исключающее другие состояния. Любое подмножество пространства элементарных событий называется собы Над событиями определены операции: • Дополнение: • Объединение: • Пересечение: X  = / X X  1 2 X X  1 2 X X
3. 3/30 База dscs.pro  X , ,p Набор событий называют разбиением пространства или полной группой событий если выполнено 2 свойства: = = = 1 { }k n k k B X  =    →  =  =  1 1. , : 2. i j i j n k k X X B i j X X X
4. 4/30 Алгебра dscs.pro  X , ,p X — алгебра событий или алгебра подмножеств множества . Алгебра событий — это набор множеств, замкнутый относительно операций объединения, пересечения и дополнения.  Алгебра событий аксиоматически задается системой требований: X   →       X X X X X/ 2 1. . , , X Y X Y X Y Замыкание любой полной группы событий по операциям дополнения, объединения и пересечения образует алгебру событий [одну из возможных] . .В этом случае говорят, что образует базу алгебры . B B X   = X \, , [ ] B
5. 5/30 Вероятность dscs.pro p  X , ,p — вероятность (вероятностная мера), т.е. неотрицательная аддитивная функция множеств, нормированная на единицу. Алгебра является областью определения вероятности: Вероятность определяется аксиоматически: X → X : [0;1] p  =    =  →   =   + X. X: 2. ( ) 1 : 3. , : ( ) ( ) ( ) 1. ( ) 0, i j i j i j i j p X X X X p X X X p p X X X p
6. 6/30 Плотность вероятности dscs.pro o p  X , ,p —плотность вероятности, заданная на полной группе событий , то есть функция удовлетворяющая следующим условиям =   →  = →  . 1 1 0 . : [0;1] 2. ( ) 3. ( ) 1 o o n o k X B p X p X B p B Сумма плотностей вероятностей событий из равна 1. B
7. 7/30 Вероятность на полной группе событий dscs.pro , ,p  X Функция на алгебре-замыканий , заданная как 1. : [0;1 2 ] . X p →   X . X значение определяется как сумма плотностей вероятности членов полной группы событий, из которых «составлено» : ' , ' ( ) ( '), o X X X B p X p X   =  p   = X \, , [ ] B p X Является вероятностью на вероятностном пространстве \, , , [ ] , B p    = X
8. 8/30 Вероятности множеств dscs.pro Вероятность множеств имеет следующие сложности: 1 1 1 1 1 2 1 1. ( ) 1 ( ) 2. ( ) ( ) ( ), ( ) ( ) ( ) 3. ( ) ( ) ( ) 1 4. ( ) ( ) ( ) ( ) ... ( 1) ( ... ) n n i i i j i i j n i n i j k n i j k n p X p X p Y p Y p X p X p Y p X p X Y p X p Y p X p X p X X p X X X X X X =    = −     = −       + − = −  +   − + −     
9. 9/30 Условная вероятность dscs.pro Условной вероятностью события при условии, что произошло событие , называется величина , удовлетворяющая уравнению В случае можно записать определение иначе: Если же , то тогда и ; в этом случае будем полагать, что значение условной вероятности неопределённо: . X Y ( | ) p X Y ( | ) ( ) ( ). p X Y p Y p XY = ( ) ( | ) . ( ) p XY p X Y p Y = ( ) 0 p Y  ( ) 0 p Y = ( ) p XY ( | ) [0;1] p X Y 
10. 10/30 Формула полной вероятности dscs.pro Формула полной вероятности. Если события образуют разбиение , то Формула умножения вероятностей. Для событий справедливо Теорема Байеса. Если события образуют разбиение и , то События и называются независимыми относительно вероятности , если При , независимость событий и эквивалентна . 1 ,... n X X  1 ( | ) ( ) ( | ) n i i i j p X Y p X p Y X = =  1 , ,... n Y X X 1 1 2 1 3 1 2 1 ( ... ) ( ) ( | ) ( | )... ( | ... ) n n p X X Y p X p X X p X X X p Y X X = 1 ,... n X X  ( ) 0 p Y  1 ( ) ( | ) ( | ) . ( ) ( | ) i i i n j j j p X p Y X p X Y p X p Y X = =  X Y p ( ) ( ) ( ). p XY p X p Y = ( ) 0 p X  X Y ( | ) ( ) p Y X p Y =
11. 11/30 Что? Где? Когда? dscs.pro С какой вероятностью Вы вернётесь домой, если Аннушка уже разлила масло? Какова Ваша степень уверенности в этом? Можете дать ей оценку от 0 до 1? Определив эту степень, Вы определите вероятность некого утверждения. Так же вы можете определить вероятность любого утверждения. От тех, на которые мы едва ли получим ответ на нашем веку. Например: какова вероятность существования инопланетян? До вполне реальных: какова вероятность того, что акции Газпрома упадут завтра? И да, на этом построили теорию вероятностной логики, которую необходимо формализовать…
12. 12/30 Отношение эквалентности dscs.pro Бинарное отношение на множестве называется отношением эквивалентности (англ. equivalence binary relation), если оно обладает следующими свойствами: •Рефлексивность: . •Симметричность: если , то . •Транзитивность: если и , то .  X    : x X x x   , : x y X  x y  y x   , , : x y z X  x y  x z  y z Разбиение множества на классы эквивалентных элементов называется его факторизацией.
13. 13/30 Пропозициональные формулы dscs.pro ( )= F A F   = 1 2 , , , n A t t t Универсум, множество атомов, множество булевских переменных, Множество атомарных пропозиций… Множество всевозможных булевских формул над множеством атомарных пропозиций. ( ) ( ) =  / F A F A Множество классов эквивалентности (результат факторизации). Как правило, далее эквивалентные формулы не различаются. В частности, вероятности истинности эквивалентных формул будут совпадать. true или 1 — тождественная истина, константа false или 0 — тождественная ложь, константа, (f ) — истинностное означивание пропозициональной формулы f.
14. 14/30 Аргументное место (литерал) dscs.pro    , x x x Аргументное место или литерал. Используется как обозначение означивания атомарной формулы x или как скользящий индекс.                1 2 1 2 1 2 1 2 1 2 , , , x x x x x x x x x x ( ) ( ) ( ) ( ) ( )   =  +  +  +   1 2 1 2 1 2 1 2 1 2 1 2 x x h x x h x x h x x h x x h x x Внутри одной и той же формулы означивания одного и того же аргументного места совпадают. Возможные несовпадения оговариваются отдельно. В дальнейшем знак коъюнкции будет опускаться. Пример:
15. 15/30 Кванты dscs.pro Пусть нам задан набор атомов   ( )   = , , , , . Q x z xz xz xz xz   = 1 2 , , , . m S x x x Квантом называется конъюнкция, в которую входят все атомы из набора. Каждый атом входит с одним из означиваний: либо положительным либо отрицательным. ( )     =  = 1 2 ... : , , 1(1) m i i i Q S x x x x x x i m Обозначение множества квантов: Пример: Пример краткой записи кванта: = 1 2 ... . m X x x x
16. 16/30 Конъюнкты dscs.pro , 1 2 3 , , , ,... x y xy x x x   = 1 2 , , , . m S x x x = 1 2 ... m X x x x Пусть нам задан набор атомов . Конъюнктом называется конъюнкция положительно означенных атомов из набора. В эту конъюнкцию атом либо входит, либо вообще не входит. Один положительно означенный атом тоже является конъюнктом. Пустая конъюнкция (пустой конъюнкт) эквивалентен тождественной истине. Примеры конъюнктов: Краткая запись конъюнкта:
17. 17/30 Теорема о СДНФ dscs.pro ДНФ (Дизъюнктивная Нормальная Форма) — нормальная форма, в которой булева функция имеет вид дизъюнкции нескольких простых конъюнктов. СДНФ (Совершенная Дизъюнктивная Нормальная Форма) — это такая ДНФ, которая удовлетворяет условиям: •в ней нет одинаковых простых конъюнкций •каждая простая конъюнкция полная Пример: =     ( ) ( ) ( ) , , f x y z x y y z Пример: =        ( ) ( ) ( ) , , f x y z x y z x y z Теорем а:        ( ) !( ) : f f q S f F S Q f q → = : 2 ( ) Q f S F S f S
18. 18/30 Идеал конъюнктов dscs.pro Идеалом цепочек конъюнкций над заданным множеством атомарных формул назове все непустые положительноозначенные цепочки конъюнкций атомарных пропозици формул:   = =  = 1 2 {1(1) } 1 2 ( ) : ( , , , ) 2 , 1(1) . k m i i i k C C A x x x i i i k m Примеры: x1 x1 x2 x2 x1 x1 x2 x3 x1 x2 x1 x3 x2 x3 x1 x2 x3 Также можно рассматривать идеал с пустым конъюнктом.
19. 19/30 Особенности идеала dscs.pro • Множество всех непустых конъюнктов над заданным набором атомов — идеал; • Множество всех (все непустые и один пустой) конъюнктов над заданным набором атомов — идеал; • Непустое пересечение идеалов — идеал.
20. 20/30 Пример dscs.pro   = 1 2 , , A x x     = = 1 2 1 2 1 2 1 2 1 2 , , , , Q x x x x x x x x x x   = 1 2 1 2 , , , C x x x x = 1 2 , X x x = 1 2 . X x x
21. 21/30 Возможные миры dscs.pro Формул а Логическое означивание true true true true false false false false true true false false true true false false true false true false true false true false x y xy
22. 22/30 Допустимые миры dscs.pro , Формула Допустимое логическое означивание (допустимый мир) Вероятность истинности формулы true true false false 0,5 true false true false 0,6 true false false false 0,2 Вероятность допустимого мира 0,2 0,3 0,4 0,1 x y xy
23. 23/30 Вероятность истинности dscs.pro Подход по Н. Нильссону (1986 г.): Вероятностью истинности пропозициональной формулы или просто вероятностью пропозициональной формулы считается вероятность множества тех возможных миров, в которых пропозициональная формула истинна.
24. 24/30 Вероятность пропозиции dscs.pro • В рамках подхода Н. Нильссона мы рассуждаем о вероятности истинности пропозиции; • Для краткости говорят вероятность пропозиции
25. 25/30 КВАНТЫ: Множество элементарных событий dscs.pro Рассмотрим набор всех квантов как множество элементарных событий (или — как множество возможных миров). Зададим на нем исходное распределение вероятностей (дискретную плотность вероятности) , такое, что Q → : 0; 1] [ o p Q     =  ( ) ( ) 0; ( ) 1. q Q q Q p q p q
26. 26/30 ВЕРОЯТНОСТЬ ПРОПОЗИЦИИ dscs.pro Введем вероятность → : 2 [0;1] : Q p    =  ( ) ( ) : ( ) q S S Q p S p q На этом шаге мы получили вероятностное пространство . Определим вероятностную меру на множестве следующим образом: Взяв за основу такое распространение вероятности на множество пропозициональных формул, мы получим новое вероятностное пространство: . ,2 , Q Q p ( ) ( ) ( ) ( )   = . f F p f p S F F , , Q F p
27. 27/30 Индексация конъюнктов (дизъюнктов) и квантов dscs.pro Нумерация A = { } A = { } A = {x 1 , x 2 , x 3 } № 10 № 2 [№]1 Q A [№]2 Q A [№]3 Q A 0 0 2 0 2 e  00 2 e  000 2 e  1 1 2 1 2 01 2 001 2 2 10 2 10 2 010 2 3 11 2 11 2 011 2 4 100 2 100 2 5 101 2 101 2 6 110 2 110 2 7 111 2 111 2 1 x 1 x 1 x 1 x 1 2 , x x 2 1 x x 2 1 x x 1 x 2 x 2 1 x x 2 1 x x 2 1 x x 3 1 x x 3 2 x x 3 2 1 x x x 3 2 1 x x x 3 2 1 x x x 3 2 1 x x x 3 2 1 x x x 3 2 1 x x x 3 2 1 x x x 3 2 1 x x x 3 2 1 x x x 2 1 x x 2 x 1 x 3 x
28. 28/30 Кванты и вероятность истинности dscs.pro  = + +  = +  = +  = + + ( ) ( ) ( ) ( ), ( ) ( ) ( ), ( ) ( ) ( ), ( ) ( ) ( ) ( ). p x y p xy p xy p xy p x y p xy p xy p x y p xy p x y p x y p xy p xy p x y
29. 29/30 Конъюнкты и вероятность истинности dscs.pro  = + −  = + −  = − − +  = − + ( ) ( ) ( ) ( ), ( ) ( ) ( ) 2 ( ), ( ) 1 ( ) ( ) 2 ( ), ( ) 1 ( ) ( ). p x y p x p y p xy p x y p x p y p xy p x y p x p y p xy p x y p x p xy
30. 30/30 Вероятности квантов и конъюнктов dscs.pro = = − = − = − − + ( ) ( ), ( ) ( ) ( ), ( ) ( ) ( ), ( ) 1 ( ) ( ) ( ). p xy p xy p xy p x p xy p xy p y p xy p x y p x p y p xy Связи между наборами квантов и конъюнктов будут обсуждаться ещё неоднократно, поскольку кванты формируют множество элементарных событий, а конъюнкты — идеал, образующий одну из моделей фрагмента знаний.
31. ТЕОРИЯ БАЙЕСОВСКИХ СЕТЕЙ-2020 Максим Викторович Абрамов, Александр Львович Тулупьев, Арсений Дмитриевич Завалишин mva@dscs.pro, alt@dscs.pro, adz@dscs.pro 23 сентября 2020
32. Задание dscs.pro Найти вероятности , над множеством атомар пропозиций если известно что: { , }, x y ( ), ( ) p y p xy =  =  = ( ) 0.56 ( ) 0.85 ( ) 0.52 p x p x y p x y