Теория байесовских сетей - осень 2020 - 5 лекция

Transcript

1. ТЕОРИЯ БАЙЕСОВСКИХ СЕТЕЙ: АЛГЕБРАИЧЕСКИЕ БАЙЕСОВСКИЕ СЕТИ А.Л. Тулупьев alt@dscs.pro М.В. Абрамов mva@dscs.pro А. Г. Максимов agm@dscs.pro 30 сентября 2020
2. 2/71 План • Графы смежности и алгебраические байесовские сети — что это? • Еще немного про графы смежности • Другие глобальные структуры АБС • Непротиворечивость АБС • Апостериорный вывод dscs.pro
3. 3/71 План • Графы смежности и алгебраические байесовские сети — что это? • Еще немного про графы смежности • Другие глобальные структуры АБС • Непротиворечивость АБС • Апостериорный вывод dscs.pro
4. 4/71 Алгебраическая байесовская сеть • Это множество фрагментов знаний, как правило, связанных между собой (имеющих общие конъюнкты), которые рассматриваются как единое целое. dscs.pro [1]
5. 5/71 Граф смежности • Вершине графа смежности ставится в соответствие фрагмент знаний. • Нагрузкой вершины является идеал конъюнктов, лежащий в основе этого ФЗ. dscs.pro
6. 6/71 Граф смежности — определение Графом смежности называется ненаправленный граф, в котором • между каждой парой вершин, нагрузки которых содержат общие элементы, существует путь; • в нагрузку каждой вершины этого пути входят все элементы, общие для начальной и конечной вершин; • нагрузка одной вершины не входит полностью в нагрузку никакой другой вершины. Первые два условия называются магистральной связностью. dscs.pro
7. 7/71 Граф смежности ― примеры (1) dscs.pro
8. 8/71 Граф смежности ― примеры (2) dscs.pro • Графов смежности над одним и тем же набором нагрузок может быть много. • Ациклический граф смежности называется деревом смежности. • Упражнение: • Сколько существует графов смежности на вершинах, если нагрузки любой пары вершин пересекаются в точности по ?
9. 9/71 Сепараторы • Удобно не только каждой вершине, но также и каждому ребру в графе смежности приписать нагрузку ― пересечение нагрузок его концов. • Нагрузка ребра называется сепаратором (или разделителем). • Непустое пересечение идеалов конъюнктов ― идеал конъюнктов. dscs.pro
10. 10/71 АБС ― определение • Алгебраическая байесовская сеть (АБС) определяется как граф смежности с фрагментами знаний в узлах. dscs.pro <x1 , x2 > <x2 , x3 > <x2 > <x1 , x2 > <x2 , x3 > <x2 > <x1 , x3 > <x1 > <x3 > <x1 , x2 > <x1 , x3 > <x1 > <x1 , x4 > <x1 > <x1 > <x1 , x2 > <x1 , x3 > <x1 > <x1 , x4 > <x1 > <x1 > <x1 > <x1 , x2 > <x1 , x3 > <x1 > <x1 , x4 > <x1 > <x1 , x2 , x3 > <x2 , x3 , x4 > <x2 , x3 > <x3 , x4 , x5 > <x3 , x4 > <x4 , x5 , x6 > <x4 , x5 > а б в г д е [1]
11. 11/71 План • Графы смежности и алгебраические байесовские сети — что это? • Еще немного про графы смежности • Другие глобальные структуры АБС • Непротиворечивость АБС • Апостериорный вывод dscs.pro
12. 12/71 Граф смежности ― свойства Граф смежности называется минимальным по включению, если из него нельзя удалить ребро так, чтобы он остался графом смежности. • Во всех минимальных графах смежности одинаковые компоненты связности. • Минимальный по включению граф смежности является минимальным и по числу ребер. • Во всех минимальных графах смежности над одним и тем же набором нагрузок одинаковое число ребер. • Если один минимальный граф смежности является деревом, то все остальные тоже являются; обратно ― если один минимальный граф смежности содержит циклы, то все остальные тоже содержат. dscs.pro
13. 13/71 Сужение • Сужением графа на нагрузку называется граф = ( , ): = ∈ ⊂ ; = {(, ) ∈ |, ∈ } dscs.pro
14. 14/71 Построение графа смежности = ∩ , ∈ } \∅ Два вложенных перебора. Перебираем ∈ : Заведем множество для хранения текущей связной компоненты сужения на , = ∅ Перебираем ∈ : Если в сужении и ∉ S: Проводим ребро из в произвольную вершину , объединяем с компонентой связности в сужении. dscs.pro
15. 15/71 Построение графа смежности — пример dscs.pro
16. 16/71 Построение графа смежности — пример dscs.pro
17. 17/71 Построение графа смежности — пример dscs.pro
18. 18/71 Построение графа смежности — пример dscs.pro
19. 19/71 Построение графа смежности — пример dscs.pro
20. 20/71 Построение графа смежности — множество Важна сортировка множества . dscs.pro
21. 21/71 Построение графа смежности — множество Важна сортировка множества . dscs.pro
22. 22/71 Построение графа смежности — множество Важна сортировка множества . dscs.pro
23. 23/71 Построение графа смежности — множество Важна сортировка множества . dscs.pro
24. 24/71 Построение графа смежности — множество Важна сортировка множества . dscs.pro
25. 25/71 Построение графа смежности — множество Важна сортировка множества . dscs.pro
26. 26/71 Построение графа смежности — множество Важна сортировка множества . dscs.pro
27. 27/71 Построение графа смежности — множество • Чтобы описанный выше алгоритм построил минимальный граф смежности, достаточно отсортировать множество по убыванию размеров элементов. dscs.pro
28. 28/71 План • Графы смежности и алгебраические байесовские сети — что это? • Еще немного про графы смежности • Другие глобальные структуры АБС • Непротиворечивость АБС • Апостериорный вывод dscs.pro
29. 29/71 Глобальные структуры АБС Четыре типа глобальных структур АБС: • Первичная — набор ФЗ • Вторичная — граф смежности • Третичная — ??? • Четвертичная — ??? dscs.pro
30. 30/71 Частичный порядок — множество. Бинарное отношение ⊆ 2 называется отношением частичного порядка, если оно 1. Рефлексивно: верно (, ); 2. Антисимметрично: , ∧ , → = ; 3. Транзитивно: , ⋀ , → , . Отношение частичного порядка обозначается ≤. Если ≠ , то < . dscs.pro
31. 31/71 Наименьший элемент и минимум Элемент называется минимальным элементом, если ∀: ( ≤ → = ). Элемент называется наименьшим элементом, если ∀: ( ≤ ). Упражнение: в чем разница между наименьшим элементом и минимумом? dscs.pro
32. 32/71 Наименьший элемент и минимум Элемент называется минимальным элементом, если ∀: ( ≤ → = ). Элемент называется наименьшим элементом, если ∀: ( ≤ ). Упражнение: в чем разница между наименьшим элементом и минимумом? • Наименьший элемент является и минимумом. Обратное в общем случае неверно. • Если наименьший элемент существует, то он единственный. dscs.pro
33. 33/71 Цепи и антицепи (, ≤) — частично упорядоченное множество. ⊆ — подмножество. называется цепью, если все элементы в нем попарно сравнимы. называется антицепью, если все его элементы попарно несравнимы. Множество из одного элемента считаем одновременно цепью и антицепью. dscs.pro
34. 34/71 Цепи и антицепи — примеры 1. ℕ, ≤ — цепью является любое подмножество. Все антицепи состоят из одного элемента. 2. ℕ, , , : ⋮ — существуют нетривиальные антицепи, например, {28, 31}. Множества с частичным порядком, целиком являющиеся цепью, называют линейно упорядоченными. dscs.pro
35. 35/71 Dilworth's theorem (, ≤) — конечное частично упорядоченное множество. Пусть — число элементов наибольшей антицепи. Тогда можно разбить на непересекающихся цепей. Минимаксная переформулировка: Минимальное число покрывающих непересекающихся цепей равно размеру наибольшей антицепи. dscs.pro
36. 36/71 Dilworth's theorem — пример 1,2,3,4 , , , : = Максимальная антицепь — ? Разбиение на цепи — ? dscs.pro
37. 37/71 Dilworth's theorem — теорема Кенига Построим двудольный граф, каждая доля которого соответствует множеству . Ребро (, ) проводится, если < . Найдем в этом графе максимальное паросочетание и минимальное вершинное покрытие. dscs.pro По теореме Кенига их размеры совпадают, обозначим их , а размер множества .
38. 38/71 Dilworth's theorem — теорема Кенига Пусть — элементы, которым не соответствуют вершины из вершинного покрытия. Тогда — антицепь. Пусть — семейство цепей, т.ч. и лежат в одной цепи, если в паросочетание входит ребро (, ). dscs.pro Поскольку вершины из не могут лежать в одной цепи, в будет столько же элементов.
39. 39/71 Dilworth's theorem — индукция Индукция по мощности . Пусть — максимальный элемент. S\{} = 1 ∪ . .∪ , — размер наибольшей антицепи. Заметим, что в любой из этих цепей найдется элемент, входящий в S\{} в -элементную антицепь (?). Пусть — наибольший из таких элементов. = {1 , . . , } — антицепь (в S\{}). dscs.pro
40. 40/71 Dilworth's theorem — индукция = {1 , . . , } — антицепь (в S\{}). Пусть < . Рассмотрим антицепь размера , содержащую . Эта антицепь не содержит (?), не содержит элементы , меньшие (?) и не содержит элементы , большие (?). Тогда эта антицепь не содержит никаких элементов цепи . Тогда ее размер меньше . dscs.pro
41. 41/71 Dilworth's theorem — индукция = {1 , . . , } — антицепь (в S\{}). Если ∪ {} — антицепь, то S = 1 ∪ . .∪ ∪ {}. Если ∪ не антицепь. Тогда ∃ < . Рассмотрим = ∈ ≤ ∪ {}. — цепь. Тогда в S\D нет -элементных антицепей. Тогда максимальная антицепь в S\D имеет размер − 1, и его можно покрыть − 1 цепью. Добавив к ним D, получим разбиение S на цепей. dscs.pro
42. 42/71 Диаграмма Хассе Рассмотрим множество с частичным порядком , < . Диаграммой Хассе для этого множества называется ориентированный граф, в вершинах которого находятся элементы множества , и ребро , проводится, если и только если < и ∄: < < . dscs.pro
43. 43/71 Диаграмма Хассе — примеры dscs.pro Упражнение: как устроены минимум и наименьший элемент на диаграмме Хассе?
44. 44/71 Диаграмма Хассе и Dilworth's theorem dscs.pro Антицепь Цепи
45. 45/71 Третичная структура Третичной структурой АБС называется диаграмма Хассе, построенная над множеством всех возможных попарных пересечений нагрузок вершин ( ∪ ∅) по отношению порядка «содержится». dscs.pro
46. 46/71 Третичная структура Третичной структурой АБС называется диаграмма Хассе, построенная над множеством всех возможных попарных пересечений нагрузок вершин () по отношению порядка «содержится». dscs.pro
47. 47/71 Третичная структура Третичной структурой АБС называется диаграмма Хассе, построенная над множеством всех возможных попарных пересечений нагрузок вершин () по отношению порядка «содержится». dscs.pro
48. 48/71 Третичная структура Третичной структурой АБС называется диаграмма Хассе, построенная над множеством всех возможных попарных пересечений нагрузок вершин () по отношению порядка «содержится». dscs.pro
49. 49/71 Четвертичная структура Четвертичной структурой АБС называется третичная структура, в которой между двумя потомками и одной вершины проведено неориентированное ребро, если и только если в сети есть фрагмент знаний, нагрузка которого содержит объединение ∪ . dscs.pro
50. 50/71 Четвертичная структура Четвертичной структурой АБС называется третичная структура, в которой между двумя потомками и одной вершины проведено неориентированное ребро, если и только если в сети есть фрагмент знаний, нагрузка которого содержит объединение ∪ . dscs.pro
51. 51/71 Структурная теорема о циклах Теорема: минимальный граф смежности, построенный над заданным набором вершин, является ациклическим, если и только если в четвертичной структуре нет циклов на неориентированных ребрах. dscs.pro
52. 52/71 Устранение циклов Последовательное применение операций сжатия цикла и поглощения. dscs.pro
53. 53/71 Устранение циклов Последовательное применение операций сжатия цикла и поглощения. dscs.pro
54. 54/71 Устранение циклов Последовательное применение операций сжатия цикла и поглощения. dscs.pro Сжатие цикла
55. 55/71 Устранение циклов Последовательное применение операций сжатия цикла и поглощения. dscs.pro Поглощение
56. 56/71 Устранение циклов Последовательное применение операций сжатия цикла и поглощения. dscs.pro Результат
57. 57/71 Устранение циклов • — высота графа, ℎ — расстояние от -го цикла до корня. • При применении операции сжатия цикла сумма ( − ℎ ) по всем циклам уменьшается. • Задача: • Привести пример графа смежности, для которого после однократного применения операций сжатия цикла и поглощения число циклов не уменьшается. dscs.pro
58. 58/71 План • Графы смежности и алгебраические байесовские сети — что это? • Еще немного про графы смежности • Другие глобальные структуры АБС • Непротиворечивость АБС • Апостериорный вывод dscs.pro
59. 59/71 Непротиворечивость АБС Четыре степени непротиворечивости: • Локальная; • Экстернальная; • Интернальная; • Глобальная. В общем случае из глобальной непротиворечивости следует интернальная, из интернальной следует экстернальная, а из экстернальной следует локальная. dscs.pro
60. 60/71 Степени непротиворечивости (1) Локальная: непротиворечив каждый фрагмент знаний по отдельности. dscs.pro Каждый фрагмент знаний непротиворечив [1]
61. 61/71 Степени непротиворечивости (2) Экстернальная: локальная непротиворечивость + совпадают оценки пересекающихся фрагментов. dscs.pro Здесь оценки совпадают [1]
62. 62/71 Степени непротиворечивости (3) Интернальная: локальная непротиворечивость + распределения вероятностей совпадают на конъюнктах, общих для двух или более ФЗ. dscs.pro Решаем общую ЗЛП, где пересекающиеся переменные совпадают [1]
63. 63/71 Степени непротиворечивости (4) Интернальная: локальная непротиворечивость + для любого конъюнкта из АБС для любого точечного значения из интервала оценки его истинности можно выбрать согласованные (т.е. совпадающие на одинаковых формулах) точечные значения во всех фрагментах знаний, так, что все получившиеся ФЗ с точечными оценками будут непротиворечивы. dscs.pro
64. 64/71 Степени непротиворечивости (5) Экстернальная непротиворечивость в общем случае не совпадает с интернальной. dscs.pro Если мы положим = 0.7, то нельзя будет подобрать остальные оценки в заданных интервалах таким образом, чтобы оба ФЗ одновременно были непротиворечивы. Упражнение: проверить, что это так.
65. 65/71 Степени непротиворечивости (6) Глобальная: непротиворечив объемлющий фрагмент знаний и при погружении оценки не изменятся. dscs.pro [1]
66. 66/71 Степени непротиворечивости (7) • Для ациклических АБС из интернальной непротиворечивости следует глобальная. • Для циклических АБС это неверно. dscs.pro
67. 67/71 План • Графы смежности и алгебраические байесовские сети — что это? • Еще немного про графы смежности • Другие глобальные структуры АБС • Непротиворечивость АБС • Апостериорный вывод dscs.pro
68. 68/71 Виды свидетельств • Детерминированное свидетельство () • Стохастическое свидетельство ( = 0,9) • Неопределенное свидетельство ( ∈ [0,1; 0,71]) dscs.pro
69. 69/71 Апостериорный вывод — схема dscs.pro <Vn-1 Xn Vn > <Vn Xn+1 Vn+1 > <Vn > ~ <Vi Xi+1 Vi+1 > <V0 X1 V1 > <V1 X2 V2 > <V1 > <V2 X3 V3 > <V2 > <V3 > <Vi+1 > <Vn-1 > <Vi > <p[a] (V0 )> ~ <p[a] (V1 )> ~ <p[a] (V2 )> ~ <p[a] (V3 )> ~ <p[a] (Vi )> ~ <p[a] (Vi+1 )> <p[a] (Vn-1 )> ~ <p[a] (Vn )> ~ <p[a] (...)> а б [1]
70. 70/71 Апостериорный вывод в циклах • Если АБС содержит цикл, то распространение свидетельства может привести к неадекватным результатам, поэтому важно уметь устранять циклы. dscs.pro
71. ТЕОРИЯ БАЙЕСОВСКИХ СЕТЕЙ: АЛГЕБРАИЧЕСКИЕ БАЙЕСОВСКИЕ СЕТИ А.Л. Тулупьев alt@dscs.pro М.В. Абрамов mva@dscs.pro А. Г. Максимов agm@dscs.pro 30 сентября 2020
72. Задача • Привести пример графа смежности, для которого после однократного применения операций сжатия цикла и поглощения число циклов не уменьшается. dscs.pro
73. Источники • [1] Тулупьев А.Л., Сироткин А.В. Введение в байесовские сети // Алгоритмы для Интернета, ИТМО&СПбГУ, 2006 • Тулупьев А. Л. и др. Представление локальной и глобальной структуры алгебраической байесовской сети в Java-приложениях //Труды СПИИРАН. 2007. №. 5. С. 71-99. • Опарин В. В. и др. Матроидное представление семейства графов смежности над набором фрагментов знаний //Научно-технический вестник информационных технологий, механики и оптики. 2010. №. 4 (68). dscs.pro
74. Источники • Опарин В. В., Тулупьев А. Л. Синтез графа смежности с минимальным числом ребер: формализация алгоритма и анализ его корректности //Труды СПИИРАН. 2009. №. 11. С. 142-171. • Фильченков А.А., Тулупьев А.Л. Анализ циклов в минимальных графах смежности алгебраических байесовских сетей // Труды СПИИРАН. 2011. Вып. 17. C. 151–173. dscs.pro
75. Источники • Фильченков А. А., Фроленков К. В., Тулупьев А. Л. Устранение циклов во вторичной структуре алгебраической байесовской сети на основе анализа ее четвертичной структуры //Труды СПИИРАН. 2012. №. 21. С. 143-156. • Тулупьев А.Л., Сироткин А.В., Николенко С.И. Байесовские сети доверия: логико-вероятностный вывод в ациклических направленных графах // СПб: СПбГУ, 2009. 400 с. dscs.pro