Алгоритмы выделения сообществ Анастасия Андреевна Корепанова м.н.с. лаборатории ТиМПИ [email protected] Максим Викторович Абрамов Доцент кафедры информатики [email protected]

Социальный граф 2/16 • Кластер • Группа • Сообщество

Пример 3/16

Карате клуб Закари (Zachary’s karate club) 4/16 Wayne W. Zachary An Information Flow Model for Conflict and Fission in Small Groups // Journal of Anthropological Research. 1977. Vol. 33. Pp. 452-473.

Другие применения 5/16 1) Криминология. Выделение криминальных сообществ, которые могут распространять и поддерживать терроризм и т.д.; 2) Здравоохранение. Выделение групп, уязвимых к эпидемии; 3) Политика. Влияние политических идей на социальные группы; 4) Маркетинг. Таргетированная реклама, сегментация клиентов и т.д.; 5) …..

Сообщества 6/16 Сообщества (очень неформально) — группы узлов, такие что между узлами одного сообщества гораздо больше связей, чем между группами Свойства: • Между любыми двумя узлами существует путь • Короткий путь • Плотность (высокая частота связей внутри группы) • Отделимость (чаще со своими, чем с чужими)

Типы сообществ 7/16 Непересекающиеся сообщества & Пересекающиеся сообщества

Меры​ 8/16 Как можно измерить? • Плотность сообщества • Разрез грaафа • Модулярность

Плотность сообщества 9/16 • , — граф, — множество вершин графа, — множество рёбер графа • = , = || • — набор вершин графа , образующих сообщество • — число вершин в сообществе , — число рёбер в сообществе • Плотность графа = ( − 1)/2 • Внутренняя плотность сообщества = ( − 1)/2 • Внешняя плотность = ( − )/2 > >

Разрез графа (Graph cut) 10/16 Сколько рёбер нужно убрать, чтобы отделить сообщество от графа? = 1 + 2 • Graph cut: = cut 1 , 2 = σ∈1,∈2 • Ratio cut: = cut 1 , 2 |1 | + cut 1 , 2 |2 | • Normalized cut: = cut 1 , 2 Vol(1 ) + cut 1 , 2 (2 ) , Vol 1 = ෍ ∈1,∈

Модулярность 11/16 Доля рёбер от общего числа рёбер, которые попадают в данные группы минус ожидаемая доля рёбер, которые попали бы в те же группы, если бы они были распределены случайно. = 1 2 ෍ − 2 ( , )

Модулярность 12/16 − сообщество узла , − вес ребра между и j, σ ( , ) σ = 1 2 ෍ ( , ) , = ቊ 1, если = 0 иначе = 1 2 ෍ − число рёбер в графе 2 , Доля ребер внутри сообщества от общего числа рёбер: Вероятность, что в случайном графе между узлами будет ребро: где − степень узла

Модулярность 13/16 Чем выше модулярность, тем лучше.

Обобщим 14/16 Знаем, как оценить кластеризацию. А как её найти? • Точное решение — полный перебор • Решается жадными, эвристическими, приближёнными алгоритмами • Обычно решается несколькими алгоритмами сразу, с помощью разных метрик выбирается наилучший • Фиксируем количество кластеров или решаем рекурсивно

Алгоритмы 15/16 1. Matrix Factorization 2. Deep Learning 3. Label Propagation, Percolation and Random Walks 4. Tensor Decomposition 5. Spectral Methods 6. Temporal Methods 7. Cyclic Patterns 8. Centrality and Cuts 9. Physics Inspired 10. Block Models 11. Hypergraphs 12. ….

Фиксированное количество кластеров 16/16

Рекурсивное деление 17/16

Фиксированное количество кластеров 18/16

Степень посредничества 19/16

Степень посредничества 20/16

Степень посредничества ребра 21/16 Чем больше кратчайших путей через ребро проходит, тем оно круче: = ෍ ≠ () , − количество кратчайших путей между и .

Степень посредничества ребра 22/16 Алгоритм Гирван — Ньюмена (Girvan–Newman algorithm). Повторяем, пока есть рёбра: Считаем степень посредничества всех рёбер; Удаляем ребро с наибольшей степенью.

Карате клуб Закари (Zachary’s karate club) 23/16

Карате клуб Закари (Zachary’s karate club) 24/16

Карате клуб Закари (Zachary’s karate club) 25/16

Карате клуб Закари (Zachary’s karate club) 26/16 Лучший: кластеры = 6, модулярность = 0.345.

Алгоритм Лёвена 27/16 V.D. Blondel, J.-L. Guillaume, R. Lambiotte, E. Lefebvre, 2008 "The Louvain method" • Эвристический метод для жадной оптимизации модулярности • Несколько фаз • Вычислительно простой Модулярность: = 1 2 ෍ − 2 ( , )

Алгоритм Лёвена 28/16

Алгоритм Лёвена 29/16 Кластеры = 4, модулярность = 0.445.

Карате клуб Закари (Zachary’s karate club) 30/16

Карате клуб Закари (Zachary’s karate club) 31/16

Источники 32/16 • https://theconversation.com/the-math-behind-trumps-tweets-100314 • Santo Fortunato Community detection in graphs // Physics Reports. 2010. Vol. 486. Issues 3–5. Pp 75-174. • Материалы лекций Л.Е. Жукова по курсу «Social Network Analysis»

Алгоритмы выделения сообществ Анастасия Андреевна Корепанова м.н.с. лаборатории ТиМПИ [email protected] Максим Викторович Абрамов Доцент кафедры информатики [email protected]