Анализ дружеских связей VK с помощью Python

Все началось со статьи, в которой рассказывалось о построении социальных графов с помощью Wolfram Mathematica. Тогда не смог пройти мимо, и мой доклад будет о том, как все это сделать на любимом Python.

Лев Тонких
Moscow Python Meetup №30

Transcript

2. 40 50+ 500+ 1500 млн человек суммарная аудитория группы количество изданий, сервисов и проектов разработчиков человек в хорошей компании
3. Livejournal Gazeta.ru Begun Price Ferra Redigo Letidor Канобу Видео Секрет фирмы Рамблер Инфографика Новости Почта Финансы Недвижимость Погода Гороскопы Субботний Рамблер Путешествия Касса Еда Город Воздух Волна Рестораны Мослента Lenta.ru Афиша Motor Championat Quto Рамблер Видеостудия
4. Языки и технологии
5. Контакты В группе компаний Rambler&Co всегда есть открытые вакансии для тех, кто хочет профессионально расти и развиваться, занимаясь тем, что по-настоящему нравится hr@rambler-co.ru www.rambler-co.ru/jobs
6. Social Graph Лев Тонких. Афиша Рестораны
7. Wolfram|Alpha Personal Analytics
8. Статья на Хабре Анализ дружеских связей VK с помощью Wolfram Mathematica “На моих 333 друзьях это заняло 119 секунд” - автор об получении списка общих друзей
9. ??? http:// habrahabr.ru/ post/216831/ 119???
10. Wolfram Mathematica
11. Граф дружеских связей VK.COM VK API Получить данные Визуализация графа
12. Что нужно? Python 3.4 requests (lib) d3 (visualization) Firefox (XMLHttpRequest)
13. Standalone/Mobile-приложения Создаем свое Подтверждаем права Попадаем в стр. управления (ID)
14. Авторизация приложения Аутентификации юзера на сайте Разрешение юзером доступа к данным Передача в приложение access_token
15. Используемые методы users.get friends.get friends.getMutual execute
16. Предположим 25 друзей С каждым другом есть 1 общий друг
17. Схема 1
18. Схема 2
19. Схема 3
20. Немного про execute code (VkScript) 25 обращений к методам API
21. Схема 4
22. 25 раз! return { API.friends.getMutual({"source_uid":id_s, "target_uid":id_t}), // * 25 };
23. Хранимые процедуры На том же VkScript execute.getMutual?source=id&targets=ids
24. Схема 5
25. Время выполнения 333 друга - 119 сек. VS 348 друзей - 9 сек.
26. Harder, Better, Faster, Stronger
27. Ошибки в доках 'error_msg': 'Access denied: user deactivated', 'error_code': 15 спустя 2 дня: + uid вместо user_id
28. In The End [({Ваш друг}, [{}, {}]),()] Генерим json d3 + добавляем картинки к каждому узлу
30. На этом можно было бы и остановиться
31. Получение списка вглубь 1.14 2.2427 3.223 098 - не конечное значение => Big Data (объем, скорость, многообразие)
32. Слишком медленно Хранимые процедуры не спасают Мнопоточность - быстрее на несколько секунд Нужен MAP REDUCE: Распределенные задачи Ноды/Инстансы
33. Клиенты execute == 25 запросов с одного => 5 клиентов == 125 запросов в секунду Можно обрабатывать ошибки и sleep() Вечный None
34. Remote Procedure Call Главный сервер получает id и код операции Делает запрос на всех друзей -- data data/25(75) -- части Каждую часть доставляем получателю Получатели принимают контакты, делают запросы, возвращают Info поставщику
35. RPC Как только все ответы получены -- объединяем их в один
36. Что нужно Брокер сообщений (Почта) Асинхронная распределенная очередь заданий (Воркеры)
37. Конфигурации
38. Ограничения ВКонтакте 3 з/с с одного id 25 обращений к API => 75 !!! 3-4 токена
39. Итого Переписать 90% кода RPC Брокер Асинхронная очередь Общие друзья / глубинные друзья || запускаем задания, склеиваем ответ
40. Общие друзья 343 за 119с VS 348 за 9с => в 12 раз быстрее 1 воркер: 308 за 4.2с; 2 воркера: за 2с => в 60 раз быстрее
41. Глубинные друзья глубина = 2 ключей 1251 Вначале 17.9с 1 Воркер: 15.1с 2 Воркера: 8.2с
42. Ожидание
43. Сохранение результата Все в оперативной памяти Никаких графо-ориентированных БД Выгрузка/загрузка - pickle
44. Анализ графа matplotlib networkx Метод университета Райса (Rice University) Convert Dictionary Graph Representation into networkx Graph Representation
45. Строим граф 306 вершин 2096 ребер Общие друзья
46. Данные бывают разные Граф глубинных друзей лучше не рисовать 1: 10 2: 1234 ключа, 517 174 id (419 на 1) Количество вершин: 370341 Количество ребер: 512949
47. Связный граф глубина = 1 1268 вершин 1329 ребер
48. Алгоритмы Диаметр, центр, радиус Page Rank Коэффициент кластеризации ...всего 148 алгоритмов networkx.github.io/documentation/ networkx-1.9/reference/algorithms.html
49. Итого Ускорил в 60 раз Можно “модифицировать” Горизонтальное масштабирование Глубинные друзья 148 алгоритмов + можно тестировать и писать свои
50. vk_friends Habrahabr Github
51. Спасибо!