Система анализа мнений и настроений граждан на базе PolyAnalyst

Transcript

1. Интеллектуально решение для анализа мнений и настроений жителей регионов РФ на базе платформы PolyAnalyst
2. АНАЛИЗ НАСТРОЕНИЙ ГРАЖДАН ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Команда аналитиков Мегапьютер в содействии научного коллектива Томского государственного университета на базе платформы PolyAnalyst разработали систему для мониторинга мнений и настроений граждан РФ на основе данных из социальной сети ВКонтакте. PolyAnalyst- российская платформа класса DSML (Data Science & Machine Learning) для анализа структурированных числовых и неструктурированных текстовых данных. Она включает в себя инструменты по сбору и агрегации данных, их анализу, формированию отчетности и интерактивной визуализации результатов на основе технологий BI. ЗАГРУЗКА ДАННЫХ ИЗ ЛЮБЫХ ИСТОЧНИКОВ Загрузка данных из: файлов, баз данных, электронной почты, социальных сетей, web- ресурсов, интеграция с ИС через API ПОДГОТОВКА И УПРАВЛЕНИЕ ДАННЫМИ Очистка, преобразование данных, агрегация, удаление дубликатов, унификация представления, сведение, конкатенация МАШИННОЕ ОБУЧЕНИЕ И ТЕКСТОВЫЙ АНАЛИЗ Классификация, кластеризация, извлечение сущностей и фактов, выявление тенденций, прогностические алгоритмы, 30 алгоритмов машинного обучения ВИЗУАЛИЗАЦИЯ И ЭКСПОРТ Выбор и настройка из более чем двух десятков типов визуализаций, построение интерактивных веб-отчетов, включающих графику, текст, лого, изображения
3. ОСОБЕННОСТИ ФУНКЦИОНАЛА POLYANALYST
4. Poly Analyst .doc www Перечень доступных коннекторов к источникам данных постоянно пополняется. На сегодняшний день представлены собственные средства загрузки информации практически из всех существую источников данных. Команда быстро разработает новый коннектор при возникновении необходимости подключения к новому источнику. МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС ПЛАТФОРМА POLYANALYST ИСТОЧНИКИ ИНФОРМАЦИИ ФАЙЛЫ РАЗНЫХ ФОРМАТОВ TXT, CSV, DOC, DOCX, RTF, ODT, HTML, XLS, PDF, PPT, PPTX, И Т.Д. ИНТЕРНЕТ-ИСТОЧНИКИ И ФОРМАТЫ JSON, XML, FTP, RSS, Интернет-страницы, Twitter, Facebook АГРЕГАТОРЫ И ФИДЫ Brandwatch, SM2, Webhose РАСПРЕДЕЛЕННЫЕ ХРАНИЛИЩА Teradata (через ODBC) БАЗЫ ДАННЫХ Microsoft Access, ODBC, OLEDB ОПТИЧЕСКОЕ РАСПОЗНОВАНИЕ СИМВОЛОВ OCR Распознавание отсканированных документов и их структуры
5. Для осуществления эффективного анализа, а также применения алгоритмов машинного обучения и работы с естественным языком, сырые данные необходимо специальным образом подготовить и предобработать. Этот процесс включает в себя проведение следующих процедур: МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС ПЛАТФОРМА POLYANALYST ПРЕДОБРАБОТКА ИНФОРМАЦИИ Исправление орфографии Удаление неинформативного контента Удаление дублей Фильтрация данных Унификация представления
6. СПОСОБЫ ИНТЕГРАЦИИ POLYANLYST ПЛАТФОРМА POLYANALYST ИНТЕРФЕЙС ПРИКЛАДНОГО ПРОГРАММИРОВАНИЯ (API) Выполнение задач при запуске сервера или по расписанию. Уведомления о результатах выполнения. PolyAnalyst может быть интегрирован в бизнес процессы и информационные системы с привязкой по времени выполнения задачи. (например, в 10.00 получить данные из соц. сети, сопоставить с данными из СМИ, провести анализ, в 12.00 опубликовать для пользователя в WEB интерфейсе интерактивный отчет о результатах). Платформу можно настроить на выполнение аналитических процедур при обращении к ней в указанное заранее время и/или при реализации некоторого триггера, например, при наступлении некоторого события или обнаружении инцидента. ПЛАНИРОВЩИК ЗАДАНИЙ Выполнение задач при запуске сервера или по расписанию. Уведомления о результатах выполнения. КОМАНДНАЯ СТРОКА Выполнение проекта, узла или задачииз планировщика. Уведомления о результатах выполнения. PolyAnalyst имеет ряд встроенных интеграционных инструментов для решения подобных задач. МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
7. • PolyAnalyst включает в себя основные, признанные профессиональным сообществом и Data Science практиками алгоритмы машинного обучения и модели предиктивной аналитики (более 40). • Часть из них использована для обработки данных в рамках проекта «Анализ мнений и настроений граждан». МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС ПЛАТФОРМА POLYANALYST АЛГОРИТМЫ МАШИННОГО ОБУЧЕНИЯ АНАЛИЗ СВЯЗЕЙ Анализ социальных сетей, корреляционный анализ, факторный анализ ГЛУБОКОЕ ОБУЧЕНИЕ BERT, LSTM, рекуррентные нейронные сети, сверточные нейронные сети КЛАССИФИКАЦИЯ SVM, логистическая регрессия, байесовская классификация, метод ближайших соседей, деревья решений, случайный лес ПРЕДСКАЗАТЕЛЬНАЯ АНАЛИТИКА Регрессия, MARS, Сеть Кохонена, таблица решений, CHAID
8. МЕТОДЫ ТЕКСТОВОГО АНАЛИЗА ИЗВЛЕЧЕНИЕ ИНФОРМАЦИИ Извлечение ключевых слов, сущностей, фактов, отношений, анализ тональностей ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС КЛАССИФИКАЦИЯ Построение таксономий, текстовая классификация и кластеризация ПОИСК ВЗАИМОСВЯЗЕЙ Связи терминов, мониторинг упоминаемости Инструменты текстового анализа PolyAnalyst позволяют проводить наиболее полный анализ и формировать объективную картину отношения населения к планируемым и реализуемым проектам в рамках достижения национальных целей, давать оценку индикаторов проектов развития ПОДГОТОВКА ДАННЫХ Определение языка, индексирование, проверка орфографии, удаление дубликатов, поиск общих фрагментов
9. POLYANALYST КАК BI-СИСТЕМА ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС • Одной из важнейших задач проекта является вывод результатов обработки и анализа данных. • Преимуществом PolyAnalyst при решении такой задачи является наличие собственных средств – конструктора для формирования сценария BI анализа и визуализации результатов в различных форматах. • Это позволяет исключить необходимость применения внешних приложений для визуализации результатов анализа и построения отчетов. Веб отчеты PolyAnalyst это: • Богатая коллекция графических инструментов; • Удобный веб-интерфейс для работы в браузере; • Возможность многомерного представления результатов; • Высокая масштабируемость и производительности: поддержка крупных массивов данных и большого количества пользователей; • Работа в сети Интернет с использованием безопасного шифрованного канала доступа; • Широкие возможность по выбору и настройке цветовой схемы, типа визуализации, области детализации, отображения логотипов. Интерактивный отчет предиктивной модели распространения вируса SARS COVID-19 Дашборд системы автоматизированного конкурентного анализа
10. ПРОЕКТ АНАЛИЗА МНЕНИЙ И НАСТРОЕНИЙ ГРАЖДАН РЕГИОНОВ РФ
11. АЛГОРИТМ АНАЛИЗА ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС • Разработанное решение использует модель построенную на алгоритмах машинного обучения. Алгоритмы были обучены на корпусе документов, вручную размеченных по двадцати категориям и трем тональностям. • Применение алгоритмов машинного обучения позволяется системе автоматически в режиме реального времени классифицировать вновь загружаемые документы и строить визуальные отчеты для аналитика. • Датасет, анализируемый в рамках настоящего проекта был выгружен из социальной сети Вконтакте средствами и силами коллектива Томского Государственного Университета. • Объем данных составляет 2,5 миллионов записей.
12. РАБОЧЕЕ МЕСТО АНАЛИТИКА ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Модель анализирует сообщения пользователей соцсети, классифицирует их по 20 категориям1, определяет эмоциональную тональность2 (положительную, отрицательную или нейтральную), демонстрирует динамику изменения тональности3 в отдельно взятой категории, рассчитывает индекс удовлетворенности4. Результат анализа представлен как в общем по стране, таки по отдельно взятым регионам5. 1 2 3 4 5
13. ПРИКЛАДНАЯ АНАЛИТИКА ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Пользователь может анализировать высказывания жителей региона в разрезе каждой тематической категории и наблюдать за изменениями, происходящими в выбранной категории. Например: Отчетливо виден высокое количестве сообщений с отрицательной эмоциональной окраской в категории Экология среди жителей Красноярского края в июне, что связано с разливом 21 тыс. тонн дизельного топлива на ТЭЦ-3 в Норильске. При этом, уже через месяц происходит угасание интереса к теме и возвращения рассматриваемого параметра к уровню предыдущего периода. Похожая картина наблюдается в категории Протестный потенциал региона Хабаровский край. Практически с нулевого значения рост количества высказываний, характеризующих протестную активность. В сентябре объемы стабилизировались, но все же наблюдается сохранение определенного уровня интереса к категории.
14. DRILL-DOWN АНАЛИТИКА ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Системой предусмотрена возможность глубокой детализации данных и возможность обращения к первоисточнику - непосредственного просмотра содержания анализируемых сообщений, их фильтрация по дате, категории и региону. Например, аналитик может обратиться к любому сообщению из подборки региона Красноярский край по категории Экология за Июнь.
15. ЧТО «ПОД КАПОТОМ» ПРОЕКТА ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС • Простота работы с платформой PolyAnalyst и отсутствие необходимости написания программных кодов позволило менее чем за 2 недели разработать аналитический сценарий и пользовательский дашборд решения. • Сценарий анализа представляет последовательность соединенных, в соответствии с логикой сценария, функциональных узлов платформы. • Каждый узел - это отдельный алгоритм data mining или алгоритм работы с естественным языком NLP (Natural Language Processing). • Кроме того, сценарий содержит узлы, реализующие загрузку и предобработку, а также визуализации результатов. Технология «визуального программирования», применяемая в PolyAnalyst, позволяет оперативно развивать или вносить необходимые изменения в систему, например, добавлять новые источники данных или регулировать параметры анализа.
16. РЕШЕНИЕ ДЛЯ МИНИСТЕРСТВА ЦИФРОВОГО РАЗВИТИЯ РЕСПУБЛИКИ ДАГЕСТАН
17. АНАЛИЗ НАСТРОЕНИЙ В ДАГЕСТАНЕ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС При поддержке Минцифры Республики Дагестан решение было дополнено и адаптировано для работы с регионом: • Расширен объем анализируемых региональных сообществ; • Результаты анализа распределены географически по районам Республики. «Опыт развития искусственного интеллекта в Дагестане в ходе совещания был отмечен как один из самых успешных в субъектах РФ. Искусственный интеллект- неотъемлемая часть 21 века. Новые технологии становятся помощниками в повседневной жизни людей» Врио министра цифрового развития Республики Дагестан Сергей Снегирев 30 января в ходе совещания с Заместителем Председателя Правительства Дмитрием Чернышенко и Министром цифрового развития, связи и массовых коммуникаций Максутом Шадаевым опытом внедрения в регионе новых технологий поделился врио Министра цифрового развития Республики Дагестан Сергей Снегирев. Он выступил с докладом «Кадровый потенциал и заделы совершенствования работы в сфере искусственного интеллекта», включающим описание данного проекта.
18. ЭФФЕКТЫ АНАЛИЗА ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Рост уровня внимания руководства Республики к проблемам, как отдельных граждан, так и групп населения Определяются наиболее значимые факторы деятельности руководства региона. Поддерживается формирование сбалансированной управленческой политики за счет измерения уровня социального эффекта от деятельности исполнительных органов Выявляются прежде неизвестные актуальные запросы граждан
19. МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
20. МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Извлекаем и структурируем факты из текстовых документов Строим модели на основе аналитики и Искусственного Интеллекта Предоставляем кластерную платформу для анализа Больших Данных ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Оцифровываем и роботизируем бизнес-процессы Поддерживаем четверть компаний из списка Fortune 100 и еще более 100 клиентов 107 разработчиков, 16 лингвистов и аналитиков, 9 кандидатов наук Член Ассоциации Разработчиков Программных Продуктов «Отечественный софт» Платформа PolyAnalyst включена в реестр Российского ПО. Свидетельство №4414 №4414
21. КОМАНДА МЕГАПЬЮТЕР Алексей Русских Генеральный директор +7 (915) 424-23-45 russkikh@megaputer.ru Давид Сазонов Руководитель направления текстового анализа sazonov@megaputer.ru Сергей Ананян Исполнительный директор sananyan@megaputer.com Мегапьютер Интеллидженс Москва, ул. Бауманская 6, офис 723 +7 (499) 753-01-29 www.megaputer.ru ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Гольцов Дмитрий Руководитель коммерческого направления +7 (916) 111-95-49 goltsov@megaputer.ru