OpenTalks.AI - Андрей Тарасов, Анализ тональности текстов с использованием технологии deep learning

Transcript

1. Анализ тональности текстов с использованием технологии deep learning. OpenTalks.AI 2018 Винокуров Никита, Тарасов Андрей
2. Сентимент анализ – цель определить тональность высказывания в градационной шкале или дать количественную оценку (рейтинг). Анализ тональности Аспектно-сентиментный анализ – состоит не только в определении тональности высказывания, но и в оценке аспектов (подтем).
3. • Sentiment TreeBank • SyntaxNet • Dependency Parser Задачи • Морфологический, синтаксический анализ • Разрешение анафор • Разрешение омонимии • Rule Based правила поверх структуры • Тезаурусы эмоциональной лексики РуТез, WordNet-Affect, SentiWordNet Анализ тональности, основанный на структуре предложения
4. • Адаптация инструментов для Русского языка • Сленг • Эмодзи • Ирония и сарказм • Ошибки и опечатки • Флективность и структурная сложность Русского языка Анализа тональности для Русского языка
5. Сентимент анализ - Deep Learning model В основе архитектура Character-Aware Neural Language Models https://arxiv.org/pdf/1508.06615.pdf • Char Embedding • Три типа сверток 1x1, 1x2, 1x3 • Time Distributed HighWay • Bidirectional LSTM • Обучающая выборка ~8 млн. отзывов • Слова – число-буквенные символы длиной от 1 или последовательность от 2 символов -=:)|( • Частица «не» приклеивается к следующему слову • Обучение производится на отзывах различной длины 11, 31, 71, 101, … слов
6. Сентимент анализ - Deep Learning model Метрики качества • Среднее отклонение от верно проставленной метки равно 1.41 (шкале [0;10] • Количество верно поставленных пар в сравнении рейтинга пользователя и модели 93%.
7. Аспектно-сентиментный анализ - Deep Learning model Шаг 1. - Выделение аспектных терминов в предложении. Каждое слово в предложении классифицируется на: • Plot - Сюжет, сценарий • Director - Режиссёрская работа • Visuals - Визуальные эффекты, анимация, костюмы, оформление, грим • Actors - Игра актеров • Sound - Качество звуковых эффектов и саундтреки • Whole – Качество фильма в целом • Other – на аспектный термин
8. Аспектно-сентиментный анализ Deep Learning model Анимация с графикой на очень высоком уровне, все четко, до мелочей прорисовано, ярко и красиво. Шаг 1. - Выделение аспектных терминов в предложении.
9. Аспектно-сентиментный анализ - Deep Learning model Шаг 2 - В окрестности (+- n слов ) найденного аспекта производится определение тональности. Анимация с графикой на очень высоком уровн … … уровне, все четко, до мелочей прорисовано, ярко и красиво. Sentiment model scoring Sentiment model scoring
10. Аспектно-сентиментный анализ - Deep Learning model Для обучения модели асессорским отделом компании “Спутник” был подготовлен корпус по тематике фильмы и 6 аспектам: Аспект Обучающая выборка F1-мера Сюжет, сценарий 1 528 0.54 Игра актеров 1 907 0.76 Визуальные эффекты, анимация, костюмы, оформление, грим 438 0.59 Качество звуковых эффектов и саундтреки 227 0.62 Режиссёрская работа 436 0.77 Общие характеристики фильма 6 941 0.62 Определение не аспектных терминов 0.89
11. Демонстрация работы: Сентимент анализ Негатив Люди это шлак полный! Я не помню, чтобы мне так хотелось выйти из зала после 20 минут просмотра, но мы пошли компанией и решили досмотреть как комедию. Во время боевых сцен можно поржать, а тупые диалоги недоактеров вызывают рвотные позывы. Это позор товарищи. Score: 0.979 Позитив Фильм на самом деле достойный внимания, даже не ожидал что наш отечественный кинематограф способен выдавать настолько качественный продукт. Сюжет весьма оригинальный. Действительно все выполнено на уровне и получаешь удовольствие от просмотра. Score: 4.99
12. Демонстрация работы: Метод скользящих окон ОБОЖЕ! Самый милый и самый замечательный мультик. Персонажи разные и интересные, у каждого из них по своему сложная жизненная ситуация. Анимация с графикой на очень высоком уровне, все четко, до мелочей прорисовано, ярко и красиво. Саундтреки делают мультфильм еще оригинальнее. Он очень веселый, дарит море позитива и добра. Он учит верить в свои мечты и не бояться их, страх не должен помешать любимому делу. Именно такие мультики нужно показывать и взрослым, и детям. Рекомендую! • Текст проходится плавающим окнами в несколько слов со сдвигом в одно слово • Для каждого слова вычисляется вклад в результирующую оценку
13. Демонстрация работы: Аспект «Режиссерская работа» Title Year Median score Темный рыцарь: Возрождение легенды 2012 8.107270 Интерстеллар 2014 7.907740 Реквием по мечте 2000 7.832070 Джанго освобожденный 2012 7.784990 Остров проклятых 2009 7.738090 Начало (2010) 2010 7.685770 Фонтан (2006) 2006 7.684850 Черный лебедь (2010) 2010 7.580240 Девушка с татуировкой дракона (2011) 2011 7.492010 Загадочная история Бенджамина Баттона 2008 7.475300 Бесславные ублюдки 2009 7.474590 Город грехов 2: Женщина, ради которой стоит уб... 2014 7.416660 Великий Гэтсби (2013) 2013 7.409690 Хоббит: Нежданное путешествие 2012 7.222095
14. Демонстрация работы: Аспект «Визуальное восприятие» Title Year Median score Ходячий замок 2004 8.262935 Валл-И 2008 7.983825 Унесенные призраками 2001 7.952005 Легенды ночных стражей 2010 7.813030 Аватар 2009 7.745235 Дом: История путешествия 2009 7.734570 Иллюзионист (2010) 2010 7.730145 Коралина в Стране Кошмаров 2009 7.692800 Как приручить дракона 2010 7.687410 Семейка Крудс 2013 7.656955 Горбатая гора 2005 7.647260 Cirque du Soleil: Сказочный мир в 3D 2012 7.647000 Вверх 2009 7.636050 Ранго 2011 7.599770 Стартрек: Возмездие 2013 7.579330
15. Демонстрация работы: Аспект «Сценарий, сюжет» Title Year Median score Зеленая миля 1999 7.972240 Побег из Шоушенка 1994 7.796210 Идеальный незнакомец 2007 7.757090 Шестое чувство 1999 7.738630 Другие (2001) 2001 7.716385 Хатико: Самый верный друг 2008 7.697850 Ключ от всех дверей 2005 7.690975 Игра (1997) 1997 7.680360 Эффект бабочки 2003 7.669710 Мальчик в полосатой пижаме 2008 7.643340 Бойцовский клуб 1999 7.612610 Адвокат дьявола 1997 7.594440 Игры разума 2001 7.593670 Иллюзионист (2005) 2005 7.569325 Дом у озера 2006 7.558640
16. Спасибо!