Introduction to Natural Language Processing Lecture in Ufa State Aviation Technical University

This lecture is part of a machine learning course in Ufa State Aviation Technical University for professors, lecturers and students

Transcript

1. Борис Зубарев. Модульбанк Natural Language Processing Введение
2. Классические задачи машинного обучения Tinkoff Data Science Challenge
3. Классические задачи машинного обучения feature 1 feature 2 … feature n Клиенты feature 1 feature 2 … feature n Услуги feature 1 feature 2 … feature n Транзакции feature 1 feature 2 … feature n Еще данные Dataset feature feature feature feature feature feature feature feature feature feature … feature n Обработка
4. NLP задачи
5. NLP задачи
6. NLP задачи
7. NLP задачи male middle-aged hi hello sir what can i help you with i'd like to book a table in a cheap price range with french food for six people i'm processing the request <SILENCE> where should it be located london please ok sir i'm looking for options for you <SILENCE> api_call french london six cheap
8. NLP задачи text yet another text … maybe target feature feature feature feature feature … feature feature feature feature feature please stop
9. Что есть в тексте • Пунктуация , . ; !!! • Смайлики :) =D • Хештеги #awesomeSaturday • Сокращения тр физ лицо • Буквенные н-граммы ох аа • Отрицания не • Аббревиатуры УСН ДКО • Удлиненное слово ууууууух • Регистр ДА НИ ЗА ЧТО • Города Уфа Москва • ФИО людей Люда Борис Альфия • Адреса ул. Маршала Жукова • Даты 23 июня 1912 г. • Названия организаций ООО «Рога и Копыта» • Номера телефонов 891721405325 • Сайты vk.com • Денежные суммы 2 млн дол • И еще куча нюансов под вашу задачу
10. Извлечение • RegExp • Томита-парсер • NER (CRF, RNN) re.sub('[^а-яА-Я0-9a-zA-Z]', ' ', request) Много конфигов
11. Морфология • Стемминг • Лемматизация Оставляет основу слова Рукой — рук Переводит слово в начальную форму Рукой — рука
12. Стоп-слова • Самые частые и самые редкие слова • Стоп-слова только для вас e.g. предлоги Эмоционально окрашенные слова
13. N-граммы Где мне увидеть мои реквизиты Где мне мне увидеть увидеть мои мои реквизиты
14. N-граммы Где мне увидеть мои реквизиты Где мне мне увидеть увидеть мои мои реквизиты Где увидеть мне мои увидеть реквизиты Skip
15. N-граммы n w1 w2 1 of the 2 in the … … … 25 New York
16. N-граммы n w1 w2 1 of the 2 in the … … … 25 New York n w1 w2 1 New York 2 United States 3 last year … … … Фильтр по частям речи
17. Коллокации Что для вашего корпуса является коллокацией?
18. Коллокации Что для вашего корпуса является коллокацией? Могут иметь разрыв Долбиться в дверь — долбиться в чужую дверь
19. Коллокации • Экспертное знание • Статистические критерии (t-критерий, хи-квадрат) • MI (Mutual information)
20. Term-document matrix как сменить тариф телефон куда нажать сотрудник D1 1 1 1 0 0 0 0 D2 1 1 0 1 0 0 0 D3 0 0 0 0 1 1 0 D4 1 1 0 0 0 0 1
21. Vectors similarity • Dot product • Cosine • Dice • Jaccard
22. Vectors similarity • Dot product • Cosine • Dice • Jaccard
23. Term-document matrix как сменить тариф телефон куда нажать сотрудник D1 1 1 1 0 0 0 0 D2 1 1 0 1 0 0 0 D3 0 0 0 0 1 1 0 D4 1 1 0 0 0 0 1 SGD Classifier, SVM, kNN, etc
24. Term-document matrix как сменить тариф телефон куда нажать сотрудник D1 1 1 1 0 0 0 0 D2 1 1 0 1 0 0 0 D3 0 0 0 0 1 1 0 D4 1 1 0 0 0 0 1 Снижение размерности SGD Classifier, SVM, kNN, etc
25. TF-IDF • TF — term frequency • IDF — inverse document frequency • TF-IDF
26. TF-IDF как сменить тариф телефон куда нажать сотрудник D1 0.2 0.33 0.4 0 0 0 0 D2 0.2 0.33 0 0.37 0 0 0 D3 0 0 0 0 0.25 0.4 0 D4 0.2 0.33 0 0 0 0 0.43
27. Word2vec Skip-gram CBOW
28. Word2vec
29. Word2vec T-SNE
30. Word2vec
31. Word2vec word2vec(‘king’) - word2vec(‘man’) + word2vec(‘woman’) = ?
32. Word2vec word2vec(‘king’) - word2vec(‘man’) + word2vec(‘woman’) = word2vec(‘queen’)
33. Word — Sentence • Усреднение векторов • Усреднение w2v * tf-idf • Skip-thought vectors (RNN, предсказываем предложения) • Doc2vec • RNN
34. Topic Modeling • Матричное разложение term-document matrix • Phi = p(w|t) — вероятность терминов w в каждой теме t • Theta(td) = p(t|d) — вероятность тем t в каждом документе d
35. Topic Modeling • Матричное разложение term-document matrix • Phi = p(w|t) — вероятность терминов w в каждой теме t • Theta(td) = p(t|d) — вероятность тем t в каждом документе d
36. Topic Modeling
37. • Разреженность Topic Modeling
38. • Максимизируется логарифм правдоподобия PLSA ndw — число вхождений термина w в документ d
39. ARTM — разделение тем на предметные и фоновые; — регуляризатор отбора тем; — etc
40. ARTM — разделение тем на предметные и фоновые; — регуляризатор отбора тем; — etc Мультимодальные
41. ARTM
42. ARTM
45. Goal-Oriented Dialog System Вопрос клиента NLU NER Intent Classifier Dialog Manager State Tracker Additional Conditions NLG Database DSL Ответ чатбота API
46. Spell-checker Как смУнить тариф? сманить сменить Hunspell LanguageTool Jamspell
47. Spell-checker Как смУнить тарф? сманить сменить тариф торф Hunspell LanguageTool Jamspell
48. Spell-checker Как смУнить тарф? сманить сменить тариф торф Hunspell LanguageTool Jamspell w1 w2 w3 p(w2) p(w3)
49. Spell-checker Как смУнить тарф? сманить сменить тариф торф Hunspell LanguageTool Jamspell w1 w2 w3 p(w2) p(w2 | w1) p(w3 | w2) p(w3)
50. CallFlow Название Диаметр Заказать пиццу Адрес Время Количество персон
51. CallFlow Название Диаметр Заказать пиццу Адрес Время Количество персон Переспросить, если непонятно
52. CallFlow Название Диаметр Заказать пиццу Адрес Время Количество персон Переспросить, если непонятно Подтвердить да/нет (опционально)
53. CallFlow Название Диаметр Заказать пиццу Адрес Время Количество персон Переспросить, если непонятно Подтвердить да/нет (опционально) Будете что-нибудь еще? Первый пункт
54. CallFlow > Откройте мне депозит < На какую сумму вы бы хотели открыть депозит? > 500 тысяч рублей < На какой срок вы хотите открыть депозит? > 90 дней < Депозит откроем в течение 10-ти минут
55. CallFlow > Откройте мне депозит < На какую сумму вы бы хотели открыть депозит? > 500 тысяч рублей < На какой срок вы хотите открыть депозит? > 90 дней < Депозит откроем в течение 10-ти минут Добрый день, откройте мне депозит на 500 тысяч рублей на 90 дней
56. FormFilling
57. FormFilling Добрый день, откройте мне депозит на 500 тысяч рублей на 90 дней open deposit value: 500000 currency: rub days: 90
58. FormFilling Добрый день, откройте мне депозит на 500 тысяч рублей на 90 дней open deposit value: 500000 currency: rub days: 90 Стек форм Вложенные формы
59. Chit-chat • Информационный поиск • Генерация текста Vectors similarity seq2seq
60. DSSM Cos Hidden layers Вопрос Ответ Featuring Featuring
63. Спасибо за внимание! @BobaZooba