CodeFest 2019. Владислав Лялин (Лаборатория нейронных систем и глубокого обучения МФТИ) — Сonversational AI: как сделать бота, который говорит как человек

Человеческий язык — самый естественный интерфейс. Для него не нужны мануалы, и люди всех возрастов могут его использовать. На данный момент не так много устройств, которые нас окружают, умеют говорить на человеческом языке, но это постепенно меняется. Устройства типа Яндекс.Станции, Amazon Alexa становятся всё более популярными и постепенно входят в нашу жизнь.

Как они устроены сейчас, чем хороши и плохи те или иные подходы, что может измениться в ближайшее время и при чём тут deep learning? Пару слов о самых важных результатах в обработке естественного языка за предыдущий год, основных проблемах разговорного искусственного интеллекта и тех чат-ботах, которые и правда работают. И чуть больше, чем пара слов — о библиотеке DeepPavlov для разработки таких чат-ботов.

Transcript

1. Сonversational AI как сделать бота, который говорит как человек Владислав Лялин Разработчик iPavlov
2. Кто мы есть Лаборатория нейронных систем и глубокого обучения МФТИ Проект iPavlov.ai • Исследования в области NLP • Библиотека NLP-решений DeepPavlov.ai 2
3. Why Conversational AI? 3
4. Personal assistants • Siri • Google Assistant • Alexa • Алиса • “Олег” от Tinkoff (?) • что дальше? 4
6. Personal assistant skills 6 • > 50 000 скилов у Алексы • x2 за 2018 год • скилы Алексы могут быть платными • или могут предоставлять доступ к вашей платной услуге (заказ пиццы, покупка билетов на самолёт, ...) • люди готовы платить голосом (ну почти)
8. Personal assistants • Siri • Google Assistant • Alexa • Алиса • “Олег” от Tinkoff (?) • что дальше? 8
9. Диалоговые системы раньше 9 Scalability problem
10. Диалоговые системы сейчас 10
12. Успехи глубокого обучения 12 • Распознавание изображений: Google, Facebook, etc. • Машинный перевод: Google, Yandex, etc. • Game playing: Atari games, Го, Starcraft, etc. source: Stanford cs224n
14. Chit-chat 14
15. Персонализация 15 NeurIPS 2018 ConvAI2 Challenge: Persona-driven Dialogue Задача: сделать диалогового агента, обуславливающегося на заданную личность
16. Персонализация 16 NeurIPS 2018 ConvAI2 Challenge: Persona-driven Dialogue
18. Больше chit-chat: Xiaoice 18
19. Xiaoice: Socialbot 19 Shum, Heung-Yeung, XiaodongHe, and Di Li. "From Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots." arXiv:1801.01957 (2018).
20. Xiaoice: Socialbot 20 Shum, Heung-Yeung, XiaodongHe, and Di Li. "From Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots." arXiv:1801.01957 (2018).
21. Xiaoice: Socialbot 21 Shum, Heung-Yeung, XiaodongHe, and Di Li. "From Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots." arXiv:1801.01957 (2018).
22. 22 Yun-Nung(Vivian) Chen, Towards Open-Domain Conversational Ai, EMNLP SCAI Workshop (2018).
23. Успехи глубокого обучения 23 • Распознавание изображений: Google, Facebook, etc. • Машинный перевод: Google, Yandex, etc. • Game playing: Atari games, Го, Starcraft, etc. source: Stanford cs224n
24. Успехи глубокого обучения 24 • Распознавание изображений: ImageNet: 15 млн • Машинный перевод: ~миллионы пар предложений • Game playing: ~10 млн игр source: Stanford cs224n
25. Размеры датасетов в NLP 25 source: Stanford cs224n
26. … и это для основных задач на английском 26 source: Stanford cs224n
27. Больше датасетов! 27
28. Transfer Learning 28 SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference (EMNLP 2018) allennlp.org/elmo
30. Предтренировка моделей • ULMfit ~ несколько дней на GPU • ELMo ~ 6 недель на GPU • BERT ~ 1 год на GPU • GPT-2 ~ 10 лет на GPU 30
31. Предтренировка моделей • ULMfit ~ несколько дней на GPU • ELMo ~ 6 недель на GPU • BERT ~ 1 год на GPU • GPT-2 ~ 10 лет на GPU 31 deeppavlov.ai
32. Цели DeepPavlov Предоставить разработчикам и исследователям: • предобученные модели • готовые компоненты диалоговых систем (ML/DL/Rule-based) • агенты для типичных сценариев 32
33. Цели DeepPavlov Предоставить разработчикам и исследователям: • фреймворк для имплементирования и тестирования диалоговых систем • инструменты для интеграции в мессенджеры, имеющуюся инфраструктуру • benchmarking environment для моделей • простой доступ к датасетам 33
35. Что есть уже сейчас 35
36. Конфиги 36
37. Спелл-чекер 37
38. Распознавание интентов (DSTC2) 38
39. Распознавание именованных сущностей 39 “Application of a Hybrid Bi-LSTM-CRF model to the task of Russian Named Entity recognition” https://arxiv.org/pdf/1709.09686.pdf
40. Распознавание именованных сущностей 40 docs.deeppavlov.ai/en/master/components/ner.html
41. Open Domain Question Answering 41
42. Open Domain Question Answering 42
43. Open Domain Question Answering 43 www.starwars.com
44. DeepPavlov 0.2.0 44
45. @dropout05 Владислав Лялин Разработчик iPavlov Вопросы? facebook.com/guitaricet github.com/guitaricet lyalin@phystech.edu