Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CodeFest 2019. Владислав Лялин (Лаборатория нейронных систем и глубокого обучения МФТИ) — Сonversational AI: как сделать бота, который говорит как человек

16b6c87229eaf58768d25ed7b2bbbf52?s=47 CodeFest
April 05, 2019

CodeFest 2019. Владислав Лялин (Лаборатория нейронных систем и глубокого обучения МФТИ) — Сonversational AI: как сделать бота, который говорит как человек

Человеческий язык — самый естественный интерфейс. Для него не нужны мануалы, и люди всех возрастов могут его использовать. На данный момент не так много устройств, которые нас окружают, умеют говорить на человеческом языке, но это постепенно меняется. Устройства типа Яндекс.Станции, Amazon Alexa становятся всё более популярными и постепенно входят в нашу жизнь.

Как они устроены сейчас, чем хороши и плохи те или иные подходы, что может измениться в ближайшее время и при чём тут deep learning? Пару слов о самых важных результатах в обработке естественного языка за предыдущий год, основных проблемах разговорного искусственного интеллекта и тех чат-ботах, которые и правда работают. И чуть больше, чем пара слов — о библиотеке DeepPavlov для разработки таких чат-ботов.

16b6c87229eaf58768d25ed7b2bbbf52?s=128

CodeFest

April 05, 2019
Tweet

Transcript

  1. Сonversational AI как сделать бота, который говорит как человек Владислав

    Лялин Разработчик iPavlov
  2. Кто мы есть Лаборатория нейронных систем и глубокого обучения МФТИ

    Проект iPavlov.ai • Исследования в области NLP • Библиотека NLP-решений DeepPavlov.ai 2
  3. Why Conversational AI? 3

  4. Personal assistants • Siri • Google Assistant • Alexa •

    Алиса • “Олег” от Tinkoff (?) • что дальше? 4
  5. 5

  6. Personal assistant skills 6 • > 50 000 скилов у

    Алексы • x2 за 2018 год • скилы Алексы могут быть платными • или могут предоставлять доступ к вашей платной услуге (заказ пиццы, покупка билетов на самолёт, ...) • люди готовы платить голосом (ну почти)
  7. 7

  8. Personal assistants • Siri • Google Assistant • Alexa •

    Алиса • “Олег” от Tinkoff (?) • что дальше? 8
  9. Диалоговые системы раньше 9 Scalability problem

  10. Диалоговые системы сейчас 10

  11. 11

  12. Успехи глубокого обучения 12 • Распознавание изображений: Google, Facebook, etc.

    • Машинный перевод: Google, Yandex, etc. • Game playing: Atari games, Го, Starcraft, etc. source: Stanford cs224n
  13. 13

  14. Chit-chat 14

  15. Персонализация 15 NeurIPS 2018 ConvAI2 Challenge: Persona-driven Dialogue Задача: сделать

    диалогового агента, обуславливающегося на заданную личность
  16. Персонализация 16 NeurIPS 2018 ConvAI2 Challenge: Persona-driven Dialogue

  17. None
  18. Больше chit-chat: Xiaoice 18

  19. Xiaoice: Socialbot 19 Shum, Heung-Yeung, XiaodongHe, and Di Li. "From

    Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots." arXiv:1801.01957 (2018).
  20. Xiaoice: Socialbot 20 Shum, Heung-Yeung, XiaodongHe, and Di Li. "From

    Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots." arXiv:1801.01957 (2018).
  21. Xiaoice: Socialbot 21 Shum, Heung-Yeung, XiaodongHe, and Di Li. "From

    Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots." arXiv:1801.01957 (2018).
  22. 22 Yun-Nung(Vivian) Chen, Towards Open-Domain Conversational Ai, EMNLP SCAI Workshop

    (2018).
  23. Успехи глубокого обучения 23 • Распознавание изображений: Google, Facebook, etc.

    • Машинный перевод: Google, Yandex, etc. • Game playing: Atari games, Го, Starcraft, etc. source: Stanford cs224n
  24. Успехи глубокого обучения 24 • Распознавание изображений: ImageNet: 15 млн

    • Машинный перевод: ~миллионы пар предложений • Game playing: ~10 млн игр source: Stanford cs224n
  25. Размеры датасетов в NLP 25 source: Stanford cs224n

  26. … и это для основных задач на английском 26 source:

    Stanford cs224n
  27. Больше датасетов! 27

  28. Transfer Learning 28 SWAG: A Large-Scale Adversarial Dataset for Grounded

    Commonsense Inference (EMNLP 2018) allennlp.org/elmo
  29. 29

  30. Предтренировка моделей • ULMfit ~ несколько дней на GPU •

    ELMo ~ 6 недель на GPU • BERT ~ 1 год на GPU • GPT-2 ~ 10 лет на GPU 30
  31. Предтренировка моделей • ULMfit ~ несколько дней на GPU •

    ELMo ~ 6 недель на GPU • BERT ~ 1 год на GPU • GPT-2 ~ 10 лет на GPU 31 deeppavlov.ai
  32. Цели DeepPavlov Предоставить разработчикам и исследователям: • предобученные модели •

    готовые компоненты диалоговых систем (ML/DL/Rule-based) • агенты для типичных сценариев 32
  33. Цели DeepPavlov Предоставить разработчикам и исследователям: • фреймворк для имплементирования

    и тестирования диалоговых систем • инструменты для интеграции в мессенджеры, имеющуюся инфраструктуру • benchmarking environment для моделей • простой доступ к датасетам 33
  34. 34

  35. Что есть уже сейчас 35

  36. Конфиги 36

  37. Спелл-чекер 37

  38. Распознавание интентов (DSTC2) 38

  39. Распознавание именованных сущностей 39 “Application of a Hybrid Bi-LSTM-CRF model

    to the task of Russian Named Entity recognition” https://arxiv.org/pdf/1709.09686.pdf
  40. Распознавание именованных сущностей 40 docs.deeppavlov.ai/en/master/components/ner.html

  41. Open Domain Question Answering 41

  42. Open Domain Question Answering 42

  43. Open Domain Question Answering 43 www.starwars.com

  44. DeepPavlov 0.2.0 44

  45. @dropout05 Владислав Лялин Разработчик iPavlov Вопросы? facebook.com/guitaricet github.com/guitaricet lyalin@phystech.edu