Обзор сервисов по работе с голосом в мире Android и за его пределами

Transcript

1. Обзор сервисов по работе с голосом в мире Android и за его пределами
2. Android-разработчик. Luka Inc. Replika AI.
5. Зачем?
9. Типы взаимодействия
10. Типы взаимодействия
11. История развития SpeechR ecognizer TextToSpeech G oogle N ow A P I.A I / A lw aysO nH otw ordD etection Voice A ctions / Voice Interaction A P I G oogle A ssistant 2009 2012 2019 2010 2011 2015 TF Lite / N N A P I M L K it Android No API Google © elainedbatista
12. Speech Recognition
13. Word Error Rate
14. Speech recognition • Speech Recognizer Android API • PocketSphinx • Yandex Speech Kit
15. Speech Recognizer Android • Подходит только для кратких запросов • Проблемы на китайских девайсах • Часть настроек не работают • Системный звук до и после распознавания • Нет поддержки Hotword • Простой API • Отсутствие внешних зависимостей • Большой набор языков • Бесплатный • Низкий WER https://developer.android.com/reference/android/speech /SpeechRecognizer
16. PocketSphinx • Ограниченный словарь • Сложный API • Высокий WER • Прибавляет к весу APK • Open source • Множество настроек • Возможность использования своего “словаря” • Поддержка hot word • Скорость работы • 100% Offline • Бесплатный https://cmusphinx.github.io/wiki/tutorialandroid/
17. Yandex SpeechKit • Только 4 языка • Нет offline • Прибавляет к весу APK • Платный • Terms of use • Russian-first • Простой, но богатый API • Hot word • Удобный доступ к биометрии из коробки https://github.com/yandexmobile/yandex-speechkit-android
18. Speech recognition • Google Speech-to-Text • Microsoft Azure Speech to Text • Others (Yandex, Amazon, IBM Watson, Temi … )
19. https://hackernoon.com/hello-from-the-mobile-side-tensor flow-lite-in-speaker-recognition-7519b18c2646
20. Text to Speech
21. Text to Speech • Android TextToSpeech API • Yandex SpeechKit
22. Text to Speech • Google Text-To-Speech (WaveNet) • Amazon Polly • Microsoft Azure
23. Интеграции
24. API.AI / DialogFlow
25. Voice Actions / Voice Interaction API
26. Android App Actions https://youtu.be/vQALSeGy9aY
27. Android App Actions
28. Android App Actions
29. Android App Actions
30. Выводы
31. Выводы: • У локального распознавания речи много ограничений • При выборе инструмента надо смотреть на WER • Для длительного распознавания больше подходят облачные решения • Для нетривиальных задач можно использовать TensorFlow • Можно получать диплинки от Google Assistant
32. Спасибо! Q & A