ASR

Transcript

1. Automatic speech recognition
2. Sound › Возникает в результате вибрации объекта › Вибрация вызывает колебания молекул воздуха › Изменения давления воздуха создают волну Как выделить ключевую мысль и сделать списки
3. Analog to digital conversion › Sampling › Quantization Как выделить ключевую мысль и сделать списки
4. Sampling Как выделить ключевую мысль и сделать списки › Человек воспринимает частоты в диапазоне 20Hz — 20kHz › 8 kHz / 16 kHz для телефонии
5. Quantization Как выделить ключевую мысль и сделать списки › Обычно используют 16 бит
6. Audio features Как выделить ключевую мысль и сделать списки › Time-domain features › Frequency domain features › Time-frequency domain features
7. Time-frequency domain features › Нарезаем сигнал на кусочки с перекрытием › Применяем преобразование Фурье к каждому кусочку › Делаем дополнительные преобразования частотной шкалы
8. Time-frequency domain features › Разрывы на концах сигнала создают шум
9. Time-frequency domain features › Используют сглаживание сигнала оконными функциями (Hann window, например)
10. Time-frequency domain features › В результате сглаживания теряем информацию на концах › Поэтому нарезаем сигнал с перекрытием
11. Spectrogram
12. Logarithmic scale › Люди воспринимают частоты в логарифмической шкале › Существуют различные преобразования частотной шкалы: Mel scale, Mel filter banks, Mel-frequency cepstrum, etc.
13. Speech recognition problem Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › Принимаем на вход аудио › Отдаем текст, который был произнесен
14. Word Error Rate Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › S — число замен › D — число удалений › I — число вставок Также встречаются Character Error Rate, Sentence Error Rate
15. Seq2seq speech recognition Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › Принимаем последовательность «фреймов» › Отдаем последовательность символов/ слов/subword’ов
16. Frame-level predictions Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › Можно делать предсказания для каждого «фрейма», избавившись от авторегрессии
17. Connectionist Temporal Classification Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › Добавляем в словарь новый символ — «blank»
18. Connectionist Temporal Classification Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ
19. Connectionist Temporal Classification Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › Динамическим программированием считаем вероятность всевозможных выравниваний текста на «фреймы» › Loss — это логарифм вероятности › Динамическим программированием считаем градиент › Ответ выбираем жадно, либо делаем beam search
20. Connectionist Temporal Classification Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ
21. Language models Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › Можно делать rescoring гипотез на последнем шаге beam search › Можно делать rescoring непосредственно во время декодирования (shallow fusion) › Deep fusion, cold fusion
22. Transformers
23. Transformers
24. Transformers
25. Why Transformers for ASR? Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › State of the art в различных language-based задачах › Естественная интеграция transformer-based языковых моделей
26. Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ Как выделить ключевую мысль и сделать списки
27. Baseline
28. Remove convolutions
29. Frame stacking
30. Frame stacking with time signal
31. Final architecture
32. LM integration
33. LM integration
34. Future research › Контекст для акустики и языковой модели › Дообучение языковой модели совместно с основной моделью › Онлайн распознавание Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ Как выделить ключевую мысль и сделать списки