ML в VoIP

Transcript

1. ML в VoIP
2. ЗАДАЧИ 01
3. Постановка задачи ▪ Общие понятия ▪ Алгоритмы: ◦ Классификация ◦ Градиентный спуск ◦ Нейронные сети ▪ Обработка данных ▪ Видео ▪ Аудио ▪ Текст ▪ В реальном времени ▪ … или нет
4. Инструменты для демонстрации ▪ Язык: python ▪ Open Source ▪ Anacondas ▪ Jupiter Notebook ▪ MCU Sphinx
5. Обработка данных в VoIP ▪ Активность пользователей ▪ Обнаружение аномалий Области применения: ▪ Антифрод системы Анализ CDR и логов: ▪ Анализ изображения ▪ Определение эмоций ▪ Разделение аудио Области применения: ▪ HR-сервисы ▪ Валидация пользователя Анализ видео:
6. Текст ▪ NLU ◦ Графематический анализ ◦ Морфологический анализ ◦ Синтаксический анализ ◦ Анализ тональности Обработка текста ▪ Выделение интента ▪ Выделение сущностей ▪ Машинный перевод ▪ Синтез речи
7. Аудио ▪ Распознавание речи (в т.ч. в реальном времени) ▪ Эмоции ▪ Диаризация ▪ Разделение аудио на звуковые дорожки ▪ Шумоподавление ▪ Язык говорящего ▪ Акцент ▪ Интонация ▪ Фоновые шумы ▪ Синтезирован голос или нет? Дополнительные метрики
8. Как учится и когда применять? ▪ Участие в соревнованиях (Kaggle и т.п.) ▪ Разбор примеров и статей ▪ ML должен использоваться тогда, когда остальные способы уже не работают ▪ “Мне нужен КЦ на нейронках”
9. Теория: Синтез 02
10. Синтез ▪ Достаточно 24 часа речи ▪ На входе: спектрограмма ▪ Tacotron2 (CNN) ◦ MOS: 4.526 ◦ Слои для наложения стилей ◦ Эмоции, интонации
11. Теория: Распознавание 03
12. Распознавание речи ▪ Одна из самых полезных ▪ Вход: сигнал ▪ Выход: текст ▪ Человек умеет - значит задача реализуема Одна из самых полезных задач =>
13. Pipeline
14. Теория Осцилограмма
15. Fast Fourier Transform (FFT) / STFT ▪ Высота тона (60-400Гц) ▪ Обертоны ▪ STFT понятнее чем сигнал Как получить?
16. Спектрограмма
17. Спектрограмма
18. Теория ▪ Учесть особенности уха и речи ◦ Разное восприятие частот ◦ Гармоники при произношении гласных Как получить более пригодные данные?
19. MEL Спектрограмма
20. MEL Спектрограмма
21. MFCC
22. WER и Word Accuracy WER = (I + S + D) / N ▪ I - вставка ▪ S - замена ▪ D - удаление ▪ I+S+D - edit distance ▪ Может быть больше 100%
23. WER
24. Прогресс WER = (I + R + D) / N ▪ 11 лет прогресс на месте ▪ Мощность CPU растет ▪ В 2011 году - ImageNet (Geoffrey Hinton, MS) ▪ Качество стало выше качества традиционного pipeline
25. Датасеты ▪ Voxforge - 24 часа (пофонемная разметка) ▪ Open_TTS - 3000h+ ▪ Авторазметка (Витерби/FBA) ▪ Нейросетевой - Attention
27. Датасеты ▪ Voxforge - 24 часа (пофонемная разметка) ▪ Open_TTS - 3000h+ (тексты) ▪ Авторазметка (Витерби/FBA) ▪ Нейросетевой - Attention
28. Штрафы CTC
29. Нейросеть ▪ Обучения с простых примеров ▪ 1-9 рекурентных слоя (RNN, GRU, LSTM) ▪ 1-3 входных слоя ▪ 2 дня на 8 GPU ▪ Не очень зависит от языка ◦ Больше выходов NN ◦ 12.000 часов речи (2года)
30. Языковая модель ▪ HELLO -> WORLD 0.9 ▪ HELLO -> WALL 0.1 ▪ Штрафы ◦ Языковая модель ◦ Количество слов (“защита кур совой”)
31. Let’s burn! 02
32. Что дальше? ▪ Насколько возможно повысить качество? ▪ Как удалить шум? ▪ Можно ли использовать в телефоне? ▪ Как распознать музыку? Возникающие вопросы и ответы ▪ Как распознать говорящего? ▪ Что насчет синтеза? ▪ Что насчет пунктуации?
33. Исходные данные ▪ Как можно качественнее (16k) ▪ Стерео ▪ OPUS/g.722 для внутренних ▪ Аугментации для речи ▪ Bidirectional model плохо для REALTIME ▪ “Lombard effect” Для распознавания: Для обучения:
34. Выводы ▪ OpenSource позволяет получить знания и неплохие результаты ▪ Датасет - большая ценность ▪ Небольшое улучшение может сделать прорыв ▪ ▪ ▪ ▪
35. СПАСИБО ЗА ВНИМАНИЕ! +7 (929) 364 1441 igorg@iqtek.ru Гончаровский Игорь