Классификация фонем при внутреннем проговаривании на основе электроэнцефалограммы

Даниель Саада
Студент, МГУ имени М.В.Ломоносова
SECR 2019

Передача мыслей на расстоянии и управление различными устройствами при помощи силы мысли сейчас кажутся чем-то фантастическим, однако наука не стоит на месте и число исследований на эту тему стремительно растёт. Распознавание безмолвной речи является перспективной технологией, которая могла бы найти своё применение в построении интерфейсов мозг-компьютер и в значительной степени помочь людям, страдающим от нейродегенеративных заболеваний. Известно, что внутреннее проговаривание возможно восстановить по данным электроэнцефалограммы, так как в областях головного мозга, отвечающих за воспроизводство и восприятие речи, можно зарегистрировать специфическую активность, ассоциируемую с этим процессом. В рамках данной работы проводится построение и реализация алгоритма извлечения признаков и классификации фонем русского языка по данным электроэнцефалограммы, записанной во время их внутреннего проговаривания.

Transcript

1. Классификация фонем при внутреннем проговаривании на основе электроэнцефалограммы Даниель Саада МГУ имени М.В.Ломоносова (студент- магистр) Software Engineering Conference Russia 14-15 ноября, 2019. Санкт- Петербург
2. Интерфейс мозг-компьютер технология, позволяющая человеку взаимодействовать с внешним миром на основе регистрации электрической активности мозга 2
3. БАС Неизлечимое заболевание центральной нервной системы, при котором происходит поражение двигательных нейронов, что приводит к параличам и последующей атрофии мышц 3
4. Глазами кошки Оригинальное и декодированное изображение 4
5. Бионические протезы Человек держит куриное яйцо при помощи искусственной руки 5
6. Внутреннее проговаривание 6 Привет Обработка и декодирование Привет “речь про себя”, сохраняющая структуру обычной речи, но лишенная самого произнесения звуков
7. Электроэнцефалография 7 Регистрация ЭЭГ Электроды Мозг
8. Электрокортикография 8
9. фМРТ 9
10. Speller P300 (1) • основан на регистрации вызванных потенциалов • уже используется для набора текста “силой мысли” • низкая скорость ввода (до 7 слов в минуту) 10
11. Speller P300 (2) 11
12. Внутреннее проговаривание с воображаемой артикуляцией • при произнесении слов человек также думает об артикуляции • улучшает качество распознавания • в основном полагается на распознавание механических движений человека 12
13. Схема расположения 64 сенсоров по системе «10–20%» 13
14. Brain2Char 14
15. Внутреннее проговаривание без артикуляции • более фундаментальная задача • решение поможет лучше узнать механизмы внутренней речи • имеет преимущество в построении протезов 15
16. Расположение электродов в эксперименте Sarmiento L.C. 16
17. Постановка эксперимента • Цель: различить внутреннее проговаривание 7 фонем: [а], [у], [м], [р], [ф], [б], [г] • В исследовании принимали участие 12 испытуемых в возрасте от 20 до 25 лет. Все испытуемые не имели в анамнезе черепно-мозговых травм и психических заболеваний • Регистрация электрической активности мозга проводилась с помощью 19-канального электроэнцефалографа «Нейро-КМ» (компания «Статокин», Россия) 17
18. Схема эксперимента 18
19. Артефакты записи 19 • Моргание • Движение глаз • Движение электрода • Плохой контакт • Патологическая активность Артефакт от моргания Артефакт от движения
20. Общая схема обработки 20
21. Извлечение признаков 21 • Во время внутреннего проговаривания генерируется активность в зоне левого виска • Используется 4 канала из 19 • Позволит избавиться от артефактов с других каналов Расположение электродов
22. Вейвлет-преобразование • Позволит узнать характер изменения частотных характеристик с течением времени и извлечь значения мощности сигнала 22 Проекция комплексного вейвлета Морле на действительную и мнимую оси
23. Визуальное представление матрицы коэффициентов вейвлет-разложения 23 Буква “Р” Буква “Б” Буква “М” Буква “А” Буква “З”
24. Извлеченные признаки • Среднеквадратическое отклонение, медиана, среднее, максимум, минимум и сумма мощности сигнала в каждом из четырёх ритмов головного мозга • Размерность признакового пространства — 19200 • Большое время обучения классификатора • Точность классификации на уровне случайной 24
25. Классификация • После отбора признаков, использовались только первые три • В качестве классификатора был выбран SVM, подобранное ядро: K(x,x′) = th(⟨x,x′⟩+r) • Метод кросс-валидации: Leave-One-Out • Средняя точность классификации фонем составила 67% • Лучше всего различимы фонемы с разным способом образования (например, носовая [м] и дрожащая [р]) 25
26. Проблемы для дальнейших исследований • Низкая точность при малом числе электродов • Оптимальное расположение электродов • Быстрая онлайновая классификация • Сложно говорить о положительных результатах для классификации большего набора языковых единиц • Эксперименты схожи в методологии, но разные в нюансах 26
27. 27 1. Даниель Фирасович Саада 2. МГУ имени М.В.Ломоносова (студент- магистр) 3. daniel.saada@mail.ru Контакты