НИР (Машинное обучение)

Transcript

1. Научный руководитель НИР: Воронов Вячеслав Игоревич, кандидат технических наук, диплом MBA, руководитель магистерской программы по направлению подготовки 15.04.04 - Автоматизация технологических процессов и производств «Интеллектуальные автоматизированные информационные системы управления».
2.  Цель проекта: Разработать интеллектуальную информационно- коммуникационную систему социальной доступности для людей с ограниченными возможностями на основе методов машинного обучения.  Задачи: • Разработка концепции и архитектуры программно-аппаратного комплекса (ПАК), включающего модуль «СурдоПриемник/Передатчик» (находится на смартфоне, планшете, компьютера), облачную платформу с комплексом программ для интеллектуального анализа данных на основе алгоритмов машинного обучения, удаленное устройство получателя информации в сети IoT. • Разработка программного обеспечения для приема жестовой информации, ее сегментацию и передачу на облачную платформу с комплексом программ для интеллектуального анализа данных на основе алгоритмов машинного обучения. • Разработка алгоритма машинного обучения для автоматизации процесса классификации в облачном хранилище данных. • Разработка программы распознавания дактильного языка на основе сверточной нейронной сети. • Разработка устройства получателя информации в сети IoT распознанной информации. • Разработка модулей подсистемы для распознавания эмоций как составной части жестового языка на основе алгоритмов машинного обучения. 2
3. 3  Модели для распознавания дактилем, дактильных последовательностей, жестов, последовательностей жестов.  Программно-аппаратный комплекс (ПАК), обеспечивающий прием, обработку и пересылку информации в текстовом виде на основе распознавания русского жестового языка (РЖЯ).  Прототип интеллектуальной информационно- коммуникационной системы распознавания жестового языка на основе методов машинного обучения, которая позволит слабослышащим людям контактировать с людьми, не знающими РЖЯ а также совершать экстренные вызовы в критических ситуациях, например, пожарных, скорой помощи и т.д.  Наборы данных(datasets) для обучающихся программ, результаты компьютерных экспериментов, сохраненные на сервере кафедры.  Аналитические исследования результатов моделирования, опубликованные в центральной печати и рецензируемых зарубежных журналах, а также результаты интеллектуальной деятельности с охранными документами.
4. Научные и научно-технические результаты (продукция) этапа Анализ существующих и перспективных технических решений для реализации разработки. Разработка требований к интеллектуальной информационно-коммуникационной системе (ИИКС) социальной доступности для людей с ограниченными возможностями. Разработка концепции и архитектуры программно- аппаратного комплекса (ПАК), включающего модуль «СурдоПриемник/ Передатчик», облачную платформу с комплексом программ для интеллектуального анализа данных, удаленное устройство получателя информации в сети IoT. Разработка ПО, обеспечивающего прием жестовой информации, ее сегментацию и передачу на облачную платформу. Разработка алгоритма машинного обучения для автоматизации процесса классификации в облачном хранилище данных. Разработка программы распознавания дактильного языка на основе сверточной нейронной сети. Учебное пособие «Обучающиеся технические системы» для дисциплины «Machine learning: Обучающиеся технические системы» по направлению 27.04.04. Лабораторный практикум «Применение нейронных сетей для распознавания изображений». 4 Перечень документации, представляемой по окончании НИР Итоговый научно-технический отчёт; Программное обеспечение; Одна монография; 2 статьи в научных журналах из списка ВАК; 2 статьи в научных изданиях, индексируемых в БД Scopus; 2 свидетельства о регистрации программы для ЭВМ; 7 тезисов докладов в сборниках материалов конференций; учебное пособие «Обучающиеся технические системы» для дисциплины «Machine learning: Обучающиеся технические системы» по направлению 27.04.04; лабораторный практикум «Применение нейронных сетей для распознавания изображений».
5. Перечень документации, представляемой по окончании НИР План Итог Итоговый научно-технический отчёт; 1 Программное обеспечение; - - Монография; 1 1 Статьи в научных журналах из списка ВАК; 2 1 Статьи в научных изданиях, индексируемых в БД Scopus; 2 2 Свидетельства о регистрации программы для ЭВМ; 2 --- Тезисов докладов в сборниках материалов конференций; 7 8 Учебное пособие «Обучающиеся технические системы» для дисциплины «Machine learning: Обучающиеся технические системы» по направлению 27.04.04; 1 1 Лабораторный практикум «Применение нейронных сетей для распознавания изображений». 1
6. Перечень документации, представляемой по окончании НИР Итог Выходные данные Итоговый научно- технический отчёт; 1 Программное обеспечение; - В разработке Монография; 1 Приоритетные направления развития науки и образования: Монография. Под общей редакцией Г.Ю. Гуляева. Пенза, 2017. Глава 11, с. 97 - 108 Статьи в научных журналах из списка ВАК; Статьи в научных изданиях, индексируемых в БД Scopus; 2 1. Воронов В.И., Генчель К.В., Артемов М.Д., Безумнов Д.Н."Surdotelephone" Project with Convolutional Neural Network. Материалы Международной научно технической конференции «2018 Systems of signals generating and processing in the field of on board communications» (IEEE Conference #43917) 2. Гончаренко А.А., Воронова Л.И., Воронов В. И., Ежов А. А., Горячев Д. В. Automated Support System Designing for people with limited communication. Материалы Международной научно-технической конференции «2018 Systems of signals generating and processing in the field of on board communications» (IEEE Conference #43917) Свидетельства о регистрации программы для ЭВМ; Пока нет Тезисов докладов в сборниках материалов конференций; 8 1. Воронова Л.И., Бедняков А.И., Толмачев Р.В. Генчель К.В. Голос больших данных» - компьютерный переводчик для глухих и слабослышащих людей .Доклад на Международном фестивале "Технологии будущего в пространстве культуры", Москва, Музей Имени А.А. Бахрушина, 9- 15 октября 2017. Программа фестиваля стр.11 2. Воронова Л.И., Воронов В.И., Генчель К.В. The sign language recognition project for disabled people with hearing violation about. Materials of conferences (Munich, Germany, 31 October - 5 November 2017): «EDUCATION AND SCIENCE WITHOUT BORDERS» 3. Воронов В.И., Генчель К.В. Архитектура и программная реализация комплекса распознавания жестового языка для инвалидов с нарушением слуха. Доклад на VII Международной научно- технической и научно-методической конференции "Актуальные проблемы инфокоммуникаций в науке и образовании" , Санкт-Петербург, Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, 28 февраля – 1 марта 2018. Программа конференции стр.26 4. Воронов В.И., Генчель К.В., Артемов М.Д., Безумнов Д.Н. "Surdotelephone" Project with Convolutional Neural Network. Доклад на Международной научно-технической конференции «2018 Systems of signals generating and processing in the field of on board communications» (IEEE Conference #43917).,15 марта 2018 г. Программа конференции с. 8
7. Перечень документации, представляемой по окончании НИР Итог Выходные данные Тезисов докладов в сборниках материалов конференций; 8  Воронова Л.И., Воронов В.И., Генчель К.В Проектирование архитектуры программного комплекса на основе нейросетевых технологий для распознавания жестового языка инвалидов с нарушением слуха. Доклад на Седьмой межвузовской конференции "Научная сессия - современная радиоэлектроника" (НПО "АЛМАЗ-АНТЕЙ") 30 марта 2018, программа конференции с.20  Воронова Л.И., Гончаренко А.А. «О разработке интеллектуальной системы «Сурдотелефон»». Доклад на VII Международной научно-технической и научно- методической конференции "Актуальные проблемы инфокоммуникаций в науке и образовании" , Санкт-Петербург, Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, 28 февраля – 1 марта 2018. Программа конференции стр.26  Клешнин Н.Г., Воронова Л.И. Применение нейронных сетей в подсистеме распознавания эмоций для проекта “Сурдотелефон”. Доклад на Научно-технической конференции «Информационные технологии и автоматизация процессов в системах связи» в рамках IX Молодежного форума "Телекоммуникации и информационные технологии", Москва, МТУСИ, 10 апреля - 20 апреля 2018. Учебное пособие 1 Воронов В.И., Воронова Л.И. Machine Learning: регрессионные методы интеллектуального анализа данных: учебное пособие / МТУСИ.– М., 2017.- 81с. Учебное пособие «Обучающиеся технические системы» для дисциплины «Machine learning: Обучающиеся технические системы» по направлению 27.04.04
8.  «Разработка программного комплекса для распознавания жестового языка инвалидов с нарушением слуха на основе алгоритмов машинного обучения» (Генчель К.В.);  «Математическое моделирование распознавания жестового языка на основе структурной и параметрической адаптации искусственных нейронных сетей» (Артёмов М.Д.);  «Разработка и исследование сегментации изображений» (Графов В.И.);  «Разработка программного комплекса для распознавания эмоций на основе алгоритмов машинного обучения»( Пак Гу Вон);  «Разработка подсистемы распознавания жестовых предложений с помощью рекуррентных нейронных сетей» (Тарасов Г.А.);  «Исследование и разработка алгоритмов и программ для распознавания эмоционального состояния с реализацией на микрокомпьютере Raspberry Pi 3» (Айрапетов Д.П.);  «Разработка автоматизированной системы распознавания жестового языка на основе методов интеллектуального анализа данных» (Гончаренко А.А.).