Как научить модель распознавать жестовую речь

Конференция GIGA R&D DAY
Презентации на Google Drive: https://drive.google.com/drive/folders/1t1Y5sH4mGFAIzdcrrfXz8m65QEmghA7U
Выступления: https://www.youtube.com/playlist?list=PLJU_M19giWaHVbfs2ltF1kBxUrjAblCD1

Transcript

1. Как научить модель понимать жестовую речь
2. Нагаев Александр Lead CV Engineer
3. РЖЯ и что это такое
4. Русский жестовый язык (РЖЯ) – национальная лингвистическая система, обладающая собственной лексикой и грамматикой, которая используется для общения глухих и слабослышащих
5. — это визуальное обозначение какого-либо предмета, действия, характеристики или обстоятельства — это фигуральное представление того, что описывает жест — это буквальный перевод жеста в слово относительно контекста.
6. Кошка Кошка Кот Котейка Котэ Пушистик
7. Проблемы перевода
8. Вася будет ужинать в гостиной
9. Вася будет ужинать в гостиной
10. В А С Я гости вечер будет комната кушать Вася будет ужинать в гостиной
11. В А С Я гости вечер будет комната кушать Вася будет ужинать в гостиной
12. Отличие задач Isolated Sign Language Recognition, ISLR Continuous Sign Language Recognition, CSLR Sign Language Translation, SLT
14. Video Encoder Gloss Decoder
15. Video Encoder Gloss Decoder
16. Video Encoder Gloss Decoder
17. 3D CNN 2D + 1D CNN features Video Encoder 3D Transformer class Gloss Decoder Linear
19. Video Encoder Gloss Decoder
20. Video Encoder Gloss Decoder
21. Video Encoder Gloss Decoder
22. Video Encoder Gloss Decoder
23. Video Encoder Gloss Decoder
24. Video Encoder Gloss Decoder
25. 3D CNN 2D + 1D CNN features Video Encoder 3D Transformer class Gloss Decoder Bi-LSTM + Linear LSTM + Linear RNN + Linear
27. Video Encoder Token Decoder
28. Video Encoder Token Decoder
29. Video Encoder Token Decoder
30. Video Encoder Token Decoder
31. Video Encoder Token Decoder
32. Video Encoder Token Decoder
33. В А С Я гости вечер будет комната кушать Вася будет ужинать в гостиной
34. 3D CNN 2D + 1D CNN features Video Encoder 3D Transformer class Text Decoder BARD BERT GPT
35. 3D CNN 2D + 1D CNN features Video Encoder 3D Transformer
36. Team Channel Team Repo