Опыт работы с Android Media Framework на примере приложения Cinepic.

В докладе поставлены основные проблемы, с которыми столкнулась Android команда при работе с Media фреймворком на примере приложения Cinepic play.google.com/store/apps/details?id=com.cinepic. В процессе разработки были рассмотрены и применены наиболее оптимальные инструменты обработки аудио, видео и фото данных, которые воспроизводились на двух уровнях качества.

Transcript

1. Опыт работы с Android Media Framework на примере приложения Cinepic
2. CINEPIC • Собрать на Android • API 18+ • Совместимо с 80%+ устройств 2
3. Фон клипа • Подготовка фото • Применение жестов Scale Up/Down, Translate • Сохранение матрицы трансформации 3
4. • Очень не надежно • Ресурсоемко • Медленно Превью в ячейке. Шаг первый 4 SurfaceView MediaPlayer VideoView + =
5. • Надежно но не быстро Превью в ячейке. Шаг второй 5 TextureView MediaPlayer TextureVideoView + =
6. UI Thread Превью в ячейке. Шаг третий 6 TextureView MediaCodec + <= PlaybackController AsyncThread Кадры
7. То что нужно • Максимально быстро • Минимум памяти • Минимум поддержки • … но трудоемко 7
8. Трансформация видео во View 8 TranslateListener ScaleListener (-x,-y) (0, 0) Rect ImageBounds ViewBounds
9. Эффекты 9 TextureView => VideoStream <= OpenGL ES ObjectAnimator Fade In/Out Scale Up
10. Ffmpeg 10 • Тяжелая • Сложно поддерживать ffmpeg module Input params + Video Resized video
11. Транскодирование из коробки 11 MediaDecoder MediaEncoder => => MediaMuxer
12. Intel Inde • Компактная • Может заменять кадры • Есть сэмплы • На основе MediaCodec • Рендерит с помощью OpenGL ES 12
13. Извлечение кадров 13 MediaDecoder Surface DataExtractor FrameSaver OpenGL ES
14. OpenGL ES Заготовка Preview 14 Scene Drawer Surface MediaEncoder MediaMuxer
15. Рендеринг клипа 15 Frame Drawer Tile Frame Composer Intel Inde frame Composer 0 ms 15000 ms …. время Frame Provider N times
16. Результаты работы c Video 16 Плюсы • Совместимость с большинством устройств • Скорость рендеринга и отрисовки • Минимальное использование памяти • Поддержка популярных видео форматов Минусы • Время подготовки preview
17. 17 Аудио в Cinepic Пользователь хочет: • Загружать в проект существующий аудиофайл • Записывать звуковой фрагмент используя микрофон смартфона • Выбирать пятнадцати-секундный фрагмент и добавлять его к видео в качестве звуковой дорожки • Видеть waveform при записи и редактировании
18. 18 Аудио в Android
19. 19 Формат
20. 20 Конвертация • MediaCodec? • ffmpeg? • aac-encoder? MP3 m4a
21. 21 Конвертация MP3 wav m4a JLayer decoder MediaCodec + MediaMuxer
22. 22 Конвертация Создание кодека по имени кодера/декодера: • OMX.google.aac.encoder Создание кодека по MIME- типу • audio/mp4a-latm
23. • Формирование очереди входных данных: codec.queueInputBuffer(inputBufIndex, 0, bytesRead, presentationTimeUs, 0); • Теоретический рассчёт времени смещения: presentationTimeUs = 1000000 * (totalBytesRead / SAMPLING_RATE); • Фактический рассчёт времени смещения: presentationTimeUs = 1000000 * ((totalBytesRead / (SAMPLING_RATE/10000)) / SAMPLING_RATE); Конвертация 23
24. MP4Parser • Вырезаем Movie srcAudio = MovieCreator.build(srcAudioPath); Track track = srcAudio.getTracks().get(0); Movie cropped = new Movie(); cropped.addTrack(new AppendTrack(new CroppedTrack(track, startSample, endSample))); • Добавляем Movie src = MovieCreator.build(srcVideo); Movie audio = MovieCreator.build(croppedAudio); src.addTrack(audio.getTracks().get(0)); 24
25. Визуализация MediaRecorder • getMaxAmplitude() • ~60ms • 32767 25
26. RingDroid • < 2.7.2 - CheapMP3, CheapAAC! • 2.7.+ SoundFile :( 26 Визуализация
27. Итоги 27
29. Вопросы? 29