ExoPlayerの倍速再生への道のり

2019年2月8日にTECH PLAY Shibuya で行われた [ スタディサプリ/Quipper Product Meetup #2 〜ExoPlayerの倍速再生への道のり〜 ] のイベント登壇資料です。

## 概要
倍速再生は受験生の学習時間を節約するための重要な機能です。現在はExoPlayerにAPIが実装され簡単に動画の再生速度を変更することができますが我々はその実装を待つことができず独自実装する必要がありました。その際に得た知見を通してExoPlayerの内部構造に迫ります。

Transcript

1. #sapurimeetup ExoPlayerの倍速再生への道のり ExoPlayerの倍速再生への道のり @daisukefuji StudySapuri/Quipper Product Meetup #2
2. #sapurimeetup ExoPlayerの倍速再生への道のり Agenda | 01 02 03 04 自己紹介 自前実装にいたる経緯 実装について 最後に 2
3. #sapurimeetup ExoPlayerの倍速再生への道のり 自己紹介 01 3
4. #sapurimeetup ExoPlayerの倍速再生への道のり @daisukefuji / Daisuke Fuji 携帯向け独自Linux based OSの開発者としてスタート iOS/Androidに負けAndroid エンジニアになる(OS開発競争に負けたあたりを詳 しく知りたい人は`ALPを支えられなかった技術`で検索) 2015年 Quipper入社 2018年 動画プラットフォーム改善を推進 4
5. #sapurimeetup ExoPlayerの倍速再生への道のり 自前実装にいたる経緯 02 5
6. #sapurimeetup ExoPlayerの倍速再生への道のり StudySapuriローンチ時の仕様 1倍速でエンコードされた動画と1.4倍速でエンコードされた動画を用意し、速度変 更するときに動画のURLを切り替える。 6
7. #sapurimeetup タイトル 高まる不満 ➔ 1倍、1.4倍以外で動画を視聴したい。 ➔ 再生速度が切り替わるスピードが遅い。 ➔ トランスコードの失敗によって1.4倍速用の動画が存在しないときがある。 7
8. #sapurimeetup ExoPlayerの倍速再生への道のり WEB、iOSの造反 ユーザーの声におされ、1.4倍速エンコード済み動画に依存するのはAndroid ア プリのみに。 8
9. #sapurimeetup タイトル Androidでのclient sideの再生速度の機運が高まる ➔ ExoPlayerはMin SDK version 16(Android 4.1)以上 ➔ 我々のアプリのOS versionシェアの内訳でAPI level 16未満の割合が減っ た ➔ Min SDK versionの見直し 9
10. #sapurimeetup ExoPlayerの倍速再生への道のり しかしそのタイミングで本家で速度変 更機能は実装されていなかった 10
11. #sapurimeetup ExoPlayerの倍速再生への道のり ExoPlayerに再生速度変更機能がリクエストされた日 Ref: https://github.com/google/ExoPlayer/issues/26 11
12. #sapurimeetup ExoPlayerの倍速再生への道のり 自前で速度変更機能実装を決意 12
13. #sapurimeetup ExoPlayerの倍速再生への道のり 実装について 03 13
14. #sapurimeetup タイトル The available library modules ➔ exoplayer-core: Core functionality (required). ➔ exoplayer-dash: Support for DASH content. ➔ exoplayer-hls: Support for HLS content. ➔ exoplayer-smoothstreaming: Support for SmoothStreaming content. ➔ exoplayer-ui: UI components and resources for use with ExoPlayer. 14
15. #sapurimeetup タイトル ExoPlayer core 15
16. #sapurimeetup ExoPlayerの倍速再生への道のり 動画プレイヤーの基本: 音声に映像をあわせる 16
17. #sapurimeetup ExoPlayerの倍速再生への道のり 重要 映像が数フレーム飛んでも気にならない 音声が途切れると不快に感じる 17
18. #sapurimeetup ExoPlayerの倍速再生への道のり 動画の再生速度変更 = 音声の速度変更 18
19. #sapurimeetup ExoPlayerの倍速再生への道のり どうやって音声の速度を変更するのか - Sonic library https://github.com/waywardgeek/sonic 19
20. #sapurimeetup ExoPlayerの倍速再生への道のり どこを変更すべき? 20
21. #sapurimeetup ExoPlayerの倍速再生への道のり MediaCodecAudioTrackRenderer - 1 void onOutputFormatChanged(MediaCodec codec, MediaFormat outputFormat) 出力フォーマットが変わったときに呼ばれるメソッド 追加 - Sonicの初期化 21
22. #sapurimeetup ExoPlayerの倍速再生への道のり MediaCodecAudioTrackRenderer - 2 boolean processOutputBuffer(..., final ByteBuffer, ...) 出力バッファを処理するメソッド 追加 - Sonicで変換したバッファを再生 22
23. #sapurimeetup ExoPlayerの倍速再生への道のり 実装完了-しかし動きがカクカクする AudioTrack START_NEED_SYNC stateに入るまでの時間 を調整 23
24. #sapurimeetup ExoPlayerの倍速再生への道のり 最後に 04 24
25. #sapurimeetup ExoPlayerの倍速再生への道のり ついに本家で実装完了 25
26. #sapurimeetup ExoPlayerの倍速再生への道のり 自前実装を捨てる void setPlaybackParameters(PlaybackParameters playbackParameters) 26
27. #sapurimeetup ExoPlayerの倍速再生への道のり ご清聴ありがとうございました 27