リアルタイム音声処理を題材に、Kotlin Flowのバッファリングと実行モデルを改めて深掘りする

リアルタイム⾳声処理を題材に Kotlin Flowのバッファリングと実⾏モデルを改めて深掘りする REALITY エンジニア Shogo Takatsuka

⾃⼰紹介 • • • tkc REALITY株式会社 Androidエンジニア(10年⽬) X(twitter)のすがた tkc@tk_zzzzz 2

⾃分好みのアバターでライブ配信 REALITY（リアリティ）は、誰でもスマホ１台でアバターの姿になり、顔出しナシでライブ配信、ゲームやチャットなどコミュニケーションを楽しむことができるアプリです。 3

今⽇話すこと • ⾳声処理を⼿続き的な設計からKotlin Flowベースの宣⾔的な設計に移⾏しました • 設計は綺麗になったが、不具合が多数発⽣した • Flowのバッファリングに関して理解が不⼗分だったことが原因のひとつ
• ⾳声処理のリファクタを説明しつつ、Flowのバッファリング周りについて説明していきます 4

1. ⾳声の基礎とAndroidでの再⽣ 2. ⾳声をFlowで扱う 3. Flowのバッファリングについて 4. まとめ 5

そもそも⾳って？⾳は空気の振動。マイクはこれを電圧の変化として捉え、電気信号に変換する。グラフにすると、横軸＝時間縦軸＝振幅の波形になる。＝横軸: 時間 ∕
縦軸: 振幅 6

⾳声をデジタルで扱う [0, 16123, 7640, -6873, -18385, …] ＝ただの ShortArray
① 波形（アナログ） ② 等間隔で測る＝サンプリング ③ 数値の列＝PCM 7

このアプリが扱う⾳声 48000Hz / ステレオ2ch / 16bit PCM 1 / 48000
秒縦軸：16bit 65,536段階 … 途中省略 1フレーム = 20ms 8

Androidで⾳声を再⽣するには？ val format = AudioFormat.Builder() .setSampleRate(48000) .setChannelMask(AudioFormat.CHANNEL_OUT_STEREO) .setEncoding(AudioFormat.ENCODING_PCM_16BIT) .build() val
audioTrack = AudioTrack.Builder().setAudioFormat(format).build() audioTrack.write(pcm, size, AudioTrack.WRITE_BLOCKING) OSに音声データを渡す必要がある。その受け口が AudioTrack 9

audioTrack = AudioTrack.Builder().setAudioFormat(format).build() audioTrack.write(pcm, size, AudioTrack.WRITE_BLOCKING) サンプルレート・チャンネル数・ビット深度は、作るときに決める 10

audioTrack = AudioTrack.Builder().setAudioFormat(format).build() audioTrack.write(pcm, size, AudioTrack.WRITE_BLOCKING) サンプルレート・チャンネル数・ビット深度は、作るときに決める 11

リモートからの⾳声デコード加⼯ BGM (.mp3) デコード加⼯マイク⾳声 Mix 加⼯
スピーカーリモート送信 13

⼿続き的な設計：2つのwhileループ • デコード担当と再⽣担当の2クラスに分かれ、間はChannelで繋ぐ構成 • 各クラスの中⾝は1つのwhileループであり、処理順序がコードに固定化 • 機能追加のたびに、ループ処理の本体コードを直接編集する必要が発⽣ LiveBgmPlayer の while
(true) ポーズ判定（300msポーリング） AudioDecoder の while (true) Channel capacity=10 MediaCodecの⼿動出し⼊れアップサンプル → ⾳量フレーム整形（frameSize単位）ステレオ → 設定チャンネル数再⽣位置の更新ローカル再⽣と配信送信リングバッファへ詰め替え処理の順番はループに固定で、部品として差し替えられなかった 18

宣⾔的な設計：Flowのパイプライン Consumer 使う Producer 作る Intermediary 加⼯する Flow Flow ローカル再⽣
フレーム整形⾳源デコードリモート送信アップサンプルマイク⾳声取得再⽣位置保持チャンネル変換ポーズ制御 19

Kotlin Flowの概念ベース https://developer.android.com/kotlin/flow 20

部品が差し替え可能になった Consumer 使う Intermediary 加⼯する Producer 作る⾳源デコード 21

部品が差し替え可能になった Consumer 使う Producer 作る Intermediary 加⼯する Flow フレーム整形⾳源デコード
アップサンプル 22

部品が差し替え可能になった Consumer 使う Producer 作る Intermediary 加⼯する Flow フレーム整形⾳源デコード
アップサンプル再⽣位置保持チャンネル変換ポーズ制御 23

部品が差し替え可能になった Consumer 使う Producer 作る Intermediary 加⼯する Flow ローカル再⽣フレーム整形
リモート送信アップサンプル⾳源デコード再⽣位置保持チャンネル変換ポーズ制御 24

リモート送信アップサンプルマイク⾳声取得再⽣位置保持チャンネル変換ポーズ制御 25

リモート送信アップサンプルマイク⾳声取得チャンネル変換再⽣位置保持ポーズ制御 26

Producer / Intermediary / Consumer interface IAudioStreamProducer<T> { fun produce():
Flow<T> } interface IAudioStreamIntermediary<TU, TD> { fun transform(upstream: Flow<TU>): Flow<TD> } interface IAudioStreamConsumer<T> { suspend fun consume(data: T) } T は⾳声データ。中⾝はPCMのバイト列を持つ ByteBuffer 27

Producer：⾳声データをつくる Producer 作る⾳源デコードマイク⾳声取得 28

Producerの実装例：⾳声ファイルをデコードする class MediaDecodeAudioStreamProducer(...) : IAudioStreamProducer<...> { override fun produce(): Flow<...>
= flow { val decoder = MediaCodec.createDecoderByType(mimeType)... while (!isDoneRead || !isDoneWrite) { yield() decoder.enqueueSampleIfPossible(...) // 読む when (val r = decoder.dequeueSampleIfPossible()) { is DequeuedSample -> emit(...) // 流す else -> {} } } } } 29

Intermediary：流れてくる⾳声の加⼯や制御 Intermediary 加⼯するフレーム整形アップサンプルチャンネル変換再⽣位置保持ポーズ制御 30

Intermediary override fun transform(upstream: Flow<StreamingAudioData.MediaCodecExtractedResult>): Flow<StreamingAudioData.MediaCodecExtractedResult> { return upstream.transform {
result -> var offset = 0 while (ary.size - offset >= frameSizeInBytes) { val frameBuffer = audioRingBufferHolder.getNextBuffer().apply { clear() put(ary, offset, frameSizeInBytes) flip() } emit( StreamingAudioData.MediaCodecExtractedResult(...), ) offset += frameSizeInBytes } 31

デコーダ出⼒整形後のフレームどれも同じ⼤きさ = 20ms 分 32

Intermediaryの実装例：フレーム整形 override fun transform(upstream: Flow<StreamingAudioData.MediaCodecExtractedResult>): Flow<StreamingAudioData.MediaCodecExtractedResult> { return upstream.transform {
result -> var offset = 0 while (ary.size - offset >= frameSizeInBytes) { val frameBuffer = audioRingBufferHolder.getNextBuffer().apply { clear() put(ary, offset, frameSizeInBytes) flip() } emit( StreamingAudioData.MediaCodecExtractedResult(...), ) offset += frameSizeInBytes } 33

Consumer：流れてきた⾳声を使う Consumer 使うローカル再⽣リモート送信 34

Consumer：端末で⾳声を再⽣する override suspend fun consume(data:DualChannelAudioBuffer) { val stereoBuffer = data.stereoBuffer
// 再生用 audioTrack.write( stereoBuffer, stereoBuffer.remaining(), AudioTrack.WRITE_BLOCKING) 35

Consumer：端末で⾳声を再⽣する override suspend fun consume(data:DualChannelAudioBuffer) { val stereoBuffer = data.stereoBuffer
// 再生用 audioTrack.write( stereoBuffer, stereoBuffer.remaining(), AudioTrack.WRITE_BLOCKING) 36

パイプラインの組み⽴て val sharedFlow = producer.produce() .intermediateWith(FrameSizeChunkAudioStreamIntermediary(30, frameSize)) .intermediateWith(UpSampleIntermediary(...)) .intermediateWith(playbackPositionTrackingIntermediary) .intermediateWith(stereoToConfiguredChannelIntermediary)
.shareIn(this) // ← 1本の上流を共有する launch { sharedFlow.consumeWith(liveStreamingSendConsumer) } // 配信へ launch { sharedFlow.consumeWith(audioTrackWriteConsumer) } // 再生へ • • intermediateWith / consumeWith は数珠つなぎの形で記述できるようにするための自作の拡張関数。それぞれは単純な transformとconsumeのラッパー 37

val sharedFlow = producer.produce() .intermediateWith(FrameSizeChunkAudioStreamIntermediary(30, frameSize)) .intermediateWith(UpSampleIntermediary(...)) .intermediateWith(playbackPositionTrackingIntermediary) .intermediateWith(stereoToConfiguredChannelIntermediary) .shareIn(this)
// ← 1本の上流を共有する launch { sharedFlow.consumeWith(liveStreamingSendConsumer) } // 配信へ launch { sharedFlow.consumeWith(audioTrackWriteConsumer) } // 再生へ 46

処理の流れは？⾳声処理ローカル再⽣⾳声処理リモート送信ローカル再⽣⾳声処理リモート送信 47

処理の流れは？⾳声処理ローカル再⽣⾳声処理リモート送信ローカル再⽣⾳声処理リモート送信 48

この形の流れにするのがshareIn val sharedFlow = producer.produce() .intermediateWith(FrameSizeChunkAudioStreamIntermediary(30, frameSize)) .intermediateWith(UpSampleIntermediary(...)) .intermediateWith(playbackPositionTrackingIntermediary) .intermediateWith(stereoToConfiguredChannelIntermediary)
.shareIn(this) // ← 1本の上流を共有する launch { sharedFlow.consumeWith(liveStreamingSendConsumer) } // 配信へ launch { sharedFlow.consumeWith(audioTrackWriteConsumer) } // 再生へ 49

ShareInを使わない場合は⾳源.mp3 デコード変換再⽣同⼀の処理が複数⾏われる⾳源.mp3 デコード変換配信
50

ShareInを使って分岐する再⽣⾳源.mp3 デコード変換配信 51

Flowは cold と hot に分かれる比較項目 Cold Flow Hot Flow
生成タイミング collect() 呼び出し時に毎回生成開始コレクトの有無に関わらず生成・動作データ保持状態を持たない（過去値は保持しない）最新値や履歴（ Replay）を保持可能コレクターの関係 1対1（コレクターごとに独立して実行） 1対多（複数のコレクターでストリーム共有）代表的な API flow { ... }, flowOf(), map StateFlow, SharedFlow 停止タイミングコレクトをキャンセルすると処理も停止コレクト停止後もバックグラウンドで動作し得る 52

Flowは cold と hot に分かれる⾳声処理ローカル再⽣ Cold ⾳声処理リモート送信
ローカル再⽣ Hot ⾳声処理リモート送信 53

Flowは cold と hot に分かれる⾳声処理 Cold ⾳声処理⾳声処理ローカル再⽣
リモート送信 New Consumer ローカル再⽣ Hot ⾳声処理リモート送信 New Consumer 54

shareInを詳しく⾒る cold Flow を hot な SharedFlow に変換する関数 55

shareInを詳しく⾒る⽣成‧維持のコストが⾼い cold Flow があり、その値を収集したい購読者が複数いる場合に有効 → 今回の⾳声処理パイプラインは、まさにこの条件に当てはまる 56

shareIn が返す SharedFlow とは MutableSharedFlow<T>( replay: Int = 0, extraBufferCapacity:
Int = 0, onBufferOverflow: BufferOverflow = BufferOverflow.SUSPEND ) バッファの⼤きさと、あふれたときの挙動を、作るときに指定できる 57

バッファなし：extraBuﬀerCapacity = 0 val sharedFlow = MutableSharedFlow<Int>(extraBufferCapacity = 0) launch
{ sharedFlow.collect { value -> println(" [Collector] 受信: $value") delay(1000) } } // 接続待ち delay(1000) for (i in 1..3) { println("[Emit] 送信開始: $i") sharedFlow.emit(i) // コレクターの処理完了までサスペンドして待つ println("[Emit] 送信完了: $i") } 58

バッファなし：Producer が直接 Consumer に渡す Producer (送信) Consumer (受信) A,B,C
の値を連続送信処理が遅い (1秒) flow.emit(i) delay(1000) 59

バッファなし - Step 1 extraBuﬀerCapacity = 0 ▼ 順序 →
Step 1 Producer A バッファ — Consumer A を受信 Step 2 Step 3 Step 4 Step 1 Producer が A を送信。Consumer が直接 A を受け取って処理を開始します。 60

Step 1 Producer A Step 2 Step 3 Step 4 B SUSPEND バッファ — — Consumer A を受信 A を処理中… Step 2 — サスペンド発⽣ Consumer が A を処理中のため B を受け取れません。バッファが無いので、Producer は即座にサスペンドします。 61

Step 1 Producer A Step 2 B Step 3 Step 4 B 送信完了 SUSPEND バッファ — — — Consumer A を受信 A を処理中… B を受信 Step 3 — サスペンド解消 Consumer が A を終えて B を受け取ります。待たされていた Producer の B 送信が完了します。 62

Step 1 Producer A Step 2 B Step 3 B 送信完了 SUSPEND Step 4 C SUSPEND バッファ — — — — Consumer A を受信 A を処理中… B を受信 B を処理中… Step 4 — 再びサスペンド Producer が C を送ろうとしますが、Consumer が B を処理中のため再びサスペンド。バッファが無いと毎回⾜⽌めされます。 63

バッファあり：extraBuﬀerCapacity = 2 // バッファ枠を 2 つ確保 val flow =
MutableSharedFlow<Int>(extraBufferCapacity = 2) // 処理の遅いコレクター（ 1秒かかる） launch { flow.collect { value -> println(" [Collector] 受信: $value") delay(1000) } } delay(100) // 接続待ち for (i in 1..4) { println("[Emit] 送信開始: $i") flow.emit(i) // バッファに空きがあれば待たずに即完了する println("[Emit] 送信完了: $i") } 64

バッファあり：間にバッファが⼊る Buﬀer (バッファ枠: 2) Producer (送信) Consumer (受信) 1..4 の値を連続送信
flow.emit(i) 処理が遅い (1秒) 空き枠 1 空き枠 2 delay(1000) 65

バッファあり - Step 1 extraBuﬀerCapacity = 2 ▼ 順序 →
Step 1 Producer A バッファ — Consumer A を受信 Step 2 Step 3 Step 4 Step 5 Step 6 Step 1 Producer が A を送信。Consumer が直接 A を受け取って処理を開始します（バッファは空のまま）。 66

Step 1 Step 2 Producer A B バッファ — B Consumer A を受信 A を処理中… Step 3 Step 4 Step 5 Step 6 Step 2 Consumer が A を処理中に Producer が B を送信。バッファに [ B ] がたまり、Producer は⽌まらず先へ進めます。 67

Step 1 Step 2 Step 3 Producer A B C バッファ — B B, C (満杯) Consumer A を受信 A を処理中… A を処理中… Step 4 Step 5 Step 6 Step 3 Producer が C を送信。バッファに [ B, C ] が⼊り、容量の上限（2個）に達して満杯になります。 68

Step 1 Step 2 Step 3 Producer A B C Step 4 Step 5 Step 6 D SUSPEND バッファ — B B, C (満杯) B, C (満杯) Consumer A を受信 A を処理中… A を処理中… A を処理中… Step 4 — サスペンド発⽣ Producer が D を送ろうとしますが、バッファが満杯のため送信が中断（サスペンド）されます。Consumer はまだ A を処理中です。 69

Step 1 Step 2 Step 3 Producer A B C Step 4 D Step 5 Step 6 D 送信完了 SUSPEND バッファ — B B, C (満杯) B, C (満杯) C, D Consumer A を受信 A を処理中… A を処理中… A を処理中… B を処理中… Step 5 — サスペンド解消 Consumer が A を終えて B を受け取り、バッファから B が消えます。空いた枠に D が⼊り、サスペンドが解けます。 70

Step 1 Step 2 Step 3 Producer A B C Step 4 D Step 5 D 送信完了 SUSPEND Step 6 E SUSPEND バッファ — B B, C (満杯) B, C (満杯) C, D C, D (満杯) Consumer A を受信 A を処理中… A を処理中… A を処理中… B を処理中… B を処理中… Step 6 — 再びサスペンド Producer が E を送ろうとしますが、バッファは [ C, D ] で再び満杯。ふたたびサスペンドします。 71

バッファの⼤きさ＝読まれていない値を溜めておける数 Producer Consumer バッファ 0 Consumerが処理を終えるまでProducerは次の値をEmitできない Producer Consumer
バッファ 2 バッファが満杯になるまでProducerは次の値をEmitできる。バッファが満杯になればProducerはバッファが空くまで次の値を Emitできない。 72

まとめ • • • • Flowで⾳声データを扱う⽅法を説明しました。 Flowのバッファリングについても説明しました。このバッファリングを理解できていないことにより様々な不具合が発⽣した Flowで⾳声などのリアルタイム性の⾼い処理を⾏う場合は、バッファリングまで含めて理解して扱うことで複雑な処理を安全に扱うことができる。
74

ご清聴ありがとうございました

リアルタイム音声処理を題材に、Kotlin Flowのバッファリングと実行モデルを改めて深掘りする

リアルタイム音声処理を題材に、Kotlin Flowのバッファリングと実行モデルを改めて深掘りする

More Decks by gree_tech

Other Decks in Technology

Featured

Transcript