Androidだって音楽アプリが作りたい(M5Stackによる実演付き)

Transcript

1. Proprietary and Confidential ©2014 Schawk, Inc. All Rights Reserved 原⽥ 賢太 Kenta Harada Androidだって ⾳楽アプリが作りたい (M5Stackによる実演付き) Droidkaigi 2020
2. ⾃⼰紹介 ・Android アプリ ・組み込み ・株式会社Mobility Technologies ・Bluetoothエンジニア
3. 本⽇お伝えしたいこと Androidって ⾳が出るんです
4. iOSには⾳楽アプリが いっぱいあるのに Androidは少ないなぁ・・・
5. iOS⽤⾳楽アプリ
6. GarageBand(iOS)
7. KORG Gadget(iOS)
8. iOS⽤⾳楽アプリ • シンセサイザーで⾳作り • シーケンサーでの曲作り • MIDI機器との連携 • SoundCloudへのアップロード
9. どうして私の⼤好きな Androidには無いんだ
10. ⾳楽アプリを作ってみる
11. ⽬標(理想) iMPC Pro 2
12. こんなアプリ(現実) M5Stack Gray BLE MIDI
13. BLE-MIDI(ミディ)とは MIDI over Bluetooth Low Energy Musical Instrument Digital Interface 電⼦楽器の演奏データを機器間で転送・共有するための共通規格 1981年にMIDI 規格化開始。38年後の2019年にMIDI 2.0が策定開始。 接続にはMIDIケーブル、USBケーブルが使われることが多い。 BLEを使い無線でMIDIデータを送信する
14. BLE-MIDI MIDI over Bluetooth Low Energy
15. BLE MIDI MIDI over Bluetooth Low Energy 0x9n：ノートオン 0xXX：ノートナンバー(⾳の⾼低） 0xYY：ベロシティ(⾳の強弱)
16. 何かがおかしい。。
17. ⾳が遅れて聞こえる ・・・ような気がする
18. やっぱり⾳が遅れて聞こえる ボタンを押してから ⾳が聞こえるまでに時間がかかる BLE-MIDI
19. レイテンシ(遅延)
20. レイテンシ(遅延) レイテンシとは、信号がシステムを移動 する際にかかる時間を指します。 https://developer.android.com/ndk/guides/audio/audio-latency?hl=ja から引⽤
21. Android端末から⾳が出るまで Androidでは⾳が出るとき どんなルートを通るのか？
22. App Android Framework Driver JNI/HAL Hardware
23. App Android Framework Driver JNI/HAL Hardware Java C/C++(Native)
24. App Android Framework Driver JNI/HAL Hardware Java Native おそい！ はやい！ C/C++(Native)
25. 機種依存問題 "OESPJE
    04
    WFSTJPO %SJWFS )BSEXBSF x x
26. レイテンシの原因は複雑 • Java(仮想マシン) • 機種依存 • OSバージョンによる違い • 低レイヤーのバッファ • BLE MIDI(無線通信) • その他
27. Androidに⾳楽アプリが少ない原因 レイテンシ(遅延) が⼤きな要因の１つ
28. Android Compatibility Definition Document（CDD） https://developer.android.com/ndk/guides/audio/audio-latency?hl=ja から引⽤ CDD では、ラウンドトリップ レイテンシを 20 ms 以下と指定しています。 （ただし、⾳楽家は通常 10 ms を要求します） 20 ms であれば、さまざまな重要なユースケースを 実現することができます。 ※Android 互換デバイスに関するハードウェア要件とソフトウェア要件が記された⽂書
29. 実際のレイテンシ https://superpowered.com/latency から引⽤ iPhone 6(12.4.2) 8 ms Pixel 3(Android 10) 12 ms Pixel 3a(Android 10) 12 ms Nexus 5X(Android 6.0.1) 17 ms Zenfone 5(Android 9) 39 ms Huawei P20 Lite(Android 9) 132 ms
30. どうすれば低レイテンシな アプリを作れるのか？
31. 解決策 1. ハイエンド端末を使う 2. BLE MIDIの通信を早くする 3. Javaで重い処理をしない 4. 低レイテンシオーディオ
32. 解決策 1. ハイエンド端末を使う 2. BLE MIDIの通信を早くする 3. Javaで重い処理をしない 4. 低レイテンシオーディオ
33. 解決策 BLE MIDIの通信を早くする
34. BLE MIDI BLE MIDI おそい！
35. BLE MIDIの通信速度 BLEの1パケットで送信できる データ量 たったの 20バイト
36. BLE MIDIの通信速度 MIDI規格： Bluetooth 4.0： 31.25Kbps 10~50 kbps
37. BLE MIDIの通信速度 ぎりぎり間に合うけど・・・
38. MTU更新 Bluetooth 4.0： 27 byte Maximum Transmission Unit Bluetooth 4.2： 247 byte
39. BLE MIDIの通信速度 Bluetooth 4.2：267 kbps
40. 解決策 1. ハイエンド端末を使う 2. BLE-MIDIの通信を早くする 3. Javaで重い処理をしない 4. 低レイテンシオーディオ
41. 解決策 Javaで重い処理をしない
42. Javaでやっている処理 M5Stack Gray BLE MIDI
43. Javaで重い処理をしない Android 9までのMIDIは JavaでMIDIデータを扱う必要があった。
44. Javaで重い処理をしない Android 10で追加された Native MIDI API(AMidi) ではNativeでMIDIデータを扱えるようになった。 Java Native
45. C/C++でMIDIデータの受信が可能 https://developer.android.com/ndk/guides/audio/midi?hl=ja から引⽤
46. 解決策 1. ハイエンド端末を使う 2. BLE-MIDIの通信を早くする 3. Javaで重い処理をしない 4. 低レイテンシオーディオ
47. 解決策 低レイテンシオーディオ
48. ２つのオーディオライブラリ OpenSL ES(Gingerbread) AAudio(Oreo)
49. Oboe
50. Oboe • C++のオーディオライブラリ。 • 低レイテンシ、99%のAndroid端末で動作する。 • Oreo以降ではAAudio、それ以前ではOpenSL ES。 • OpenSLに⽐べてシンプルなコードで記述できる。 • Googleのエンジニアがメンテナンスしている。 • オープンソース。
51. 解決策 1. ハイエンド端末を使う 2. BLE-MIDIの通信を早くする 3. Javaで重い処理をしない 4. 低レイテンシオーディオ
52. 実演１ M5Stack Gray BLE-MIDI
53. 実演２ M5Stackでシンセをコントロール
54. まとめ
55. ·ͱΊ 1. ミッドレンジ〜ハイエンド端末 2. Bluetooth 4.2以上 3. MIDIと重い処理はNativeで 4. Oboe(AAudio)を使う
56. ソースコード • Androidアプリ • M5Stack Gray⽤BLE MIDIコントローラー https://github.com/kenta-bt/oboe https://github.com/kenta-bt/m5stack-midi-controller
57. ͓·͚ Native MIDI API 応⽤編 MIDIデータは楽器のデータ専⽤という わけではありません。 IoT機器のセンサーデータをMIDIプロト コルを通すことでNatie MIDI APIの恩恵 を受ける活⽤も可能です。
58. ご清聴ありがとうございましました。