ML Kit （Auto ML Vison Edge）で写真から家族を検出する

Transcript

1. ML Kit （Auto ML Vison Edge）で写真から家族を検 出する
 

2. Tsutou
 辛い食べ物と、音楽が好きです。今年、子猫を二匹拾いました。
 
 音楽業界 (エンジニアではない) -> nijibox(Android) -> Timers.inc (Android)

3. Fammとは

4. 子供やペットの写真を、手軽にアップロードしてもらいたい
 弊社のアプリ、Fammは家族アルバムアプリなので、写真/動画アップロード機能の対象となる写真は子供、 ペットの写真になります。
 しかし、アップロード画面を表示した時、大抵は料理だったり、スクショだったり、風景だったり、データフォル ダには色々な画像がありますね。
 もっと手軽に子供や犬、猫の写真だけ選択してもらいたい！ 
 今回は、Famm Androidで、ML Kitを使用して、実現した際の事例を軽くご紹介したいと思います。
 もっと詳しく見たい方は、弊社blogの方を参照いただけますと嬉しいです！
 
 

5. ML Kitをはじめる
 ML Kit -> Googleの機械学習にまつわる様々な機能(顔認証や、画像ラベリング、オブジェクト認識、 バーコードスキャン、翻訳と様々なもの)を、Firebaseを通してモバイルで実行できる様にするSDK群で す。（まだBeta版です 2020/4/23現在）
 今回使用するAuto ML Vision Edgeは、Firebaseのコンソール上で独自の画像分類モデルを作成でき、 形式を選んで簡単にアプリ上で使用できるものです。
 

6. データセットを用意する
 早速、分類したい画像のデータセットを用意し、追加していきます。(単一ラベル、複数ラベルを選びます)
 以下のような形式を圧縮してzip形式で登録します。（登録済みのデータセットは、エクスポートできるCSVを 元にGCSからインポートできます。一回、1GB以下でないとエラーになってしまうので注意）
 
 
 
 
 
 

7. じっくりコトコト学習させる
 オプションを指定し、学習時間を指定します。
 レイテンシ
 ❏ 下限レイテンシ - 軽量、高速、低精度
 ❏ 汎用 - 中間
 ❏ 高精度 - 大きめ、低速、高精度
 

8. 結果
 中々の精度です！
 

9. 運用方法を決める（ローカル/リモート/両刀）
 ローカル
 ❏ メリット　
 ❏ アプリをダウンロードするだけで使える
 ❏ デメリット　
 ❏ アプリサイズ増
 ❏ モデルの更新にリリースが必要
 リモート
 ❏ メリット　
 ❏ アプリサイズ変わらない　
 ❏ リリースせずにモデルを更新可能
 ❏ リモートコンフィグなどと組み合わせて、ABテストなどもコントロールできる
 ❏ デメリット
 ❏ モデルがダウンロードできるまで機能は使えない
 ❏ 通信が行われる前提なので、コード量が増える

10. 依存関係の追加
 
 難読化回避(ローカルモデル使用時のみ) 
 aaptOptions {
 noCompress "tflite"
 }
 
 
 
 build.gradle
 
 implementation 'com.google.firebase:firebase-ml-vision:24.0.2'
 implementation 'com.google.firebase:firebase-ml-vision-automl:18.0.4'

11. ローカルのモデル
 assetsディレクトリを用意し、コンソールからダウンロードしたモデルを配置します。 
 
 ❏ /assets/automl/dict.txt 
 ❏ /assets/automl/manifest.json 
 ❏ /assets/automl/model.tflite 
 
 val localModel = FirebaseAutoMLLocalModel 
 .Builder()
 .setAssetFilePath( "automl/manifest.json" )
 .build()

12. リモートのモデル
 コンソールから、モデルを公開し、モデル名をアプリ側で指定します。 
 ダウンロードや、フラグの取得は Tasks APIになっているので、ハンドリングが必要になります。 
 val remoteModel = FirebaseAutoMLRemoteModel
 .Builder(BuildConfig.AUTO_ML_MODEL_NAME)
 .build()
 
 val conditions = FirebaseModelDownloadConditions.Builder().build()
 val downloadTask = FirebaseModelManager
 .getInstance()
 .download(remoteModel, conditions)
 .addOnSuccessListener {
 //ダウンロード成功時にしたい処理 
 }
 
 fun isModelDownloaded() = Tasks.await(
 FirebaseModelManager.getInstance().isModelDownloaded(
 remoteModel
 )
 )

13. 画像を認識させる
 設定したラベルを用意します。 
 const val CATS = "cats"
 const val KIDS = "kids"
 const val ADULT = "adults"
 const val DOGS = "dogs"
 const val OTHERS = "others"
 
 モデルを用意し、オプションを設定して、画像のラベラーを用意します 
 (FirebaseVisionOnDeviceAutoMLImageLabelerOptions では、信頼度が調整できます。デフォルトは50%) 
 val mlModel = if (isModelDownloaded()) {
 remoteModel
 } else {
 localModel
 }
 
 val labeler = FirebaseVision.getInstance().getOnDeviceAutoMLImageLabeler(
 FirebaseVisionOnDeviceAutoMLImageLabelerOptions
 .Builder(mlModel)
 .setConfidenceThreshold(0.7f)
 .build()
 )

14. 画像からラベルを検出する
 画像から取得できるラベルのテキストを元に、子供、大人、犬、猫、その他を判別していきます。FirebaseVisionImage は、アプリ によって画像の取り扱いを変えていくのがいいと思います。 
 val targetBitmap = getTargetBitmap(context, uri) 
 
 val image = try {
 FirebaseVisionImage.fromBitmap(targetBitmap) 
 } catch (e: IOException) { 
 Timber.e("$e")
 }
 
 try {
 val labels = synchronized( this) {
 Tasks.await(labeler.processImage(image)) 
 }
 labels.forEach { 
 when (it.text) {
 ADULT, OTHERS -> return false
 CATS, KIDS, DOGS -> return true
 }
 }
 } catch (e: ExecutionException) { 
 Timber.e( "$e")
 } catch (e: InterruptedException) { 
 Timber.e( "$e")
 }
 

15. 結果
 犬猫子供と、大人やその他を区別してくれるようになりました。 
 
 最初は、機械学習と聞くと少し身構えてしまいましたが、高精度のモデ ルを作成し、ユーザーニーズの高い機能を、結果とても簡単にアプリに 導入することができました。 Firebaseを通してモデルの更新をかけて育 てていけるし、APIの柔軟性もとても高く、今後の進化がとても楽しみで す。