new ML Kit feature Yuki Anzai (@yanzm)

Yuki Anzai • Android App Developer (2009~) • CEO of uPhyca Inc. (2011~) • Google Developer Expert for Android • Organizer of GTUG Girls and droid girls • Twitter : @yanzm

ML Kit とは • Firebase の機能の⼀つ • 機械学習を利⽤する機能をアプリに簡単に組み込むためのモバイル SDK • 現在は β • iOS と Android で使える • https://firebase.google.com/docs/ml-kit/

on-device vs Cloud • on-device API • ローカルで動作、速い • Firebase が機械学習のモデルをあらかじめダウンロードしてくれる • Cloud API • サーバーで処理、⾼機能 • ネットワーク接続が必要

いままでの機能 on-device Cloud Text recognition : テキスト認識 O O Face detection : 顔検出 O - Barcode scanning : バーコードスキャン O - Image labeling : 画像のラベル付け O O Landmark recognition : ランドマーク認識 - O Custom model inference : カスタムモデル推論 O -

新しく追加された機能 • Object Detection and Tracking • on-device Translation • ML Kit: Machine Learning for Mobile with Firebase (Google I/O'19) • https://www.youtube.com/watch?v=QwHD36bhXZA

on-device Translation API • 59 ⾔語間の翻訳が可能 • https://firebase.google.com/docs/ml-kit/translation-language- support • Google Translate の offline mode と同じモデル • 完全に device 上で動作 = offline で動く • 無料

Language Pack • Each language pack : 25~35 MB • Language packs は動的にダウンロードされる • 59 language → ~3000 pairs • English を中間⾔語として利⽤ • 例) Dutch → English → Chinese

Limitations • intended for casual and simple translations • 翻訳の質は⾔語に依存する • より⾼い忠実度が必要なときは Cloud Translation API を試す • https://cloud.google.com/translate/

Usage guidelines • Usage Guidelines for ML Kit On-device Translation を読むこと • https://firebase.google.com/docs/ml-kit/translation-terms

Providing feedback • 不適切な翻訳を⾒つけた時は Firebase support から feedback を送る • https://firebase.google.com/support

Setup dependencies { ... implementation "com.google.firebase:firebase-ml-natural-language:19.0.0" implementation "com.google.firebase:firebase-ml-natural-language-translate-model:19.0.0" }

val options = FirebaseTranslatorOptions.Builder() .setSourceLanguage(FirebaseTranslateLanguage.EN) .setTargetLanguage(FirebaseTranslateLanguage.JA) .build() val translator = FirebaseNaturalLanguage.getInstance().getTranslator(options) 実際に translate する前にモデルがダウンロードされているか確認する val conditions = FirebaseModelDownloadConditions.Builder() .requireWifi() .build() translator.downloadModelIfNeeded(conditions) .addOnSuccessListener { } .addOnFailureListener { }

enJaTranslator.translate(text) .addOnSuccessListener { } .addOnFailureListener { }

Explicitly manage translation models • ML Kit's translation model management API • 事前にモデルをダウンロード • 不要なモデルを削除

val modelManager = FirebaseTranslateModelManager.getInstance() // デバイスに保存されている翻訳モデルを取得する modelManager.getAvailableModels(FirebaseApp.getInstance()) .addOnSuccessListener { models: Set -> // ... } .addOnFailureListener { // Error. }

val modelManager = FirebaseTranslateModelManager.getInstance() // ⽇日本語モデルを（デバイスに保存されていれば）削除する val jaModel = FirebaseTranslateRemoteModel.Builder(FirebaseTranslateLanguage.JA) .build() modelManager.deleteDownloadedModel(jaModel) .addOnSuccessListener { // Model deleted. } .addOnFailureListener { // Error. }

val modelManager = FirebaseTranslateModelManager.getInstance() // ⽇日本語モデルを明示的にダウンロードする val conditions = FirebaseModelDownloadConditions.Builder() .requireWifi() .build() val jaModel = FirebaseTranslateRemoteModel.Builder(FirebaseTranslateLanguage.JA) .setDownloadConditions(conditions) .build() modelManager.downloadRemoteModelIfNeeded(jaModel) .addOnSuccessListener { // Model downloaded. } .addOnFailureListener { // Error. }

Object Detection and Tracking • 画像からオブジェクトを検出 • 単⼀検出 or 複数検出 • カテゴリ分類（6種類）あり or なし • on-device • 無料

No content

Codelab • Detect objects in images with ML Kit for Firebase: Android • https://codelabs.developers.google.com/codelabs/mlkit-android- odt/index.html • 静⽌画からオブジェクトを検出

Stream or Single Image • STREAM_MODE • low latency (最初の数回の呼び出しで不完全な結果が返ることがある) • tracking ID • 動画プレビュー向け • SINGLE_IMAGE_MODE • STREAM_MODE よりは latency が⾼くなりがち • 静⽌画向け

複数検出 • 最⼤5個まで検出

カテゴリ • home goods • fashion goods • food • plants • places • unknown

Setup dependencies { ... implementation "com.google.firebase:firebase-ml-vision:20.0.0" implementation "com.google.firebase:firebase-ml-vision-object-detection-model:16.0.0" }

val options = FirebaseVisionObjectDetectorOptions.Builder() .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE) // or SINGLE_IMAGE_MODE .enableClassification() // Optional : 複数検出 .enableMultipleObjects() // Optional : カテゴリ .build() val detector = FirebaseVision.getInstance().getOnDeviceObjectDetector(options)

val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation) val image = FirebaseVisionImage.fromBitmap(bitmap) detector.processImage(image) .addOnSuccessListener { results -> for (obj in results) { val entityId: String = obj.entityId val box: Rect = obj.boundingBox val category: Int = obj.classificationCategory val confidence: Float? = obj.classificationConfidence val trackingId: Int? = obj.trackingId ... } } .addOnFailureListener { ... }

Improving usability and performance • 視覚的特徴が少ないオブジェクトだと、オブジェクトが画像の⼤部分を占 めないと検出されないことがあるので、うまく検出できるようにユーザー に適切なガイダンスを提供するとよい • カテゴリ分類を有効にして、特定のカテゴリのオブジェクトだけ対象にす るようなユースケースでは、unknown に配慮する

動画プレビューで最良のフレームレートを達成するには • 複数検出を使わない • 不要な場合はカテゴリ分類を無効にする • detector の実⾏中に利⽤可能になった新しいフレームはドロップする • Camera 2 API を使⽤している場合は ImageFormat.YUV_420_888形式 で、古い Camera API を使⽤している場合は ImageFormat.NV21形式で 画像をキャプチャする

Patterns for machine learning-powered features • Material Design • https://material.io/collections/machine-learning/ • サンプルアプリ • https://github.com/firebase/mlkit-material-android

Custom Image Classifier • データセット収集、ラベル付け、学習（ML Kit の AutoML Vision Edge）、モデルのテストができる便利 Flutter アプリ • https://github.com/firebase/mlkit-custom-image-classifier

CameraX で ObjetDetection したい • https://github.com/yanzm/CameraXObjectDetection

Thank you