Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発

oshima
December 11, 2020

CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発

oshima

December 11, 2020
Tweet

More Decks by oshima

Other Decks in Technology

Transcript

  1. メルカリにおけるEdgeAIを用いた
    新たなUXの開発
    CCSE2020
    大嶋悠司

    View Slide

  2. 自己紹介
    大嶋 悠司
    2019/12 ~ Tech Lead of EdgeAI team in Mercari
    ● EgeAI機能開発/研究・モデル作成・プラットフォーム構築
    ● OSS活動:
    ○ Kubeflow katib (owner)
    ○ Docker infrakit (maintainer)
    ● Github: YujiOshima
    ● Twitter: @overs_5121

    View Slide

  3. 発表の流れ
    ● EdgeAIとは・EdgeAIチームの取り組み
    ● 機能開発(要件定義)
    ● 機能開発(POC開発)
    ● 機能開発(技術課題洗い出し)

    View Slide

  4. EdgeAIとは
    MLモデルの推論を端末上で行う
    1 sec 〜
    〜 50ms
    インタラクティブなUXを実現

    View Slide

  5. EdgeAIチームの取り組み
    画像分類:
    アイテムを撮影すると即座にカテゴリを推定
    MLの推論を端末上で行うことでインタラクティブなUXを実現
    リリース済み

    View Slide

  6. EdgeAIチームの取り組み
    自然言語(IME):
    入力に基づき動的に表示を調整
    トライアル中
    MLの推論を端末上で行うことでインタラクティブなUXを実現

    View Slide

  7. EdgeAIチームの取り組み
    物体検出・追跡:
    カメラに映る物体をリアルタイムに追跡
    この機能の開発を例に
    開発中
    MLの推論を端末上で行うことでインタラクティブなUXを実現

    View Slide

  8. 開発の流れ
    要件定義
    社内ユーザテスト
    POC作成
    技術課題洗い出し

    View Slide

  9. 要件定義

    View Slide

  10. 10
    売れるかチェック
    アイテムを撮影すると
    ● 売れている価格平均
    ● 売り切れ率
    がわかる
    UXを改善し利用率を上げたい

    View Slide

  11. 11
    利用率を向上のために
    結果表示
    タップ
    領域検出
    類似商品検索
    写真撮影
    カメラ画面
    売れるかチェックのステップを分解

    View Slide

  12. 12
    ボトルネックの調査
    結果表示
    タップ
    領域検出
    類似商品検索
    写真撮影
    カメラ画面
    ここでやめてしまうお客様が多い
    写真の撮影は想定以上にハードルが高いのでは?
    写真撮影のステップをなくせないか

    View Slide

  13. 13
    ボトルネックの調査
    結果表示
    タップ
    領域検出
    類似商品検索
    写真撮影
    カメラ画面

    View Slide

  14. 14
    ボトルネックの調査
    結果表示
    タップ
    領域検出
    類似商品検索
    写真撮影
    カメラ画面

    View Slide

  15. 15
    領域検出を端末上で行う
    結果表示
    タップ
    類似商品検索
    領域検出
    カメラ画面

    View Slide

  16. 16
    POC作成+ユーザテスト

    View Slide

  17. 17
    領域検出を端末上で行う

    View Slide

  18. 18
    ● 物体検出の精度は十分
    ● タップすればいいことが伝わりにくい
    社内ユーザテスト
    物体検出とともに売れやすい価格などの
    情報提示もリアルタイムに行いたい

    View Slide

  19. 19
    領域検出を端末上で行う
    結果表示
    タップ
    類似商品検索
    領域検出
    カメラ画面

    View Slide

  20. 20
    情報提示までリアルタイムに
    結果表示
    類似商品検索
    領域検出
    カメラ画面

    View Slide

  21. 21
    情報提示までリアルタイムに
    結果表示
    類似商品検索
    領域検出
    カメラ画面
    画像転送に時間が
    かかる

    View Slide

  22. 22
    特徴量抽出
    情報提示までリアルタイムに
    結果表示
    類似商品検索
    領域検出
    カメラ画面
    011010
    010101
    011...

    View Slide

  23. 23
    特徴量抽出
    情報提示までリアルタイムに
    結果表示
    類似商品検索
    領域検出
    カメラ画面
    011010
    010101
    011...
    転送量を大幅に軽減

    View Slide

  24. 24

    View Slide

  25. 25
    技術課題洗い出し

    View Slide

  26. 26
    リリースのために解決すべき課題
    ● モデルサイズと精度のトレードオフ
    ● 端末の熱・電池消費の問題

    View Slide

  27. 27
    モデルサイズと精度のバランス
    アーキテクチャ Precision/mAP Recall/[email protected] モデルサイズ
    SSD-mobilenetv2 0.56 0.66 18MB
    SSDLite-mobilenetv2 0.56 0.67 12MB
    SSDLite-mobilenetv3-small 0.38 0.5 3.7MB
    SSDLite-mobiledet 0.59 0.71 13.8MB
    モデルの精度だけを追求することはできない
    実行デバイスで推論速度も違う

    View Slide

  28. 28
    Edgeモデル検証用プラットフォーム
    モデル学習
    参考:MLSE モバイル向け機械学習モデル管理基盤

    View Slide

  29. 29
    Edgeモデル検証用プラットフォーム
    モデル学習
    参考:MLSE モバイル向け機械学習モデル管理基盤
    精度・モデルサイズや
    実デバイス上の推論速度を可視化

    View Slide

  30. 30
    デバイスごとのベンチマーク
    iPhone 11 iPhone 8
    CoreML
    GPU
    CPU
    XNNPack

    View Slide

  31. 31
    端末の熱・電池消費の問題
    30 FPS
    ・・・

    View Slide

  32. 32
    端末の熱・電池消費の問題
    参考: Mediapipeを活用したストリーミング推論の事例紹介-カメラをかざして家の中から売れるアイテムを探そう  
    端末上での処理をパイプラインで表現
    ● 並列化
    ● 重い処理の計算頻度を下げる

    View Slide

  33. 33
    端末の熱・電池消費の問題

    View Slide

  34. 34
    まとめ
    ● どこまでを端末上で行うか,どれくらいの精度が必要か
    ○ ユーザテストとPOCを繰り返す
    ● 端末上での処理能力や熱の問題
    ○ MLの精度の追求は難しい
    ○ サイズ検証や実機ベンチマークを自動化
    ○ UXを損なわないレベルで計算コストを下げるチューニング
    課題
    ● リリース後のログの設計
    ● モデルの更新基盤

    View Slide