Save 37% off PRO during our Black Friday Sale! »

MLOps勉強会 そのEdgeAIはUXを 改善できるか

744424a2b6307140bf794ffb00ce5ec1?s=47 oshima
October 14, 2021

MLOps勉強会 そのEdgeAIはUXを 改善できるか

第12回 MLOps 勉強会の資料です

744424a2b6307140bf794ffb00ce5ec1?s=128

oshima

October 14, 2021
Tweet

Transcript

  1. そのEdgeAIはUXを 改善できるか 株式会社メルカリ 大嶋

  2. whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari

    • Github: YujiOshima • Twitter: @overs_5121
  3. そのEdgeAIはUXを改善できるか

  4. なぜクライアントサイドにAIを導入するのか {プライバシー / ネットワーク / サーバ料金} を気にせずMLをつけっぱなしにできる 例:スマートスピーカーのwakeワード 「OK Google」「Hey Siri」

    TV会議の背景ぼかし
  5. つけっぱなしだと Button Upload より曖昧・楽なユーザアクションを拾うことができる より自然なインタラクション より良いタイミングの情報提示

  6. その機能はどのようにUXを改善するか

  7. かざして売れるかチェック カメラをかざすだけで カテゴリや売られている値段がわかる ネイティブアプリ版,webアプリ版を開発 ネイティブ Web 「撮影」というアクションの排除

  8. 効果はありそうか 結果表示 物体検出 写真撮影 カメラ画面 ここでの離脱が 30% 程度で最も多い! EdgeAIしない場合のフロー 次のアイテムの情報を見るにはまた最初から

    離脱率や検索されたアイテム数を指標に改善を測れそう!!
  9. かざして売れるかチェックの実装

  10. 体験を悪化させないか

  11. EdgeAI導入による体験の悪化 • アプリサイズの増加 • 発熱・電池消費

  12. アプリサイズ アプリサイズの増加はアプリのDL数を低下させる* * https://segment.com/blog/mobile-app-size-effect-on-downloads/ ** https://android-developers.googleblog.com/2021/07/announcing-androids-updateable-fully.html MLモデル TF Liteなどの ライブラリ

    対策 • 軽量なモデルの選定,軽量化 • モデルの量子化 • ライブラリビルドのチューニング • TensorFlow Lite for Android**
  13. 発熱・電池消費 ML推論によって発熱・電池消費の増加が起こる モデル推論 前処理 後処理 対策 • GPU, ANE*など適切なデバイスの選択 •

    負荷の高い処理と低い処理を組み合わせる • 体験を維持しながら処理頻度を落とす** * https://developer.apple.com/jp/machine-learning/core-ml/ ** MediaPipeを使ったARアプリ開発事例
  14. 期待する性能を実現できるか

  15. EdgeAIの体験を支えるもの • モデルの精度 • ユーザのデバイス上でのモデルの推論速度 • ユーザのデバイス上でのモデル推論を含む機能全体のパフォーマンス ユーザサイドでパフォーマンスが担保できることが重要

  16. かざして売れるかチェックの場合 • MLモデル単体での推論速度 • MLモデル単体での精度 • Trackingのパフォーマンス • Trackingの精度 を実機で確認したい!

    お客さまが使う端末の種類はいっぱいある・・
  17. JetFire 我々のチームで開発・運用するEdgeAI用プラットフォーム

  18. JetFire

  19. モデル単体の検証

  20. モデルを組み込んだロジックの検証

  21. モデルの改善はUXの改善 評価はJetFireで自動化 JetFireで評価された実装であればアプリに組み込める モデル学習 モデル評価 機能実装 機能評価

  22. UIは期待する体験を実現できるか

  23. メルカリステーションにおける先行リリース お客さまアンケートの実施

  24. お客さまの声をもとにUIを改善 改善点 • 提示した情報をすぐ消さない • 加速度情報から検出タイミングの調整 • 検出できないときにガイドを表示 アンケートスコアが改善! Usability

    : 4.23 → 4.45 Responsiveness : 4.33 → 4.58
  25. UXは改善できたか

  26. ユーザログ分析 KPIは • 離脱率の低減 • 売れるかチェックで検索されたアイテムの数 Guardrail metricsとして • 全体の出品数

    参考:メルカリにおけるA/Bテスト標準化への取り組み
  27. 結果 離脱率,検索されたアイテム数 ともに改善! 特にアイテムの数は 8倍近くに! 🎉🎉🎉🎉 「かざす」UIは有効だったと言えそう!

  28. 次回作にご期待ください ユーザのログを詳細に追うと • 出品までつながったお客さまがまだ少ない • 再度機能を使ってくれたお客さまが少ない 仮説を立てて改善を繰り返す・・・ 俺たちの戦いはこれからだ!!