Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps勉強会 そのEdgeAIはUXを 改善できるか
Search
oshima
October 14, 2021
Technology
1
1.3k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
第12回 MLOps 勉強会の資料です
oshima
October 14, 2021
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
450
メルカリのLLMを使ったサービス開発の進め方
yujioshima
0
290
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.7k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
250
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
340
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3.3k
Other Decks in Technology
See All in Technology
生成AI時代のデータ基盤設計〜ペースレイヤリングで実現する高速開発と持続性〜 / Levtech Meetup_Session_2
sansan_randd
1
110
生成AI時代のデータ基盤
shibuiwilliam
4
2.4k
Grafana Meetup Japan Vol. 6
kaedemalu
1
200
Bye-Bye Query Spaghetti: Write Queries You'll Actually Understand Using Pipelined SQL Syntax
tobiaslampertlotum
0
120
カミナシ社の『ID管理基盤』製品内製 - その意思決定背景と2年間の進化 #AWSUnicornDay / Kaminashi ID - The Big Whys
kaminashi
3
720
個人CLAUDE.md紹介と設定から学んだこと/introduce-my-claude-md
shibayu36
0
170
バッチ処理で悩むバックエンドエンジニアに捧げるAWS Glue入門
diggymo
3
100
Kubernetes における cgroup driver のしくみ: runwasi の bugfix より
z63d
2
120
AIのグローバルトレンド2025 #scrummikawa / global ai trend
kyonmm
PRO
0
150
コスト削減の基本の「キ」~ コスト消費3大リソースへの対策 ~
smt7174
2
320
モダンフロントエンド 開発研修
recruitengineers
PRO
10
6.2k
モバイルアプリ研修
recruitengineers
PRO
5
1.7k
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
510
A better future with KSS
kneath
239
17k
Balancing Empowerment & Direction
lara
3
610
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
6.1k
How to Ace a Technical Interview
jacobian
279
23k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
185
54k
Being A Developer After 40
akosma
90
590k
Done Done
chrislema
185
16k
Transcript
そのEdgeAIはUXを 改善できるか 株式会社メルカリ 大嶋
whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari
• Github: YujiOshima • Twitter: @overs_5121
そのEdgeAIはUXを改善できるか
なぜクライアントサイドにAIを導入するのか {プライバシー / ネットワーク / サーバ料金} を気にせずMLをつけっぱなしにできる 例:スマートスピーカーのwakeワード 「OK Google」「Hey Siri」
TV会議の背景ぼかし
つけっぱなしだと Button Upload より曖昧・楽なユーザアクションを拾うことができる より自然なインタラクション より良いタイミングの情報提示
その機能はどのようにUXを改善するか
かざして売れるかチェック カメラをかざすだけで カテゴリや売られている値段がわかる ネイティブアプリ版,webアプリ版を開発 ネイティブ Web 「撮影」というアクションの排除
効果はありそうか 結果表示 物体検出 写真撮影 カメラ画面 ここでの離脱が 30% 程度で最も多い! EdgeAIしない場合のフロー 次のアイテムの情報を見るにはまた最初から
離脱率や検索されたアイテム数を指標に改善を測れそう!!
かざして売れるかチェックの実装
体験を悪化させないか
EdgeAI導入による体験の悪化 • アプリサイズの増加 • 発熱・電池消費
アプリサイズ アプリサイズの増加はアプリのDL数を低下させる* * https://segment.com/blog/mobile-app-size-effect-on-downloads/ ** https://android-developers.googleblog.com/2021/07/announcing-androids-updateable-fully.html MLモデル TF Liteなどの ライブラリ
対策 • 軽量なモデルの選定,軽量化 • モデルの量子化 • ライブラリビルドのチューニング • TensorFlow Lite for Android**
発熱・電池消費 ML推論によって発熱・電池消費の増加が起こる モデル推論 前処理 後処理 対策 • GPU, ANE*など適切なデバイスの選択 •
負荷の高い処理と低い処理を組み合わせる • 体験を維持しながら処理頻度を落とす** * https://developer.apple.com/jp/machine-learning/core-ml/ ** MediaPipeを使ったARアプリ開発事例
期待する性能を実現できるか
EdgeAIの体験を支えるもの • モデルの精度 • ユーザのデバイス上でのモデルの推論速度 • ユーザのデバイス上でのモデル推論を含む機能全体のパフォーマンス ユーザサイドでパフォーマンスが担保できることが重要
かざして売れるかチェックの場合 • MLモデル単体での推論速度 • MLモデル単体での精度 • Trackingのパフォーマンス • Trackingの精度 を実機で確認したい!
お客さまが使う端末の種類はいっぱいある・・
JetFire 我々のチームで開発・運用するEdgeAI用プラットフォーム
JetFire
モデル単体の検証
モデルを組み込んだロジックの検証
モデルの改善はUXの改善 評価はJetFireで自動化 JetFireで評価された実装であればアプリに組み込める モデル学習 モデル評価 機能実装 機能評価
UIは期待する体験を実現できるか
メルカリステーションにおける先行リリース お客さまアンケートの実施
お客さまの声をもとにUIを改善 改善点 • 提示した情報をすぐ消さない • 加速度情報から検出タイミングの調整 • 検出できないときにガイドを表示 アンケートスコアが改善! Usability
: 4.23 → 4.45 Responsiveness : 4.33 → 4.58
UXは改善できたか
ユーザログ分析 KPIは • 離脱率の低減 • 売れるかチェックで検索されたアイテムの数 Guardrail metricsとして • 全体の出品数
参考:メルカリにおけるA/Bテスト標準化への取り組み
結果 離脱率,検索されたアイテム数 ともに改善! 特にアイテムの数は 8倍近くに! 🎉🎉🎉🎉 「かざす」UIは有効だったと言えそう!
次回作にご期待ください ユーザのログを詳細に追うと • 出品までつながったお客さまがまだ少ない • 再度機能を使ってくれたお客さまが少ない 仮説を立てて改善を繰り返す・・・ 俺たちの戦いはこれからだ!!