Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps勉強会 そのEdgeAIはUXを 改善できるか
Search
oshima
October 14, 2021
Technology
1
1.3k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
第12回 MLOps 勉強会の資料です
oshima
October 14, 2021
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
450
メルカリのLLMを使ったサービス開発の進め方
yujioshima
0
280
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.7k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
240
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
340
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3.2k
Other Decks in Technology
See All in Technology
Power Automate のパフォーマンス改善レシピ / Power Automate Performance Improvement Recipes
karamem0
0
130
MCPと認可まわりの話 / mcp_and_authorization
convto
1
140
自分がLinc’wellで提供しているプロダクトを理解するためにやったこと
murabayashi
1
160
Amazon CloudWatchのメトリクスインターバルについて / Metrics interval matters
ymotongpoo
3
210
20250719_JAWS_kobe
takuyay0ne
1
160
2025-07-25 NOT A HOTEL TECH TALK ━ スマートホーム開発の最前線 ━ SOFTWARE
wakinchan
0
120
Semantic Machine Intelligence for Vision, Language, and Actions
keio_smilab
PRO
2
390
PdM業務における使い分け
shinshiro
0
590
Shadow DOMとセキュリティ - 光と影の境界を探る / Shibuya.XSS techtalk #13
masatokinugawa
0
270
TROCCO今昔
gtnao
0
210
AI Ready API ─ AI時代に求められるAPI設計とは?/ AI-Ready API - Designing MCP and APIs in the AI Era
yokawasa
21
5.8k
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.2k
Featured
See All Featured
We Have a Design System, Now What?
morganepeng
53
7.7k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Why Our Code Smells
bkeepers
PRO
337
57k
Statistics for Hackers
jakevdp
799
220k
Fireside Chat
paigeccino
37
3.5k
Code Review Best Practice
trishagee
69
19k
Side Projects
sachag
455
43k
How STYLIGHT went responsive
nonsquared
100
5.6k
Producing Creativity
orderedlist
PRO
346
40k
Transcript
そのEdgeAIはUXを 改善できるか 株式会社メルカリ 大嶋
whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari
• Github: YujiOshima • Twitter: @overs_5121
そのEdgeAIはUXを改善できるか
なぜクライアントサイドにAIを導入するのか {プライバシー / ネットワーク / サーバ料金} を気にせずMLをつけっぱなしにできる 例:スマートスピーカーのwakeワード 「OK Google」「Hey Siri」
TV会議の背景ぼかし
つけっぱなしだと Button Upload より曖昧・楽なユーザアクションを拾うことができる より自然なインタラクション より良いタイミングの情報提示
その機能はどのようにUXを改善するか
かざして売れるかチェック カメラをかざすだけで カテゴリや売られている値段がわかる ネイティブアプリ版,webアプリ版を開発 ネイティブ Web 「撮影」というアクションの排除
効果はありそうか 結果表示 物体検出 写真撮影 カメラ画面 ここでの離脱が 30% 程度で最も多い! EdgeAIしない場合のフロー 次のアイテムの情報を見るにはまた最初から
離脱率や検索されたアイテム数を指標に改善を測れそう!!
かざして売れるかチェックの実装
体験を悪化させないか
EdgeAI導入による体験の悪化 • アプリサイズの増加 • 発熱・電池消費
アプリサイズ アプリサイズの増加はアプリのDL数を低下させる* * https://segment.com/blog/mobile-app-size-effect-on-downloads/ ** https://android-developers.googleblog.com/2021/07/announcing-androids-updateable-fully.html MLモデル TF Liteなどの ライブラリ
対策 • 軽量なモデルの選定,軽量化 • モデルの量子化 • ライブラリビルドのチューニング • TensorFlow Lite for Android**
発熱・電池消費 ML推論によって発熱・電池消費の増加が起こる モデル推論 前処理 後処理 対策 • GPU, ANE*など適切なデバイスの選択 •
負荷の高い処理と低い処理を組み合わせる • 体験を維持しながら処理頻度を落とす** * https://developer.apple.com/jp/machine-learning/core-ml/ ** MediaPipeを使ったARアプリ開発事例
期待する性能を実現できるか
EdgeAIの体験を支えるもの • モデルの精度 • ユーザのデバイス上でのモデルの推論速度 • ユーザのデバイス上でのモデル推論を含む機能全体のパフォーマンス ユーザサイドでパフォーマンスが担保できることが重要
かざして売れるかチェックの場合 • MLモデル単体での推論速度 • MLモデル単体での精度 • Trackingのパフォーマンス • Trackingの精度 を実機で確認したい!
お客さまが使う端末の種類はいっぱいある・・
JetFire 我々のチームで開発・運用するEdgeAI用プラットフォーム
JetFire
モデル単体の検証
モデルを組み込んだロジックの検証
モデルの改善はUXの改善 評価はJetFireで自動化 JetFireで評価された実装であればアプリに組み込める モデル学習 モデル評価 機能実装 機能評価
UIは期待する体験を実現できるか
メルカリステーションにおける先行リリース お客さまアンケートの実施
お客さまの声をもとにUIを改善 改善点 • 提示した情報をすぐ消さない • 加速度情報から検出タイミングの調整 • 検出できないときにガイドを表示 アンケートスコアが改善! Usability
: 4.23 → 4.45 Responsiveness : 4.33 → 4.58
UXは改善できたか
ユーザログ分析 KPIは • 離脱率の低減 • 売れるかチェックで検索されたアイテムの数 Guardrail metricsとして • 全体の出品数
参考:メルカリにおけるA/Bテスト標準化への取り組み
結果 離脱率,検索されたアイテム数 ともに改善! 特にアイテムの数は 8倍近くに! 🎉🎉🎉🎉 「かざす」UIは有効だったと言えそう!
次回作にご期待ください ユーザのログを詳細に追うと • 出品までつながったお客さまがまだ少ない • 再度機能を使ってくれたお客さまが少ない 仮説を立てて改善を繰り返す・・・ 俺たちの戦いはこれからだ!!