Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps勉強会 そのEdgeAIはUXを 改善できるか
Search
oshima
October 14, 2021
Technology
1
1.1k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
第12回 MLOps 勉強会の資料です
oshima
October 14, 2021
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
310
メルカリのLLMを使ったサービス開発の進め方
yujioshima
0
200
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.4k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
150
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
270
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3k
Other Decks in Technology
See All in Technology
[PlatformCon 24] Platform Orchestrators: The Missing Middle of Internal Developer Platforms?
danielbryantuk
1
780
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
150
本当のAWS基礎
toru_kubota
0
360
Algyan イベント振り返り
linyixian
0
200
ユーザーストーリーのレビューを自動化したみたの
bun913
1
380
反実仮想機械学習とは何か
usaito
PRO
8
3k
開発生産性大幅アップ!Postman VS Code拡張機能
nagix
2
350
元インフラエンジニアに成る / Human Resources to Human Relations
bobtani
4
890
JAWS-UG Bedrock Claude Night
yamahiro
3
440
Meta Quest 3 で動く桜マシマシ WebXR アプリを IBM Cloud Code Engine と Babylon.js で作った話
1ftseabass
PRO
0
110
Postman v10リリース後を振り返る
nagix
0
170
Oracle Cloud Infrastructure:2024年4月度サービス・アップデート
oracle4engineer
PRO
1
170
Featured
See All Featured
Thoughts on Productivity
jonyablonski
57
3.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Code Reviewing Like a Champion
maltzj
513
39k
Rails Girls Zürich Keynote
gr2m
91
13k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
18
1.7k
Infographics Made Easy
chrislema
238
18k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
6
990
Fantastic passwords and where to find them - at NoRuKo
philnash
36
2.5k
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
24
2.3k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
Building Applications with DynamoDB
mza
88
5.6k
Transcript
そのEdgeAIはUXを 改善できるか 株式会社メルカリ 大嶋
whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari
• Github: YujiOshima • Twitter: @overs_5121
そのEdgeAIはUXを改善できるか
なぜクライアントサイドにAIを導入するのか {プライバシー / ネットワーク / サーバ料金} を気にせずMLをつけっぱなしにできる 例:スマートスピーカーのwakeワード 「OK Google」「Hey Siri」
TV会議の背景ぼかし
つけっぱなしだと Button Upload より曖昧・楽なユーザアクションを拾うことができる より自然なインタラクション より良いタイミングの情報提示
その機能はどのようにUXを改善するか
かざして売れるかチェック カメラをかざすだけで カテゴリや売られている値段がわかる ネイティブアプリ版,webアプリ版を開発 ネイティブ Web 「撮影」というアクションの排除
効果はありそうか 結果表示 物体検出 写真撮影 カメラ画面 ここでの離脱が 30% 程度で最も多い! EdgeAIしない場合のフロー 次のアイテムの情報を見るにはまた最初から
離脱率や検索されたアイテム数を指標に改善を測れそう!!
かざして売れるかチェックの実装
体験を悪化させないか
EdgeAI導入による体験の悪化 • アプリサイズの増加 • 発熱・電池消費
アプリサイズ アプリサイズの増加はアプリのDL数を低下させる* * https://segment.com/blog/mobile-app-size-effect-on-downloads/ ** https://android-developers.googleblog.com/2021/07/announcing-androids-updateable-fully.html MLモデル TF Liteなどの ライブラリ
対策 • 軽量なモデルの選定,軽量化 • モデルの量子化 • ライブラリビルドのチューニング • TensorFlow Lite for Android**
発熱・電池消費 ML推論によって発熱・電池消費の増加が起こる モデル推論 前処理 後処理 対策 • GPU, ANE*など適切なデバイスの選択 •
負荷の高い処理と低い処理を組み合わせる • 体験を維持しながら処理頻度を落とす** * https://developer.apple.com/jp/machine-learning/core-ml/ ** MediaPipeを使ったARアプリ開発事例
期待する性能を実現できるか
EdgeAIの体験を支えるもの • モデルの精度 • ユーザのデバイス上でのモデルの推論速度 • ユーザのデバイス上でのモデル推論を含む機能全体のパフォーマンス ユーザサイドでパフォーマンスが担保できることが重要
かざして売れるかチェックの場合 • MLモデル単体での推論速度 • MLモデル単体での精度 • Trackingのパフォーマンス • Trackingの精度 を実機で確認したい!
お客さまが使う端末の種類はいっぱいある・・
JetFire 我々のチームで開発・運用するEdgeAI用プラットフォーム
JetFire
モデル単体の検証
モデルを組み込んだロジックの検証
モデルの改善はUXの改善 評価はJetFireで自動化 JetFireで評価された実装であればアプリに組み込める モデル学習 モデル評価 機能実装 機能評価
UIは期待する体験を実現できるか
メルカリステーションにおける先行リリース お客さまアンケートの実施
お客さまの声をもとにUIを改善 改善点 • 提示した情報をすぐ消さない • 加速度情報から検出タイミングの調整 • 検出できないときにガイドを表示 アンケートスコアが改善! Usability
: 4.23 → 4.45 Responsiveness : 4.33 → 4.58
UXは改善できたか
ユーザログ分析 KPIは • 離脱率の低減 • 売れるかチェックで検索されたアイテムの数 Guardrail metricsとして • 全体の出品数
参考:メルカリにおけるA/Bテスト標準化への取り組み
結果 離脱率,検索されたアイテム数 ともに改善! 特にアイテムの数は 8倍近くに! 🎉🎉🎉🎉 「かざす」UIは有効だったと言えそう!
次回作にご期待ください ユーザのログを詳細に追うと • 出品までつながったお客さまがまだ少ない • 再度機能を使ってくれたお客さまが少ない 仮説を立てて改善を繰り返す・・・ 俺たちの戦いはこれからだ!!