Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps勉強会 そのEdgeAIはUXを 改善できるか
Search
oshima
October 14, 2021
Technology
1
1.1k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
第12回 MLOps 勉強会の資料です
oshima
October 14, 2021
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
280
メルカリのLLMを使ったサービス開発の進め方
yujioshima
0
180
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.4k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
140
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
260
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3k
Other Decks in Technology
See All in Technology
君はApplication Composerというサービスを知っているか
tsukuboshi
1
520
layerx-0-to-1-product-development-in-compound-startups
shnjtk
1
520
GitHub composite actions
hkusu
1
120
最速思考でバクラク品質を! スタートアップのリアルな課題とQAの実践
nakanao
1
440
履歴データテーブルとの向き合い方_PHPerKaigi2024
gennei
25
6.7k
PHPerKaigi 2024 - PHP 本体のバグを見つけたら適切に報告しよう
zeriyoshi
0
760
AWS IAM の結果整合性を避けるためセッションポリシーを用いてポリシーの動作確認を行う、を解説する
yukihirochiba
0
380
SREのキャリア、 あるいは生態 / #ya8
cohalz
10
1k
スプリント内で試験を完了させるには?アジャイル・スクラム開発に参加したQAエンジニアの悩みと対策
cybozuinsideout
PRO
1
120
Azure AI サービス全体像と Prompt flow 紹介 - Forkwell Library
shohei1029
1
590
なんでもかんでもコンテナ化すればいいってもんでもないけど なんでもかんでもコンテナ化したらスッキリしました
saramune
1
160
SecurityCamp2023基板作るコース講義資料/Security Camp 2023 Lecture Materials
tnishinaga
5
1.3k
Featured
See All Featured
A Tale of Four Properties
chriscoyier
150
22k
Building an army of robots
kneath
300
41k
Debugging Ruby Performance
tmm1
68
11k
Testing 201, or: Great Expectations
jmmastey
27
6.3k
Keith and Marios Guide to Fast Websites
keithpitt
407
22k
How to train your dragon (web standard)
notwaldorf
71
5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
56
13k
The Art of Programming - Codeland 2020
erikaheidi
40
12k
Designing for humans not robots
tammielis
247
25k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
226
16k
Infographics Made Easy
chrislema
237
17k
Scaling GitHub
holman
456
140k
Transcript
そのEdgeAIはUXを 改善できるか 株式会社メルカリ 大嶋
whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari
• Github: YujiOshima • Twitter: @overs_5121
そのEdgeAIはUXを改善できるか
なぜクライアントサイドにAIを導入するのか {プライバシー / ネットワーク / サーバ料金} を気にせずMLをつけっぱなしにできる 例:スマートスピーカーのwakeワード 「OK Google」「Hey Siri」
TV会議の背景ぼかし
つけっぱなしだと Button Upload より曖昧・楽なユーザアクションを拾うことができる より自然なインタラクション より良いタイミングの情報提示
その機能はどのようにUXを改善するか
かざして売れるかチェック カメラをかざすだけで カテゴリや売られている値段がわかる ネイティブアプリ版,webアプリ版を開発 ネイティブ Web 「撮影」というアクションの排除
効果はありそうか 結果表示 物体検出 写真撮影 カメラ画面 ここでの離脱が 30% 程度で最も多い! EdgeAIしない場合のフロー 次のアイテムの情報を見るにはまた最初から
離脱率や検索されたアイテム数を指標に改善を測れそう!!
かざして売れるかチェックの実装
体験を悪化させないか
EdgeAI導入による体験の悪化 • アプリサイズの増加 • 発熱・電池消費
アプリサイズ アプリサイズの増加はアプリのDL数を低下させる* * https://segment.com/blog/mobile-app-size-effect-on-downloads/ ** https://android-developers.googleblog.com/2021/07/announcing-androids-updateable-fully.html MLモデル TF Liteなどの ライブラリ
対策 • 軽量なモデルの選定,軽量化 • モデルの量子化 • ライブラリビルドのチューニング • TensorFlow Lite for Android**
発熱・電池消費 ML推論によって発熱・電池消費の増加が起こる モデル推論 前処理 後処理 対策 • GPU, ANE*など適切なデバイスの選択 •
負荷の高い処理と低い処理を組み合わせる • 体験を維持しながら処理頻度を落とす** * https://developer.apple.com/jp/machine-learning/core-ml/ ** MediaPipeを使ったARアプリ開発事例
期待する性能を実現できるか
EdgeAIの体験を支えるもの • モデルの精度 • ユーザのデバイス上でのモデルの推論速度 • ユーザのデバイス上でのモデル推論を含む機能全体のパフォーマンス ユーザサイドでパフォーマンスが担保できることが重要
かざして売れるかチェックの場合 • MLモデル単体での推論速度 • MLモデル単体での精度 • Trackingのパフォーマンス • Trackingの精度 を実機で確認したい!
お客さまが使う端末の種類はいっぱいある・・
JetFire 我々のチームで開発・運用するEdgeAI用プラットフォーム
JetFire
モデル単体の検証
モデルを組み込んだロジックの検証
モデルの改善はUXの改善 評価はJetFireで自動化 JetFireで評価された実装であればアプリに組み込める モデル学習 モデル評価 機能実装 機能評価
UIは期待する体験を実現できるか
メルカリステーションにおける先行リリース お客さまアンケートの実施
お客さまの声をもとにUIを改善 改善点 • 提示した情報をすぐ消さない • 加速度情報から検出タイミングの調整 • 検出できないときにガイドを表示 アンケートスコアが改善! Usability
: 4.23 → 4.45 Responsiveness : 4.33 → 4.58
UXは改善できたか
ユーザログ分析 KPIは • 離脱率の低減 • 売れるかチェックで検索されたアイテムの数 Guardrail metricsとして • 全体の出品数
参考:メルカリにおけるA/Bテスト標準化への取り組み
結果 離脱率,検索されたアイテム数 ともに改善! 特にアイテムの数は 8倍近くに! 🎉🎉🎉🎉 「かざす」UIは有効だったと言えそう!
次回作にご期待ください ユーザのログを詳細に追うと • 出品までつながったお客さまがまだ少ない • 再度機能を使ってくれたお客さまが少ない 仮説を立てて改善を繰り返す・・・ 俺たちの戦いはこれからだ!!