そのEdgeAIはUXを 改善できるか 株式会社メルカリ　大嶋

whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari ● Github: YujiOshima ● Twitter: @overs_5121

そのEdgeAIはUXを改善できるか

なぜクライアントサイドにAIを導入するのか ｛プライバシー / ネットワーク / サーバ料金｝ を気にせずMLをつけっぱなしにできる 例：スマートスピーカーのwakeワード　「OK Google」「Hey Siri」 TV会議の背景ぼかし

つけっぱなしだと Button Upload より曖昧・楽なユーザアクションを拾うことができる より自然なインタラクション より良いタイミングの情報提示

その機能はどのようにUXを改善するか

かざして売れるかチェック カメラをかざすだけで カテゴリや売られている値段がわかる ネイティブアプリ版，webアプリ版を開発 ネイティブ Web 「撮影」というアクションの排除

効果はありそうか 結果表示 物体検出 写真撮影 カメラ画面 ここでの離脱が 30% 程度で最も多い！ EdgeAIしない場合のフロー 次のアイテムの情報を見るにはまた最初から 離脱率や検索されたアイテム数を指標に改善を測れそう！！

かざして売れるかチェックの実装

体験を悪化させないか

EdgeAI導入による体験の悪化 ● アプリサイズの増加 ● 発熱・電池消費

アプリサイズ アプリサイズの増加はアプリのDL数を低下させる* * https://segment.com/blog/mobile-app-size-effect-on-downloads/ ** https://android-developers.googleblog.com/2021/07/announcing-androids-updateable-fully.html MLモデル TF Liteなどの ライブラリ 対策 ● 軽量なモデルの選定，軽量化 ● モデルの量子化 ● ライブラリビルドのチューニング ● TensorFlow Lite for Android**

発熱・電池消費 ML推論によって発熱・電池消費の増加が起こる モデル推論 前処理 後処理 対策 ● GPU, ANE*など適切なデバイスの選択 ● 負荷の高い処理と低い処理を組み合わせる ● 体験を維持しながら処理頻度を落とす** * https://developer.apple.com/jp/machine-learning/core-ml/ ** MediaPipeを使ったARアプリ開発事例

期待する性能を実現できるか

EdgeAIの体験を支えるもの ● モデルの精度 ● ユーザのデバイス上でのモデルの推論速度 ● ユーザのデバイス上でのモデル推論を含む機能全体のパフォーマンス ユーザサイドでパフォーマンスが担保できることが重要

かざして売れるかチェックの場合 ● MLモデル単体での推論速度 ● MLモデル単体での精度 ● Trackingのパフォーマンス ● Trackingの精度 を実機で確認したい！ お客さまが使う端末の種類はいっぱいある・・

JetFire 我々のチームで開発・運用するEdgeAI用プラットフォーム

JetFire

モデル単体の検証

モデルを組み込んだロジックの検証

モデルの改善はUXの改善 評価はJetFireで自動化 JetFireで評価された実装であればアプリに組み込める モデル学習 モデル評価 機能実装 機能評価

UIは期待する体験を実現できるか

メルカリステーションにおける先行リリース お客さまアンケートの実施

お客さまの声をもとにUIを改善 改善点 ● 提示した情報をすぐ消さない ● 加速度情報から検出タイミングの調整 ● 検出できないときにガイドを表示 アンケートスコアが改善！ Usability : 4.23 → 4.45 Responsiveness : 4.33 → 4.58

UXは改善できたか

ユーザログ分析 KPIは ● 離脱率の低減 ● 売れるかチェックで検索されたアイテムの数 Guardrail metricsとして ● 全体の出品数 参考：メルカリにおけるA/Bテスト標準化への取り組み

結果 離脱率，検索されたアイテム数　ともに改善！ 特にアイテムの数は 8倍近くに！　🎉🎉🎉🎉 「かざす」UIは有効だったと言えそう！

次回作にご期待ください ユーザのログを詳細に追うと ● 出品までつながったお客さまがまだ少ない ● 再度機能を使ってくれたお客さまが少ない 仮説を立てて改善を繰り返す・・・ 俺たちの戦いはこれからだ！！