Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
見えないユーザの声はログに埋もれている! ~ログから具体的なユーザの体験を数値化した事例紹介~
Search
NAVITIME JAPAN
PRO
June 24, 2024
Technology
6
2.9k
見えないユーザの声はログに埋もれている! ~ログから具体的なユーザの体験を数値化した事例紹介~
2024/06/21-22に開催された「スクラムフェス大阪」で発表した資料です
https://www.scrumosaka.org/
NAVITIME JAPAN
PRO
June 24, 2024
Tweet
Share
More Decks by NAVITIME JAPAN
See All by NAVITIME JAPAN
つよつよリーダーが 抜けたらどうする? 〜ナビタイムのAgile⽀援組織の変遷〜
navitimejapan
PRO
23
15k
実践ジオフェンス 効率的に開発するために
navitimejapan
PRO
3
690
安全で使いやすいCarPlayアプリの 魅せ方:HIGと実例から学ぶ
navitimejapan
PRO
1
230
ユーザーのためなら 『デザイン』 以外にも手を伸ばせる
navitimejapan
PRO
2
1.5k
フツーのIT女子が、 Engineering Managerになるまで
navitimejapan
PRO
3
350
不確実性に打ち勝つOKR戦略/How to manage uncertainty with OKR strategy
navitimejapan
PRO
4
3.5k
アジャイルを小さいままで 組織に広める 二周目 / Agile Transformation in NAVITIME JAPAN iteration 2
navitimejapan
PRO
4
1.3k
変更障害率0%よりも「継続的な学習と実験」を価値とする 〜障害を「起こってはならないもの」としていた組織がDirtの実施に至るまで〜 / DevOps Transformation in NAVITIME JAPAN
navitimejapan
PRO
7
5.6k
こうしてふりかえりは終わってしまった / A Demise of a retrospective
navitimejapan
PRO
47
31k
Other Decks in Technology
See All in Technology
LLMをツールからプラットフォームへ〜Ai Workforceの戦略〜 #BetAIDay
layerx
PRO
1
980
20250807 Applied Engineer Open House
sakana_ai
PRO
2
360
o11yツールを乗り換えた話
tak0x00
2
1.3k
Backlog AI アシスタントが切り開く未来
vvatanabe
1
130
生成AI時代におけるAI・機械学習技術を用いたプロダクト開発の深化と進化 #BetAIDay
layerx
PRO
1
1.2k
10年以上続くプロダクトで今取り組んでること、取り組もうとしていること
sansantech
PRO
2
110
Segment Anything Modelの最新動向:SAM2とその発展系
tenten0727
0
750
20250807_Kiroと私の反省会
riz3f7
0
220
Claude Codeから我々が学ぶべきこと
oikon48
10
2.8k
AIに目を奪われすぎて、周りの困っている人間が見えなくなっていませんか?
cap120
1
620
Telemetry APIから学ぶGoogle Cloud ObservabilityとOpenTelemetryの現在 / getting-started-telemetry-api-with-google-cloud
k6s4i53rx
0
140
生成AI導入の効果を最大化する データ活用戦略
ham0215
0
160
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
1k
BBQ
matthewcrist
89
9.8k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.6k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.4k
The Cult of Friendly URLs
andyhume
79
6.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Rails Girls Zürich Keynote
gr2m
95
14k
Statistics for Hackers
jakevdp
799
220k
Transcript
見えないユーザの声は ログに埋もれている! ~ログから具体的なユーザの体験を数値化した事例紹介~ 株式会社ナビタイムジャパン 小南果穂
「よいユーザ体験」は どうやって測る? #1
イテレーティブな開発にはフィードバックが必要 Plan Plan Plan FB FB FB UX UX UX
Develop Develop Develop
ユーザ体験のフィードバックになるもの 定量データ 定性データ
定量データのメリット 離脱率 CV率 • 客観的 • 変遷を継続して観測できる • 説得力があり伝わりやすい 定量データ
定性データのメリット • 数値で表せない具体的な体験を知 ることができる • 感情の動きをつかめる ユーザ テスト インタ ビュー
定性データ
ユーザ体験のフィードバックになるもの 定性データ ユーザ テスト インタ ビュー 本当はすべてのリリースで 両方のフィードバックを得たい が、ユーザテスト・インタビューは 実施難易度が高い
ログを分析することで定性データの代替手段にする
自己紹介 株式会社ナビタイムジャパン 小南 果穂 Kaho Kominami 2019年新卒として入社。 研究開発部門で機械学習を用いた渋滞予測機能である 「AI渋滞予報」などの開発を行うほか、 エンジニアと兼務のスクラムマスターとしてチームの
改善にも取り組んでいる。
実際の 研究開発部門の事例 #2
研究開発部門の抱える課題 NAVITIME バス NAVITIME ドライブ サポーター トラック カーナビ ・・・・ 各サービスのユーザー
研究開発(R&D)部門 各サービスの共通基盤
研究開発部門の抱える課題 各サービスのユーザ ユーザからの距離が遠く、声が届きにくい 研究開発(R&D)部門 各サービスの共通基盤
研究開発部門の抱える課題 研究開発(R&D)部門 各サービスの共通基盤 各サービスのユーザ 研究開発(R&D)部門 所属チームの専門性が高い 渋滞予測 経路探索 時刻表データ 道路
ネットワーク 該当する数が少なく 指標にしづらい
事例をご紹介するチーム:交通情報チーム 車移動に関わるすべての人へ正確な道路交通情報の提供を目指す 渋滞予測
欲しいフィードバックへの道のりは遠い 「渋滞予測は正確に感じられたか?」 「走っている時に困ることはなかったか?」 を数値にしたい・・・・ 渋滞予測精度改善のため数多くの施策をリリース・運用している 精度やUXが悪化していないか日々監視が必要 ユーザボイスは数が少なく不向き ユーザテスト・インタビューを全案件で実施も難しい どうやって?
ユーザの体験そのもの! そこでナビタイムジャパンの強みに注目 日本全国の走行ログ 1日あたり約1,000万km = 地球250周分 (2022年1月時点) ※走行ログはユーザから許可を得て取得し 匿名化しているデータです https://api-sdk.navitime.co.jp/api/
column/use_of_probedata/
ログから抽出する UX評価指標の進化 #3
2018年-2020年 チーム発足、UX指標の数値化を試みる 経路探索チームから交通情報チームが独立 1時間程度走行時、所要時間誤差◦◦分以上のユーザを◦◦%削減 チームの目標
2018年-2020年 チーム発足、UX指標の数値化を試みる 再現 GPSログ ユーザが通った道を再現 出発した時間に渋滞予測した と仮定してシミュレート
2018年-2020年 チーム発足、UX指標の数値化を試みる 再現 8:00出発 9:30 到着予測 10:00到着 2時間の経路で 30分の誤差が発生
2018年-2020年 チーム発足、UX指標の数値化を試みる 本当にこの指標は ユーザの体験を反映させている? 1時間程度走行時、所要時間誤差◦◦分以上のユーザを◦◦%削減 チームの目標
2021年 OKRが導入される 顧客満足度を高める高い交通情報品質 • 「予測より早く到着できた」時より 「渋滞を外して遅れた」時の方がユーザ体験が悪い • 全体最適を重視する指標なので、一部のユーザに効果がある施策への モチベーションが低くなる •
「渋滞を抜けるまでに数時間かかる」ような ユーザ体験が著しく下がる場合に着目したい 昨年度までのふりかえり Objective
「ユーザ体験が著しく悪化するケース」に着目した指標 重点課題区間の合計所要時間誤差を◦◦%以上削減 順調に行けると予測 →実際は渋滞していた が一番不満度が高い = 「重点課題区間」 順調 渋滞 順調
渋滞 予測 実際 KeyResult
さらに進化する評価指標(2022年) 日本一の所要時間精度を実現する • 昨年度までで評価指標の数字自体はかなり良いことがわかっている → ではなぜ「日本一」と自信をもって言い切れないのか → 今までの指標では見つかっていない弱点がどこかにあるはず • 他社比較する計測を行いながらOKRを更新し、弱点であった一般道へのアプ ローチを開始した(詳しくはこちら『不確実性に打ち勝つOKR戦略』) KeyResult
Objective 所要時間精度改善施策◦◦件リリース 一般道の重点課題区間50%削減(下半期追加)
さらに進化する評価指標(2023年) 2022年までは期初に決めた評価期間を対象に評価指標の計測を行っていた 今年は4月の 第二週にしよう 季節性のある イベントがある時は? 台風や大雪の影響は?
日次で改善人数を計測するシステムを構築 誤差が著しく大きいユーザ数 何もリリースしなかった 場合の人数 サービスに出ている 予測での改善人数 リリースによって どの期間に・どの程度 改善があったのか 見ることができる
評価指標もアジャイル的に改善している 2022 2023 2024 ふりかえり ふりかえり ふりかえり
しかし・・・・ まだ評価指標がユーザボイスや社内指摘に あっていないと感じる・・・・ 数字には現れない課題感が依然あった
気を付けなければ いけなかったこと #4
なぜか?はデザイン思考からも説明できる 共感 問題 定義 アイデア 創出 プロト タイプ テスト ユーザ体験についての仮説
評価指標決定 施策の実施 このフェーズをずっと試行錯誤しているが・・・・
「共感」と「問題定義」の違い 共感 問題 定義 サンプリングして深く知る 範囲を広げて分析する
いままでのユーザ体験についての仮説の立て方 共感 問題 定義 多くのユーザを対象に「問題定義」をする 一般化からはじめてしまっている
いままでのユーザ体験についての仮説の立て方 共感 問題 定義 「共感」に戻る 必要があった
2024年度の取り組み ユーザボイスを 深掘りして調査 調査箇所が 評価対象に入るように 実際に投稿された内容や 検索条件・通った道路も 見比べながら どこが原因かを特定
まとめ ユーザテスト・インタビューなどの代替手段として ログからユーザ体験を再現して評価指標にするという手法を提案 仮説を立てる際は実際のユーザボイス等数が少なくても得られる 生のユーザの情報を参照することで仮説の精度を高められる 評価指標には仮説を多く含むため、定期的なふりかえりが必要