見えないユーザの声はログに埋もれている！～ログから具体的なユーザの体験を数値化した事例紹介～

by NAVITIME JAPAN

Slide 1

Slide 1 text

見えないユーザの声はログに埋もれている！～ログから具体的なユーザの体験を数値化した事例紹介～株式会社ナビタイムジャパン　小南果穂

Slide 2

Slide 2 text

「よいユーザ体験」はどうやって測る？ #1

Slide 3

Slide 3 text

イテレーティブな開発にはフィードバックが必要 Plan Plan Plan FB FB FB UX UX UX Develop Develop Develop

Slide 4

Slide 4 text

ユーザ体験のフィードバックになるもの定量データ定性データ

Slide 5

Slide 5 text

定量データのメリット離脱率 CV率 ● 客観的 ● 変遷を継続して観測できる ● 説得力があり伝わりやすい定量データ

Slide 6

Slide 6 text

定性データのメリット ● 数値で表せない具体的な体験を知ることができる ● 感情の動きをつかめるユーザテストインタビュー定性データ

Slide 7

Slide 7 text

ユーザ体験のフィードバックになるもの定性データユーザテストインタビュー本当はすべてのリリースで両方のフィードバックを得たいが、ユーザテスト・インタビューは実施難易度が高いログを分析することで定性データの代替手段にする

Slide 8

Slide 8 text

自己紹介株式会社ナビタイムジャパン小南果穂 Kaho Kominami 2019年新卒として入社。研究開発部門で機械学習を用いた渋滞予測機能である「AI渋滞予報」などの開発を行うほか、エンジニアと兼務のスクラムマスターとしてチームの改善にも取り組んでいる。

Slide 9

Slide 9 text

実際の研究開発部門の事例 #2

Slide 10

Slide 10 text

研究開発部門の抱える課題 NAVITIME バス NAVITIME ドライブサポータートラックカーナビ・・・・各サービスのユーザー研究開発（R&D）部門各サービスの共通基盤

Slide 11

Slide 11 text

研究開発部門の抱える課題各サービスのユーザユーザからの距離が遠く、声が届きにくい研究開発（R&D）部門各サービスの共通基盤

Slide 12

Slide 12 text

研究開発部門の抱える課題研究開発（R&D）部門各サービスの共通基盤各サービスのユーザ研究開発（R&D）部門所属チームの専門性が高い渋滞予測経路探索時刻表データ道路ネットワーク該当する数が少なく指標にしづらい

Slide 13

Slide 13 text

事例をご紹介するチーム：交通情報チーム車移動に関わるすべての人へ正確な道路交通情報の提供を目指す渋滞予測

Slide 14

Slide 14 text

欲しいフィードバックへの道のりは遠い「渋滞予測は正確に感じられたか？」「走っている時に困ることはなかったか？」を数値にしたい・・・・渋滞予測精度改善のため数多くの施策をリリース・運用している精度やUXが悪化していないか日々監視が必要ユーザボイスは数が少なく不向きユーザテスト・インタビューを全案件で実施も難しいどうやって？

Slide 15

Slide 15 text

ユーザの体験そのもの！そこでナビタイムジャパンの強みに注目日本全国の走行ログ 1日あたり約1,000万km = 地球250周分（2022年1月時点） ※走行ログはユーザから許可を得て取得し匿名化しているデータです https://api-sdk.navitime.co.jp/api/ column/use_of_probedata/

Slide 16

Slide 16 text

ログから抽出する UX評価指標の進化 #3

Slide 17

Slide 17 text

2018年-2020年チーム発足、UX指標の数値化を試みる経路探索チームから交通情報チームが独立 1時間程度走行時、所要時間誤差○○分以上のユーザを○○%削減チームの目標

Slide 18

Slide 18 text

2018年-2020年チーム発足、UX指標の数値化を試みる再現 GPSログユーザが通った道を再現出発した時間に渋滞予測したと仮定してシミュレート

Slide 19

Slide 19 text

2018年-2020年チーム発足、UX指標の数値化を試みる再現 8:00出発 9:30 到着予測 10:00到着 2時間の経路で 30分の誤差が発生

Slide 20

Slide 20 text

2018年-2020年チーム発足、UX指標の数値化を試みる本当にこの指標はユーザの体験を反映させている？ 1時間程度走行時、所要時間誤差○○分以上のユーザを○○%削減チームの目標

Slide 21

Slide 21 text

2021年 OKRが導入される顧客満足度を高める高い交通情報品質 ● 「予測より早く到着できた」時より「渋滞を外して遅れた」時の方がユーザ体験が悪い ● 全体最適を重視する指標なので、一部のユーザに効果がある施策へのモチベーションが低くなる ● 「渋滞を抜けるまでに数時間かかる」ようなユーザ体験が著しく下がる場合に着目したい昨年度までのふりかえり Objective

Slide 22

Slide 22 text

「ユーザ体験が著しく悪化するケース」に着目した指標重点課題区間の合計所要時間誤差を○○%以上削減順調に行けると予測 →実際は渋滞していたが一番不満度が高い = 「重点課題区間」順調渋滞順調渋滞予測実際 KeyResult

Slide 23

Slide 23 text

さらに進化する評価指標（2022年）日本一の所要時間精度を実現する ● 昨年度までで評価指標の数字自体はかなり良いことがわかっている →　ではなぜ「日本一」と自信をもって言い切れないのか →　今までの指標では見つかっていない弱点がどこかにあるはず ● 他社比較する計測を行いながらOKRを更新し、弱点であった一般道へのアプローチを開始した（詳しくはこちら『不確実性に打ち勝つOKR戦略』） KeyResult Objective 所要時間精度改善施策○○件リリース一般道の重点課題区間50%削減（下半期追加）

Slide 24

Slide 24 text

さらに進化する評価指標（2023年） 2022年までは期初に決めた評価期間を対象に評価指標の計測を行っていた今年は4月の第二週にしよう季節性のあるイベントがある時は？台風や大雪の影響は？

Slide 25

Slide 25 text

日次で改善人数を計測するシステムを構築誤差が著しく大きいユーザ数何もリリースしなかった場合の人数サービスに出ている予測での改善人数リリースによってどの期間に・どの程度改善があったのか見ることができる

Slide 26

Slide 26 text

評価指標もアジャイル的に改善している 2022 2023 2024 ふりかえりふりかえりふりかえり

Slide 27

Slide 27 text

しかし・・・・まだ評価指標がユーザボイスや社内指摘にあっていないと感じる・・・・数字には現れない課題感が依然あった

Slide 28

Slide 28 text

気を付けなければいけなかったこと #4

Slide 29

Slide 29 text

なぜか？はデザイン思考からも説明できる共感問題定義アイデア創出プロトタイプテストユーザ体験についての仮説評価指標決定施策の実施このフェーズをずっと試行錯誤しているが・・・・

Slide 30

Slide 30 text

「共感」と「問題定義」の違い共感問題定義サンプリングして深く知る範囲を広げて分析する

Slide 31

Slide 31 text

いままでのユーザ体験についての仮説の立て方共感問題定義多くのユーザを対象に「問題定義」をする一般化からはじめてしまっている

Slide 32

Slide 32 text

いままでのユーザ体験についての仮説の立て方共感問題定義「共感」に戻る必要があった

Slide 33

Slide 33 text

2024年度の取り組みユーザボイスを深掘りして調査調査箇所が評価対象に入るように実際に投稿された内容や検索条件・通った道路も見比べながらどこが原因かを特定

Slide 34

Slide 34 text

まとめユーザテスト・インタビューなどの代替手段としてログからユーザ体験を再現して評価指標にするという手法を提案仮説を立てる際は実際のユーザボイス等数が少なくても得られる生のユーザの情報を参照することで仮説の精度を高められる評価指標には仮説を多く含むため、定期的なふりかえりが必要