データ活用促進のためのデータ分析基盤の進化

Transcript

1. 機密・専有情報 株式会社Luupによる個別の明示的な承諾を得ることなく、この資料を使用することを固く禁じます。 データ活用促進のためのデータ分析基 盤の進化 株式会社Luup 河野匠真 2024-11-12
2. Luup, Inc. - Confidential and Proprietary 2 Speaker COO室 Data Team Data Engineer 河野 匠真 • 2022年 Luupに入社 • データ基盤の構築から運用、整備 • インフラ管理、データマネジメント、データ 活用まで幅広く担当
3. 概要 Company

4. Luup, Inc. - Confidential and Proprietary 4 提供サービス「 LUUP」 アプリ内で好きな電動マイクロモビリティを選択し、 好きなポートで乗り降りできる シェアサービス 専用アプリをダウンロード。 利用登録後、ライドしたいポー トを探します。 STEP1
 STEP2
 STEP3
 STEP4
 ポートを見つけて、電動キック ボードや電動アシスト自転車を 選びます。 車両のQRコードを読み取り ロックを解除します。 降りるポートを予約、ライド開始。
5. Luup, Inc. - Confidential and Proprietary 5 現在は2種類の車両を提供しており、将来的にはユニバーサルな車両を構想 研究開発中の車両イメージ 全年齢に対応した、安心・安全でユニバーサルな車両 電動キックボード （特定小型原付） 電動アシスト自転車 超少子高齢化の中、ワンマイルの移動手段が 不十分であることによる買い物難民の増加や 高齢者の自動車事故が課題となっていく中で このワンマイルを結ぶための取組みは不可欠です。 全世代が安心・安全に使えるモビリティの 研究開発を進めていきます Luupが目指す将来像 ※開発イメージ 多様なニーズに応えるべく、 電動アシスト自転車と電動キックボードを 用いてサービス提供中
6. Luup, Inc. - Confidential and Proprietary 6 展開エリア 全国ポート数
 10,000
 箇所以上 
 展開都市
 東京
 横浜
 神戸
 京都
 大阪
 名古屋
 宇都宮
 東京
 大阪
 横浜
 京都
 名古屋 
 神戸
 宇都宮 
 ※2024年11月時点
 広島
 仙台
 福岡
 仙台
 高松
 高松
 北九州

7. データの種類 Data Type

8. Luup, Inc. - Confidential and Proprietary 8 データの種類 ユーザー向けアプリ 
 • ユーザー • 位置情報 • 走行(位置情報) • 決済 • ポート • 車両 • 返却車両画像 etc 車両
 • 位置情報 • 乗車速度 • 制限速度 • PDOP(位置情報精度低下率) • HDOP(水平精度低下率) • VDOP(垂直精度低下率) • 移動距離 • バッテリー残量 • 転倒フラグ • 歩道走行モードフラグ etc • オペレーター • バッテリー交換 • 車両回収 • 操作ログ • お問い合わせ etc 社内用アプリ 
 イメージ図
9. Luup, Inc. - Confidential and Proprietary 9 データの活用例 各種メトリクスの集計、分析 • 事業KPIレポート等の定常的メトリクスレポートの作成 • 自治体や企業との連携 • ライド経路や車両位置情報の把握と分析 目的
 事例
 アプリの運用、改善、機能開発 • 需給予測 • オペレーションの最適化 • HW、IoTモジュール故障率の改善 • 新機能の開発 HW、IoTモジュールの改善
10. 2024/11時点での データ基盤について Data Infrastructure

11. データ基盤概要図
12. 現状のデータ基盤のいいところ • データの異常が起きた際の即時把握、即時対応による被害拡大防止、ビジネス側とのデータエ ラーコミュニケーションの削減 • データカタログにより、どこにどのデータがあるかの確認コミュニケーションの削減 • エラー対応削減による新規開発の工数増加 • Airflow x dbtによる開発コストの削減、 Developer Experienceの向上 ◦ Airflowはworkflowとしての役割のみ ◦ Modelingはdbtに依存させる データエンジニアがデータ基盤を継続的に運用、改善していくコスト (工数)が削減できてお り、より高速に信頼性の高いデータ提供を実現している
13. 課題 Issue

14. 課題 データ活用面から見ると、、、 データ抽出に SQLが必須である
15. 課題 RedashやDekart(※)は基本、SQLを書いてデータを抽出する ※Dekart=map上でデータを可視化するOSS https://dekart.xyz/ その他Redashの現状の課題 • BigQueryの全てのデータセットにアクセスできてしまい、 Rawデータから参 照しているクエリも多数存在しており、野良クエリも多く、どの Query、 Dashboardが正しいものなのかわからない • Semantic Layer Toolとの互換性がない • インフラ管理ができておらず、 OOMが頻発している • 位置情報データの可視化ができない
16. 対応方法 How to respond

17. 対応方法 新規BIツール「Superset」の導入
18. 対応方法 • SQLに依存しない GUIでのデータ抽出 • Semantic Layer Toolとの互換性 • 位置情報データの可視化とリッチ性 効果: データ活用の促進 + データ基盤の重要性増加 Superset: https://superset.apache.org/
19. データ基盤の進化 Evolution

20. データ基盤の進化 • テーブルが Dimensions, Metrics構造のようになっていないと 集計の恩恵を受けられず、扱いづらい • データ型に Array等を使うと SupersetのGUIでは認識してくれな いため、型を SupersetのGUIで可視化できる形に整える必要が ある • SQLでの抽出も可能なので、野良クエリ、ミスクエリは一定存在 する Superset導入により、 SQLに依存しない GUIでのデータ抽出が可能になったが、、、
21. データ基盤の進化 • Dimensional Modelingの採用 ◦ SupersetのGUIで表現する場合に BestなModelingであり、dbtとの親和性も高い • Lake, Warehouse, Martの3層構造の分解 ◦ Dimensional Modelingと一緒に実施 ◦ 現状ある程度の定義は決めて運用しているが、活用者や活用方法が増えるにつれて 3層のルールでは限界 • Semantic Layer Toolの導入 ◦ Supersetと互換性のある cube.jsを導入予定 ◦ 将来的に全てのデータは cube.jsを通して取得されるようにし、 BI領域でのデータの整合性を担保 ※以下は、現在実施検討中のものです
22. まとめ Result

23. まとめ 現状のデータ基盤のいいところ • 高速に信頼性の高いデータを提供できる • Developer Experienceが高い • 異常データの即時把握、即時対応による被害拡大防止ができている 現状のデータ基盤の改善点 • 活用面から見るとまだまだ課題が多い 便利なOSSの導入や自社開発も視野に入れ、活用促進によりフォーカスしてデータ基盤を進化させ ていく必要がある
24. 最後に Final

25. 最後に アドベントカレンダー実施中です！ 本日お話しした「 Superset」導入の件について、記事を出しています。 「Superset」の可視化の豊富さやインフラ構築周りについても詳しく記載しておりますので、よかった らみてください。 https://zenn.dev/luup_developers/ar ticles/data-kouno-20241104
26. https://recruit.luup.sc/ ご清聴ありがとうございました アナリスト / データエンジニア 募集中です 詳細は採用ページをご覧ください