Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Reliabilityを 最小工数で実現するための データ基盤

Data Reliabilityを 最小工数で実現するための データ基盤

Takuma Kouno

November 10, 2024
Tweet

More Decks by Takuma Kouno

Other Decks in Technology

Transcript

  1. Luup, Inc. - Confidential and Proprietary 2 Speaker COO室データサイエンスチームリーダー SwD部データエンジニアリングチームリー

    ダー SwD部データエンジニアリングチーム データエンジニア 小林 瑞紀 河野 匠真
  2. Luup, Inc. - Confidential and Proprietary 4 提供サービス「 LUUP」 アプリ内で好きな電動マイクロモビリティを選択し、

    好きなポートで乗り降りできる シェアサービス 専用アプリをダウンロード。 利用登録後、ライドしたいポー トを探します。 STEP1
 STEP2
 STEP3
 STEP4
 ポートを見つけて、電動キック ボードや電動アシスト自転車を 選びます。 車両のQRコードを読み取り ロックを解除します。 降りるポートを予約、ライド開始。
  3. Luup, Inc. - Confidential and Proprietary 5 Mission:街じゅうを ”駅前化”するインフラを作る 単なるモビリティ企業ではなく、データ活用・ソフトウェアなどの様々な方法を用い、

    不動産の価値を再定義、街全体の価値の向上、持続可能な街づくりのための新たな公共交通・社会インフラを目指します。 Hardware
 Software
 Data
 Alliance
 蓄積された移動データ 
 街中に点在するポート 
 行政・自治体・企業 
 との連携 
 LUUP公式アプリ 

  4. Luup, Inc. - Confidential and Proprietary 6 現在は2種類の車両を提供しており、将来的にはユニバーサルな車両を構想 研究開発中の車両イメージ 全年齢に対応した、安心・安全でユニバーサルな車両

    電動キックボード (特定小型原付) 電動アシスト自転車 超少子高齢化の中、ワンマイルの移動手段が 不十分であることによる買い物難民の増加や 高齢者の自動車事故が課題となっていく中で このワンマイルを結ぶための取組みは不可欠です。 全世代が安心・安全に使えるモビリティの 研究開発を進めていきます Luupが目指す将来像 ※開発イメージ 多様なニーズに応えるべく、 電動アシスト自転車と電動キックボードを 用いてサービス提供中
  5. Luup, Inc. - Confidential and Proprietary 7 展開エリア 全国ポート数
 5,800


    箇所以上 
 展開都市
 東京
 横浜
 神戸
 京都
 大阪
 名古屋
 宇都宮
 東京
 大阪
 横浜
 京都
 名古屋 
 神戸
 宇都宮 
 ※2024年1月時点
 広島

  6. Luup, Inc. - Confidential and Proprietary 9 データサイエンティスト 小林 データ組織リーダー

    データ関連組織図 Data Engineering Team 業務委託 データエンジニア Data Science Team オペレーションストラテジスト 河野 データエンジニア Mission : データを戦略的に資産化することで、有用な活用を可能にし、競争優位性とする 小林 データ組織リーダー ソフトウェア開発 マーケティング オペレーション 事業推進(ポート獲得) ハードウェア開発 経営企画 PM / Designer インターン データストラテジスト インターン データストラテジスト 連携 人数は適当です。 正確ではありません。
  7. Luup, Inc. - Confidential and Proprietary 10 ユーザーが直接触るサービス部分だけ見ても当然のように様々なデータが利用される データの活用 1

    専用アプリをダウンロード。 利用登録後、ライドしたいポー トを探します。 STEP1
 STEP2
 STEP3
 STEP4
 ポートを見つけて、電動キック ボードや電動アシスト自転車を 選びます。 車両のQRコードを読み取り ロックを解除します。 降りるポートを予約、ライド開始。 ユーザーデータ 身分証データ 位置情報 ポートデータ 機体データ 位置情報 IoTデータ 走行データ IoTデータ 決済データ 返却機体画像
  8. Luup, Inc. - Confidential and Proprietary 11 ユーザーやアプリに関わる オペレーション •

    報告 / お問い合わせ対応 • ポート設置リクエスト ユーザーが直接触るサービス部分ではない 裏側のオペレーション部分でも多くのデータが活用されている データの活用 2 ポートに関わるオペレーション • ポートの獲得 / 設置 • ポートの管理 車両に関わるオペレーション • 異常な車両の回収 (故障 / 放置) • バッテリー交換 • 車両の配置
  9. Luup, Inc. - Confidential and Proprietary 12 他にも事業上クリティカルな様々な箇所でデータを分析して活用している データの活用 3

    • Luupのデータを生かした自治体や企業との連携 • 事業KPIレポートや経営企画用の数字の作成 • ユーザーやオペレーション用のアプリの運用、改善 • ハードウェア・IoTの改善 • プライシング • 需給予測 , etc.
  10. Luup, Inc. - Confidential and Proprietary 13 他にも事業上クリティカルな様々な箇所でデータを分析して活用している データの活用 3

    • Luupのデータを生かした自治体や企業との連携 • 事業KPIレポートや経営企画用の数字の作成 • ユーザーやオペレーション用のアプリの運用、改善 • ハードウェア・IoTの改善 • プライシング • 需給予測 , etc. クリティカルな箇所でデータを使っている ⇩ データの欠損や異常な値の存在によって、 交通法規違反や人命に関わる事態に繋がる
  11. https://www.montecarlodata.com/ 監視設定方法 • 機械学習モデル • カスタムSQL • クエリパフォーマンス , etc.

    MonteCarloとは... データの異常を監視し、IncidentsとしてAlertを出してくれるSaaS 3. MonteCarloの導入
  12. 課題 • MonteCarlo活用レベルの向上 ◦ ドメインの強い細かい部分はカバーできていない • dbt testの拡充 ◦ 開発時点でのデータテストがあまりできてない

    • BI領域でのデータ信頼性の担保 ◦ BI(Redash)で表現されているデータまで管理できていない 結果 データ基盤の開発・運用工数を削減しつつ、MonteCarloでデータ監視を行うことで、 少ない工数でデータの信頼性を担保できている 結果と課題
  13. Luup, Inc. - Confidential and Proprietary 24 データエンジニアリング • データ自体の信頼性はかなり担保されてきた。運用をもっと洗練、効率化する。

    • データエンジニア以外でも基盤の改修ができるようにパイプラインの開発容易性を高める。 • 非データ職種の人でも分析ができるような仕組み作り(SQLレスなBIツールやよりカバー範 囲の広いデータカタログの導入検討など) • データガバナンス強化、ポリシーや権限管理のコード化 データサイエンス / アナリスト • 人海戦術ではなく、スケールする形でデータ活用が進む仕組みや組織体制を作っていく。 • もっとオペレーションを効率化する。ここは本当に際限がなく限界まで効率化する。 • 地理データや画像データを活用して、新しい価値を生み出す。 データの資産化はある程度進んだ。もっと活用の量と幅を増やしていきたい。 今後の展望
  14. Luup, Inc. - Confidential and Proprietary 25 データエンジニアリング • データ自体の信頼性はかなり担保されてきた。運用をもっと洗練、効率化する。

    • データエンジニア以外でも基盤の改修ができるようにパイプラインの開発容易性を高める。 • 非データ職種の人でも分析ができるような仕組み作り(SQLレスなBIツールやよりカバー範 囲の広いデータカタログの導入検討など) • データガバナンス、ポリシーのコード化 データサイエンス / アナリスト • 人海戦術ではなく、スケールする形でデータ活用が進む仕組みや組織体制を作っていく。 • もっとオペレーションを効率化する。ここは本当に際限がなく限界まで効率化する。 • 地理データや画像データを活用して、新しい価値を生み出す。 データの資産化はある程度進んだ。もっと活用の量と幅を増やしていきたい。 今後の展望 シンプルに人が足りてないので アナリスト / データエンジニア 大募集中です!!