Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データの"守り"を固めた2022
Search
Takuma Kouno
December 14, 2022
Technology
0
1.2k
データの"守り"を固めた2022
2022/12/14のData Engineering Studyの発表資料
Takuma Kouno
December 14, 2022
Tweet
Share
Other Decks in Technology
See All in Technology
Brakeman を欺く - Kashiwa.rb #4
kozy4324
1
110
Nuxt × Vue Router の力を最大限に引き出す機能を紹介
ytr0903
2
480
巨大企業でDX革新を起こすということ BTCONJP 2024
yamaken66
1
490
WebRTC と AI の組み合わせ
tnoho
0
390
Creating Intuitive Developer Tool in Swift
giginet
PRO
0
180
塩野義製薬様のAWS統合管理戦略:Organizations設計と運用の具体例
tkikuchi
0
330
今日から始める技術的負債の解消
leveragestech
3
460
フェンリルの SwiftUI の研修を覗いてみる / Fenrir SwiftUI Training
studio_rookery
0
170
APIs for AI: Have we failed?
zdne
0
140
LLMOps : ΔMLOps
shuntaito
13
2.5k
v-modelの歩みを振り返る
bengo4com
5
2.6k
dbt-coreで実現するCore DataMartsのデータモデリング〜dbt編〜 / Core DataMarts Modeling with dbt-core
i125
0
180
Featured
See All Featured
Making Projects Easy
brettharned
115
5.9k
Scaling GitHub
holman
458
140k
How STYLIGHT went responsive
nonsquared
95
5.1k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
92
16k
Visualization
eitanlees
143
15k
Building Adaptive Systems
keathley
38
2.2k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Docker and Python
trallard
40
3k
Faster Mobile Websites
deanohume
304
30k
Measuring & Analyzing Core Web Vitals
bluesmoon
0
9
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
3
350
The Straight Up "How To Draw Better" Workshop
denniskardys
232
130k
Transcript
データの”守り”を固めた2022 2022.12.14 株式会社Luup 河野匠真 Data Engineering Study #17
発表者 • 河野 匠真(@makako1124) • 株式会社Luup / Data Strategy部 Data
Engineering Team • 主にデータ基盤の構築から運用、整備を行う
Luupとは 電動キックボードや電動アシスト自転車をはじめとする、電動・小型・一人乗りのマイクロモビリティを、iOS/Android アプリから解錠・ 施錠を行って自由に乗車することのできるシェアリングサービス ポート数 車両数 5,000台以上 2,430以上 展開エリア:東京、大阪、京都、横浜など (2022年11月末時点)
1. Luupのデータとデータ基盤 2. 課題 a. Rawデータはそのまま使えない b. データがどこにあるかわからない 3. 結果
4. 今後実施したいこと 5. まとめ 6. 最後に Agenda
Luupのデータとデータ基盤 API Firebase Extensions 1. アプリや車両のデータをFunctionsで処理してBigQueryへ 2. アプリデータはFirestoreに保存され、BigQueryへ ※上図は簡潔に記載しており、詳細を割愛しています iOS/Androidアプリ
課題 Rawデータはそのまま使えない データがどこにあるかわからない ※課題は他にもたくさんありますが、重要な二つに絞って紹介しています
課題 ※課題は他にもたくさんありますが、重要な二つに絞って紹介しています データを綺麗にして誰でもアクセスできる環境を整えないと! データの守りを固める データの信頼性を上げ、 正しく一貫したデータに誰もがアクセスできるようにする
課題 Rawデータはそのまま使えない データがどこにあるかわからない ※課題は他にもたくさんありますが、重要な二つに絞って紹介しています
データがどこにあるかわからない データがどこに存在しているのかわからない • ほしいときにすぐにデータが手に入らない • そもそも欲しいデータがあるのかわからない ※上図は簡潔に記載しており、詳細を割愛しています API Firebase Extensions
iOS/Androidアプリ
データがどこにあるかわからない ※課題は他にもたくさんありますが、重要な二つに絞って紹介しています データカタログを用意 → データがどこにあり、誰が作成し、いつどれくらいの頻度で更新されるのか等の情報が誰で も確認できる → NotionのDatabaseを採用 (APIで毎日自動生成される仕組みに )
課題 Rawデータはそのまま使えない データがどこにあるかわからない ※課題は他にもたくさんありますが、重要な二つに絞って紹介しています
Rawデータはそのまま使えない BigQueryに入ってきたRawデータはjson形式であり、そのまま使うにはさまざまな弊害が生じる • 膨大なクエリ容量 • 複雑なSQLが必要 • 不透明な定義のため抽出ユーザーによりデータが異なる ※上図は簡潔に記載しており、詳細を割愛しています API
Firebase Extensions iOS/Androidアプリ
Rawデータはそのまま使えない BigQueryに入ってきたRawデータはjson形式であり、そのまま使うにはさまざまな弊害が生じる 例) ライド(乗車)中のデータは、一定間隔で位置情報が更新され続けるので、 1レコードずつデータが追加されていく ※課題は他にもたくさんありますが、重要な二つに絞って紹介しています ..., "routePoints":[{"location":{"_latitude": xxxx,"_longitude":xxxx},"timeStamp": {"_seconds":xxxx,"_nanoseconds":x
xxx}},...], ... ..., "routePoints":[{"location":{"_latitude": xxxx,"_longitude":xxxx},"timeStamp": {"_seconds":xxxx,"_nanoseconds":x xxx}},...], ...
Rawデータはそのまま使えない ※課題は他にもたくさんありますが、重要な二つに絞って紹介しています 1. ワークフローツール(Cloud Composer)の導入 → 安定したデータ処理環境を構築 2. 定義毎にデータ処理層を用意 →
クエリ容量の削減、データの整合性担保 3. 各種Datamartテーブルを用意 → 容易なSQLでデータ取得が可能
結果 • ダッシュボード毎にデータが異なるといったデータ不整合を防げるようになった。 • 一日に使用するクエリ容量が約半分までに減少した。 • 容易なSQLでデータが抽出できるようになった。 • どういうデータが存在するのか誰でも気軽に確認できるようになった。 構築完了したのが直近のため、結果はこれからさらにでてくると想定
今後実施したいこと 攻め=データの可用性を上げ、データが創出しうる価値を最大化する “攻め”の課題(一例) • Map Visualizationの拡充 • IoTデバイスのログ取得拡充と整備 • 会社全体のデータリテラシーの向上
etc API Firebase Extensions iOS/Androidアプリ
まとめ さまざまなツールを検証・導入し、最適なデータフローを考え実装した、 データの”守り”(=データの信頼性を上げ、正しく一貫したデータに誰もが アクセスできるようにする)を徹底した年
最後に Luup Developers Blogにてアドベントカレンダー実施中! データカタログにNotionを選択した理由についても掲載中! Luupでのデータ基盤構築、データ活用に少しでもご興味がある 方、ご連絡お待ちしております。 Luup採用情報