Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤の負債解消のためのリプレイス
Search
Livesense Inc.
PRO
November 28, 2024
Technology
0
470
データ基盤の負債解消のためのリプレイス
https://livesense.connpass.com/event/333967/
Livesense Inc.
PRO
November 28, 2024
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
27新卒_総合職採用_会社説明資料
livesense
PRO
0
180
27新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
0
3.7k
株式会社リブセンス・転職会議 採用候補者様向け資料
livesense
PRO
0
80
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
1.6k
26新卒_総合職採用_会社説明資料
livesense
PRO
0
12k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
42k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
13k
中途セールス職_会社説明資料
livesense
PRO
0
270
EM候補者向け転職会議説明資料
livesense
PRO
0
130
Other Decks in Technology
See All in Technology
初めてのDatabricks Apps開発
taka_aki
1
280
知覚とデザイン
rinchoku
1
520
クラウドとリアルの融合により、製造業はどう変わるのか?〜クラスメソッドの製造業への取組と共に〜
hamadakoji
0
390
AIエージェント入門 〜基礎からMCP・A2Aまで〜
shukob
1
170
What's new in OpenShift 4.20
redhatlivestreaming
0
170
だいたい分かった気になる 『SREの知識地図』 / introduction-to-sre-knowledge-map-book
katsuhisa91
PRO
3
1.4k
20251027_マルチエージェントとは
almondo_event
0
120
AWS DMS で SQL Server を移行してみた/aws-dms-sql-server-migration
emiki
0
190
コンパウンド組織のCRE #cre_meetup
layerx
PRO
1
250
生成AI時代のPythonセキュリティとガバナンス
abenben
0
120
HonoとJSXを使って管理画面をサクッと型安全に作ろう
diggymo
0
170
Kubernetes self-healing of your workload
hwchiu
0
440
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Raft: Consensus for Rubyists
vanstee
140
7.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Writing Fast Ruby
sferik
630
62k
Music & Morning Musume
bryan
46
6.9k
Java REST API Framework Comparison - PWX 2021
mraible
34
8.9k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
Into the Great Unknown - MozCon
thekraken
40
2.1k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.9k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
Navigating Team Friction
lara
190
15k
Transcript
データ基盤の負債解消のためのリプレイス 2024.11.28 技術部データプラットフォームグループ 富⼠⾕康
• 株式会社リブセンス 技術部データプラットフォームグループ グループリーダー • 2018年⼊社 • 以来、推薦システムの改善、 データ基盤の開発、 マネジメントなどに取り組む
富⼠⾕ 康 (Fujitani Ko)
• ⼈材系を中⼼に複数のプロダクト • プロダクトは各事業部、データ基盤は横断部署で運⽤ リブセンスのプロダクトとデータ基盤
データ基盤、⼤きく分けて2つ プロダクト Redshift プロダクト 外部データ Livesense Analytics: データ分析(収集、蓄積) Livesense Brain:
データ活用(推薦、機械学習) 22年〜大規模に刷新(中)
22年末のLivesense Analytics ※ざっくり Beanstalk ソース Search Console Livesense Brain プロダクト
利⽤先 API Gateway SQS lambda Firehose EMR EC2 EventBridge Scheduler バックエンド オンプレ native app DB
• 同じようなことやるのに技術いろいろ 課題 処理 ⾔語 Beanstalk lambda EMR ワークフロー EventBridge
Scheduler EC2 構成管理 Terraform CDK
• 同じ部署で別のクラウド ◦ 理由あったが⼤変 課題 Livesense Analytics Livesense Brain
• 開発体験が良くない ◦ ⼤きな変更‧モダン化も⼤変 ◦ リリース⼿順も様々 ◦ EOL対応も後⼿ 今までのデータ基盤
• データ‧事業の課題に集中できる環境 理想
• Google Analytics 4への移⾏ • BigQueryとSQLでの加⼯ • 技術スタック統⼀ ◦ GKE/Cloud
Run/Argo Workflows/Python/FastAPI • 詳細は リブセンスの「10年物」のデータ基盤を作り変えている話 にも記載 リプレイスの主な取り組み
• There should be one-- and preferably only one --obvious
way to do it. ◦ 何かをするのに、1つ‒‒理想的には1つだけの‒‒明確な⽅法があるべきだ (参考) • リプレイスで標準的な⽅法を構築 余談: Zen of Python
25年初のLivesense Analytics ※予定 Livesense Brain プロダクト Cloud Run PubSub GKE
CloudBuild CloudDeploy Cronitor CloudMonitoring Search Console Terraform バックエンド native app DB ※検証中 ※検証中
• ⼤きな改善に取り組みやすくなりつつある • SaaSのBigQuery連携も選択肢に ◦ GA4, fastly, Search Console ◦
データ追加の負担減‧よりリッチな情報 • 解きたい課題に集中できつつある リプレイスの結果
• Redash ◦ 利⽤者多‧クエリ多 ◦ データマート層を⼗分に拡充できてない ▪ やや複雑なクエリ - 利⽤者に負担
▪ テーブル定義変更も容易でない • Redshift ◦ プロダクトはAWS。利点もあるが… ◦ BQ や Snowflakeのほうが機能充実 ◦ BQでデータソースからマートまで⼀貫したデータ⽣成したい まだ課題
展望: 少し未来 Livesense Analytics Livesense Brain プロダクト Cloud Run PubSub
Search Console GKE CloudBuild CloudDeploy Cronitor CloudMonitoring Terraform バックエンド native app DB
• アナリティクスエンジニアリングの強化(採⽤) • データを使った業務の改善 ◦ クエリ‧分析の質向上、脱スプレッドシート ◦ データソース改善 • BigQuery移⾏へ
◦ Redshiftのインスタンス変更(dc2->ra3)‧Redshift Spectrumやめる ◦ 各種準備‧実装 • 効果的な推薦‧検索‧機械学習モデルの実装 ◦ MLOps、使いやすいML/AI基盤 今後