Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤の負債解消のためのリプレイス
Search
Livesense Inc.
PRO
November 28, 2024
Technology
0
240
データ基盤の負債解消のためのリプレイス
https://livesense.connpass.com/event/333967/
Livesense Inc.
PRO
November 28, 2024
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
950
26新卒_総合職採用_会社説明資料
livesense
PRO
0
3.9k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
12k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
7.4k
中途セールス職_会社説明資料
livesense
PRO
0
180
EM候補者向け転職会議説明資料
livesense
PRO
0
80
コロナで失われたノベルティ作成ノウハウを復活させた話
livesense
PRO
0
200
転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話
livesense
PRO
0
1.3k
株式会社リブセンス マッハバイト_プレイブック
livesense
PRO
0
850
Other Decks in Technology
See All in Technology
20250129 Findy_テスト高活用化
dshirae
0
240
Amazon Location Serviceを使ってラーメンマップを作る
ryder472
2
170
EDRからERM: PFN-SIRTが関わるセキュリティとリスクへの取り組み
pfn
PRO
0
130
攻撃者の視点で社内リソースはどう見えるのかを ASMで実現する
hikaruegashira
4
2.2k
依存関係があるコンポーネントは Barrel ファイルでまとめよう
azukiazusa1
1
420
Power BI は、レポート テーマにこだわろう!テーマのティア表付き
ohata_ds
0
140
Agentic AI時代のプロダクトマネジメントことはじめ〜仮説検証編〜
masakazu178
3
450
Amazon Aurora バージョンアップについて、改めて理解する ~バージョンアップ手法と文字コードへの影響~
smt7174
1
330
プロダクト価値を引き上げる、「課題の再定義」という習慣
moeka__c
0
220
ソフトウェア開発現代史:製造業とソフトウェアは本当に共存できていたのか?品質とスピードを問い直す
takabow
15
5.7k
20250130_『SUUMO』の裏側!第2弾 ~機械学習エンジニアリング編
recruitengineers
PRO
0
430
Kubernetes x k6 で負荷試験基盤を開発して 負荷試験を民主化した話 / Kubernetes x k6
sansan_randd
0
480
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
128
19k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2k
Six Lessons from altMBA
skipperchong
27
3.6k
Documentation Writing (for coders)
carmenintech
67
4.6k
It's Worth the Effort
3n
184
28k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Automating Front-end Workflow
addyosmani
1367
200k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Gamification - CAS2011
davidbonilla
80
5.1k
Transcript
データ基盤の負債解消のためのリプレイス 2024.11.28 技術部データプラットフォームグループ 富⼠⾕康
• 株式会社リブセンス 技術部データプラットフォームグループ グループリーダー • 2018年⼊社 • 以来、推薦システムの改善、 データ基盤の開発、 マネジメントなどに取り組む
富⼠⾕ 康 (Fujitani Ko)
• ⼈材系を中⼼に複数のプロダクト • プロダクトは各事業部、データ基盤は横断部署で運⽤ リブセンスのプロダクトとデータ基盤
データ基盤、⼤きく分けて2つ プロダクト Redshift プロダクト 外部データ Livesense Analytics: データ分析(収集、蓄積) Livesense Brain:
データ活用(推薦、機械学習) 22年〜大規模に刷新(中)
22年末のLivesense Analytics ※ざっくり Beanstalk ソース Search Console Livesense Brain プロダクト
利⽤先 API Gateway SQS lambda Firehose EMR EC2 EventBridge Scheduler バックエンド オンプレ native app DB
• 同じようなことやるのに技術いろいろ 課題 処理 ⾔語 Beanstalk lambda EMR ワークフロー EventBridge
Scheduler EC2 構成管理 Terraform CDK
• 同じ部署で別のクラウド ◦ 理由あったが⼤変 課題 Livesense Analytics Livesense Brain
• 開発体験が良くない ◦ ⼤きな変更‧モダン化も⼤変 ◦ リリース⼿順も様々 ◦ EOL対応も後⼿ 今までのデータ基盤
• データ‧事業の課題に集中できる環境 理想
• Google Analytics 4への移⾏ • BigQueryとSQLでの加⼯ • 技術スタック統⼀ ◦ GKE/Cloud
Run/Argo Workflows/Python/FastAPI • 詳細は リブセンスの「10年物」のデータ基盤を作り変えている話 にも記載 リプレイスの主な取り組み
• There should be one-- and preferably only one --obvious
way to do it. ◦ 何かをするのに、1つ‒‒理想的には1つだけの‒‒明確な⽅法があるべきだ (参考) • リプレイスで標準的な⽅法を構築 余談: Zen of Python
25年初のLivesense Analytics ※予定 Livesense Brain プロダクト Cloud Run PubSub GKE
CloudBuild CloudDeploy Cronitor CloudMonitoring Search Console Terraform バックエンド native app DB ※検証中 ※検証中
• ⼤きな改善に取り組みやすくなりつつある • SaaSのBigQuery連携も選択肢に ◦ GA4, fastly, Search Console ◦
データ追加の負担減‧よりリッチな情報 • 解きたい課題に集中できつつある リプレイスの結果
• Redash ◦ 利⽤者多‧クエリ多 ◦ データマート層を⼗分に拡充できてない ▪ やや複雑なクエリ - 利⽤者に負担
▪ テーブル定義変更も容易でない • Redshift ◦ プロダクトはAWS。利点もあるが… ◦ BQ や Snowflakeのほうが機能充実 ◦ BQでデータソースからマートまで⼀貫したデータ⽣成したい まだ課題
展望: 少し未来 Livesense Analytics Livesense Brain プロダクト Cloud Run PubSub
Search Console GKE CloudBuild CloudDeploy Cronitor CloudMonitoring Terraform バックエンド native app DB
• アナリティクスエンジニアリングの強化(採⽤) • データを使った業務の改善 ◦ クエリ‧分析の質向上、脱スプレッドシート ◦ データソース改善 • BigQuery移⾏へ
◦ Redshiftのインスタンス変更(dc2->ra3)‧Redshift Spectrumやめる ◦ 各種準備‧実装 • 効果的な推薦‧検索‧機械学習モデルの実装 ◦ MLOps、使いやすいML/AI基盤 今後