Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤の負債解消のためのリプレイス
Search
Livesense Inc.
PRO
November 28, 2024
Technology
0
430
データ基盤の負債解消のためのリプレイス
https://livesense.connpass.com/event/333967/
Livesense Inc.
PRO
November 28, 2024
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
27新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
0
1.5k
株式会社リブセンス・転職会議 採用候補者様向け資料
livesense
PRO
0
40
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
1.5k
26新卒_総合職採用_会社説明資料
livesense
PRO
0
10k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
33k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
13k
中途セールス職_会社説明資料
livesense
PRO
0
260
EM候補者向け転職会議説明資料
livesense
PRO
0
130
コロナで失われたノベルティ作成ノウハウを復活させた話
livesense
PRO
0
260
Other Decks in Technology
See All in Technology
20250818_KGX・One Hokkaidoコラボイベント
tohgeyukihiro
0
120
あとはAIに任せて人間は自由に生きる
kentaro
3
690
EKS Pod Identity における推移的な session tags
z63d
1
170
Infrastructure as Prompt実装記 〜Bedrock AgentCoreで作る自然言語インフラエージェント〜
yusukeshimizu
2
160
いま、あらためて考えてみるアカウント管理 with IaC / Account management with IaC
kohbis
2
440
家族の思い出を形にする 〜 1秒動画の生成を支えるインフラアーキテクチャ
ojima_h
3
1.4k
Rethinking Incident Response: Context-Aware AI in Practice - Incident Buddy Edition -
rrreeeyyy
0
120
ロールが細分化された組織でSREと協働するインフラエンジニアは何をするか? / SRE Lounge #18
kossykinto
0
240
ABEMAにおける 生成AI活用の現在地 / The Current Status of Generative AI at ABEMA
dekatotoro
0
410
[kickflow]20250319_少人数チームでのAutify活用
otouhujej
0
180
コミュニティと計画的偶発性理論 - 出会いが人生を変える / Life-Changing Encounters
soudai
PRO
7
850
Cloud WANの基礎から応用~少しだけDeep Dive~
masakiokuda
4
130
Featured
See All Featured
The Cost Of JavaScript in 2023
addyosmani
53
8.8k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Become a Pro
speakerdeck
PRO
29
5.5k
Documentation Writing (for coders)
carmenintech
73
5k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Faster Mobile Websites
deanohume
309
31k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Being A Developer After 40
akosma
90
590k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
BBQ
matthewcrist
89
9.8k
Transcript
データ基盤の負債解消のためのリプレイス 2024.11.28 技術部データプラットフォームグループ 富⼠⾕康
• 株式会社リブセンス 技術部データプラットフォームグループ グループリーダー • 2018年⼊社 • 以来、推薦システムの改善、 データ基盤の開発、 マネジメントなどに取り組む
富⼠⾕ 康 (Fujitani Ko)
• ⼈材系を中⼼に複数のプロダクト • プロダクトは各事業部、データ基盤は横断部署で運⽤ リブセンスのプロダクトとデータ基盤
データ基盤、⼤きく分けて2つ プロダクト Redshift プロダクト 外部データ Livesense Analytics: データ分析(収集、蓄積) Livesense Brain:
データ活用(推薦、機械学習) 22年〜大規模に刷新(中)
22年末のLivesense Analytics ※ざっくり Beanstalk ソース Search Console Livesense Brain プロダクト
利⽤先 API Gateway SQS lambda Firehose EMR EC2 EventBridge Scheduler バックエンド オンプレ native app DB
• 同じようなことやるのに技術いろいろ 課題 処理 ⾔語 Beanstalk lambda EMR ワークフロー EventBridge
Scheduler EC2 構成管理 Terraform CDK
• 同じ部署で別のクラウド ◦ 理由あったが⼤変 課題 Livesense Analytics Livesense Brain
• 開発体験が良くない ◦ ⼤きな変更‧モダン化も⼤変 ◦ リリース⼿順も様々 ◦ EOL対応も後⼿ 今までのデータ基盤
• データ‧事業の課題に集中できる環境 理想
• Google Analytics 4への移⾏ • BigQueryとSQLでの加⼯ • 技術スタック統⼀ ◦ GKE/Cloud
Run/Argo Workflows/Python/FastAPI • 詳細は リブセンスの「10年物」のデータ基盤を作り変えている話 にも記載 リプレイスの主な取り組み
• There should be one-- and preferably only one --obvious
way to do it. ◦ 何かをするのに、1つ‒‒理想的には1つだけの‒‒明確な⽅法があるべきだ (参考) • リプレイスで標準的な⽅法を構築 余談: Zen of Python
25年初のLivesense Analytics ※予定 Livesense Brain プロダクト Cloud Run PubSub GKE
CloudBuild CloudDeploy Cronitor CloudMonitoring Search Console Terraform バックエンド native app DB ※検証中 ※検証中
• ⼤きな改善に取り組みやすくなりつつある • SaaSのBigQuery連携も選択肢に ◦ GA4, fastly, Search Console ◦
データ追加の負担減‧よりリッチな情報 • 解きたい課題に集中できつつある リプレイスの結果
• Redash ◦ 利⽤者多‧クエリ多 ◦ データマート層を⼗分に拡充できてない ▪ やや複雑なクエリ - 利⽤者に負担
▪ テーブル定義変更も容易でない • Redshift ◦ プロダクトはAWS。利点もあるが… ◦ BQ や Snowflakeのほうが機能充実 ◦ BQでデータソースからマートまで⼀貫したデータ⽣成したい まだ課題
展望: 少し未来 Livesense Analytics Livesense Brain プロダクト Cloud Run PubSub
Search Console GKE CloudBuild CloudDeploy Cronitor CloudMonitoring Terraform バックエンド native app DB
• アナリティクスエンジニアリングの強化(採⽤) • データを使った業務の改善 ◦ クエリ‧分析の質向上、脱スプレッドシート ◦ データソース改善 • BigQuery移⾏へ
◦ Redshiftのインスタンス変更(dc2->ra3)‧Redshift Spectrumやめる ◦ 各種準備‧実装 • 効果的な推薦‧検索‧機械学習モデルの実装 ◦ MLOps、使いやすいML/AI基盤 今後