Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NIFTY Tech Talk #08 ニフティのデータ基盤の話
Search
ニフティ株式会社
PRO
January 10, 2023
Video
Resources
Technology
0
270
NIFTY Tech Talk #08 ニフティのデータ基盤の話
ニフティ株式会社
PRO
January 10, 2023
Tweet
Share
Video
Resources
NIFTY Tech Talk #8 ニフティのデータ分析を語る会
https://nifty.connpass.com/event/268829/
More Decks by ニフティ株式会社
See All by ニフティ株式会社
会員管理基盤をオンプレからクラウド移行した時に起きた障害たち - asken tech talk vol.13
niftycorp
PRO
0
2.5k
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
820
2025-07-08 InnerSource Commons Japan Meetup #14 【OST】チームの壁、ぶっ壊そ!壁の乗り越え方、一緒に考えよう!
niftycorp
PRO
0
83
2025-04-25 NIFTY's InnerSource Activites
niftycorp
PRO
0
280
外コミュニティ活動や登壇活動が技術 広報として大事だよ、と改めて周囲に伝 えられた件 - EM Oasis 特別会
niftycorp
PRO
0
180
Dify触ってみた。
niftycorp
PRO
1
260
Amazon Bedrockを使用して、 運用対応を楽にしてみた
niftycorp
PRO
1
280
自社製CMSからの脱却:10件のWebサイト再構築に学ぶ運用重視の技術選定 - NIFTY Tech Day 2025
niftycorp
PRO
0
130
エンジニアの殻を破る:インナーソースと社外活動がもたらした成長 - NIFTY Tech Day 2025
niftycorp
PRO
0
98
Other Decks in Technology
See All in Technology
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
220
未経験者・初心者に贈る!40分でわかるAndroidアプリ開発の今と大事なポイント
operando
5
360
Function Body Macros で、SwiftUI の View に Accessibility Identifier を自動付与する/Function Body Macros: Autogenerate accessibility identifiers for SwiftUI Views
miichan
2
180
ChatGPTとPlantUML/Mermaidによるソフトウェア設計
gowhich501
1
130
Webブラウザ向け動画配信プレイヤーの 大規模リプレイスから得た知見と学び
yud0uhu
0
230
生成AI時代のデータ基盤設計〜ペースレイヤリングで実現する高速開発と持続性〜 / Levtech Meetup_Session_2
sansan_randd
1
150
Android Audio: Beyond Winning On It
atsushieno
0
100
Language Update: Java
skrb
2
290
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
aeonpeople
0
200
サンドボックス技術でAI利活用を促進する
koh_naga
0
200
スマートファクトリーの第一歩 〜AWSマネージドサービスで 実現する予知保全と生成AI活用まで
ganota
1
210
サラリーマンの小遣いで作るtoCサービス - Cloudflare Workersでスケールする開発戦略
shinaps
2
410
Featured
See All Featured
Speed Design
sergeychernyshev
32
1.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
The World Runs on Bad Software
bkeepers
PRO
70
11k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Building Applications with DynamoDB
mza
96
6.6k
Mobile First: as difficult as doing things right
swwweet
224
9.9k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
How to Ace a Technical Interview
jacobian
279
23k
Transcript
ニフティの データ基盤の話 2022.12.20 会員システムグループ/第三開発チーム 黒羽 孝夫
自己紹介
黒羽 孝夫 (くろばね たかお)
N1!データアーキテクト https://recruit.nifty.co.jp/interview/kurobane.htm
今回は データエンジニアとしての 話
目次 1. お伝えしたいこと 2. データ基盤の紹介 3. 抱えてる課題と今後の戦略 4. さいごに
1. お伝えしたいこと 2. データ基盤の紹介 3. 抱えてる課題と今後の戦略 4. さいごに
データ分析を始めたい データ基盤作りたい お伝えしたいことは・・・ 1つです
データ分析を始めるときに は データ基盤を進めるといい よ
用途が見えない状態で データ基盤を作るのは良くな い
データ基盤は 単体では価値が出しづら い
データ分析は 単体で価値は出せるけど 安定や高速化ってしづらい
データ分析とデータ基盤は 片方だけではなく、 どちらも考えておくのが良 い
ここに行き着いた理由につい て 触れさせてください
データを集めること は 目的ではない
集めることに 注力したことで 次のようなことが・・・
終わらないデータ収 集
あったら使う・便利か も (使わない)
長い目で見ると大事だけど、 重要でもないものまで 手をつけた
結果、活用は進まず 時間も溶けてしまった
部分的な成果を追って 失敗したことを共有したかっ た
今度こそ ニフティのデータ基盤のご紹 介
1. お伝えしたいこと 2. データ基盤の紹介 3. 抱えてる課題と今後の戦略 4. さいごに
立ち上げ時
データ基盤 立ち上げ前のフ ロー
収集するところを 改善
ココ
このときのポイントは2つ
(1)
既存資産の Tableauを活かす
(2)
データ収集は最低限
最低限ってどこよ?
どの粒度で 取得するか
範囲を限定して 立ち上げを優先
立ち上げ当初の構成
None
活用の事例も増加、 収集するデータも 順調に増やしていった
None
やりたいことが増えれば、 痒いところに手が届かなっ た
• データ追加に人手が不足 • テーブル同士の関係性が不明 • 特定のタイミングの スナップショットを取りたい • レスポンス低下 •
スロークエリ多発 ︙
現在の構成図
None
無加工のデータを蓄積
External Table定義と データ変換はdbtに集約
Reverse ETLは dbtで変換したテーブルを使用
レポーティングはTableau アドホックはRedash
1. お伝えしたいこと 2. データ基盤の紹介 3. 現在の課題と今後の戦略 4. まとめ
• メタデータがスプレッドシート • ワークロード管理が面倒 • BIの中がブラックボックス • データ収集の追加・変更が手間 • データ自体の品質が未計測
︙
• メタデータがスプレッドシート • ワークロード管理が面倒 • BIの中がブラックボックス • データ収集の追加・変更が手間 • データ自体の品質が未計測
︙
メタデータがスプレッドシート テーブルの定義や意味を手動管理していた。 更新が放置されたり、忘れたり、フォーマットを変えられたり、、、 信頼性はとても低い状態になっている。
メタデータがスプレッドシート テーブルの定義や意味を手動管理していた。 更新が放置されたり、忘れたり、フォーマットを変えられたり、、、 信頼性はとても低い状態になっている。 → テーブル定義やリネージは、dbtのドキュメント生成で賄えるか検 討。 実行後にドキュメントも合わせて更新させることで、 メタデータの品質を担保する。
データ収集の追加・変更が手間 テーブルの追加、変更などの作業、障害時の復旧、 サービス毎にお作法が異なるため学習コスト必要。
データ収集の追加・変更が手間 テーブルの追加、変更などの作業、障害時の復旧、 サービス毎にお作法が異なるため学習コスト必要。 → OSSのAirbyteや SaaSのFivetran, troccoも含めて検討。
1. お伝えしたいこと 2. データ基盤の紹介 3. 抱えてる課題と今後の戦略 4. さいごに
周辺技術が進歩したことで、 データエンジニアを始める際 に 下駄が履きやすい
新しいチャレンジを ニフティではやりやすい環境 が 整備されている
ニフティでは、 新しい仲間を募集しています https://recruit.nifty.co.jp/?utm_source=connpass&utm_medium=web&utm_campaign=2022122 0-techtalk
THANK YOU
QAタイム