NIFTY Tech Talk #08 ニフティのデータ基盤の話

Transcript

1. ニフティの データ基盤の話 2022.12.20 会員システムグループ／第三開発チーム 黒羽　孝夫
2. 自己紹介
3. 黒羽　孝夫 （くろばね　たかお）
4. N1!データアーキテクト https://recruit.nifty.co.jp/interview/kurobane.htm
5. 今回は データエンジニアとしての 話
6. 目次 1. お伝えしたいこと 2. データ基盤の紹介 3. 抱えてる課題と今後の戦略 4. さいごに
7. 1. お伝えしたいこと 2. データ基盤の紹介 3. 抱えてる課題と今後の戦略 4. さいごに
8. データ分析を始めたい データ基盤作りたい お伝えしたいことは・・・ １つです
9. データ分析を始めるときに は データ基盤を進めるといい よ
10. 用途が見えない状態で データ基盤を作るのは良くな い
11. データ基盤は 単体では価値が出しづら い
12. データ分析は 単体で価値は出せるけど 安定や高速化ってしづらい
13. データ分析とデータ基盤は 片方だけではなく、 どちらも考えておくのが良 い
14. ここに行き着いた理由につい て 触れさせてください
15. データを集めること は 目的ではない
16. 集めることに 注力したことで 次のようなことが・・・
17. 終わらないデータ収 集
18. あったら使う・便利か も （使わない）
19. 長い目で見ると大事だけど、 重要でもないものまで 手をつけた
20. 結果、活用は進まず 時間も溶けてしまった
21. 部分的な成果を追って 失敗したことを共有したかっ た
22. 今度こそ ニフティのデータ基盤のご紹 介
23. 1. お伝えしたいこと 2. データ基盤の紹介 3. 抱えてる課題と今後の戦略 4. さいごに
24. 立ち上げ時
25. データ基盤 立ち上げ前のフ ロー
26. 収集するところを 改善
27. ココ
28. このときのポイントは2つ
29. （１）
30. 既存資産の Tableauを活かす
31. （２）
32. データ収集は最低限
33. 最低限ってどこよ？
34. どの粒度で 取得するか
35. 範囲を限定して 立ち上げを優先
36. 立ち上げ当初の構成
38. 活用の事例も増加、 収集するデータも 順調に増やしていった
40. やりたいことが増えれば、 痒いところに手が届かなっ た
41. • データ追加に人手が不足 • テーブル同士の関係性が不明 • 特定のタイミングの スナップショットを取りたい • レスポンス低下 • スロークエリ多発 ︙
42. 現在の構成図
44. 無加工のデータを蓄積
45. External Table定義と データ変換はdbtに集約
46. Reverse ETLは dbtで変換したテーブルを使用
47. レポーティングはTableau アドホックはRedash
48. 1. お伝えしたいこと 2. データ基盤の紹介 3. 現在の課題と今後の戦略 4. まとめ
49. • メタデータがスプレッドシート • ワークロード管理が面倒 • BIの中がブラックボックス • データ収集の追加・変更が手間 • データ自体の品質が未計測 ︙
50. • メタデータがスプレッドシート • ワークロード管理が面倒 • BIの中がブラックボックス • データ収集の追加・変更が手間 • データ自体の品質が未計測 ︙
51. メタデータがスプレッドシート テーブルの定義や意味を手動管理していた。 更新が放置されたり、忘れたり、フォーマットを変えられたり、、、 信頼性はとても低い状態になっている。
52. メタデータがスプレッドシート テーブルの定義や意味を手動管理していた。 更新が放置されたり、忘れたり、フォーマットを変えられたり、、、 信頼性はとても低い状態になっている。 → テーブル定義やリネージは、dbtのドキュメント生成で賄えるか検 討。 　　実行後にドキュメントも合わせて更新させることで、 　　メタデータの品質を担保する。
53. データ収集の追加・変更が手間 テーブルの追加、変更などの作業、障害時の復旧、 サービス毎にお作法が異なるため学習コスト必要。
54. データ収集の追加・変更が手間 テーブルの追加、変更などの作業、障害時の復旧、 サービス毎にお作法が異なるため学習コスト必要。 →　OSSのAirbyteや 　　 SaaSのFivetran, troccoも含めて検討。
55. 1. お伝えしたいこと 2. データ基盤の紹介 3. 抱えてる課題と今後の戦略 4. さいごに
56. 周辺技術が進歩したことで、 データエンジニアを始める際 に 下駄が履きやすい
57. 新しいチャレンジを ニフティではやりやすい環境 が 整備されている
58. ニフティでは、 新しい仲間を募集しています https://recruit.nifty.co.jp/?utm_source=connpass&utm_medium=web&utm_campaign=2022122 0-techtalk
59. THANK YOU
60. QAタイム