データエンジニアリングことはじめ

Transcript

1. データエンジニアリング ことはじめ 話す人：ゆの @Yuno_yyxy 2023/01/28 エンジニア作業飲み集会 LT会 #1 1
2. 目次 2023/01/28 エンジニア作業飲み集会 LT会 #1 2 1. つかみ(Netflixを添えて) 2. データ周辺の絵図 3. データを取り扱う登場人物
3. 0.何者？？？？ 2023/01/28 エンジニア作業飲み集会 LT会 #1 3 名前：ゆの(@Yuno_yyxy) • 職業システム屋さん(SIerの人間) • 日がなAWS触ってる • 法学部卒なので技術わからん まだNewUserなのでおてやわで。。
4. 0.何者？？？？ 2023/01/28 エンジニア作業飲み集会 LT会 #1 4 趣味ピックアップ 少女漫画や青年誌、ジャンプも購読してます 読め！！！！！！！！
5. １.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 5 世はまさに、大DX時代……
6. １.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 6 Netflixは、DXを4度変遷
7. １.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 7 https://digital-shift.jp/platformer/211110
8. １.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 8 オリジナルコンテンツも制作
9. １.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 9 https://digital-shift.jp/platformer/211110 • 視聴履歴 • 個人情報 ex… ⇒データを収集・分析することで、 バズるであろう要素を洞察 ex)俳優×ジャンル
10. １.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 10 どうやらデータが重要そうだ。。。
11. ２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 11 お 前 も デ ー タ に な ら な い か ？
12. ２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 12 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス
13. ２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 13 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス 世の中にはたくさんの情報がある ⇒何のために存在しているか 用途を理解することで、ユースケースにつなげられる
14. ２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 14 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス 情報分析用の基盤を構築(概略図) • データレイク：データソースからくる生データを蓄積 • データウェアハウス：生データを整理整頓 • データマート：ユースケース用に集約/集計
15. ２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 15 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BIツール ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス データを分析/解析することで、洞察(インサイト)を得る • Tableauでバスケット分析 • MLさせていろいろするとか？
16. ２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 16 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス 上記3領域をよしなにする職能領域
17. ２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 17 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス データ利活用の全域を統括する。 ⇒顧客のビジネス方針を主導できる人間がやってそう
18. ３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 18 • データサイエンティスト • データエンジニア • データスチュワード
19. ３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 19 データサイエンティスト ・世のデータを分析・解析する人 その結果から洞察を得て、ビジネスへ反映する ・機械学習(ML)もここ？
20. ３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 20 データエンジニア ・データ基盤 構築・運用・保守を担当 ユースケースに耐えうる基盤整備
21. ３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 21 データスチュワード ・データ整備の推進 ・問い合わせへの対応 ・データサイエンティストとデータエンジニアの橋渡し役
22. ３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 22 データ基盤 データ サイエンティスト データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ組織を俯瞰する・統括 データ収集 保守・運用・監視 データエンジニア データスチュワード
23. 参考文献 2023/01/28 エンジニア作業飲み集会 LT会 #1 23 【書籍】 • 実践的データ基盤への処方箋 • データマネジメントが30分でわかる本 【Web上の記事】 • 今からはじめる、データエンジニアリング・ロードマップ • 「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス