Tweet
Tweet

Slide 1

Slide 1 text

データエンジニアリング ことはじめ 話す人：ゆの @Yuno_yyxy 2023/01/28 エンジニア作業飲み集会 LT会 #1 1

Slide 2

Slide 2 text

目次 2023/01/28 エンジニア作業飲み集会 LT会 #1 2 1. つかみ(Netflixを添えて) 2. データ周辺の絵図 3. データを取り扱う登場人物

Slide 3

Slide 3 text

0.何者？？？？ 2023/01/28 エンジニア作業飲み集会 LT会 #1 3 名前：ゆの(@Yuno_yyxy) • 職業システム屋さん(SIerの人間) • 日がなAWS触ってる • 法学部卒なので技術わからん まだNewUserなのでおてやわで。。

Slide 4

Slide 4 text

0.何者？？？？ 2023/01/28 エンジニア作業飲み集会 LT会 #1 4 趣味ピックアップ 少女漫画や青年誌、ジャンプも購読してます 読め！！！！！！！！

Slide 5

Slide 5 text

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 5 世はまさに、大DX時代……

Slide 6

Slide 6 text

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 6 Netflixは、DXを4度変遷

Slide 7

Slide 7 text

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 7 https://digital-shift.jp/platformer/211110

Slide 8

Slide 8 text

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 8 オリジナルコンテンツも制作

Slide 9

Slide 9 text

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 9 https://digital-shift.jp/platformer/211110 • 視聴履歴 • 個人情報 ex… ⇒データを収集・分析することで、 バズるであろう要素を洞察 ex)俳優×ジャンル

Slide 10

Slide 10 text

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 10 どうやらデータが重要そうだ。。。

Slide 11

Slide 11 text

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 11 お 前 も デ ー タ に な ら な い か ？

Slide 12

Slide 12 text

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 12 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス

Slide 13

Slide 13 text

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 13 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス 世の中にはたくさんの情報がある ⇒何のために存在しているか 用途を理解することで、ユースケースにつなげられる

Slide 14

Slide 14 text

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 14 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス 情報分析用の基盤を構築(概略図) • データレイク：データソースからくる生データを蓄積 • データウェアハウス：生データを整理整頓 • データマート：ユースケース用に集約/集計

Slide 15

Slide 15 text

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 15 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BIツール ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス データを分析/解析することで、洞察(インサイト)を得る • Tableauでバスケット分析 • MLさせていろいろするとか？

Slide 16

Slide 16 text

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 16 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス 上記3領域をよしなにする職能領域

Slide 17

Slide 17 text

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 17 データ基盤 データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ収集 保守・運用・監視 データガバナンス データ利活用の全域を統括する。 ⇒顧客のビジネス方針を主導できる人間がやってそう

Slide 18

Slide 18 text

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 18 • データサイエンティスト • データエンジニア • データスチュワード

Slide 19

Slide 19 text

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 19 データサイエンティスト ・世のデータを分析・解析する人 その結果から洞察を得て、ビジネスへ反映する ・機械学習(ML)もここ？

Slide 20

Slide 20 text

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 20 データエンジニア ・データ基盤 構築・運用・保守を担当 ユースケースに耐えうる基盤整備

Slide 21

Slide 21 text

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 21 データスチュワード ・データ整備の推進 ・問い合わせへの対応 ・データサイエンティストとデータエンジニアの橋渡し役

Slide 22

Slide 22 text

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 22 データ基盤 データ サイエンティスト データ組織 データソース ・基幹システム ・野良エクセル ・紙 ・メモ ユースケース ・BI ・ML ・他システム 連携 データ レイク データ ウェアハウス データ マート データ整備 利用促進・FB データ組織を俯瞰する・統括 データ収集 保守・運用・監視 データエンジニア データスチュワード

Slide 23

Slide 23 text

参考文献 2023/01/28 エンジニア作業飲み集会 LT会 #1 23 【書籍】 • 実践的データ基盤への処方箋 • データマネジメントが30分でわかる本 【Web上の記事】 • 今からはじめる、データエンジニアリング・ロードマップ • 「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス