データエンジニアリングことはじめ

データエンジニアリングことはじめ話す人：ゆの @Yuno_yyxy 2023/01/28 エンジニア作業飲み集会 LT会 #1 1

目次 2023/01/28 エンジニア作業飲み集会 LT会 #1 2 1. つかみ(Netflixを添えて) 2. データ周辺の絵図
3. データを取り扱う登場人物

0.何者？？？？ 2023/01/28 エンジニア作業飲み集会 LT会 #1 3 名前：ゆの(@Yuno_yyxy) • 職業システム屋さん(SIerの人間) •
日がなAWS触ってる • 法学部卒なので技術わからんまだNewUserなのでおてやわで。。

0.何者？？？？ 2023/01/28 エンジニア作業飲み集会 LT会 #1 4 趣味ピックアップ少女漫画や青年誌、ジャンプも購読してます読め！！！！！！！！

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 5 世はまさに、大DX時代……

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 6 Netflixは、DXを4度変遷

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 7 https://digital-shift.jp/platformer/211110

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 8 オリジナルコンテンツも制作

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 9 https://digital-shift.jp/platformer/211110 • 視聴履歴 •
個人情報 ex… ⇒データを収集・分析することで、バズるであろう要素を洞察 ex)俳優×ジャンル

１.つかみ(Netflixを添えて) 2023/01/28 エンジニア作業飲み集会 LT会 #1 10 どうやらデータが重要そうだ。。。

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 11 お前もデ
ータにならないか？

２.データ周辺の絵図 2023/01/28 エンジニア作業飲み集会 LT会 #1 12 データ基盤データ組織データソース・基幹システム
・野良エクセル・紙・メモユースケース・BI ・ML ・他システム連携データレイクデータウェアハウスデータマートデータ整備利用促進・FB データ収集保守・運用・監視データガバナンス

・野良エクセル・紙・メモユースケース・BI ・ML ・他システム連携データレイクデータウェアハウスデータマートデータ整備利用促進・FB データ収集保守・運用・監視データガバナンス世の中にはたくさんの情報がある ⇒何のために存在しているか用途を理解することで、ユースケースにつなげられる

・野良エクセル・紙・メモユースケース・BI ・ML ・他システム連携データレイクデータウェアハウスデータマートデータ整備利用促進・FB データ収集保守・運用・監視データガバナンス情報分析用の基盤を構築(概略図) • データレイク：データソースからくる生データを蓄積 • データウェアハウス：生データを整理整頓 • データマート：ユースケース用に集約/集計

・野良エクセル・紙・メモユースケース・BIツール・ML ・他システム連携データレイクデータウェアハウスデータマートデータ整備利用促進・FB データ収集保守・運用・監視データガバナンスデータを分析/解析することで、洞察(インサイト)を得る • Tableauでバスケット分析 • MLさせていろいろするとか？

・野良エクセル・紙・メモユースケース・BI ・ML ・他システム連携データレイクデータウェアハウスデータマートデータ整備利用促進・FB データ収集保守・運用・監視データガバナンス上記3領域をよしなにする職能領域

・野良エクセル・紙・メモユースケース・BI ・ML ・他システム連携データレイクデータウェアハウスデータマートデータ整備利用促進・FB データ収集保守・運用・監視データガバナンスデータ利活用の全域を統括する。 ⇒顧客のビジネス方針を主導できる人間がやってそう

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 18 • データサイエンティスト • データエンジニア
• データスチュワード

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 19 データサイエンティスト・世のデータを分析・解析する人その結果から洞察を得て、ビジネスへ反映する・機械学習(ML)もここ？

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 20 データエンジニア・データ基盤構築・運用・保守を担当ユースケースに耐えうる基盤整備

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 21 データスチュワード・データ整備の推進・問い合わせへの対応・データサイエンティストとデータエンジニアの橋渡し役

３.データを取り扱う登場人物 2023/01/28 エンジニア作業飲み集会 LT会 #1 22 データ基盤データサイエンティストデータ組織
データソース・基幹システム・野良エクセル・紙・メモユースケース・BI ・ML ・他システム連携データレイクデータウェアハウスデータマートデータ整備利用促進・FB データ組織を俯瞰する・統括データ収集保守・運用・監視データエンジニアデータスチュワード

参考文献 2023/01/28 エンジニア作業飲み集会 LT会 #1 23 【書籍】 • 実践的データ基盤への処方箋 •
データマネジメントが30分でわかる本【Web上の記事】 • 今からはじめる、データエンジニアリング・ロードマップ • 「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス

データエンジニアリングことはじめ

データエンジニアリングことはじめ

Yuno_nekoisland

More Decks by Yuno_nekoisland

Other Decks in Technology

Featured

Transcript