Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データエンジニアとしてちゅらデータで働くことになった
Search
Gaku TASHIRO
October 22, 2022
Technology
1
2.2k
データエンジニアとして ちゅらデータで働くことになった
2022年10月22日に行われたCDTC2022(ちゅらデータテックカンファレンス2022)での資料です
Gaku TASHIRO
October 22, 2022
Tweet
Share
More Decks by Gaku TASHIRO
See All by Gaku TASHIRO
今さら聞けないdbtの基本LT
gak_t12
7
7.3k
External Network Accessよもやま話
gak_t12
0
510
Other Decks in Technology
See All in Technology
Oracle Cloud Infrastructure:2025年1月度サービス・アップデート
oracle4engineer
PRO
0
330
個人開発発表 LT - Shinjuku.rb #97
kozy4324
0
110
Fintech SREの挑戦 PCI DSS対応をスマートにこなすインフラ戦略/Fintech SRE’s Challenge: Smart Infrastructure Strategies for PCI DSS Compliance
maaaato
0
140
ソフトウェア開発現代史:製造業とソフトウェアは本当に共存できていたのか?品質とスピードを問い直す
takabow
15
5.7k
FastConnect の冗長性
ocise
1
9.3k
Amazon Aurora バージョンアップについて、改めて理解する ~バージョンアップ手法と文字コードへの影響~
smt7174
1
320
EDRからERM: PFN-SIRTが関わるセキュリティとリスクへの取り組み
pfn
PRO
0
130
AWSでRAGを実現する上で感じた3つの大事なこと
ymae
3
750
[JAWS-UG栃木]地方だからできたクラウドネイティブ事例大公開! / jawsug_tochigi_tachibana
biatunky
0
170
データ基盤の成長を加速させる:アイスタイルにおける挑戦と教訓
tsuda7
3
500
実践!OpenTelemetry
oracle4engineer
PRO
0
130
日本語プログラミングとSpring Bootアプリケーション開発 #kanjava
yusuke
2
370
Featured
See All Featured
Facilitating Awesome Meetings
lara
51
6.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
28
4.5k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
YesSQL, Process and Tooling at Scale
rocio
171
14k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
44
9.4k
Building a Scalable Design System with Sketch
lauravandoore
460
33k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.3k
Statistics for Hackers
jakevdp
797
220k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
98
18k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Transcript
データエンジニアとして ちゅらデータで働くことになった © 2020 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
AGENDA • 自己紹介 • データエンジニアとは? • モダンデータスタックとは? • ◯◯エンジニアとデータエンジニア •
まとめ
自己紹介 • 田代 学(たしろ がく) • 1974.12.12 生まれ(47歳) • 奈良出身
• 埼玉県川越市在住(フルリモート勤務) • 略歴 • SHARPに新卒。Zaurus向けISPの企画運営、携帯向けメルマガ配信サービスの開発運営 • サイバーエージェントにてサーバサイドエンジニア、データエンジニアとして16年勤務。 アメブロの携帯版やブログ検索などのサービス開発、コンテンツ健全化基盤「Orion」の開 発・運用 • 2022年9月ちゅらデータにJoin © 2020 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
データエンジニアって 知ってますか?
データエンジニアとは? (1/7) • 比較的新しい職種 • "Data Engineering is the new
Sexiest job in 2022” • “需要とキャリアにおいてデータサイエンティストやデー タアナリストを上回った”
データエンジニアとは? 〜全世界のデータ総量〜(2/7) 全世界のデジタルデータの総量 KB→MB→GB→TB→PB→EB→ZB 膨大なデータを活用 できていない!
データエンジニアとは? (3/7) データを収集、保存、分析するため のシステムを 設計・構築・運用するエンジニア
データエンジニアとは? (4/7) データベースエンジニア(狭義) データ(分析基盤)エンジニア
データエンジニアとは? (5/7) 現在、日本においては、 「データサイエンティスト」 「データアナリスト」 に注目が集まっている
データエンジニアとは? (6/7) 「分析」「サイエンス」する為の データが未整備 データサイエンティストの仕事の8割が 「データの準備や前処理」
データエンジニアとは? (7/7) 得意な「分析」「サイエンス」に注力して 力を発揮してもらおう!! データエンジニアは縁の下の力持ち データ活用の大目的
データ分析基盤の構築
データ分析基盤の構築(1/7) データを集めて、一箇所に集め、分析しやすく 基幹DB ユーザ行動ログ 天気データ 住所データ etc. データ分析基盤 基幹DB 基幹DB
トランザクションデータ マスターデータ
データ分析基盤の構築〜データを貯める〜 (2/7) DWH製品 DWH製品:データウェアハウス製品、分析に特化したDB
データ分析基盤の構築〜データを収集する〜 (3/7) Extract(抽出) Load(配信・送出) Transform(変換) DWH 基幹 DB ユーザ行動 ログ
天気データ 住所データ etc. 基幹 DB 基幹DB ELT
データ分析基盤の構築〜データを分析しやすい形に〜 (4/7) データ変換・モデリングツール DWH 基幹 DB ユーザ行動ロ グ 天気データ 住所データ
etc. 基幹 DB 基幹DB データ変換 モデリングツール ELT
データ分析基盤の構築〜データ可視化して分析!〜 (5/7) BIツール:データの可視化 DWH 基幹 DB ユーザ行動ロ グ 天気データ 住所データ
etc. 基幹 DB 基幹DB データ変換 モデリングツール BIツール ELT
データ分析基盤の構築〜データパイプラインを制御〜 (6/7) ワークフローエンジン、オーケストレーションツール DWH 基幹 DB ユーザ行動ロ グ 天気データ 住所データ
etc. 基幹 DB 基幹DB データ変換 モデリングツール BIツール ワークフローエンジン ELT
データ分析基盤の構築〜その他〜 (7/7) DWH 基幹 DB ユーザ行動ロ グ 天気データ 住所データ etc.
基幹 DB 基幹DB データ変換 モデリングツール BIツール ワークフローエンジン • データカタログ • データクオリティ • AI/ML • etc ELT
モダンデータスタック について
モダンデータスタック(1/6) 現代のクラウド環境下に ふさわしい設計とコンセプトに基づく 柔軟で新しいサービス・ソフトウェア群 とその方法論や行く末の議論(を表すバズワード)
Cloud Data Warehouse Data Ingestion Transformation AI/ML BI Reverse ETL
Governance Data Catalog Data Obserbility Workflow Engine The Modern Data Stack (2/6)
モダンデータスタック〜興隆の要因〜 (3/6) クラウド化 特にStorage(Amazon S3やGCS) → 低コストで大規模容量のデータ とCompute(EC2やGCE)→ 低コストで処理可能 SaaS化
1ボタンでサービス利用開始
<レガシー> • サーバ環境の構築が必要 • アプリ、ミドルウェアのインストール • それらメンテナンス(バージョンアップとか) • 拡張がめちゃ困難 •
運用コストがめちゃ高い • 製品ライセンスもめちゃ高 <モダン> • 導入も楽!下手すればボタン一発 • 高スケーラビリティ • ストレージほぼ 無制限 • コンピュートリソースもほぼ 無限 • 簡単な設定のみで動く • メンテナンスはほぼゼロ! • 深い技術的知識は不要 • コストが激減 モダンデータスタック〜”レガシー”との比較〜 (4/6)
モダンデータスタック(5/6) よりビジネス要件に注力できる! (サーバ管理とか余計なことしなくていい!) レガシー モダン サーバ管理 分析・サイエンス ビジネス要件 サーバ管理
モダンデータスタック〜海外サイト〜 (6/6)
◯◯エンジニア と データエンジニア
システムエンジニアとデータエンジニア 要件定義 詳細設計 開発・テスト 導入 運用 システム エンジニア データ エンジニア
ミドルウェア Javaで実装 データウェアハウス ELT構築 Pythonで実装
システムエンジニアとデータエンジニア データ基盤のクラウド移行する場合 移行元オンプレデータ基盤の構成がわかる システム エンジニア データ エンジニア
システムエンジニアとデータエンジニア ジョブチェン可能!!!! システム エンジニア データ エンジニア
ソフトウェアエンジニアとデータエンジニア データ界隈にも ソフトウェアエンジニアリングの叡智 が使えるように! ソフトウェア エンジニア データ エンジニア
ソフトウェアエンジニアとデータエンジニア ジョブチェン可能!!!! ソフトウェア エンジニア データ エンジニア
インフラエンジニアとデータエンジニア クラウド環境でのインフラ構築 (DevOps、CI/CD、Terraform等) インフラ エンジニア データ エンジニア
インフラエンジニアとデータエンジニア ジョブチェン可能!!!! (インフラスキルが大きな柱のデータエンジニア) インフラ エンジニア データ エンジニア
セキュリティエンジニアとデータエンジニア 個人情報データの取扱 データ基盤全体のシステムセキュリティ担保 セキュリティエ ンジニア データ エンジニア
セキュリティエンジニアとデータエンジニア ジョブチェン可能!!レア!! (データセキュリティエンジニア) セキュリティ エンジニア データ エンジニア
アプリケーションエンジニアとデータエンジニア データ・アプリケーションの出現 アプリケーション エンジニア データ エンジニア
アプリケーションエンジニアとデータエンジニア ジョブチェン可能! (データアプリケーションエンジニア) データ エンジニア アプリケーション エンジニア
◯◯エンジニアとデータエンジニア データエンジニアは まだまだ細分化されていない
データインフラ エンジニア データSRE エンジニア データSRE エンジニア データSRE エンジニア ◯◯エンジニアとデータエンジニア データエンジニア
データ サイエンティスト データ アナリスト アナリティクス エンジニア データSRE エンジニア データアプリ エンジニア データセキュリティ エンジニア データスチュワード・ コンシェルジュ BIエンジニア
データインフラ エンジニア データSRE エンジニア データSRE エンジニア データSRE エンジニア ◯◯エンジニアとデータエンジニア データエンジニア
データ サイエンティスト データ アナリスト アナリティクス エンジニア データSRE エンジニア データアプリ エンジニア データセキュリティ エンジニア データスチュワード・ コンシェルジュ ますます発展・広がっていく データエンジニア
データ・・・そこは最後のフロンティア
おすすめの本(1/2) 通称:ゆずたそ本 • データ基盤とはなんぞや • データ基盤システムの作り方 • データ組織について
おすすめの本(2/2) データを扱う人には 必読の書
まとめ • データエンジニアとは • モダンデータスタックとは • ジョブチェンジは可能! • ますます発展広がるデータ界隈で働きませんか?
おわり ご清聴ありがとうございました! © 2022 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.