データエンジニアとしてちゅらデータで働くことになった

by Gaku TASHIRO

Slide 1

Slide 1 text

Slide 2

Slide 2 text

AGENDA • 自己紹介 • データエンジニアとは？ • モダンデータスタックとは？ • ◯◯エンジニアとデータエンジニア • まとめ

Slide 3

Slide 3 text

自己紹介 • 田代学（たしろがく） • 1974.12.12 生まれ（47歳） • 奈良出身 • 埼玉県川越市在住（フルリモート勤務） • 略歴 • SHARPに新卒。Zaurus向けISPの企画運営、携帯向けメルマガ配信サービスの開発運営 • サイバーエージェントにてサーバサイドエンジニア、データエンジニアとして16年勤務。アメブロの携帯版やブログ検索などのサービス開発、コンテンツ健全化基盤「Orion」の開発・運用 • 2022年9月ちゅらデータにJoin © 2020 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.

Slide 4

Slide 4 text

データエンジニアって知ってますか？

Slide 5

Slide 5 text

データエンジニアとは？（1/7） • 比較的新しい職種 • "Data Engineering is the new Sexiest job in 2022” • “需要とキャリアにおいてデータサイエンティストやデータアナリストを上回った”

Slide 6

Slide 6 text

データエンジニアとは？〜全世界のデータ総量〜（2/7）全世界のデジタルデータの総量 KB→MB→GB→TB→PB→EB→ZB 膨大なデータを活用できていない！

Slide 7

Slide 7 text

データエンジニアとは？（3/7）データを収集、保存、分析するためのシステムを設計・構築・運用するエンジニア

Slide 8

Slide 8 text

データエンジニアとは？（4/7）データベースエンジニア（狭義）データ（分析基盤）エンジニア

Slide 9

Slide 9 text

データエンジニアとは？（5/7）現在、日本においては、「データサイエンティスト」「データアナリスト」に注目が集まっている

Slide 10

Slide 10 text

データエンジニアとは？（6/7）「分析」「サイエンス」する為のデータが未整備データサイエンティストの仕事の8割が「データの準備や前処理」

Slide 11

Slide 11 text

データエンジニアとは？（7/7）得意な「分析」「サイエンス」に注力して力を発揮してもらおう！！データエンジニアは縁の下の力持ちデータ活用の大目的

Slide 12

Slide 12 text

データ分析基盤の構築

Slide 13

Slide 13 text

データ分析基盤の構築（1/7）データを集めて、一箇所に集め、分析しやすく基幹DB ユーザ行動ログ天気データ住所データ etc. データ分析基盤基幹DB 基幹DB トランザクションデータマスターデータ

Slide 14

Slide 14 text

データ分析基盤の構築〜データを貯める〜（2/7） DWH製品 DWH製品：データウェアハウス製品、分析に特化したDB

Slide 15

Slide 15 text

データ分析基盤の構築〜データを収集する〜（3/7） Extract（抽出） Load（配信・送出） Transform（変換） DWH 基幹 DB ユーザ行動ログ天気データ住所データ etc. 基幹 DB 基幹DB ELT

Slide 16

Slide 16 text

データ分析基盤の構築〜データを分析しやすい形に〜（4/7）データ変換・モデリングツール DWH 基幹 DB ユーザ行動ログ天気データ住所データ etc. 基幹 DB 基幹DB データ変換モデリングツール ELT

Slide 17

Slide 17 text

データ分析基盤の構築〜データ可視化して分析！〜（5/7） BIツール：データの可視化 DWH 基幹 DB ユーザ行動ログ天気データ住所データ etc. 基幹 DB 基幹DB データ変換モデリングツール BIツール ELT

Slide 18

Slide 18 text

データ分析基盤の構築〜データパイプラインを制御〜（6/7）ワークフローエンジン、オーケストレーションツール DWH 基幹 DB ユーザ行動ログ天気データ住所データ etc. 基幹 DB 基幹DB データ変換モデリングツール BIツールワークフローエンジン ELT

Slide 19

Slide 19 text

データ分析基盤の構築〜その他〜（7/7） DWH 基幹 DB ユーザ行動ログ天気データ住所データ etc. 基幹 DB 基幹DB データ変換モデリングツール BIツールワークフローエンジン • データカタログ • データクオリティ • AI/ML • etc ELT

Slide 20

Slide 20 text

モダンデータスタックについて

Slide 21

Slide 21 text

モダンデータスタック（1/6）現代のクラウド環境下にふさわしい設計とコンセプトに基づく柔軟で新しいサービス・ソフトウェア群とその方法論や行く末の議論（を表すバズワード）

Slide 22

Slide 22 text

Cloud Data Warehouse Data Ingestion Transformation AI/ML BI Reverse ETL Governance Data Catalog Data Obserbility Workflow Engine The Modern Data Stack (2/6)

Slide 23

Slide 23 text

モダンデータスタック〜興隆の要因〜（3/6）クラウド化特にStorage（Amazon S3やGCS) → 低コストで大規模容量のデータとCompute（EC2やGCE）→ 低コストで処理可能 SaaS化 1ボタンでサービス利用開始

Slide 24

Slide 24 text

＜レガシー＞ • サーバ環境の構築が必要 • アプリ、ミドルウェアのインストール • それらメンテナンス（バージョンアップとか） • 拡張がめちゃ困難 • 運用コストがめちゃ高い • 製品ライセンスもめちゃ高＜モダン＞ • 導入も楽！下手すればボタン一発 • 高スケーラビリティ • ストレージほぼ無制限 • コンピュートリソースもほぼ無限 • 簡単な設定のみで動く • メンテナンスはほぼゼロ！ • 深い技術的知識は不要 • コストが激減モダンデータスタック〜”レガシー”との比較〜 (4/6)

Slide 25

Slide 25 text

モダンデータスタック（5/6）よりビジネス要件に注力できる！（サーバ管理とか余計なことしなくていい！）レガシーモダンサーバ管理分析・サイエンスビジネス要件サーバ管理

Slide 26

Slide 26 text

モダンデータスタック〜海外サイト〜（6/6）

Slide 27

Slide 27 text

◯◯エンジニアとデータエンジニア

Slide 28

Slide 28 text

システムエンジニアとデータエンジニア要件定義詳細設計開発・テスト導入運用システムエンジニアデータエンジニアミドルウェア Javaで実装データウェアハウス ELT構築 Pythonで実装

Slide 29

Slide 29 text

システムエンジニアとデータエンジニアデータ基盤のクラウド移行する場合移行元オンプレデータ基盤の構成がわかるシステムエンジニアデータエンジニア

Slide 30

Slide 30 text

システムエンジニアとデータエンジニアジョブチェン可能！！！！システムエンジニアデータエンジニア

Slide 31

Slide 31 text

ソフトウェアエンジニアとデータエンジニアデータ界隈にもソフトウェアエンジニアリングの叡智が使えるように！ソフトウェアエンジニアデータエンジニア

Slide 32

Slide 32 text

ソフトウェアエンジニアとデータエンジニアジョブチェン可能！！！！ソフトウェアエンジニアデータエンジニア

Slide 33

Slide 33 text

インフラエンジニアとデータエンジニアクラウド環境でのインフラ構築（DevOps、CI/CD、Terraform等）インフラエンジニアデータエンジニア

Slide 34

Slide 34 text

インフラエンジニアとデータエンジニアジョブチェン可能！！！！（インフラスキルが大きな柱のデータエンジニア）インフラエンジニアデータエンジニア

Slide 35

Slide 35 text

セキュリティエンジニアとデータエンジニア個人情報データの取扱データ基盤全体のシステムセキュリティ担保セキュリティエンジニアデータエンジニア

Slide 36

Slide 36 text

セキュリティエンジニアとデータエンジニアジョブチェン可能！！レア！！（データセキュリティエンジニア）セキュリティエンジニアデータエンジニア

Slide 37

Slide 37 text

アプリケーションエンジニアとデータエンジニアデータ・アプリケーションの出現アプリケーションエンジニアデータエンジニア

Slide 38

Slide 38 text

アプリケーションエンジニアとデータエンジニアジョブチェン可能！（データアプリケーションエンジニア）データエンジニアアプリケーションエンジニア

Slide 39

Slide 39 text

◯◯エンジニアとデータエンジニアデータエンジニアはまだまだ細分化されていない

Slide 40

Slide 40 text

データインフラエンジニアデータSRE エンジニアデータSRE エンジニアデータSRE エンジニア ◯◯エンジニアとデータエンジニアデータエンジニアデータサイエンティストデータアナリストアナリティクスエンジニアデータSRE エンジニアデータアプリエンジニアデータセキュリティエンジニアデータスチュワード・コンシェルジュ BIエンジニア

Slide 41

Slide 41 text

Slide 42

Slide 42 text

データ・・・そこは最後のフロンティア

Slide 43

Slide 43 text

おすすめの本(1/2) 通称：ゆずたそ本 • データ基盤とはなんぞや • データ基盤システムの作り方 • データ組織について

Slide 44

Slide 44 text

おすすめの本(2/2) データを扱う人には必読の書

Slide 45

Slide 45 text

まとめ • データエンジニアとは • モダンデータスタックとは • ジョブチェンジは可能！ • ますます発展広がるデータ界隈で働きませんか？