データエンジニアの教科書.pdf

エンジニアBooks「データエンジニアの教科書」の宣伝で使用したスライドです。
発表時に話した内容についてはこちら↓

https://www.youtube.com/live/9663VpADmDc?si=kAMrOxrv1pUkRdcm

Transcript

1. データエンジニアの教科書 発表資料 1
2. Agenda 本書の紹介 >< opening >< 導入部分 book overview CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 Never Materialized CHAPTER 04 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Never Materialized 自己紹介 本書の概要 簡単な経歴紹介をします 本書のスタンスと概要を説明 Never Materialized Materialized Oct 07 19:05 PM CHAPTER 02 CHAPTER 03 「データエンジニアと技術」 CHAPTER 02 技術の最新動向を紹介 「データエンジニアと組織」 組織での働き方を解説 Never Materialized Never Materialized 2
3. 自己紹介 名前 岩崎 晃 エンジニアのキャリア ストレージ系SIerからデータエンジニアに転身 様々な企業や種別のデータ基盤を構築 データエンジニアリング専門の会社を設立 ホームページ・SNS X : @sista05 note : https://note.com/datamarket HP : https://datamarket.co.jp
4. 著者のエンジニアのキャリア 要点はここ SIer時代 エンタープライズNAS(Network Array Storage)開発 Debian OSのFileSystemやSNMPなどの開発 ハードウェアの開発や保守設計 データエンジニアとして 様々なデータ基盤構築プロジェクトに参画 1.自己紹介 モビリティ事業 / EC / 宿泊 / 広告 / etc ... 基盤の種類も大中小様々 CDP / (ニア)リアルタイム / レコメンド基盤 / ナレッジ・RAG基盤 仕事のスタンス 技術だけにとらわれないトータルバランスを重視します 4
5. 普段の生活 出身 愛知県出身 → 横浜・みなとみらい在住 最近は投資も兼ねてDIY物件を探し中 趣味 ランニング/ゴルフ/ 狩猟 / バー プロジェクト アート売買 趣味 / ポートフォリオ分散 アーティスト支援 ミラノパラリンピック文化プログラム 横浜トリエンナーレ 5
6. Agenda 本書の紹介 book overview >< opening >< 導入部分 CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 Never Materialized CHAPTER 04 「データエンジニアと未来」 データエンジニアの将来の 形を予想 Never Materialized 本書の概要 自己紹介 簡単な経歴紹介をします Materialized 本書のスタンスと概要を説明 Oct 07 19:05 Materialized Oct 07 19:07 PM CHAPTER 02 CHAPTER 03 「データエンジニアと技術」 CHAPTER 02 技術の最新動向を紹介 「データエンジニアと組織」 組織での働き方について Never Materialized Never Materialized 6
7. 「データエンジニアの教科書」の概要 要点はここ データエンジニアの技術だけでなく組織や将来を語ります！ 7
8. 「データエンジニアの教科書」のスタンス 要点はここ 仕事の全体を俯瞰する 取得から活用まで、データ基盤をひとつの流れとして捉える 技術だけに閉じない 組織・運用・マネタイズ・責任まで含めて、データ基盤を考える 判断軸の提供 特定の技術ではなく、状況に応じて選べる考え方を示す 8
10. Agenda 本書の紹介 >< opening >< 導入部分 book overview CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 自己紹介 本書のスタンスと概要を説明 Materialized Materialized Oct 07 19:05 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Never Materialized 本書の概要 簡単な経歴紹介をします CHAPTER 04 Materialized Oct 07 19:11 PM Oct 07 19:07 CHAPTER 02 CHAPTER 03 「データエンジニアと技術」 CHAPTER 02 技術の最新動向を紹介 「データエンジニアと組織」 組織での働き方を解説 Never Materialized Never Materialized 1
11. CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 「データエンジニアの基礎」のポイント データエンジニアの仕事は組織のサイロを壊すこと！ 技術を知る 要点はここ 異なるシステムやデータをつなぎ、履歴や品質を 保ちながら、使える形で届ける 部署間をとりつぐ 業務・分析・経営で異なる言葉や数字をつな ぎ、どれを正とするかまで調整する ビジネスまで踏み込む そのデータを誰が何のために使うのか理解し 技術や優先順位を決める 11
12. CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 データ基盤の基本形4パターン 意思決定・経営指標系 マーケティング・CDP系 営業・CS向け プロダクト分析向け ※
13. CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 意思決定・経営指標系データ基盤 売上・在庫・契約数などを揃え経営判断に使うための基盤 役割 主要機能 データ統合 KPI算出 レポート・可視化 設計ポイント 正確性・再現性・監査性 指標定義の統一 鮮度要件 活用例 経営会議・定期レポート ダッシュボード 帳票・レポート出力
14. CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 マーケティング・CDP系データ基盤 購買履歴や行動を広告施策につなげる基盤 主要機能 顧客ID統合・名寄せ セグメント生成 配信連携・結果回収 設計ポイント 名寄せ精度 同意・プライバシー管理 施策に必要な鮮度 活用例 広告配信 クーポン配布 休眠顧客の掘り起こし 14
15. CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 営業・CS向けデータ基盤 営業・サポートの情報を次のアクションにつなげる基盤 主要機能 顧客情報の統合 ヘルススコア算出 CRM連携・通知 なにをやるか 設計ポイント 顧客IDの統一 データの優先順位 現場の業務への組み込み 活用例 解約兆候の検知 フォロー対象の抽出 アップセル候補の発見 15
16. CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 プロダクト分析向けデータ基盤 ユーザーの行動からアプリやサービスを改善する基盤 主要機能 行動ログ収集 ユーザー行動分析 実験・施策評価 設計ポイント イベント定義・粒度 分析の柔軟性 実験条件の再現性 活用例 離脱ポイントの発見 新機能の効果検証 継続率の改善 16
17. Agenda 本書の紹介 book overview >< opening >< 導入部分 CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Materialized Never Materialized Oct 07 19:11 本書の概要 自己紹介 簡単な経歴紹介をします Materialized CHAPTER 04 Oct 07 19:05 本書のスタンスと概要を説明 Materialized Oct 07 19:07 CHAPTER 02 「データエンジニアと技術」 技術の最新動向を紹介 CHAPTER 03 「データエンジニアと組織」 組織での働き方を解説 Never Materialized Materialized Oct 07 19:16 PM 1
18. CHAPTER 02 デ ー タ エ ン ジ ニ ア と 技 術 「データエンジニアと技術」のポイント データ基盤の構造を役割でとらえる データの流れを意識 取得・蓄積・処理・変換・提供・運用 までデータの流れと責務を整理する。 管理の重要性も忘れない 品質・再実行・監視・コストまで含 めた運用を紹介。 ツールを超えた役割で整理 ツールが出てきても、何を解決し、 どの工程の責務を担う技術なのかで 位置づける。 18
19. CHAPTER 02 デ ー タ エ ン ジ ニ ア と 技 術 データ蓄積技術の最新動向 Lakehouseの競争は Icebergが軸になりつつある 何があった？ Snowflake・AWSがIceberg対応を拡大。DatabricksもIceberg 創設者らの会社Tabularを買収し共通規格として支持 どうしてそうなった？ データを特定のサービスに縛られずに使いたい需要により、 競合するベンダーも採用する共通規格となり採⽤を後押し これからどうなる？ 競争は共通規格をどう進化させ、誰が設計と実装を主導するかに 広がっています。 19
20. CHAPTER 02 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 技 技 術 術 データの提供・活⽤技術の最新動向 データの提供・活用技術の最新動向 データとAIの融合技術が進んでいる 何があった？ AIエージェントが企業データを直接利用するようになり、 Semantic LayerやContext
    Layerへの投資が進んでいます どうしてそうなった？ AI分析の精度は売上・顧客などの意味や、正しいデータ を選べるかどうかがを左右するため これからどうなる？ データ基盤は保存・処理だけでなく、意味・鮮度・由 来・関係性までAIに提供する基盤へ広がっています 20
21. CHAPTER 02 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 技 技 術 術 データオーケストレーションの最新動向 サービス・各社の統合再編が加速 何があった？ Fivetranとdbt Labsが統合し、PrefectはDagster Labsを 買収といった、競合会社の合併の流れが加速している どうしてそうなった？ 技術を一つにまとめるためというより、経済圧力に より会社統合する動きが広がっている これからどうなる？ 技術は標準化されオーケストレーションは当たり前の 機能に。機能は残っても単体で買う市場はなくなる 21
22. CHAPTER 02 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 技 技 術 術 データガバナンスの最新動向 データガバナンスがAIのガードレールへ 何があった？ アクセス制御だけでなく、AIに渡すデータの鮮度・正確性・意味まで管理 対象になります。正しい権限でも、間違ったデータを使えばAIは間違った 判断をします。 ガードレールやハーネスなどのAIを制御する仕組みなど AIにガバナンスを適用する動きが広まっている どうしてそうなった？ AIがデータを読むだけでなく操作まで担うため、言葉の 意味、使える権限、任せる範囲を決める これからどうなる？ 意味・権限・品質・証跡・コストへ、管理する領域が広 がり、仕組みで統制する運用へ向かっていく。 22
23. Agenda 本書の紹介 >< opening >< 導入部分 book overview CHAPTER 01 CHAPTER 04 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Materialized Never Materialized Oct 07 19:11 本書の概要 自己紹介 簡単な経歴紹介をします 本書のスタンスと概要を 説明します Materialized Materialized Oct 07 19:05 Oct 07 19:07 CHAPTER 03 CHAPTER 02 「データエンジニアと技術」 技術の最新動向を紹介 Materialized 「データエンジニアと組織」 組織での働き方を解説 Oct 07 19:16 Materialized Oct 07 19:21 PM 2
24. CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 「データエンジニアと組織」のポイント データエンジニアは組織のことも考える 組織構造で役割が変わる 中央集約型か各部署に配置されるかに よって責任範囲や関わり方は変わる 協働相手を理解する 分析・ML・営業・マーケなど 協働相手の⽬的や課題を把握する 使われ続ける状態をつくる 利用者が自律的にデータを使える環境を整 え、 障害時の連携や、基盤にかかるコスト の説明まで担う 24
25. CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 データエンジニアと調整 組織の問題は様々。DataMeshを例に考える 組織の問題は現場の性格により 様々です。そのため正解がありま せん。 あくまで例えですが、DataMesh をやろうという構想が降りてきた とします。だけど、日本のような トップダウンかボトムアップのや り方での仕事しかしたことない組 織では、あまりどのように自律性 を持ったら良いか判断がつかない ことがあって、最終的に頓挫する ことが多いです。 25
26. CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 データエンジニアと調整 正解は一つではない そうした課題には、完全なDataMeshとは いかないまでも、中央集権型と分散型の ハイブリッドアーキテクチャのような形 におちついて運用しているケースがあり ます。 4つの理念がありますが、本家でも実務で は Data as a Productを優先して、他の柱 を後から育てるという現実的な進め方も 紹介されています。 参考:SansanでのDataMesh導入 https://buildersbox.corpsansan.com/entry/2026/02/02/130000 26
27. CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 データエンジニアと調整 落とし所を作ることが肝心 重要なのは、形式的な問題にとら われず、それぞれ組織でしっかり した答えをもって皆の納得できる 形に落とし込むことができること です。 こうした考えをみんなに納得させ るには、杓子定規な考えに囚われ ず、包括的に物事を考える力。 そしてまだAIにはないコンテキス トレイヤー、つまりWork IQとい った経験が重要になると考えてい ます。 27
28. CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 AIが組織の問題に着⼿している AIが組織の問題に着手している DataMeshはAIと融合して次に進もうとしている ガバナンス実務をAIが補助する メタデータ整備、Data Contract、品質ルール、 変更レビューなどを支援 中央とドメインの往復を減らす 標準への適合確認やレビューを自動化し、人手 の調整を減らす 分散運用を回しやすくする Data Meshの思想を変えるのではなく、 実運用上の負荷を下げる 28
29. Agenda 本書の紹介 >< opening >< 導入部分 book overview CHAPTER 04 CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 Materialized Oct 07 19:11 「データエンジニアと未来」 データエンジニアの将来 の形を予想 本書の概要 自己紹介 簡単な経歴紹介をします 本書のスタンスと概要を説明 Materialized Materialized Oct 07 19:05 Materialized Oct 07 19:21 PM Oct 07 19:07 CHAPTER 02 CHAPTER 03 「データエンジニアと技術」 技術の最新動向を紹介 「データエンジニアと組織」 組織での働き方を解説 Materialized Materialized Oct 07 19:16 Oct 07 19:16 2
30. CHAPTER 04 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 未 技 来 術 「データエンジニアと未来」のポイント エンジニアの仕事はAIに任せる範囲を設計すること AIに渡す情報や権限を決める どのデータを信じ、どこまで操作して よいか前提とルールを整える 実装から結果まで検証 数字の意味や業務への影響まで確認し AIの出力が⽬的に合っているかを判断 AIもデータの利用者になる AIが正しく解釈できるよう 意味・品質・権限を整える必要がある 30
31. CHAPTER 04 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 未 技 来 術 AI時代のデータ基盤 AIが高速に試⾏錯誤できる基盤が必要になる 試行ごとに環境を分ける 複数の案を同時に試せるように 作業環境をブランチとして切り分ける。 データを丸ごとコピーしない 共通部分は共有し変更分だけを保持。 試行環境を短時間低コストで作成する 途中からやり直せる データだけでなくコードや設定状態を保持。 失敗しても任意の地点から別の案を試せる
32. CHAPTER 04 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 未 技 来 術 さらにその先の未来：データ基盤の未来 データ基盤が企業活動に直結する台帳になる 記録する対象が広がる 売上や在庫だけでなく、利用料、品質、 顧客活動、記録対象は広がっていく コストと成果を結びつける システム利用のコスト処理量だけでな く、コストが換えた価値を計測する 企業価値を計測可能にする 企業の活動を価値化し、共通の単位と定 義に変え意思決定できる形で残す 32
33. 全体のまとめ 要点はここ 「データエンジニアの教科書」は判断のための本 データの先にある目的を考える 誰が、何のために使うのか。 その目的から、技術と設計を選ぶ 技術と組織をあわせて考える 品質・運用・責任分担まで整え、 データが使われ続ける状態をつくる 変化に向き合う判断軸を持つ 技術やAIが変わっても、 自分の現場に合う選択ができるように 33
34. Agenda 本書の紹介 自社宣伝 about DataMarket book overview >< opening >< 導入部分 CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 Materialized Oct 07 19:11 CHAPTER 02 本書の概要 自己紹介 簡単な経歴紹介をします 本書のスタンスと概要を説明 「データエンジニアと技術」 技術の最新動向を紹介 Materialized Materialized Oct 07 19:05 Materialized Oct 07 19:16 DataMarketの紹介 少しだけ自社紹介させて ください Oct 07 19:07 CHAPTER 03 「データエンジニアと組織」 組織での働き方を解説 Materialized Materialized Oct 07 19:31 PM DataMarketの紹介 Oct 07 19:21 CHAPTER 04 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Materialized Oct 07 19:26 3