いま注目しているデータエンジニアリングの論点

2025.09.30開催の「Data Engineering Study #31」の登壇資料です。LLMの発展が急速に進む現在において、stable株式会社代表の私が注目しているデータエンジニアリングの論点についてまとめました。

Transcript

1. Copyright stable, inc. All rights reserved.
 
 いま注目している 
 データエンジニアリング 論点 
 2025.09.30 Data Engineering Study #31
 1 stable株式会社
 代表取締役 宮﨑一輝

2. Copyright stable, inc. All rights reserved.
 自己紹介
 2 宮﨑一輝（ ikki）
 stable株式会社 代表取締役 & データエンジニア
 - 略歴
 - コンサル → データアナリスト → データエンジニア
 - 2023年にstable株式会社を創業
 - 得意領域 
 - dbtを用いたデータモデリング 
 - データ分析
 - そ 他
 - 犬2匹を飼っています🐶

3. Copyright stable, inc. All rights reserved.
 会社概要 3
 わたしたち データエンジニアリング領域 クライアントワーク を中心に、 
 「企業 データ活用 成功」 を支援する会社 です。
 会社名
 stable株式会社
 設立
 2023年9月
 所在地
 〒151-0051 東京都渋谷区千駄ケ谷
 5丁目15−5 DSビル703
 代表取締役 
 宮﨑 一輝
 従業員数
 正社員3名、業務委託 12名（2025年9月時点）

4. Copyright stable, inc. All rights reserved.
 データ基盤整備 プロ 知見やリソースを、 1ヶ月単位で提供しています。 
 stable 提供サービス
 4
 プロ 知見・リソースがすぐに得られる 
 - 多数 案件を経験するプロ 知見を得られる 
 - 実装まで行う で、社内にリソースがなくても OK
 
 
 1ヶ月ごと 月額制で柔軟な支援体制 
 - 見積もりが発生せず、すぐプロジェクトを開始できる 
 - 1ヶ月ごとにコミット量 調整が可能 

5. Copyright stable, inc. All rights reserved.
 案件獲得も順調な で、データエンジニア 方 採用を強化中！ 
 データエンジニア募集中 
 5
 *1: Pitta <https://pitta.me/matches/scbUsnxgXYJd>
 *2: note <https://note.com/ikki_mz >
 ＼ カジュアル面談募集中 ／
 ＼ 会社 ことが分かる noteも書いてます ／

6. Copyright stable, inc. All rights reserved.
 1. 前置き
 2. 今度こそデータ整備 重要性を上げられる？ 
 3. まず データ活用 総量を上げる 
 4. AIと人間 協働 
 5. まとめ
 6
7. Copyright stable, inc. All rights reserved.
 データ整備に対する認識 
 7 出典：X <https://x.com/maskedanl/status/1924652955724349790> 生成AIブームに乗っかる 大事だが、一方でデータ整備 放置されがち ...

8. Copyright stable, inc. All rights reserved.
 garbage in garbage out
 8 「Garbage In, Garbage Out」と 、欠陥 ある、また 無意味な入力データ 無 意味な出力結果を生み出すという概念である。 
 機械学習 
 品質 低いデータ 
 （Garbage）
 データ分析 
 AIエージェント 
 質 低い結果 
 （Garbage）

9. Copyright stable, inc. All rights reserved.
 garbage in garbage out
 9 AIエージェント アプリケーション 、 OpenAIなど AIモデルプロバイダ等により急 速に発展しているが、自社 データ 自社で解決しないと良くならない。 
 機械学習 
 品質 低いデータ 
 （Garbage）
 データ分析 
 AIエージェント 
 質 低い結果 
 （Garbage）
 OpenAIなど AIプロバイダや、 Google, Snowflakeなど 
 クラウドベンダにより急速に発展 
 自社でやらない限り、 
 自然と良くなって いかない 

10. Copyright stable, inc. All rights reserved.
 AI活用とデータ整備
 10 AI活用 注目されやすいが外部要因（ ex. OpenAI, Google） 影響が大きい。 
 対極的に、データ整備 自社でやるしかないが、放置されがちである。 
 データ整備 
 AI活用
 外部要因 
 自社要因 
 放置
 注目

11. Copyright stable, inc. All rights reserved.
 1. 前置き
 2. 今度こそデータ整備 重要性を上げられる？ 
 3. まず データ活用 総量を上げる 
 4. AIと人間 協働 
 5. まとめ
 11
12. Copyright stable, inc. All rights reserved.
 🎯概要
 - 事業部側 、分析したい事がある場合、デー タチームに分析依頼を投げる 
 - データチーム 分析を行い、 
 分析結果を事業部側にレポートする 
 ⚠懸念
 - データチームが分析結果を返すまで 
 リードタイムが発生 する
 - 事業部側が持つコンテキストが、データチー ムへ 依頼 際に失われやすい 
 データチーム 体制 / 依頼型
 12
 「依頼型」 、データチームが各事業部 データ集計依頼に応えるという体制。 
 事業部側にデータ抽出 スキルがない場合、必然的にこ 体制になりやすい。 
 データチーム 
 営業
 マーケ
 開発
 分析結果 
 依頼
 「依頼型」

13. Copyright stable, inc. All rights reserved.
 データチーム 体制 / AIによるデータ 民主化 
 13
 「AIによるデータ 民主化型」が実現すると、 AIエージェントが事業部側 
 分析ニーズに応えてくれるため、前述したような課題が解決する で 。 
 データチーム　 　
 営業
 マーケ
 開発
 「AIによるデータ 民主化型」 
 AIエージェント 
 メンテナンス 
 自然言語で 問い合わせ 
 🎯概要
 - データチーム 代わりに、事業部側 依頼に 応えてくれるAIエージェントを用意する 
 - 事業部側 24時間、AIエージェントから
 高速なレスポンスを受け取ることができる 
 ⚠懸念
 - 本当に分析結果が正しい か？ 

14. Copyright stable, inc. All rights reserved.
 言いたいこと
 14
 交通整理を頑張る前に、まず 交通量（データ活用）を増やす方が重要！ 
 交通量
 交通整理
 ＞

15. Copyright stable, inc. All rights reserved.
 宣伝
 15 出典：筆者note「まずデータ活用の総量を増やせ、話はそれからだ」<https://note.com/ikki_mz/n/n3f7843a6afcb> 「まずデータ活用 総量を増やすべし」という話 、筆者 noteにも書きました。 
 ▼筆者note
 「まずデータ活用 総量を増やせ、話 それからだ」 

16. Copyright stable, inc. All rights reserved.
 1. 前置き
 2. 今度こそデータ整備 重要性を上げられる？ 
 3. まず データ活用 総量を上げる 
 4. AIと人間 協働 
 5. まとめ
 16
17. Copyright stable, inc. All rights reserved.
 AIと人間 協働
 17 AI 素晴らしいが、まだ丸投げ できない。したがって、 AIにどこまで任せるか ”境 界線”を明確にして、協働できるようにしなけれ いけない。 
 人間
 AI
 AIに任せる領域 
 人間がやる領域 

18. Copyright stable, inc. All rights reserved.
 データエンジニア 役割 
 18 データエンジニア ビジネスユーザーと直接やり取りする役割から、 
 ビジネスユーザーと AI 境界線を整える役割へとシフトしていく。 
 データエンジニア 
 ビジネスユーザー 
 AI
 ビジネスユーザー 
 As Is
 To Be
 AIとビジネスユーザー 
 境界線を整える 仕事が増える
 データエンジニアが直接 
 ビジネスユーザーとやり取り 
 データエンジニア 

19. Copyright stable, inc. All rights reserved.
 境界線を定めるため いくつか 指針 
 19 AIと人間 境界線を定めるために、考えるべき観点。 
 1. 得意領域 見極め 
 2. サービスレベル定義 
 3. ガードレール 
 4. メタデータ、コンテキスト 

20. Copyright stable, inc. All rights reserved.
 AIとデータ基盤
 20 AI 確率論的な意思決定を主としている に対して、データエンジニアリング 決定 論的な処理を基本としている。 
 確率論的
 Probabilistic
 決定論的
 Deterministic
 AI
 データ基盤 
 •最も妥当である確率が 
 高い結果を返す 
 •嘘や間違った結果を 
 返すことがある 
 •試行ごとに結果が異なる 
 •ロジック通り 
 決まった結果を返す 
 •ロジックが正しけれ 
 嘘をつく事 ない 
 •条件が等しけれ 、 
 毎回同じ結果を返す 

21. Copyright stable, inc. All rights reserved.
 ユースケースA：プロダクト 概観把握 
 21 多少間違いがあってもリスクが小さい状況で 、 AIを使って高速 & 大量に
 集計を行えること メリットが大きい。 
 ユースケース A：プロダクト 概観把握 
 入社初日に、自社プロダクト ことを知 るため、プロダクトに関する色々なデー タを見たい 
 AIを用いて高速に集計を行い、色々な観 点でスピーディに見れると良い。たまに間 違いがあってもリスク 少ない。 
 確率論的
 Probabilistic
 AI

22. Copyright stable, inc. All rights reserved.
 ユースケースB：企業 IR活動
 22 絶対に集計 ミスが許されないようなユースケースにおいて 、正しい結果が 
 安定して返ってくるような、決定論的な処理プロセスが求められる。 
 決定論的
 Deterministic
 ユースケース B：企業 IR活動
 株主に対して自社 業績報告をする。 数値が間違えていると大変なことに ...
 データ品質・ガバナンスを担保して、 
 間違えているリスクを極小化した上で 
 データ 集計を行うべき 
 データ基盤 

23. Copyright stable, inc. All rights reserved.
 AIとデータ基盤 補完関係 
 23
 両者 利点を活かして、場合によって使い分ける が重要。 
 確率論的
 Probabilistic
 決定論的
 Deterministic
 AI
 データ基盤 
 

24. Copyright stable, inc. All rights reserved.
 【参考】セマンティックレイヤー 
 24 出典：筆者資料「セマンティックレイヤー入門」
25. Copyright stable, inc. All rights reserved.
 境界線を定めるため いくつか 指針 
 25 AIと人間 境界線を定めるために、考えるべき観点。 
 1. 得意領域 見極め 
 2. サービスレベル定義 
 3. ガードレール 
 4. メタデータ、コンテキスト 

26. Copyright stable, inc. All rights reserved.
 サービスレベルと 
 26
 サービス提供者が顧客に対して 約束する品質基準や性能指標 こと 

27. Copyright stable, inc. All rights reserved.
 サービス提供者が顧客に対して 約束する品質基準や性能指標 こと 
 サービスレベルと 
 27
 データチーム 
 社内 分析ユー ザー
 → ここまで 保証するけど、ここから 保証できません という線引きが重要 

28. Copyright stable, inc. All rights reserved.
 例え 、経営における重要度で分けるなら ...
 28
 企業 データ活用 、経営における重要度が様々である。 
 経営における 
 重要度
 経営層
 ：株主報告、事業計画、外部公開 KPI…
 事業部長 
 ：事業KPI、経営報告レポート ...
 メンバー 
 ：施策 効果、プロダクト利用状況 ...

29. Copyright stable, inc. All rights reserved.
 例え 、経営における重要度で分けるなら ...
 29
 経営におけるデータ活用 重要度を定義して、そ 重要度に合わせて、 
 AI活用 度合いを調整する。 
 経営における 
 重要度
 データチーム 
 AI + データチーム 
 AI + 非データ人材 
 責任範囲
 経営層
 事業部長 
 メンバー 
 ：株主報告、事業計画、外部公開 KPI…
 ：事業KPI、経営報告レポート ...
 ：施策 効果、プロダクト利用状況 ...

30. Copyright stable, inc. All rights reserved.
 サービスレベル定義 事例 
 30
 *1: harry「Tier定義で実現するAI-Readyなデータ利活用」 *2: Yasuhisa Yoshida「10Xでのデータ基盤の変遷とこれから」 Tier表や、データに対する期待値レベルを定義している事例も増えてきている。 
 ▼dely株式会社 事例*1
 ▼株式会社10X 事例*2

31. Copyright stable, inc. All rights reserved.
 境界線を定めるため いくつか 指針 
 31 AIと人間 境界線を定めるために、考えるべき観点。 
 1. 得意領域 見極め 
 2. サービスレベル定義 
 3. ガードレール 
 4. メタデータ、コンテキスト 

32. Copyright stable, inc. All rights reserved.
 ガードレール
 32
 出典：Yasuhisa Yoshida「dbt開発 with Claude Codeのためのガードレール設計」 AIに丸投げする まだまだ危険。そ ため ガードレールが必要。 
 ▼株式会社10X 事例

33. Copyright stable, inc. All rights reserved.
 境界線を定めるため いくつか 指針 
 33 AIと人間 境界線を定めるために、考えるべき観点。 
 1. 得意領域 見極め 
 2. サービスレベル定義 
 3. ガードレール 
 4. メタデータ、コンテキスト 

34. Copyright stable, inc. All rights reserved.
 メタデータ、コンテキスト 
 34
 SQL生成 AIエージェントに任せるようになったとしても、事業に関する 
 コンテキストを用意する 人間 仕事で、人間に入力させる も人間 仕事。 
 データチーム　 　
 営業
 マーケ
 開発
 AIエージェント 
 メンテナンス 
 問合せ
 事業に関するコンテキストをテキストとして蓄積 し、AIエージェントから参照可能にする 
 メタデータ・ 
 コンテキスト 
 ここをいかに増やすかを考える 
 データエンジニア 役割 

35. Copyright stable, inc. All rights reserved.
 1. 前置き
 2. 今度こそデータ整備 重要性を上げられる？ 
 3. まず データ活用 総量を上げる 
 4. AIと人間 協働 
 5. まとめ
 35
36. Copyright stable, inc. All rights reserved.
 三行まとめ
 36
 1. AI活用もいいけど、データ整備を放置しない（させない）！ 
 2. まず データ活用 総量を増やさないと始まらない！ 
 3. データエンジニア 、人間と AI 境界線をいい感じにする仕事へと徐々 にシフトしていく！ 

37. Copyright stable, inc. All rights reserved.
 37 END
 
 ご清聴ありがとうございました