はじめてでもわかる入門データエンジニア

はじめてでもわかる入門データエンジニア 2026-07-10 ちゅらデータ CTO 菱沼雄太 © 2026 Chura
DATA inc.

AGENDA • データエンジニアとは • 仕事の全体像 • 技術要素 • 求められるスキル ©
2026 Chura DATA inc.

データエンジニア＝データを"使える状態"にし続ける人データエンジニア作る人作るデータ基盤使うデータサイエンティスト /アナリスト使う人役割：データ基盤を構築
役割：データから価値を創出関心：収拾・蓄積・変換関心：分析・モデリング成果物：パイプライン・DB 成果物：レポート・予測問い：安定して使えるか？問い：何が読み取れるか？ © 2026 Chura DATA inc.

まとめ：なぜ今、データエンジニアが注目されているか • データ活用の広がり • BI、機械学習、生成AIなど、あらゆる意思決定に"データ"が使われる時代に • "良いデータ"がなければ何も動かない • 優れたAI・分析も、元データが汚い/整っていなければ成果が出ない •
データ量・種類の爆発的増加 • ログ、IoT、SaaS連携など、扱うデータソースが年々複雑化 • "分析される前"の裏側を支える需要増 • データサイエンティストが増えるほど、その土台を作る人材が足りなくなる © 2026 Chura DATA inc.

まとめ：Web/インフラエンジニアとの共通点 • すでに"データ"を扱っている • アクセスログ、DBのテーブル設計、監視メトリクス…実は日常業務そのもの • 「動かし続ける」ノウハウがそのまま活きる • 障害対応、リトライ設計、スケーリングの考え方は共通 •
違いは"目的地"だけ • インフラ: サービスを安定稼働させる / データ基盤でデータを供給し続ける • Web:サービスをより良くしていく /データを分析・活用しやすくしていく © 2026 Chura DATA inc.

各サービスからデータを収集 Extract 各サービスたち A B 収集 (Extract) C データの流れ ©
2026 Chura DATA inc.

収集したデータをデータベースに取り込んで蓄積 Load 各サービスたち A B 収集 (Extract) 蓄積 (Load) C
データの流れ © 2026 Chura DATA inc.

蓄積されたデータを活用向けに変換 Transform 各サービスたち A B 収集 (Extract) 蓄積 (Load) 変換
(Transform) C データの流れ © 2026 Chura DATA inc.

変換されて使いやすくなったデータを活用 Activate 各サービスたち A B 収集 (Extract) 蓄積 (Load) 変換
(Transform) C データの流れ © 2026 Chura DATA inc. 活用 (Activate)

データエンジニアの仕事の範囲ここがデータエンジニアの仕事各サービスたち A B 収集 (Extract) 蓄積
(Load) 変換 (Transform) C データの流れ © 2026 Chura DATA inc. 活用 (Activate)

まとめ：仕事の全体像データは、生まれてから使われるまでに4つの段階に分かれます • ① 収集(Extract) ── DB、ログ、外部APIからデータを集める • ② 蓄積(Load)
── 集めたデータを一箇所(データウェアハウス等)に置く • ③ 変換(Transform) ── 使える形に整形・集計する • ④ 活用(Activate) ── ダッシュボードや分析、AIモデルで使われるデータエンジニアは、①〜③の"裏方"の仕事です © 2026 Chura DATA inc.

ETL(Extract → Transform → Load) 歴史的にはこっちのほうが古い © 2026 Chura DATA
inc.

だから ETL(Extract → Transform → Load) © 2026 Chura DATA
inc.

だから ELT(Extract → Load → Transform) © 2026 Chura DATA
inc.

まとめ：ETL / ELT とは何かデータを"使える形"にする、代表的な2つの手順 • ETL(Extract → Transform →
Load) • 集めて→変換してから→貯める。従来から使われる方式 • ELT(Extract → Load → Transform) • 集めて→まず貯めて→後から変換する。クラウド時代の主流 • 違いは「変換をいつやるか」 • ETL: 貯める前に整形/ ELT: 貯めた後に整形 © 2026 Chura DATA inc.

データパイプライン(ETL/ELT)を支える技術要素データエンジニアが扱う技術要素には次のようなものがあります • データソース(DB, ログ, API) • 収集・転送(Fivetran, Embulk, Kafkaなど)
• 蓄積(BigQuery, Snowflake, S3など) • 変換(dbt, Spark) • 活用(Looker, Tableau) © 2026 Chura DATA inc.

インフラエンジニアの知見がそのまま活きる話普段の「サービスを支える」経験が、そのまま「データ基盤を支える」に応用できます • 分散処理・スケーリング • アクセス増への対応 → 大量データ処理への対応 •
ジョブスケジューリング • cron、バッチ運用の経験 → パイプラインの定期実行設計 • 監視・アラート設計 • 障害検知の仕組み → データ品質・遅延の異常検知 • コスト最適化 • インフラコスト管理 → クラウドDWのコスト管理(スキャン量・保存量) © 2026 Chura DATA inc.

Webエンジニアの知見がそのまま活きる話普段の「APIやアプリを作る」経験が、そのまま「データ基盤を作る」に応用できます • API設計の感覚 • リクエスト/レスポンス設計 → 外部データソースとの連携設計 • スキーマ設計・データモデリング
• DBのテーブル設計 → データウェアハウスのテーブル設計 • CI/CDの考え方 • コードのテスト・デプロイ自動化 → データ変換処理のテスト・自動実行 • バージョン管理・レビュー文化 • Gitでのコードレビュー → SQL/dbtモデルのレビュー © 2026 Chura DATA inc.

データエンジニアに求められるスキル • SQL ：データ抽出・変換の基本言語(必須) • プログラミング(Python等) ：パイプラインの実装・自動化 •
クラウド基盤の知識： AWS/GCP/Azureなどのサービス活用 • データモデリング：分析しやすいテーブル設計の考え方 • ドメイン知識：そのデータが「何を意味するか」を理解する力これまでの知見＋アルファで行ける © 2026 Chura DATA inc.

データエンジニアあるあるポイント • データ品質の問題 • NULL、重複、表記ゆれ…"きれいなデータ" is どこ？ • スキーマ変更の影響範囲が見えにくい •
上流のDB変更が、気づかぬうちに下流の分析・ダッシュボードを壊す • 仕様変更の連絡頂戴！！！ • "動くけど誰も使わない"パイプライン • 技術的に正しくても、現場のニーズとズレていると使われない • え、せっかく作ったのに… • リカバリ設計の見落とし • 「途中で失敗した時どうするか」を後回しにしがち • 一番難しいところですねこれは、冪等なジョブを設計しよう！ © 2026 Chura DATA inc.

学び始めるには? いきなり大きなデータ基盤構築を目指さず、小さく手を動かすのが一番の近道 • ① SQLを深掘りする • 集計・JOIN・ウィンドウ関数まで書けるようになる • ② 小さなETL/ELTを自分で組んでみる
• 例:天気APIやSNS APIのデータを集めて、DBに貯めてみる • ③ 使い慣れたクラウドでデータ基盤サービスに触れる • 普段使っているAWS/GCPの中に、データ用サービスがすでにある • ④ 社内のデータ活用の"困りごと"を探す • 一番学べるのは、実際の課題を小さく解決してみること © 2026 Chura DATA inc.

はじめてでもわかる入門データエンジニア

はじめてでもわかる入門データエンジニア

More Decks by numa

Other Decks in Technology

Featured

Transcript