データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響

Transcript

1. データドリブンな世界を支える : データプラットフォームエンジ ニアリングの役割と影響 2024/01/18 Sapporo Data Pioneers #1 データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 1 / 19
2. 自己紹介 六車 光貴 (Muguruma, Koki) @mt_musyu 株式会社ナウキャスト データエンジニア& データプラットフォームエンジニア (2023/09~) やっていること: データエンジニアリング( データ分析基盤の設計・構築など) 社内のデータ基盤の開発・運用、顧客向けデータ基盤構築支援 元々はweb engineer だったため、Software engineering の知見をData Engineering に応用するのが好き。最近はSnowflake, BigQuery, Airflow, dbt 周りを よく使っている 前職はIT コンサル、Web 屋さん( 検索エンジン作ってました) 山登りとスキーとお酒( 日本酒・ウイスキー) が好き データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 2 / 19
3. データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 3 / 19
4. データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 4 / 19
5. ナウキャストのデータ基盤 データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 Snowflake×dbt×Terraform でモダンなデータ基盤開発してみた | by Kevinrobot34 | The Finatext Tech Blog koki muguruma 5 / 19
6. そもそもデータエンジニアリングとは データエンジニアリングとは、生データを取り込み、分析や機械学習などの下流のユ ースケースをサポートする高品質で一貫性のある情報を生成するシステムとプロセス の開発、実装、保守のことである。 データエンジニアリングは、セキュリティ、データ管理、DataOps 、データアーキテ クチャ、オーケストレーション、ソフトウェアエンジニアリングの交差点です。 データエンジニアは、ソースシステムからのデータ取得に始まり、分析や機械学習な どのユースケースにデータを提供するまでのデータエンジニアリングライフサイクル を管理します。 データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 Joe Reis and Matt Housley, Fundamentals of Data Engineering koki muguruma 6 / 19
7. そもそもデータエンジニアリングとは データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 Joe Reis and Matt Housley, Fundamentals of Data Engineering koki muguruma 7 / 19
8. Undercurrents がしっかりしてない場合何が起こる か・・ エラーの発見と修正に時間がかかる 手作業によるデータの取り込みや変換が多い データの品質が低い 度々エラーが起こる 様々なステークホルダーからの依頼に忙殺される etc... データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 8 / 19
9. ここで大事なのが「データプラットフォームエンジニアリング」 データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 9 / 19
10. データプラットフォームとは 「大規模なデータの取り込み、変換、集約、分析のためのソリューションを提供する エンドツーエンドのデータ管理システム」 データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 10 / 19
11. Team Topologies 価値あるソフトウェアを効率的に開発 するための組織構造 4 つののチーム定義と3 つのチーム間の 相互作用を定義している データドリブンな世界を支える: データプラットフォームエン Matthew Skelton and Manuel Pais, Team Topologies koki muguruma 11 / 19
12. プラットフォームチーム ゴールデンパスとを作る 開発者の認知負荷を軽減し生産性を向上させる共通基盤を作る データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 12 / 19
13. データプラットフォーム Data × Platform データエンジニア、アナリティクスエンジニア、アナリスト、データサイ エンティストなどのデータ関連の役割がより効率的に働けるようになるた めの共通基盤 データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 13 / 19
14. データバリューチェーン 右に行くほど価値が高い データプラットフォームはデータバ リューチェーンの基盤となる データドリブンな世界を支える: データプラットフォームエン Aurimas Griciūnas のLinkedIn 記事より引用 koki muguruma 14 / 19
15. データプラットフォームエンジニアリングに必要なスキル 1. データスキル SQL などのデータベーススキル Airflow 、dbt などのデータパイプラインツールの経験 データウェアハウスやデータレイクの経験、Snowflake 、BigQuery などのクラウドデータウェアハウスの経験 データ品質、データガバナンス、データセキュリティの経験・知識 2. ソフトウェアエンジニアリングスキル Python 、Golang 、Jave などのプログラミング言語に習熟していること マイクロサービスアーキテクチャやサーバレスコンピューティングの経験 Docker 、Kubernetes などのコンテナ技術の経験 3. プラットフォームエンジニアリングスキル AWS 、GCP 、Azure などのクラウドプラットフォームの経験 Terraform 、CloudFormation などのInfrastructure as Code の経験 4. 製品開発スキル アジャイル開発の経験 ステークホルダーとのコミュニケーション能力 データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 Life at Dojo | Data Platform Engineering | Dojo Careers koki muguruma 15 / 19
16. データプラットフォームエンジニアリングは総合格闘技 大変だけど楽しい データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 16 / 19
17. まとめ 今後はデータプラットフォームエンジニアリングが重要になってくる データプラットフォームエンジニアリングに必要なスキルは多岐にわたる データスキル ソフトウェアエンジニアリングスキル プラットフォームエンジニアリングスキル 製品開発スキル 今後はデータプラットフォームエンジニアリングの需要が高まっていくと思われる ので、興味がある方はぜひチャレンジしてみてください！ ( ナウキャストではデータエンジニア、データプラットフォームエンジニア、プロジ ェクトマネージャーなど絶賛募集中なので興味あれば気軽にお声がけくださ い！！) データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 17 / 19
18. ご清聴ありがとうございました データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 18 / 19
19. 参考資料 Joe Reis and Matt Housley, Fundamentals of Data Engineering Matthew Skelton and Manuel Pais, Team Topologies Life at Dojo | Data Platform Engineering | Dojo Careers The Data Engineer is dead, long live the (Data) Platform Engineer 5 分でわかる( かもしれない)Platform Engineering - Speaker Deck データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 19 / 19