データ基盤におけるIaCの重要性とその運用

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2024 Finatext Holdings Ltd. ● むぐるまです ● 株式会社ナウキャスト所属 ○ データエンジニア/データプラットフォームエンジニア ○ 社内のデータ基盤のエンハンス・顧客向けデータ基盤構築支援など ○ webエンジニア出身 ● 北海道・札幌在住 ○ 山とスキーが好き ● X: @mt_musyu ● 今日の内容は大体Zennに書いた記事の通りです ○ データ基盤におけるIaCの重要性とその運用 1 自己紹介六車光貴

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2024 Finatext Holdings Ltd. 4 背景 ● 近年、データ利活用の推進や生成AIの利用が進む中で、データ基盤の重要性が増加 ● 単にデータ基盤を構築するだけでなく、増え続けるデータやユーザーを考慮した運用も求められている ○ PoCで終わらせない。運用が本番。 ● データ基盤の構築や運用を効率化するために、ソフトウェアエンジニアリングの知見を生かすこと、とりわけIaC（Infrastructure as Code）の導入が重要であると考えている ● 改めてデータ基盤においてのIaCの重要性を整理したい AIの発展によりIaCの概念が終わる可能性は十分高いが、最初からIaC化されているとAIによる高度化はやりやすくはなると考えている

Slide 6

Slide 6 text

© 2024 Finatext Holdings Ltd. 5 閑話休題データエンジニアリングはますます「エンタープライズ」的になる Data engineering is becoming more “enterprisey. データエンジニアリングはますます「エンタープライズ」的になっています。 ~略~ When I discuss “enterprisey,” I’m referring to some of the good things that larger companies might do with data — management, operations, governance, and other “boring” stuff. I think data engineering becoming “enterprisey” is a great thing. Welcome it with arms wide open! 私が「エンタープライズ」について話すとき、私は大企業がデータを使って行うかもしれない良いこと、つまり管理、運用、ガバナンス、その他の「退屈な」ことのいくつかについて言及しています。 Joe Reis 3 Data Engineering Experts Share Their Thoughts on Where Data Is Headed | by Ben Rogojan | Better Programming より運用も考慮されたエンタープライズデータ基盤を構築する必要性が高まっている

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024 Finatext Holdings Ltd. 9 データ基盤の特徴・要件多様なデータソースの統合 ● データ基盤は、さまざまなデータソース（データベース、 API、ファイルストレージなど）からデータを収集し、統合する役割を果たす ○ 異なるフォーマットや構造のデータを扱う必要 ○ 例)オブジェクトストレージ(S3など)からデータを取得するのか、RDBからデータを取得するのか、また CRM(Salesforceなど)からデータを取得するのか

Slide 11

Slide 11 text

© 2024 Finatext Holdings Ltd. 10 データ基盤の特徴・要件複雑なユーザーアクセス権限の管理 ● データ基盤は、エンジニアだけでなく、アナリストやビジネスメンバーなど、さまざまなロールのユーザーが利用する ● それぞれのユーザーに対して適切な権限を設定し、データのセキュリティを確保することが求められる ● これが一つのテナント・アカウントに同居することがデータ基盤の場合、求められがち ○ データが複数のアカウントやテナントに散らばっていたら（＝サイロ化していたら）複数のデータを組み合わせた分析がしづらいため ○ よって、権限管理がより複雑になりやすい ■ cf. 1つのAWSアカウントに複数のWebサービスが同居しているような状態

Slide 12

Slide 12 text

© 2024 Finatext Holdings Ltd. 11 データ基盤の特徴・要件スケーラビリティと柔軟性 ● データの量や利用者が増加する中で、データ基盤はスケーラブルである必要があり、ビジネスニーズの変化に応じて柔軟に対応できる設計が求められる ● データ基盤はそれ単体では付加価値を生まないコストセンターに見られがち ● リッチなデータ基盤だけあっても、データ利活用・データプロダクトがなければ、意味がない

Slide 13

Slide 13 text

© 2024 Finatext Holdings Ltd. 12 データ基盤の特徴・要件ガバナンスとコンプライアンス ● データの利用に関するガバナンスやコンプライアンスの要件が厳しくなっている中で、データ基盤はこれらの要件を満たす必要がある。適切な監視やログ管理が不可欠 ● 誰がどのデータにアクセスしたか、どのデータがどのように利用されたか、などの情報を記録し、必要に応じて監査を行うことが求められる

Slide 14

Slide 14 text

© 2024 Finatext Holdings Ltd. 13 データ基盤の特徴・要件データメッシュの必要性 ● 小さな組織やPoC的にデータ基盤を構築する場合、中央にデータ基盤を構築し、そこにデータを集約して中央のデータチームで管理することが一般的だった ● しかし、データ利活用が進むにつれ、データ基盤を利用するユーザーが増え、データの種類も多様化し、その結果、中央のデータチームがボトルネックとなり、データ基盤の運用が困難になることがある ● データメッシュとは、データ基盤を中央に持たず、データを利用するユーザーに近い場所にデータ基盤を配置し、それぞれのユーザーが必要なデータを自由に利用できるようにするアーキテクチャ

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© 2024 Finatext Holdings Ltd. 17 IaCがもたらすメリット一貫性と再現性 ● 環境の一貫性を確保 ○ IaCにより、データ統合環境をコードで管理 ○ 再現性のあるインフラを構築可能 ● コードの使い回し ○ 例: S3からSnowﬂakeへのデータロードパイプラインをコード化 ○ 新たなデータソースが追加されても迅速に対応可能 ● 一貫性のある権限管理 ○ 権限設定をIaCでコード化し、再現性のある管理を実現 ● セルフサービスの提供 ○ ドメインチームがテンプレートを利用してパイプラインを構築可能データ基盤の特徴・要件の ● 多様なデータソースの統合 ● 複雑なユーザーアクセス権限の管理 ● スケーラビリティと柔軟性 ● データメッシュの必要性に有用

Slide 19

Slide 19 text

© 2024 Finatext Holdings Ltd. 18 IaCがもたらすメリットガバナンスの強化 ● トレーサビリティの向上 ○ IaCにより、インフラの変更履歴をコードで管理 ○ GitHubやCI/CDのログで「誰が・いつ・何を」変更したかを正確に記録 ● 監査対応の効率化 ○ AWS CloudTrailやGCP Audit LogsとIaCを組み合わせ、履歴を一元管理 ○ 監査時に必要な情報を迅速に取得可能 ● 承認プロセスの自動化 ○ Two Person IntegrityをIaCで実現 ○ 例: Pull Requestでの承認フローを必須化データ基盤の特徴・要件の ● ガバナンスとコンプライアンスに有用

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2024 Finatext Holdings Ltd. 20 IaC導入のプラクティス Single Source of Truthの確保 ● IaCでインフラの構成をコードとして管理しても、その反映が様々なフロー・プロセスで実行されるとそれがSingle Source of Truth(信頼できる唯一の情報源, SSoT)であることを保証できない ● CI/CDの導入とコード管理の徹底することでSSoTを保証する ○ IaCを実際のリソースに反映(Terraformの場合、apply)するのが原則CI/CD経由のみとする

Slide 22

Slide 22 text

© 2024 Finatext Holdings Ltd. 21 IaC導入のプラクティスメンバー間のスキル差を考慮した運用 ● データ基盤利用者はデータエンジニア、データサイエンティスト、データアナリストなど異なるスキルセットを持つメンバー ● セルフサービス的に運用するならば、IaC利用のハードルを下げることが重要 ○ Terraformを使っている場合は、Atlantisやtfcmtを使うなどする ● メンバーに求めるスキルセット ○ Platformチーム: Terraformモジュールの設計方法やCI/CDパイプラインの管理など、IaCの深い理解が必要 ○ 他のメンバー：ベーシックなIaCの使い方、Ci/CD踏まえたデプロイの仕方の理解をしていればOK(となるようにセルフサービスプラットフォームを整えておく)

Slide 23

Slide 23 text

© 2024 Finatext Holdings Ltd. 22 IaC導入のプラクティスガードレールの仕込み ● セキュリティ対策や権限管理の標準化 ● セキュリティ設定の自動化 ○ パスワードポリシーをコードで強制適用 ○ MFA（多要素認証）の必須化 ● 権限の制御 ○ DBの作成・削除をTerraform経由のみに限定 ○ IAMポリシーをIaCで一元管理 ● 致命的なミスの防止 ○ セルフサービス運用でも最低限のセキュリティを確保 ○ テンプレート化により不適切な設定を防止

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2024 Finatext Holdings Ltd. 24 ナウキャストでの事例紹介 AtlantisによるTerraform CI/CD運用 ● ナウキャストではAtlantis を利用した安全でスケーラブルな Terraform の CI / CDを採用 ○ AtlantisはGitHubのPRコメント上でTerraformのplanやapplyができるツール ○ 権限の追加や新規データソース用のリソース作成などが、チームメンバーによって安全に行えるようになっている ■ lock機能があるので、同時に複数人が作業していてもconﬂictを防ぐ ■ applyは特定のメンバーのapproveがないと実行できないなどのルールを設定可能

Slide 26

Slide 26 text

© 2024 Finatext Holdings Ltd. 25 ナウキャストでの事例紹介チームメンバーのIaC活用促進 ● 新規参画エンジニア向けのオンボーディングで自分自身のAWS/Snowﬂakeユーザーアカウントの発行のPRを作成いただいている →これによりナウキャストのエンジニアは全員Terraformを書いてApplyを実施した経験がある状態にする ● きめ細やかな権限を設定する必要があるデータ基盤においては複雑な部分は Terraform モジュールを作成して隠蔽 ○ ref: マルチデータプロダクト基盤としての Snowﬂake の権限管理とコスト管理 - Speaker Deck