20250326_FOCUSダッシュボードで実現するマルチクラウドコスト可視化.pdf

Transcript

1. FOCUSダッシュボードで実現する マルチクラウドコスト可視化 ～AWSとGoogle Cloudの統合事例～ 安木 徹也 2025年3月26日
2. • 名前：安木 徹也 • 職歴： • 大手SIer：プロジェクトマネージャー • 現職：エンジニア、PM、スクラムマスター • 経歴： • 1億超規模の案件のPM • サーバレスアプリケーションのバックエンド開発 • スクラムマスターとして4件のプロジェクトを推進 • 直近の業務： • CCoE構築支援、コンサルティング • アプリケーション設計支援 • インフラ向けプラットフォーム運用支援、改善支援 • FinOps支援 自己紹介
3. 1. マルチクラウドにおけるコスト管理の課題とFOCUS 2. Amazon QuickSightのFOCUSダッシュボード構築方法 3. マルチクラウドのコストデータ連携方法 4. まとめ 目次
4. マルチクラウドにおけるコスト管理の課題とFOCUS 出所：FOCUS - FinOps Open Cost & Usage Specification • マルチクラウド戦略を取る企業が増えており、それに伴い複数のクラウド間でのコスト管理が課題となっている。 • そこで、クラウド間のコストデータを標準化するFOCUSという仕様が生まれた。 • FOCUSにより、データの正規化作業を自動化し、より多くの時間をビジネス洞察に費やすことが可能となった。 従来はここの作業を人が実施する必要があり、 マルチクラウドの管理コストや学習コストが高かった。 FOCUSによりそれの標準化が可能となる。
5. AWSはFOCUSのダッシュボードをQuickSight上に構築するワークショップを提供している。（以降FOCUSワークショップを呼ぶ。） アーキテクチャは右図の通り。 ①S3バケットのレプリケーション ②AthenaでFOCUS形式に変換 ③QuickSightで可視化 QuickSightのFOCUSダッシュボードの デモ画面はこちら。 Amazon QuickSightのFOCUSダッシュボード構築方法 ① ② ③ 出所：Cloud Intelligence Dashboards Framework
6. Amazon QuickSightのFOCUSダッシュボード構築方法 データフローにまとめると右の図になる。 ①S3バケットのレプリケーション ②AthenaでFOCUS形式に変換 ③QuickSightで可視化 ① ② ③
7. マルチクラウドのコストデータ連携方法 Google Cloudワークショップで デプロイされるアーキテクチャは右図の通り。 ①BigQueryでFOCUSビューの作成 ②Glue Connectionでデータを取得 ③AthenaでFOCUSビューに統合 • AzureはFOCUSワークショップの中でデータを統合する手順が用意されている。 • Google Cloudは提供されていないため、自身で実装する必要がある。 • とはいえ、AWSがGoogle CloudのデータをQuickSightに連携するワークショップ（以降Google Cloudワーク ショップと呼ぶ。）を提供しているため、これにカスタマイズを加えることでFOCUSダッシュボードに統合するアプローチを考える。
8. マルチクラウドのコストデータ連携方法 データフローにまとめると右の図になる。 ①BigQueryでFOCUSビューの作成 ②Glue Connectionでデータを取得 ③AthenaでFOCUSビューに統合 ③で統合した後、FOCUSワークショップで 実装したデータパイプラインと統合することで QuickSightのFOCUSダッシュボードで Google Cloudのコストデータも可視化される。 ① ② ③
9. マルチクラウドのコストデータ連携方法 出所：https://cloud.google.com/resources/google-cloud-focus?e=48754805&hl=en ① BigQueryでFOCUSビューの作成 ここで利用するSQLはGoogle Cloudのサイトからダウンロードが可能。 ※ただし、手元の環境で実行したところ 重複して計上されているコストデータが存在。 Google CloudのSQLを確認し原因を調査中。
10. マルチクラウドのコストデータ連携方法 ② Glue Connectionでデータを取得 Google Cloudワークショップの中に 右のGlue JobのPythonコードがあるので、 これを利用してデータを取得します。 1. 初期設定と引数の取得 2. DynamoDBのブックマーク管理 3. BigQueryからのデータ抽出 4. データ型の変換処理 5. S3への書き込み 6. DynamoDBのブックマークの更新 その他 Job Detailsで引数の設定も必要。 詳細はブログ記事を作成します。
11. マルチクラウドのコストデータ連携方法 ③AthenaでFOCUSビューに統合 ここでAWSのデータと合流する。 FOCUSワークショップで「focus_consolidation_view」が作 成されているので、ここに対してUNION ALLでGoogle Cloudのデータを統合するクエリを追加する。 ただし、Google CloudのFOCUSデータには AWSのFOCUSデータと比較して不足の列がいくつかある。 そのため、BigQueryの時点で情報を取得するか、 '' as billingaccountname, などとして補填する必要がある。
12. マルチクラウドのコストデータ連携方法 これらが完了すると、Google CloudのデータがFOCUSのダッシュボードに統合される。 出所：自身の検証環境のキャプチャ
13. まとめ FOCUSの活用により、マルチクラウド環境におけるコスト管理の一元化を実現した。 この技術基盤の確立により、以下のようなビジネス価値の創出が可能となる。 【技術面での効果】 • データの標準化を自動化することで、手作業による変換作業のコストを削減 • 増分データ取得の自動化による運用コストの最適化 【ビジネス面での効果】 • データ正規化の時間削減により、より多くの時間をビジネス洞察に活用可能 • マルチクラウド環境での統一的な分析による戦略的なリソース配分 【今後の展望】 • データソースの追加（他クラウドプロバイダー、オンプレミス）、タグ付け等の品質の向上 • 分析の強化、FinOps活動とのシームレスな連携の実現