AWS Data Exportsで始めるクラウドコストのオブザーバビリティ

1. ©2024 Metaps Holdings, Inc. AWS Data Exportsで始める クラウドコストのオブザーバビリティ 株式会社メタップスホールディングス SREエンジニア 是永 総⼀郎
2. ©2024 Metaps Holdings, Inc. ⾃⼰紹介 是永 総⼀郎 株式会社メタップスホールディングス SREエンジニア Soichiro Korenaga 機械設計エンジニア→インフラエンジニア →SRE JAWS-UG SRE⽀部 運営 資格：IPA NW,SC 趣味：折り紙 ＠s_korenaga
3. ©2024 Metaps Holdings, Inc. 折り紙
4. ©2024 Metaps Holdings, Inc. 社名
 株式会社メタップスホールディングス 
 (Metaps Holdings, Inc.) 
 設立
 2023年1月26日　
 資本金
 100百万円（資本準備金を含む）
 ※2023年12月末時点
 所在地
 東京都渋谷区渋谷二丁目24番12号 
 渋谷スクランブルスクエア 
 従業員数
 72名 ※2023年12月末時点
 経営陣
 代表取締役　山﨑 祐一郎 取締役　　　原 大輔
 取締役　　　青沼 克典 
 社外取締役　大谷 仁人 
 監査役　　　萩野矢 宏樹 事業内容
 クラウドとAIを中心にしたインキュベーション 
 テクノロジー企業への投資 
 
 MISSION テクノロジーでお金と経済のあり方を変える 
 
 世界を解き放つ 
 
 
 VISION 会社概要
5. ©2024 Metaps Holdings, Inc. srestはAWSファンデーショナルテクニカルレビュー （FTR）認証を取得しています
6. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 無料トライアル実施中！詳しくはお声がけください。 AWSコスト管理ツール
7. ©2024 Metaps Holdings, Inc. コストの機微をキャッチしよう
8. ©2024 Metaps Holdings, Inc. AWSのコスト確認⽅法 AWSのコストの確認⽅法といえば！ AWS Cost Explorer!  AWS のコストと使⽤状況を視覚化、管理 きちんと設定すれば詳細なコスト情報を可視化 コストデータをログとして扱うことでオブザーバビリティを⾼められるのでは？  AWS Data Exports 引用元 ：https://aws.amazon.com/jp/blogs/aws-cloud-financial-management/aws-cost-explorers-new-ui-and-common- use-cases/
9. ©2024 Metaps Holdings, Inc. AWS Data Exports AWS Data Exportsとは  コスト情報をS3にエクスポートする機能  CSV形式でデータを出⼒ 出⼒形式 ‧コストと使⽤状況レポート (CUR2.0) ‧AWS 列を含む FOCUS 1.0 ‧コスト最適化の推奨事項 引⽤元 ：https://aws.amazon.com/jp/blogs/aws-cloud-financial-management/introducing-data-exports-for-billi ng-and-cost-management/
10. ©2024 Metaps Holdings, Inc. 可視化⽅法例 ‧オブザーバビリティツール(datadog、NewRelic等)で可視化  他のログやメトリクスと組み合わせて様々な切り⼝でコストの傾向を調べられる ‧Amazon Athena+Amazon QuickSightで可視化  公式ダッシュボード等で様々な可視化が簡単に実現 ‧Amazon OpenSearch Serviceに取り込む  ⾃由に集計したりBIツールと組み合わせたりで多様な分析が可能に オブザーバビリティを⾼められそう…
11. ©2024 Metaps Holdings, Inc. ちなみに 弊社では… Data ExportsのデータをOpenSearchに取り込み独⾃ダッシュボードで可視化 ‧独⾃にタグを設定 ‧リソースの料⾦を割合で分割(共有リソース等) ‧先週と今週の料⾦推移の⽐較 ‧複数Organizationを跨ぐ ‧Organization関係なくAWSアカウントと連携 等を駆使して様々な観点でコストを集約して監視 このように AWS Data Exportsで⾃由度⾼くコストデータを活⽤できる
12. ©2024 Metaps Holdings, Inc. AWSコストの詳細なデータ AWS Data Exportsで取得できる情報 CUR2.0 グループ 代表的な列 目的 プロバイダ / アカウント bill_payer_account_id, bill_payer_account_name, line_item_usage_account_id 支払元アカウント・利用アカウントを識別 請求 & 使用期間 bill_billing_period_start_date, bill_billing_period_end_date, line_item_usage_start_date, line_item_usage_end_date 決算開始/終了日、月次レポート、期間比較の基準列 リソース & ロケーション line_item_resource_id, line_item_availability_zone, product.location プロジェクト別、地域別、リソース別 サービス / SKU line_item_product_code, product.sku, product.product_name サービス別・SKU 別のコストや料金モデル（オンデマンド/スポット等） 使用量メトリクス line_item_usage_amount, line_item_usage_type 単価計算（Cost ÷ Quantity）、未使用リソース検出、需要予測入力 コストメトリクス line_item_unblended_cost, line_item_net_unblended_cost, savings_plan_effective_cost 定価→請求→実効コストの差異分析 割引 / コミットメント reservation_*, savings_plan_*, discount.* RI/SP 割引料や未消化率の監視 タグ & コストカテゴリ resource_tag.<key>, cost_category.<name> タグ別での部門／プロジェクト別配賦 特殊配賦 (Split Cost) split_line_item_split_charge_rule, split_line_item_fraction EKS/Fargate など共有リソースの Split Cost Allocation
13. ©2024 Metaps Holdings, Inc. AWSコストの詳細なデータ AWS Data Exportsで取得できる情報 CUR2.0 グループ 代表的な列 目的 プロバイダ / アカウント bill_payer_account_id, bill_payer_account_name, line_item_usage_account_id 支払元アカウント・利用アカウントを識別 請求 & 使用期間 bill_billing_period_start_date, bill_billing_period_end_date, line_item_usage_start_date, line_item_usage_end_date 決算開始/終了日、月次レポート、期間比較の基準列 リソース & ロケーション line_item_resource_id, line_item_availability_zone, product.location プロジェクト別、地域別、リソース別 サービス / SKU line_item_product_code, product.sku, product.product_name サービス別・SKU 別のコストや料金モデル（オンデマンド/スポット等） 使用量メトリクス line_item_usage_amount, line_item_usage_type 単価計算（Cost ÷ Quantity）、未使用リソース検出、需要予測入力 コストメトリクス line_item_unblended_cost, line_item_net_unblended_cost, savings_plan_effective_cost 定価→請求→実効コストの差異分析 割引 / コミットメント reservation_*, savings_plan_*, discount.* RI/SP 割引料や未消化率の監視 タグ & コストカテゴリ resource_tag.<key>, cost_category.<name> タグ別での部門／プロジェクト別配賦 特殊配賦 (Split Cost) split_line_item_split_charge_rule, split_line_item_fraction EKS/Fargate など共有リソースの Split Cost Allocation 詳細な分析向け
14. ©2024 Metaps Holdings, Inc. AWSコストの詳細なデータ AWS Data Exportsで取得できる情報 FOCUS1.0 (FinOps Open Cost and Usage Specification)→クラウドコストの統⼀規格 グループ 代表的な列例 目的 プロバイダ / アカウント ProviderName, BillingAccountId, BillingAccountName, SubAccountId プロバイダ名、支払元アカウント・利用アカウントを識別 請求 & 使用期間 BillingPeriodStart, BillingPeriodEnd, ChargePeriodStart, ChargePeriodEnd 決算開始/終了日、月次レポート、期間比較の基準列 リソース & ロケーション ResourceId, RegionId, AvailabilityZone, Tags 部門別配賦、地域別コスト比較、リソース単位追跡 サービス / SKU ServiceName, ServiceCategory, SkuId, SkuPriceId サービス別・SKU 別の内訳分析、料金モデル確認 使用量メトリクス ConsumedQuantity, ConsumedUnit, PricingQuantity, PricingUnit 単価計算、未使用リソース検出、需要予測入力 コストメトリクス ListCost, ContractedCost, BilledCost, EffectiveCost 定価→請求→実効コストの比較 割引 / コミットメント CommitmentDiscountId, CommitmentDiscountType, x_Discount 割引料や未消化率監視 タグ & コストカテゴリ Tags, x_CostCategories タグ別での部門／プロジェクト別配賦 AWS 拡張列 x_ServiceCode, x_UsageType, x_Operation FOCUS 汎用スキーマを保ちつつ AWS 固有メタデータ を保持
15. ©2024 Metaps Holdings, Inc. AWSコストの詳細なデータ AWS Data Exportsで取得できる情報 FOCUS1.0 グループ 代表的な列例 目的 プロバイダ / アカウント ProviderName, BillingAccountId, BillingAccountName, SubAccountId プロバイダ名、支払元アカウント・利用アカウントを識別 請求 & 使用期間 BillingPeriodStart, BillingPeriodEnd, ChargePeriodStart, ChargePeriodEnd 決算開始/終了日、月次レポート、期間比較の基準列 リソース & ロケーション ResourceId, RegionId, AvailabilityZone, Tags 部門別配賦、地域別コスト比較、リソース単位追跡 サービス / SKU ServiceName, ServiceCategory, SkuId, SkuPriceId サービス別・SKU 別の内訳分析、料金モデル確認 使用量メトリクス ConsumedQuantity, ConsumedUnit, PricingQuantity, PricingUnit 単価計算、未使用リソース検出、需要予測入力 コストメトリクス ListCost, ContractedCost, BilledCost, EffectiveCost 定価→請求→実効コストの比較 割引 / コミットメント CommitmentDiscountId, CommitmentDiscountType, x_Discount 割引料や未消化率監視 タグ & コストカテゴリ Tags, x_CostCategories タグ別での部門／プロジェクト別配賦 AWS 拡張列 x_ServiceCode, x_UsageType, x_Operation FOCUS 汎用スキーマを保ちつつ AWS 固有メタデータ を保持 マルチクラウド向け
16. ©2024 Metaps Holdings, Inc. まとめ ‧AWS Data Exportsの詳細なコストデータを検索容易な状態に  →コストのオブザービリティを⾼める   →他のメトリクスやログと組み合わせてコストの傾向を調査可能    様々なクラウドやツールのコストを集約    データを独⾃にカスタマイズ ‧⽬的に応じてAWS Data Exportsの出⼒形式選択  詳細なコスト分析→CUR2.0  マルチクラウドのコスト分析→FOCUS1.0