FinOpsの考えをベースにした継続的なコスト改善の取り組み

FinOps の考えをベースにした継続的なコスト改善の取り組みソニー株式会社技術センター AI&CCoE 共通サービス設計課松野晴貴 2025/03/04

AI & Cloud Center of Excellence Copyright 2025 Sony Corporation
2 自己紹介 ▪ 名前松野晴貴 (まつのはるき） ▪ 所属ソニー株式会社技術センター AI & Cloud Center of Excellence ▪ 経歴： 2015年: SIer 企業に入社。顧客の SRE チームに参画してオンプレ基盤の運用改善を担当。 2019年: ソニー株式会社に入社。TV やヘッドホン向けのクラウドサービスの設計・開発・運用を担当。 2022年: CCoE にて横断的なクラウドサービスのガバナンス強化・運用改善を担当。 ▪将来の夢喫茶店のマスター

3 本日お伝えしたいこと継続的なコスト改善を行うために必要な行動・考え方

4 アジェンダ • 組織紹介 • 継続的なコスト改善の重要性 • コスト改善の起点作成 • コスト改善の事例紹介 • まとめ

6 AI & Cloud Center of Excellence AI & CCoE 認証データ配信セキュリティデータ利活用コスト管理 AI 活用 … 事業組織テレビオーディオカメラスマートフォン … 事業横断で共通機能提供や技術支援を行い、新規顧客価値を加速・推進

7 ソニーの提供サービス例 Sony | Sound Connect 360 Reality Audio / Personalization ブラビアみまもり番組表 Sony | BRAVIA Connect

8 提供サービス規模 171 サービス対象国・地域接続デバイス数国・地域台 / 日 AWS アカウント数アカウント 1200万 37 グローバルに利用されるサービスを展開 API アクセス数回 / 日 10億

10 Well Architected Framework Cost Optimization Pillar - AWS Well-Architected Framework

11 Frugal Architect Dr. Werner Vogels, CTO of Amazon.com The Laws of Frugal Architecture

12 コスト変動要因為替レートの変動 (Google Finance) クラウドベンダの料金体系変更 (Amazon Web Services ブログ) ユーザからのリクエスト数の変化

13 コスト変動要因為替レートの変動 (Google Finance) クラウドベンダの料金体系変更 (Amazon Web Services ブログ) ユーザからのリクエスト数の変化予期せぬ変動が起こりえるため、継続的にコストの確認 & 改善が必要

15 FinOps Optimize 最適化 Operate 運用 Inform 可視化 FinOps の考え方を活用してコスト改善を実施 ✓ 組織内の各部門チームが協力をしなければならない ✓ 意思決定はクラウドのビジネス価値に基づいて行う ✓ すべての人が自分のクラウド使用量に当事者意識を持つ ✓ FinOpsデータはアクセスしやすくタイムリーであるべき ✓ 組織横断の専門チームが中心となりFinOpsを推進する ✓ クラウドの変動コストモデルをうまく活用する原則フェーズ FinOps Framework Overview

16 FinOps Optimize 最適化 Operate 運用 Inform 可視化 FinOps の考え方を活用してコスト改善を実施 ✓ 組織内の各部門チームが協力をしなければならない ✓ 意思決定はクラウドのビジネス価値に基づいて行う ✓ すべての人が自分のクラウド使用量に当事者意識を持つ ✓ FinOpsデータはアクセスしやすくタイムリーであるべき ✓ 組織横断の専門チームが中心となりFinOpsを推進する ✓ クラウドの変動コストモデルをうまく活用する原則フェーズ FinOps Framework Overview FinOps Framework Overview これらの原則に従ってフェーズを回せるように CCoE が主導

17 Jan. Feb. Mar. Apr. May. Jun. Jul. Aug. Sep. Oct. Nov. Dec. コスト見直しのタイミング予算 1. 突発的なコスト増加時 3. 予算超過時 2. コスト伸び率の増加時 4. 不定期見直しコスト推移例

19 コスト異常検知問題が起きている可能性があるため早めに検知できるようにして対応を検討 • サーバ/クライアントアプリの新バージョンへの不具合混入 • 予期せぬインフラリソースのプロビジョニング • DDoS 攻撃、認証情報漏洩による不正利用など各メンバアカウント Cost Anomaly Detection 管理アカウント CCoE 開発者 CCoE 判断の上、必要であれば内容確認全アカウントの結果を CCoEに集約して通知 SNS + Chatbot 開発者が必要に応じて自身で通知設定も可能

20 コスト異常検知問題が起きている可能性があるため早めに検知できるようにして対応を検討 • サーバ/クライアントアプリの新バージョンへの不具合混入 • 予期せぬインフラリソースのプロビジョニング • DDoS 攻撃、認証情報漏洩による不正利用など各メンバアカウント Cost Anomaly Detection 管理アカウント CCoE 開発者 CCoE 判断の上、必要であれば内容確認全アカウントの結果を CCoEに集約して通知 SNS + Chatbot 開発者が必要に応じて自身で通知設定も可能事故を最小限に抑え、安心してクラウドを使ってもらえる環境を整備

22 月次確認月次で予算超過&前月実績との差分を確認し、必要に応じて原因確認 & 対策検討管理アカウント開発者 CCoE 各メンバアカウント Cost Explorer 必要に応じて確認確認依頼増減理由を記入定期実行 AI でサマリ CUR の出力集計結果の出力コストデータ取得アカウント名サブシステム担当者前月コスト当月コストコスト差額増減率 AIコメント担当者コメント account1 app1 松野 $100 $120 +$20 120% AmazonCloudWatch のコストが $20 増加しました。これは主にログ書き込み量の増加によるものです。不具合調査のためのデバッグログ追加が原因です。調査が完了してデバッグログを出さないようにしたので、今月は戻る見込みです。＊値は全て仮のものですシステムが出力担当者が記入確認 MTG 実施実行完了通知

23 月次確認月次で予算超過&前月実績との差分を確認し、必要に応じて原因確認 & 対策検討定常的に確認する環境を提供して現状把握 & コスト改善を推進管理アカウント開発者 CCoE 各メンバアカウント Cost Explorer 必要に応じて確認確認依頼増減理由を記入定期実行 AI でサマリ CUR の出力集計結果の出力コストデータ取得アカウント名サブシステム担当者前月コスト当月コストコスト差額増減率 AIコメント担当者コメント account1 app1 松野 $100 $120 +$20 120% AmazonCloudWatch のコストが $20 増加しました。これは主にログ書き込み量の増加によるものです。不具合調査のためのデバッグログ追加が原因です。調査が完了してデバッグログを出さないようにしたので、今月は戻る見込みです。＊値は全て仮のものですシステムが出力担当者が記入確認 MTG 実施実行完了通知

25 不定期見直し CCoE がコストかかっているポイントを確認し、各システム担当者に改善施策を提案コスト管理アカウント開発者 CCoE 改善提案管理アカウント CUR の出力コピー確認 CUDOS 高コストな S3 バケットランキングの例

26 不定期見直し CCoE がコストかかっているポイントを確認し、各システム担当者に改善施策を提案コスト管理アカウント開発者 CCoE 改善提案管理アカウント CUR の出力コピー確認 CUDOS 高コストな S3 バケットランキングの例ダッシュボードサンプル

27 選択と集中: パレートの法則高コストな S3 バケットトップ20 高コストな EBS スナップショットトップ20 全部対応しようとせず、高コストなリソースから優先的に対応を検討費用対効果の高い改善アイテムを選定し、効率よくコスト改善を実施

29 紹介事例 1. 月次確認からのコスト改善事例 2. 不定期見直しからのコスト改善事例 3. トラブルで増加したコストへの対処事例

31 システム概要メタデータ配信システム • テレビやコンパニオンアプリ向けに番組表や関連情報などを配信 AWS Cloud Public subnet Private subnet Private subnet Private subnet … プロキシ & キャッシュビジネスロジックデータベースアクセス数: 8億回/日

32 主なコスト要因 AWS Cloud Public subnet Private subnet Private subnet Private subnet … プロキシ & キャッシュビジネスロジックデータベース (1) Outbound のデータ転送料金 (2) EC2 インスタンスの料金アクセス数: 8億回/日いずれもリクエスト数の増加に比例する避けられないコスト

33 CloudFront のカスタム料金 Organizations でこれを契約して活用 Amazon CloudFront の料金

34 Outbound 転送料金 AWS Cloud AWS Cloud 無料 EC2 のデータ通信料金 CloudFront のデータ通信料金 ALB の前に CloudFront を置くと、 CloudFront のデータ転送料金になる Internet Internet

35 アーキテクチャ変更後 AWS Cloud Public subnet Private subnet Private subnet Private subnet … CloudFront

36 アーキテクチャ変更後 AWS Cloud Public subnet Private subnet Private subnet Private subnet … CloudFront 削減ポイント2: CloudFront のキャッシュ活用による EC2 インスタンス台数削減削減ポイント4: CloudFront のキャッシュ活用によるアプリ/DB レイヤのリソース縮小、従量課金の減少削減ポイント3: Public IPv4 アドレス数, 及び LCU Usage の減少 (今であれば CloudFront VPC Origin も導入して Public IPv4 を 0 にしたい) 削減ポイント1: AWS → Internet の Outbound 転送料金の削減

37 アーキテクチャ変更後 AWS Cloud Public subnet Private subnet Private subnet Private subnet … CloudFront 削減ポイント2: CloudFront のキャッシュ活用による EC2 インスタンス台数削減削減ポイント4: CloudFront のキャッシュ活用によるアプリ/DB レイヤのリソース縮小、従量課金の減少削減ポイント3: Public IPv4 アドレス数, 及び LCU Usage の減少 (今であれば CloudFront VPC Origin も導入して Public IPv4 を 0 にしたい) トータルで 50% 以上のコストを削減しつつ、パフォーマンスも向上削減ポイント1: AWS → Internet の Outbound 転送料金の削減

38 この改善からの教訓アーキテクチャは時間と共に陳腐化する • サービス個別での見直しも必要だが、アーキテクチャ全体の見直しも大事 • サーバコストだけでなく、運用コストも加味したサービス選定も必要アップデート情報にアンテナを張る • AWS では 1 年で 3400 以上の機能がリリース (2023年実績) • 新機能を活用した方がコスト/パフォーマンスの両面で美味しいことが多い最新の情報を取り入れつつ、各コンポーネントやアーキテクチャを見直すコストがかかっているポイントを把握した上で改善策を検討する • アーキテクチャを変更するとコスト増減の影響範囲も多岐に渡る • データ転送料金、Public IPv4 アドレスなどは忘れられがち

39 アップデート情報に追従するために RSS で更新情報を購読有志メンバによる週次 MTG で週刊 AWS を確認外部イベントへの参加 X で有識者をフォロー（業務外）

41 蓄積データによるコスト多くのサービスにおいてデータの削除設定を入れておらず蓄積されていた Cloudwatch Logs コスト増加イメージ ECR Repository 対象サービス例 S3 Bucket コンピューティング費用データ費用単価が低く最初は忘れがちだが、徐々に増加している

42 削除設定の導入 CCoE として設計のガイドラインを作成した上で、削除設定の導入を推進ただし、運用中のシステムに設定する際は影響範囲を要調査

43 削除設定の導入提案ガイドラインに準拠しないリソースを検知する AWS Trusted Advisor ライクな提案を出す仕組みを構築管理アカウント各メンバアカウント … 定期実行各種データ/設定取得結果出力アカウント名リージョン AWSサービス対象リソース推奨事項前月コスト account1 us-west-2 Cloudwatch Logs /aws/lambda/xxx RetentionInDays is required $30 account2 us-west-2 Cloudwatch Logs /aws/apigateway/yyy RetentionInDays is required $20 account3 ap-northeast-1 ECR dev/zzz LifeCyclePolicy is required $10 ＊一部列のみ厳選して記載 CUR の検索開発者内容を確認改善対応

44 削除設定の導入提案ガイドラインに準拠しないリソースを検知する AWS Trusted Advisor ライクな提案を出す仕組みを構築管理アカウント各メンバアカウント … 定期実行各種データ/設定取得結果出力アカウント名リージョン AWSサービス対象リソース推奨事項前月コスト account1 us-west-2 Cloudwatch Logs /aws/lambda/xxx RetentionInDays is required $30 account2 us-west-2 Cloudwatch Logs /aws/apigateway/yyy RetentionInDays is required $20 account3 ap-northeast-1 ECR dev/zzz LifeCyclePolicy is required $10 ＊一部列のみ厳選して記載 CUR の検索開発者内容を確認改善対応コスト改善の具体的なアイテムや額を提示することで行動を起こしやすくする

45 この改善からの教訓保存期間/世代は要件定義で明確にし、構築時に削除設定を導入しておく • 「とりあえず残しておこう」は後々困ることになる • 運用中の S3 にライフサイクルポリシーを設定して事故った経験も… 具体的なアクションを起こせるような仕組みを整備する • コスト改善方法の調査からとなると、工数がかかり優先度が下がってしまう • 〇〇を設定すれば良い、というのが明確になっていれば対応しやすくなるコスト抑止のための設計指針を共有していくことが大事

47 システム概要 AWS Cloud 従量課金の 3rd party API Cost Anomaly Detection 設定済 360 Reality Audio 向けシステム • コンパニオンアプリ向けにヘッドホンの個人最適化の実行や対応アプリ情報を配信アクセス数: 2000万回/日

48 このシステムで発生した問題 AWS Cloud 従量課金の 3rd party API Cost Anomaly Detection 設定済アクセス数: 2000万回/日本来はユーザごとに初回アクセス時のみ実行する想定だったが、クライアントアプリのバージョンアップによりリクエスト方法が変わったことで、毎回実行されるようになってしまった

49 このシステムで発生した問題 AWS Cloud 従量課金の 3rd party API Cost Anomaly Detection 設定済アクセス数: 2000万回/日本来はユーザごとに初回アクセス時のみ実行する想定だったが、クライアントアプリのバージョンアップによりリクエスト方法が変わったことで、毎回実行されるようになってしまった課金額が劇的に増加したが、すぐに気づくことができなかった

50 気づけなかった原因 AWS のコストは若干増加していたが、この程度の増加は過去にもあり、異常と判定されなかった。 4XX エラーは増加稼働率の SLI は問題なし AWS コストは若干の増加普段のダッシュボード確認では SLI/SLO のみ確認していたため、サーバの稼働は問題ない認識だった。 4XX エラーはサーバの問題ではないので SLI の計算に含めていない

51 問題の認知～対応数日後、3rd party API の会社からの連絡で問題が発覚。発覚後は即座にクライアントチームに連携。 • しかし、影響の大きさを適切に伝えることができず、即座に対応が始まらなかった • マネージャ含めコストインパクトを伝えたことで、緊急案件として対応 10/1 不具合混入バージョンリリース 10/14夜対策版アプリ配信開始 10/10 調査開始 3rd Party API のコスト推移

52 この失敗から得た学びコストやメトリクスなど適切な監視を設定した上で、ステークホルダ含め確認できる状態にするメトリクスは取得するだけでは意味がない • とはいえ AWS のサービスごとに多数のメトリクスがある • 全部の監視設計は大変なので AI による異常検知などを活用課金対象の API は別途監視項目を設定する • 課金対象 API 側で利用状況のメトリクスなど提供していればそれがベスト • API 実行数のカスタムメトリクスや NAT Gateway のデータ転送量などサーバコストは可視化した上でステークホルダも含めて確認できる状態にする • コストの温度感が共有できれば、対応優先度の認識合わせもスムーズになる • アプリの要件、設計がサーバコストに大きく影響することも理解してもらえる

54 まとめ • コストは 1 度確認したら終わりではなく、継続的な確認 & 改善が必要 • 自分たちのコントロール外の要素で日々変動している • 最新の情報を取り入れつつ各コンポーネントやアーキテクチャを見直す • 新しい機能 / 料金体系 / 契約など様々な要素で改善できる • そのためには日々アップデート情報をキャッチアップする • コスト抑止のための設計指針や具体的な対応方針を明確化 • 皆がコスト最適な設定に詳しいわけではない • 具体的な行動に移しやすくすることで設定の導入を促進 • サービス提供にかかるサーバコスト全体をステークホルダ含めて確認 • サーバコストはサーバチームだけで改善できるわけではない • 可視化してそれを皆で共有して認識を合わせておく

FinOpsの考えをベースにした継続的なコスト改善の取り組み

FinOpsの考えをベースにした継続的なコスト改善の取り組み

Featured

Transcript