メタップスでのAWSコストダウン

第３木曜LT会で話した内容です。https://metaps.connpass.com/event/327083/

メタップスで実施したコストダウンプロジェクトについて可視化の点から話しました。

Transcript

1. ©2024 Metaps Holdings, Inc. 株式会社メタップスホールディングス SREリードエンジニア 名古 ⽞天 メタップスでのAWSコストダウン
2. ©2024 Metaps Holdings, Inc. MISSION テクノロジーでお金と経済のあり方を変える 
 
 世界を解き放つ 
 
 
 VISION 会社概要 社名
 株式会社メタップスホールディングス 
 (Metaps Holdings, Inc.) 
 設立
 2023年1月26日　
 資本金
 100百万円（資本準備金を含む）
 ※2024年6月末時点
 所在地
 東京都渋谷区渋谷二丁目24番12号 
 渋谷スクランブルスクエア 
 従業員数
 75名 ※2024年6月末時点
 経営陣
 代表取締役　山﨑 祐一郎 取締役　　　原 大輔
 取締役　　　青沼 克典 
 社外取締役　大谷 仁人 
 監査役　　　萩野矢 宏樹 事業内容
 クラウドとAIを中心にしたインキュベーション 
 テクノロジー企業への投資 
 

3. ©2024 Metaps Holdings, Inc. ⾃⼰紹介 肩書き：SREリードエンジニアですが、srest ではDeveloperです。コード書いたりレビュー したりしてます。 主にインフラ、たまに開発 名古 ⽞天 株式会社メタップスホールディングス SREリードエンジニア Nago Harutaka ＠nago_harutaka
4. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. はじめに 社内サービスのコストダウンプロジェクトに参加した時の話 コストダウンプロジェクトの⽬標⾦額 現在の半分
5. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. はじめに 実際にコストダウンのために⼿を加えたのは • Redshift • EC2 • RDS • ELB • S3 ですが、実際に削減した⽅法はこちらでお話ししてますので興味があればご覧ください https://www.youtube.com/live/ZmVn1ZSRAXA?si=cAQvT4ZOa-DebAR5 今回は主に、⼿を加える⼀歩⼿前「コストの可視化」について話したいと思います。
6. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. コストダウンと聞いてまず思いつくこと • RI‧Savings Planの購⼊ • S3 Glacierの活⽤ • Spotインスタンスの活⽤ • オートスケーリング
7. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. コストダウンと聞いてまず思いつくこと • RI‧Savings Planの購⼊ • S3 Glacierの活⽤ • Spotインスタンスの活⽤ • オートスケーリング でもその前に
8. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. コストダウンと聞いてまず思いつくこと • RI‧Savings Planの購⼊ • S3 Glacierの活⽤ • Spotインスタンスの活⽤ • オートスケーリング まず現状のコストの把握
9. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 現状を理解して⽅針を決める、そのための可視化 • コストダウンには⽬標がある ◦ なんでも最適化すればいいわけではない ◦ ⽬標額に向かって効率よく動きたい • ⽬標によっては容易には達成できない ◦ インフラちょちょいでは削減できない ◦ アプリケーションへ⼿を加える必要が出てくる可能性も ◦ 顧客へ提供するサービスに制限を加えないといけない可能性も ◦ 調整にも実装にも時間がかかることも想定される 状況がわからないと想像以上に時間がかかることになる
10. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 主に使った値、グラフ • AWSサービス毎のコスト • そのUsage Type毎のコスト • 削減前後の⽐較 たいそうな出だしでしたがこれだけです
11. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. コスト可視化で難しいことをする必要は必ずしもない すごい 集計を うおーっと 回して、すごい モデルで がちがち 推論して すごい データを ぎょろぎょろ 合わせて、すごい グラフを 映し出す 必要はない モーリス‧センダック かいじゅうたちのいるところ
12. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. AWSサービス別コスト
13. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. サービス別コストからわかったこと • Redshiftのコストが50%を超えている ◦ つまりここに切り込まなければ⽬標達成は不可能 • コストの⼤半は上位５サービスで構成されている ◦ まずは上位サービスだけ考える ◦ 下位はあとちょっと、、、、！！の状況になるまで考えない（考える時間もコスト） どこに切り込むべきか⽬安がわかった
14. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. サービス別コストからわかったこと • Redshift‧S3は運営しているサービス的に⼩さくすることが難しい ◦ 顧客への影響がでるような変更になる可能性も ◦ 調整に時間がかかることが想定される • EC2もSavingPlanだけでは⾜りなそう ◦ インスタンス数を減らすにはパフォーマンスをあげる必要あるかも ◦ パフォーマンスの分析やコードの改善は時間がかかりそう 早めに動いた⽅がいいところもわかった
15. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. UsageType別コスト 〜Redshift〜
16. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. RedshiftのUsageType別コストからわかったこと • やっぱComputeInstanceの料⾦が⾼い（RI使っていても） ◦ サイズを⼩さくするかノード数を減らすしかない ◦ ストレージとコンピュートリソースが⼀体になっているので、データを削減する ▪ つまり参照できるデータが減る→調整は⼤変 • 意外とStorage SnapShot が⾼い ◦ バックアップの取り⽅に無駄があるかも？ ▪ 実際サービス規模の成⻑やAWSの課⾦体系の変更で無駄なコストが発⽣していた UsageType別コストとサービスの状況を⽐べたことで 切り込む⽅法のヒントになった
17. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. UsageType別コスト 〜ELB〜
18. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. • DataTransfer ◦ サービス的に外部にそんなにデータを送るはずがない ▪ 無駄なレスポンスが存在するかも？ ◦ AthenaでELBのログを分析 ▪ 転送量は特定のエンドポイントに集中 ◦ レスポンスサイズの削減を開発チームと協議 ▪ レスポンスがそんなに⼤きい必要がないことが判明 ▪ 返す情報の精査と圧縮 ELBのUsageType別コストからわかったこと UsageType別コストとサービスの状況を⽐べて 無駄が⾒つかった
19. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. • モチベーションを維持に役⽴った ◦ 新機能開発と違って達成感が乏しいので、やってやった！が⾒えるといい • コミュニケーションに使える ◦ 今後どれだけ削減される予定なのか伝えやすい ◦ ビジネス上の決断を下すには説得⼒も必要 他にも可視化しておいて良かったこと
20. ©2024 Metaps Holdings, Inc. ここで宣伝
21. ©2024 Metaps Holdings, Inc. srestはAWSファンデーショナルテクニカルレビュー （FTR）認証を取得しています
22. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 無料トライアル実施中！詳しくはお声がけください。
23. ©2024 Metaps Holdings, Inc. ご清聴ありがとうございました • もっと細かい話はこちらの動画で説明してます ◦ https://www.youtube.com/live/ZmVn1ZSRAXA?si=cAQvT4ZOa-DebAR5 • やろうとしたけど壁にぶつかったこと、NGになったアイディアも紹介されているのでみて みてね。