本資料は、6/7(水) に開催された 【MIXI × Money Forward × NewsPicks共同開催】AWSコスト最適化夏祭り における、みてねの伊東による発表資料です。 YouTube のアーカイブもありますので、是非、こちらもご覧ください。 https://youtube.com/live/5XY7KgzMU0E?feature=share
#AWSコスト夏祭り
「無料・容量無制限でアップロード」を支えるみてねのコスト削減術【MIXI × Money Forward × NewsPicks共同開催】AWSコスト最適化夏祭り
View Slide
MIXI, Inc.自己紹介 株式会社MIXI Vantageスタジオ みてねプロダクト開発部 基盤開発グループ SREチーム 伊東 宏起 https://hekki.info
MIXI, Inc.家族アルバム みてね2022年8月に利用者数1,500万人を突破※ iOS・Android™ アプリ登録者数、ブラウザ版登録者数の合計7言語・175の国と地域でサービスを提供
MIXI, Inc.本日お話する内容 - Amazon S3のコスト削減 - S3 Standard-IA ストレージクラスの活用 - HLSを用いた再生用動画のオンデマンド配信 - S3 Glacier Deep Archiveストレージクラスによる革命 - コンピュートリソースのコスト削減 - RI/SPsの活用 - まとめ
MIXI, Inc.無料・容量無制限でアップロード - みてねの特徴のひとつで、競争力の源泉 - 増え続けるS3コストとの戦い - サービスの成長・ユーザー体験を損なわない範囲でS3コスト削減を実現することがミッション
MIXI, Inc.S3 Standard-IA ストレージクラスの活用(2018年2月) - みてねでは画像・動画共に、複数の解像度のファイルを保存している - アップロードした画像・動画(original) - 再生用に解像度を調整した画像・動画(smartphone) - サムネイル(S/M/L) - Standard-IA ストレージクラスはStandardストレージクラスに比べ、 GB単価が安いがデータの取り出し料金が発生する - originalサイズはアクセス頻度が少なく解像度が高い(=ファイルサイズが大きい)ので、Standard-IA ストレージクラスが最適 - originalサイズの大半をStandard-IA ストレージクラスに変更し、大幅なコスト削減を達成! - ただし、アップロード直後はアクセス頻度が多いのでライフサイクルルールを活用
MIXI, Inc.- 再生用に解像度を調整した動画(smartphone)のストレージコストを下げるためのチャレンジ - smartphoneサイズ動画を再生リクエストに応じて動的に生成・配信を行えば、 S3のコストが劇的に下がるのでは?というアイディア - HLS(HTTP Live Streaming)を用いて実装 - 結果的にS3上のデータを 数PB(ペタバイト)削減 することに成功! - 詳細は「みてねの動画再生にHLSを導入した話」をご覧ください - https://team-blog.mitene.us/hls-6b749943c0b9 HLSを用いた再生用動画のオンデマンド配信(2022年3月)
MIXI, Inc.- AWS re:Invent 2021にてS3 Glacier Instant Retrievalストレージクラスが登場 - Standardストレージクラスなどと同様、ミリ秒単位のデータ取得が可能! - Standard-IAストレージクラスに比べ大幅にGB単価が安い! - 全面的にStandard-IAストレージクラスからS3 Glacier Instant Retrievalストレージクラスへ乗り換え - 結果、HLSを活用した 数PBのデータ削減によるコスト削減費が霞んでしまうほどの コスト削減を達成! S3 Glacier Instant Retrieval ストレージクラスによる革命(2022年3月)
MIXI, Inc.- Reserved Instances(RI)とSavings Plans(SPs)共に積極的に運用 - EC2を中心にSPsでカバーできる部分はSPsを優先 - RDSやElastiCacheはRIを利用 - 特にEC2は、スポットインスタンスとSPsの積極的な活用によって 通常のオンデマンドインスタンスの価格でほぼ利用がない状態 を実現 - 詳細は「『家族アルバム みてね』に学ぶ、AWSのReserved InstancesとSavings Plansの勘所」をご覧ください - https://gihyo.jp/article/2022/12/mitene-03aws-ri-sps RI/SPsの活用
MIXI, Inc.- S3のコスト削減にはストレージクラスの特徴を理解して使いこなすことが重要 - かつ、S3に保存されるデータ量自体を減らす施策も効果絶大 - EC2などのコンピュートリソースはスポットインスタンスの活用や、 これまでの実績から未来を予測して精度の高いRI/SPsの購入計画を立てる まとめ
MIXI, Inc.