Upgrade to Pro — share decks privately, control downloads, hide ads and more …

「無料・容量無制限でアップロード」を 支える みてねのコスト削減術

「無料・容量無制限でアップロード」を 支える みてねのコスト削減術

本資料は、6/7(水) に開催された
【MIXI × Money Forward × NewsPicks共同開催】AWSコスト最適化夏祭り
における、みてねの伊東による発表資料です。
 
YouTube のアーカイブもありますので、是非、こちらもご覧ください。
https://youtube.com/live/5XY7KgzMU0E?feature=share

#AWSコスト夏祭り

MIXI ENGINEERS
PRO

June 07, 2023
Tweet

More Decks by MIXI ENGINEERS

Other Decks in Technology

Transcript

  1. 「無料・容量無制限でアップロード」を
    支えるみてねのコスト削減術
    【MIXI × Money Forward × NewsPicks共同開催】AWSコスト最適化夏祭り

    View Slide

  2. MIXI, Inc.
    自己紹介

    株式会社MIXI Vantageスタジオ 

    みてねプロダクト開発部 基盤開発グループ SREチーム 

    伊東 宏起


    https://hekki.info


    View Slide

  3. MIXI, Inc.
    家族アルバム みてね
    2022年8月に利用者数1,500万人を突破
    ※ iOS・Android™ アプリ登録者数、ブラウザ版登録者数の合計
    7言語・175の国と地域でサービスを提供

    View Slide

  4. MIXI, Inc.
    本日お話する内容

    - Amazon S3のコスト削減 

    - S3 Standard-IA ストレージクラスの活用

    - HLSを用いた再生用動画のオンデマンド配信

    - S3 Glacier Deep Archiveストレージクラスによる革命

    - コンピュートリソースのコスト削減 

    - RI/SPsの活用

    - まとめ



    View Slide

  5. MIXI, Inc.
    無料・容量無制限でアップロード

    - みてねの特徴のひとつで、競争力の源泉 

    - 増え続けるS3コストとの戦い 

    - サービスの成長・ユーザー体験を損なわない範囲でS3コスト削減を実現することがミッション 


    View Slide

  6. MIXI, Inc.
    S3 Standard-IA ストレージクラスの活用(2018年2月)

    - みてねでは画像・動画共に、複数の解像度のファイルを保存している 

    - アップロードした画像・動画(original)

    - 再生用に解像度を調整した画像・動画(smartphone)

    - サムネイル(S/M/L)

    - Standard-IA ストレージクラスはStandardストレージクラスに比べ、 

    GB単価が安いがデータの取り出し料金が発生する 

    - originalサイズはアクセス頻度が少なく解像度が高い(=ファイルサイズが大きい)ので、Standard-IA スト
    レージクラスが最適 

    - originalサイズの大半をStandard-IA ストレージクラスに変更し、大幅なコスト削減を達成! 

    - ただし、アップロード直後はアクセス頻度が多いのでライフサイクルルールを活用


    View Slide

  7. MIXI, Inc.
    - 再生用に解像度を調整した動画(smartphone)のストレージコストを下げるためのチャレンジ 

    - smartphoneサイズ動画を再生リクエストに応じて動的に生成・配信を行えば、 

    S3のコストが劇的に下がるのでは?というアイディア 

    - HLS(HTTP Live Streaming)を用いて実装 

    - 結果的にS3上のデータを 数PB(ペタバイト)削減 することに成功!

    - 詳細は「みてねの動画再生にHLSを導入した話」をご覧ください 

    - https://team-blog.mitene.us/hls-6b749943c0b9

    HLSを用いた再生用動画のオンデマンド配信(2022年3月)


    View Slide

  8. MIXI, Inc.
    - AWS re:Invent 2021にてS3 Glacier Instant Retrievalストレージクラスが登場 

    - Standardストレージクラスなどと同様、ミリ秒単位のデータ取得が可能!

    - Standard-IAストレージクラスに比べ大幅にGB単価が安い!

    - 全面的にStandard-IAストレージクラスからS3 Glacier Instant Retrievalストレージクラスへ乗り換え 

    - 結果、HLSを活用した 数PBのデータ削減によるコスト削減費が霞んでしまうほどの 

    コスト削減を達成!

    S3 Glacier Instant Retrieval ストレージクラスによる革命(2022年3月)


    View Slide

  9. MIXI, Inc.
    - Reserved Instances(RI)とSavings Plans(SPs)共に積極的に運用 

    - EC2を中心にSPsでカバーできる部分はSPsを優先

    - RDSやElastiCacheはRIを利用

    - 特にEC2は、スポットインスタンスとSPsの積極的な活用によって 

    通常のオンデマンドインスタンスの価格でほぼ利用がない状態 を実現

    - 詳細は「『家族アルバム みてね』に学ぶ、AWSのReserved InstancesとSavings Plansの勘所」をご覧くださ
    い

    - https://gihyo.jp/article/2022/12/mitene-03aws-ri-sps

    RI/SPsの活用


    View Slide

  10. MIXI, Inc.
    - S3のコスト削減にはストレージクラスの特徴を理解して使いこなすことが重要 

    - かつ、S3に保存されるデータ量自体を減らす施策も効果絶大 

    - EC2などのコンピュートリソースはスポットインスタンスの活用や、 

    これまでの実績から未来を予測して精度の高いRI/SPsの購入計画を立てる 

    まとめ


    View Slide

  11. MIXI, Inc.

    View Slide