【TimeTree × みてね勉強会】 グローバル対応への挑戦 〜SRE/インフラ編〜 https://mixi.connpass.com/event/285041/
『家族アルバム みてね』AWSマルチリージョン構成におけるデータベース運用@kohbis2023/06/08 TimeTree × みてね勉強会
View Slide
MIXI, Inc.About MeKohei SUGIMOTO株式会社MIXI2022/04 ~『家族アルバム みてね』 SRETwitter : @kohbis
MIXI, Inc.Agenda1. 『家族アルバム みてね』とは2. 『家族アルバム みてね』の AWS マルチリージョン構成3. Amazon Aurora Global Database の活用4. Amazon DynamoDB Global Tables の活用5. Amazon ElastiCache for Memcached の活用6. まとめ
MIXI, Inc.『家族アルバム みてね』
MIXI, Inc.子どもの写真・動画を家族で共有し、コミュニケーションして楽しむサービス
MIXI, Inc.子どもの写真・動画を、無料・無制限に 共有できるスマートフォンアプリです
MIXI, Inc.
MIXI, Inc.家族アルバム みてね世界中の家族の”こころのインフラ”を作る● 2015年4月リリース● 現在7言語・175の国と地域でサービスを提供● 海外では FamilyAlbum という名称で展開中● 2022年8月に利用者数が1,500万人を突破 ※1● 日本国内ではママやパパの半数となる47.1％の方がご利用 ※2※1 iOS・Android™ アプリ登録者数、ブラウザ版登録者数の合計※2「みてね」登録時に入力されたお子さまの誕生日と厚生労働省発表「人口動態統計」から算出。2022年8月時点で47.1％
MIXI, Inc.『家族アルバム みてね』のAWS マルチリージョン構成
MIXI, Inc.『家族アルバム みてね』のマルチリージョン概要● 目的は海外ユーザー体験向上○ 近いリージョンにアクセスできる= レスポンスタイム改善● 現在は 2 リージョン構成○ 東京リージョン（ap-northeast-1）○ バージニア北部リージョン（us-east-1）● ユーザー体験につながる特定のAPI○ 例■ アプリ起動時■ アルバムや写真の閲覧
MIXI, Inc.『家族アルバム みてね』の AWS マルチリージョン概要● API リクエストの振り分け○ CloudFront & Route 53 のレイテンシールーティング● データベースのレプリケーション○ Aurora Global Database○ DynamoDB Global Tables● オブザーバービリティ○ 東京リージョンの Managed Service forPrometheus にメトリクス集約本日はデータベース周りのお話
MIXI, Inc.Amazon Aurora Global Database
MIXI, Inc.Amazon Aurora Global Database● ストレージベースの物理レプリケーション● どのリージョンでも通常 1 秒未満のレプリケーション（参考）Cross-region read Replica● バイナリログによる論理レプリケーション● ワークロードの変更率、リージョン間のネットワークに強く依存制約に当てはまらない限りはGlobal Database 推奨 ※参考元:https://aws.amazon.com/jp/dynamodb/global-tables/※ 2023/06 時点の AWS ドキュメントより
MIXI, Inc.Amazon Aurora Global Database を導入するまで● 当時利用していた RDS Proxy のサポートがされておらず Cross-region Read Replica の検証からはじめた● 試しに本番環境に作成したところ（みてねの場合は）ピーク時に数時間レベルのレプリケーションラグが発生することが発覚⇩ RDS Proxy を頑張って外すしかない！● DB コネクション数の詳細調査● DB コネクション数を減らすためのチューニング
MIXI, Inc.Amazon Aurora Global Database を導入するまで● 主に K8s と Rails（Puma）のチューニング● 意図せずしてアプリケーションのリソース効率が大幅に改善● RDS Proxy にかかるレスポンスタイム改善（10~20ms）とコスト削減● Global Database を導入できるように
MIXI, Inc.Amazon Aurora Global Database を導入、運用してみて● Global Database へのリージョン追加やクラスター削除（スタンドアロンへ昇格）はダウンタイムなしで実施可能○ プライマリ DB への影響なく「とりあえず試したい！」ができる● レプリケーションが安定してはやい○ みてねのワークロードでは 100~300 ms で推移
MIXI, Inc.Amazon Aurora Global Database 運用上の課題 ※2023/06時点● Aurora MySQL 最新バージョンへの対応○ 「Global Database ではまだ利用できない」ケースがある○ 最新（3.03.*）へのマイナーバージョンアップグレードにはGlobal Database 再作成が必要● インスタンスサイズの制約○ 最低でも large 以上○ プライマリーとセカンダリーは同じインスタンスサイズを推奨■ ワークロードに対応しきれずセカンダリーの突発的な再起動が発生する可能性→ 開発や負荷が低い場合でもコストミニマムなインスタンスサイズを選択できない● 書き込み転送は検討中○ 当初の目的である「海外ユーザーの閲覧体験」はすでに大きく改善
MIXI, Inc.Amazon Aurora Global Database 導入時のこぼれ話Global Database とのすれ違いの日々● RDS Proxy○ 2022年10月に RDS Proxy を外す→ 12月に Global Database サポート● Aurora MySQL 2 → 3 系へのメジャーバージョンアップグレード○ 2023年2月上旬に Global Database 再作成で対応→ 2月下旬に In-place でのメジャーバージョンアップグレードが可能に逆に言えば、機能アップデート・追従が活発に行われているということ（※希望的観測）
MIXI, Inc.Amazon DynamoDB Global Tables
MIXI, Inc.Amazon DynamoDB Global Tables● 通常 1 秒以内にすべてのレプリカテーブルに伝播● ローカルのテーブルへの高速な読み取りと書き込みユーザーセッションのみ Aurora MySQL から切り出し● セッション管理は高頻度で呼び出される API= アプリ内の多くの操作でユーザー体験に直結= 書き込み処理だがマルチリージョン化したい！参考元: https://aws.amazon.com/jp/dynamodb/global-tables/
MIXI, Inc.Amazon DynamoDB Global Tables を導入、運用してみて● Global Tables の追加、削除が容易● レプリケーションがみてねのワークロードのピーク時で 1 秒前後で完了○ Aurora Global Database よりは遅いが、みてねのユースケースでは十分に許容できる○ 基本的にはローカルでの書き込み/読み込みになるので高速（数 ms）
MIXI, Inc.Amazon DynamoDB Global Tables の注意点 ※2023/06時点● オペレーションに対するキャパシティユニットの制限○ DynamoDB ではリザーブドキャパシティを購入してコスト削減○ Global Tables では 書き込みキャパシティユニット（WCU）ではなくレプリケート書き込みキャパシティユニット（rWCU）で計算される■ レプリケート書き込みキャパシティユニット（rWCU）● リージョン分だけ rWCU が増える● リージョンによってユニット単位のコストも異なる■ ただし rWCU はリザーブドキャパシティを購入することはできない
MIXI, Inc.Amazon ElastiCache for Memcached
MIXI, Inc.Amazon ElastiCache for Memcached● それぞれのリージョンに ElastiCache for Memcached クラスターを配置● 毎回必要なデータ（ユーザーや家族）をキャッシュしておく○ さらなるレスポンス高速化○ マルチリージョン以前から活用■ マルチリージョン構成でさらなる効果（補足）Amazon ElastiCache for Redis - Global Datastore● ElastiCache for Redis のクロスリージョンリードレプリカクラスターを作成できる● みてねの用途には合わないので現状検討していない
MIXI, Inc.まとめ
MIXI, Inc.まとめ● 『家族アルバム みてね』は海外ユーザー体験向上のためにマルチリージョン化● Aurora MySQL Global Database で高速で安定したレプリケーション● DynamoDB Global Tables でピンポイントに利用してさらに改善● ElastiCache for Memcached で毎回必要なデータをキャッシュして高速化今回ご紹介したのは2022年10月のマルチリージョン化後にさらに試行錯誤して “みてね” に最適なかたちを目指した構成。ほかの取り組みについても、ぜひブログなどご覧ください！https://team-blog.mitene.us/
kohbis
keio_smilab
grimoh
ewolff
shinrinakamura
.png){kind=icon}
3playmarketing
finengine
.png){kind=icon}
pharma_x_tech
devopstaiwan
i524
yoshiiryo1
kawajiritakayuki
nishiuma
tmm1
tanoku
paulrobertlloyd
eileencodes
zakiwarfel
jonrohan
morganepeng
keathley
phodgson
malarkey
holman
bryan