Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
『家族アルバム みてね』 AWSマルチリージョン構成における データベース運用 / Famil...
Search
kohbis
June 08, 2023
Technology
5
2.6k
『家族アルバム みてね』 AWSマルチリージョン構成における データベース運用 / FamilyAlbum Database in AWS multi-region
【TimeTree × みてね勉強会】 グローバル対応への挑戦 〜SRE/インフラ編〜
https://mixi.connpass.com/event/285041/
kohbis
June 08, 2023
Tweet
Share
More Decks by kohbis
See All by kohbis
悩ましきインシデント管理 みてねのケース / Incident management is a tough
kohbis
2
540
サービス成長と共に肥大化するモノレポ、長くなるCI時間 / As services grow, monorepos get bigger and CI time gets longer
kohbis
5
2.9k
そこまで大規模じゃない EKS環境を(あまり)頑張らずに 最新化し続けたい / FamilyAlbum EKS Continuous Improvement
kohbis
2
1.5k
1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 / FamilyAlbum's upgrade strategy and continuous improvement for K8s infrastructure
kohbis
5
3.5k
『家族アルバム みてね』の安定リリースを支えるEKS運用 / FamilyAlbum release-flow on EKS
kohbis
2
1.3k
KEDAによるイベント駆動ジョブスケール / Event-driven job scale by KEDA
kohbis
2
970
『家族アルバム みてね』のグローバル展開を支えるAWS活用 / AWS Summit Tokyo 2023 FamilyAlbum Multi-Region
kohbis
1
720
Other Decks in Technology
See All in Technology
君は隠しイベントを見つけれるか?
mujyun
0
290
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
700
LeSSに潜む「隠れWF病」とその処方箋
lycorptech_jp
PRO
2
120
Commitment vs Harrisonism - Keynote for Scrum Niseko 2024
miholovesq
6
1.1k
ユーザーの購買行動モデリングとその分析 / dsc-purchase-analysis
cyberagentdevelopers
PRO
2
100
CAMERA-Suite: 広告文生成のための評価スイート / ai-camera-suite
cyberagentdevelopers
PRO
3
270
ABEMA のコンテンツ制作を最適化!生成 AI x クラウド映像編集システム / abema-ai-editor
cyberagentdevelopers
PRO
1
180
フルカイテン株式会社 採用資料
fullkaiten
0
36k
わたしとトラックポイント / TrackPoint tips
masahirokawahara
1
240
AWS CDKでデータリストアの運用、どのように設計する?~Aurora・EFSの実践事例を紹介~/aws-cdk-data-restore-aurora-efs
mhrtech
4
650
大規模データ基盤チームのオンプレTiDB運用への挑戦 / dpu-tidb
cyberagentdevelopers
PRO
1
110
話題のGraphRAG、その可能性と課題を理解する
hide212131
4
1.5k
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
334
57k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
107
49k
Navigating Team Friction
lara
183
14k
Faster Mobile Websites
deanohume
304
30k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Fireside Chat
paigeccino
32
3k
Building Applications with DynamoDB
mza
90
6.1k
Designing for Performance
lara
604
68k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
A Tale of Four Properties
chriscoyier
156
23k
Transcript
『家族アルバム みてね』 AWSマルチリージョン構成における データベース運用 @kohbis 2023/06/08 TimeTree × みてね勉強会
MIXI, Inc. About Me Kohei SUGIMOTO 株式会社MIXI 2022/04 ~『家族アルバム みてね』
SRE Twitter : @kohbis
MIXI, Inc. Agenda 1. 『家族アルバム みてね』とは 2. 『家族アルバム みてね』の AWS
マルチリージョン構成 3. Amazon Aurora Global Database の活用 4. Amazon DynamoDB Global Tables の活用 5. Amazon ElastiCache for Memcached の活用 6. まとめ
MIXI, Inc. 『家族アルバム みてね』
MIXI, Inc. 子どもの写真・動画を家族で共有し、 コミュニケーションして楽しむサービス
MIXI, Inc. 子どもの写真・動画を、無料・無制限に 共有できるスマートフォンアプリです
MIXI, Inc.
MIXI, Inc. 家族アルバム みてね 世界中の家族の”こころのインフラ”を作る • 2015年4月リリース • 現在7言語・175の国と地域でサービスを提供 •
海外では FamilyAlbum という名称で展開中 • 2022年8月に利用者数が1,500万人を突破 ※1 • 日本国内ではママやパパの半数となる47.1%の 方がご利用 ※2 ※1 iOS・Android™ アプリ登録者数、ブラウザ版登録者数の合計 ※2「みてね」登録時に入力されたお子さまの誕生日と厚生労働省発表「人口動態統計」から算出。2022年8月時点で47.1%
MIXI, Inc. 『家族アルバム みてね』の AWS マルチリージョン構成
MIXI, Inc. 『家族アルバム みてね』のマルチリージョン概要 • 目的は海外ユーザー体験向上 ◦ 近いリージョンにアクセスできる = レスポンスタイム改善
• 現在は 2 リージョン構成 ◦ 東京リージョン(ap-northeast-1) ◦ バージニア北部リージョン (us-east-1) • ユーザー体験につながる特定のAPI ◦ 例 ▪ アプリ起動時 ▪ アルバムや写真の閲覧
MIXI, Inc. 『家族アルバム みてね』の AWS マルチリージョン概要 • API リクエストの振り分け ◦
CloudFront & Route 53 のレイテンシー ルーティング • データベースのレプリケーション ◦ Aurora Global Database ◦ DynamoDB Global Tables • オブザーバービリティ ◦ 東京リージョンの Managed Service for Prometheus にメトリクス集約 本日はデータベース周りのお話
MIXI, Inc. Amazon Aurora Global Database
MIXI, Inc. Amazon Aurora Global Database • ストレージベースの物理レプリケーション • どのリージョンでも通常
1 秒未満の レプリケーション (参考)Cross-region read Replica • バイナリログによる論理レプリケーション • ワークロードの変更率、リージョン間の ネットワークに強く依存 制約に当てはまらない限りは Global Database 推奨 ※ 参考元: https://aws.amazon.com/jp/dynamodb/global-tables/ ※ 2023/06 時点の AWS ドキュメントより
MIXI, Inc. Amazon Aurora Global Database を導入するまで • 当時利用していた RDS
Proxy のサポートがさ れておらず Cross-region Read Replica の検 証からはじめた • 試しに本番環境に作成したところ(みてねの 場合は)ピーク時に数時間レベルのレプリ ケーションラグが発生することが発覚 ⇩ RDS Proxy を頑張って外すしかない! • DB コネクション数の詳細調査 • DB コネクション数を減らすためのチューニ ング
MIXI, Inc. Amazon Aurora Global Database を導入するまで • 主に K8s
と Rails(Puma)のチューニング • 意図せずしてアプリケーションのリソース効率が大幅に改善 • RDS Proxy にかかるレスポンスタイム改善(10~20ms)とコスト削減 • Global Database を導入できるように
MIXI, Inc. Amazon Aurora Global Database を導入、運用してみて • Global Database
へのリージョン追加やクラスター削除(スタンドアロンへ昇格)はダウンタイム なしで実施可能 ◦ プライマリ DB への影響なく「とりあえず試したい!」ができる • レプリケーションが安定してはやい ◦ みてねのワークロードでは 100~300 ms で推移
MIXI, Inc. Amazon Aurora Global Database 運用上の課題 ※2023/06時点 • Aurora
MySQL 最新バージョンへの対応 ◦ 「Global Database ではまだ利用できない」ケースがある ◦ 最新(3.03.*)へのマイナーバージョンアップグレードには Global Database 再作成が必要 • インスタンスサイズの制約 ◦ 最低でも large 以上 ◦ プライマリーとセカンダリーは同じインスタンスサイズを推奨 ▪ ワークロードに対応しきれずセカンダリーの突発的な再起動が発生する可能性 → 開発や負荷が低い場合でもコストミニマムなインスタンスサイズを選択できない • 書き込み転送は検討中 ◦ 当初の目的である「海外ユーザーの閲覧体験」はすでに大きく改善
MIXI, Inc. Amazon Aurora Global Database 導入時のこぼれ話 Global Database とのすれ違いの日々
• RDS Proxy ◦ 2022年10月に RDS Proxy を外す → 12月に Global Database サポート • Aurora MySQL 2 → 3 系へのメジャーバージョンアップグレード ◦ 2023年2月上旬に Global Database 再作成で対応 → 2月下旬に In-place でのメジャーバージョンアップグレードが可能に 逆に言えば、機能アップデート・追従が活発に行われているということ(※希望的観測)
MIXI, Inc. Amazon DynamoDB Global Tables
MIXI, Inc. Amazon DynamoDB Global Tables • 通常 1 秒以内にすべてのレプリカテーブルに伝播
• ローカルのテーブルへの高速な読み取りと書き込 み ユーザーセッションのみ Aurora MySQL から切り出し • セッション管理は高頻度で呼び出される API = アプリ内の多くの操作でユーザー体験に直結 = 書き込み処理だがマルチリージョン化した い! 参考元: https://aws.amazon.com/jp/dynamodb/global-tables/
MIXI, Inc. Amazon DynamoDB Global Tables を導入、運用してみて • Global Tables
の追加、削除が容易 • レプリケーションがみてねのワークロードのピーク時で 1 秒前後で完了 ◦ Aurora Global Database よりは遅いが、みてねのユースケースでは十分に許容できる ◦ 基本的にはローカルでの書き込み/読み込みになるので高速(数 ms)
MIXI, Inc. Amazon DynamoDB Global Tables の注意点 ※2023/06時点 • オペレーションに対するキャパシティユニットの制限
◦ DynamoDB ではリザーブドキャパシティを購入してコスト削減 ◦ Global Tables では 書き込みキャパシティユニット(WCU)ではなくレプリケート書き込み キャパシティユニット(rWCU)で計算される ▪ レプリケート書き込みキャパシティユニット(rWCU) • リージョン分だけ rWCU が増える • リージョンによってユニット単位のコストも異なる ▪ ただし rWCU はリザーブドキャパシティを購入することはできない
MIXI, Inc. Amazon ElastiCache for Memcached
MIXI, Inc. Amazon ElastiCache for Memcached • それぞれのリージョンに ElastiCache for
Memcached クラスターを配置 • 毎回必要なデータ(ユーザーや家族)をキャッ シュしておく ◦ さらなるレスポンス高速化 ◦ マルチリージョン以前から活用 ▪ マルチリージョン構成でさらなる効果 (補足)Amazon ElastiCache for Redis - Global Datastore • ElastiCache for Redis のクロスリージョンリードレプリカクラスターを作成できる • みてねの用途には合わないので現状検討していない
MIXI, Inc. まとめ
MIXI, Inc. まとめ • 『家族アルバム みてね』は海外ユーザー体験向上のためにマルチリージョン化 • Aurora MySQL Global
Database で高速で安定したレプリケーション • DynamoDB Global Tables でピンポイントに利用してさらに改善 • ElastiCache for Memcached で毎回必要なデータをキャッシュして高速化 今回ご紹介したのは2022年10月のマルチリージョン化後に さらに試行錯誤して “みてね” に最適なかたちを目指した構成。 ほかの取り組みについても、ぜひブログなどご覧ください! https://team-blog.mitene.us/
MIXI, Inc.