ここがつらいよマルチテナント

by メグリ株式会社

Slide 1

Slide 1 text

ここがつらいよマルチテナント © MGRe, Inc. 2022.10.13 メグリ株式会社プロダクト部サーバーサイドエンジニア蔵下正治

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© MGRe, Inc. All Rights Reserved. 7 過去のサービスとの比較 डୗ࣌୅ ؀ڥ γϯάϧςφϯτ γϯάϧςφϯτ Ϛϧνςφϯτ ࣮૷ํ๏ ϑϧεΫϥον ύοέʔδʢϕʔείʔυ͔Β੾Γ ग़͠ ΧελϚΠζʣ 4BB4ΧελϜྖҬ αʔόʔʢ"84ʣ &$".* &MBTUJD#FBOTUBML ʢϚωʔδυ&$ʣ 'BSHBUFʢίϯςφʣ σʔλϕʔε 3%4NZTRM "VSPSB "VSPSB4FSWFSMFTT Πϯϑϥ؅ཧ $MPVE'PSNBUJPOεΫϦϓτ $MPVE'PSNBUJPO σϓϩΠ $PEF1JQFMJOF $PEF1JQFMJOF&$3 ϩάɾσʔλऩू $MPVE8BUDI $MPVE8BUDI,JOFTJT 'JSFIPTF

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© MGRe, Inc. All Rights Reserved. 10 ● DB（Aurora Serverless）の限界 ○ コンテナ（API）はいくらでも増やせる ○ プッシュ配信時のスパイクアクセス ○ MGRe のセグメント配信は仕様上キャッシュが難しい ○ 通勤時（9時台）やスーパー等の小売はお昼過ぎ（12〜13時台）と夕方（17時以降）パフォーマンスの課題データベース容量（ACU） CPU使用率

Slide 11

Slide 11 text

© MGRe, Inc. All Rights Reserved. 11 ● WAF 等 AWS のリソース上限 ○ route53 でテナントごとにドメインを用意 → 上限500程度 ○ テナントごとにロードバランサを用意 → 上限100程度 ○ WAF による管理画面用 API の IP 制限 → 正規表現のため最大文字数の制限 ○ Aurora Serverless のさばける上限 → 上限 ACU 256（メモリ 488GB）パフォーマンスの課題

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© MGRe, Inc. All Rights Reserved. 13 ● やらかすと被害が大きい ○ あるテナントのユーザー数とニュースのレコード数が増加 ○ それによりセグメント検索 API のパフォーマンスが低下 ○ リクエストがつまり始める ○ リクエストがつまっているためコンテナが新しく立ち上がり続ける ○ コンテナ起動時に DockerHub からあるイメージをプルしていた ○ 短時間にプルし過ぎたためレート制限 ○ イメージをプル出来ずコンテナ起動失敗 ○ 生きているコンテナも次々死ぬ ○ コンテナがいなくなり全てのテナントでサービス停止😭 一番の課題

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© MGRe, Inc. All Rights Reserved. 15 ● 古いデータの削除、非公開化 ○ インデックスの見直しも含め、取得レコード数を減らすのが最も効果的 ● Aurora Serverless v2 への移行 ○ 細かく素早い ACU（容量）変更 ■ 0.5単位、v1 は8→16→32のように2の累乗単位 ○ 適切な ACU 選択によるコストメリット、マルチ AZ 対応等 v1 から比べて多くの利点 ○ v1 はインスタンス1つのみ、v2 は Aurora と同じライター／リーダークラスター方式 ○ v1 からの進化というより Aurora をサーバーレスにした感じパフォーマンスの対策