DynamoDB でスロットリングが発生したとき_大盛りver/when_throttling_occurs_in_dynamodb_long

by emi

Slide 1

Slide 1 text

DynamoDB でスロットリングが発生したとき 2024/11/21 クラメソさっぽろIT勉強会 (仮) #6:パフォーマンスチューニング大盛り版

Slide 2

Slide 2 text

2 目次 • Purpose Built Database • DynamoDB とは • DynamoDB でパフォーマンスが出ない！ • スロットリングの原因と対応策 • おわりに

Slide 3

Slide 3 text

3 Purpose Built Database • Purpose Built Database • DynamoDB とは • DynamoDB でパフォーマンスが出ない！ • スロットリングの原因と対応策 • おわりに

Slide 4

Slide 4 text

Purpose Built Database

Slide 5

Slide 5 text

5 Purpose Built Database Purpose Built 「特定の目的のために設計・構築されたもの」

Slide 6

Slide 6 text

6 Purpose Built Database • 最新のアプリケーション要件 • より多くのパフォーマンス、拡張性、可用性が必要 • アプリのアーキテクチャとパターンも進化同時アクセスメディアストリーミングオンラインゲーム電子商取引医療：クライアント・サーバー Web 3 層マイクロサービスアーキテクチャ：

Slide 7

Slide 7 text

7 Purpose Built Database • Purpose-built databases（目的特化型データベース） • 特定のユースケースやワークロードに最適化されたデータベース • 汎用的なデータベースで全ての要件を満たそうとするのではなく、用途に応じて最適なデータベースを選択する • より良いパフォーマンス、スケーラビリティ、コスト効率を実現

Slide 8

Slide 8 text

8 Purpose Built Database • 例えば… • DynamoDB は高スループットが必要なワークロード向け • DocumentDB は半構造化データの管理向け • Timestream は IoT センサーデータなどの時系列データ向けなど

Slide 9

Slide 9 text

9 DynamoDB とは • Purpose Built Database • DynamoDB とは • DynamoDB でパフォーマンスが出ない！ • スロットリングの原因と対応策 • おわりに

Slide 10

Slide 10 text

DynamoDB とは

Slide 11

Slide 11 text

11 DynamoDB とは • AWS で提供されているフルマネージドの NoSQL データベース • 1 つ、もしくは 2 つのキーで構成される Key-Value Store • 高速なレスポンス（1 桁ミリ秒単位） • データ量が増えても自動的にスケール • Key に使っているもの以外はスキーマレスなため柔軟なデータ構造を持つことができる • RDB のような複雑な結合操作はできない、検索が苦手

Slide 12

Slide 12 text

12 DynamoDB とは

Slide 13

Slide 13 text

13 DynamoDB とは • DynamoDB テーブルの構造

Slide 14

Slide 14 text

14 DynamoDB とは • DynamoDB で設定できるキーの種類 • プライマリキー • パーティションキー（旧ハッシュキー）※必須 • ソートキー（旧レンジキー）※オプション • セカンダリインデックス ※オプション • ローカルセカンダリインデックス（LSI） • グローバルセカンダリインデックス（GSI）本 LT では詳細は省きます

Slide 15

Slide 15 text

15 DynamoDB とは • プライマリキーのパターン • パーティションキーのみでプライマリキーとするパターン • パーティションキーとソートキーのセットでプライマリキーとするパターン

Slide 16

Slide 16 text

DynamoDB とは - キャパシティユニット

Slide 17

Slide 17 text

17 DynamoDB とは - キャパシティユニット • DynamoDB では書き込みと読み込みの性能を「キャパシティユニット (Capacity Unit、CU) 」という単位で換算

Slide 18

Slide 18 text

18 DynamoDB とは - キャパシティユニット • 読み込みキャパシティユニット (Read Capacity Unit、RCU) • 最大サイズが 4KB のアイテムについて • 1 秒あたり 1 回の強力な整合性のある読み込み = 1RCU 消費 • 1 秒あたり 2 回の結果整合性のある読み込み = 1RCU 消費

Slide 19

Slide 19 text

19 DynamoDB とは - キャパシティユニット • 書き込みキャパシティユニット (Write Capacity Unit、WCU) • 最大サイズが 1 KB の項目について、 • 1 秒あたり 1 回の書き込み = 1WCU 消費

Slide 20

Slide 20 text

DynamoDB とは - キャパシティモード

Slide 21

Slide 21 text

21 DynamoDB とは - キャパシティモード • 用途に合わせて以下 2 種類のキャパシティモードから設定 • プロビジョンド (キャパシティ) モード • DynamoDB のテーブルにあらかじめキャパシティユニットを割り当てておく • 常にプロビジョニングした分の料金を支払う • オンデマンド (キャパシティ) モード • システムの書き込み・読み込みリクエストに応じて自動でキャパシティユニットを増減する • 発生した読み込み、書き込みに応じて支払う • ユーザーは「最大キャパシティユニット」を指定するだけ

Slide 22

Slide 22 text

22 DynamoDB とは - キャパシティモード • DynamoDB の Auto Scaling • プロビジョンドキャパシティユニットを Auto Scaling する

Slide 23

Slide 23 text

23 DynamoDB とは - キャパシティモード「えっそれってオンデマンドモードじゃないの？」似てるけどちょっと違う

Slide 24

Slide 24 text

24 DynamoDB とは - キャパシティモード • DynamoDB の Auto Scaling • プロビジョンドキャパシティユニットを Auto Scaling する • プロビジョンドモードの Auto Scaling では、ユーザーが「ターゲット使用率 (%)」を指定 • 消費されたキャパシティが設定したターゲット使用率を 2 分間連続して超過すると、自動スケーリングがトリガーされ、プロビジョンドキャパシティユニットが自動増加する • オンデマンドキャパシティモードよりユーザーがスケーリングを制御しやすい • 消費されたプロビジョンドスループットを 1 分間隔で CloudWatch に出力しているが、15 個の連続するデータポイントがターゲット使用率を下回ると、スケールダウンイベントが発生

Slide 25

Slide 25 text

25 DynamoDB とは - キャパシティモード • オンデマンドキャパシティモードだと突発的なバーストに耐えられないことがあるため、あらかじめプロビジョンドキャパシティを確保しておくなどの使い分けもあり DynamoDB オンデマンドキャパシティモード - Amazon DynamoDB

Slide 26

Slide 26 text

DynamoDB とは - パーティショニング

Slide 27

Slide 27 text

27 DynamoDB とは - パーティショニング • DynamoDB では大量データを高速処理するため、パーティショニングによる分散処理を行っている • 「パーティション」と呼ばれる分割された小さな領域（ストレージ）に、アイテムを分散して格納

Slide 28

Slide 28 text

28 DynamoDB とは - パーティショニング • DynamoDB に格納されたアイテムはパーティションキーによって決められたパーティションに分散して格納される • パーティションキーにハッシュ関数をかけたハッシュ値に基づいてアイテムが格納されるパーティションが決まる

Slide 29

Slide 29 text

29 DynamoDB とは（P13 再掲） • AWS で提供されているフルマネージドの NoSQL データベース • 1 つ、もしくは 2 つのキーで構成される Key-Value Store • 高速なレスポンス（1 桁ミリ秒単位） • データ量が増えても自動的にスケール • Key に使っているもの以外はスキーマレスなため柔軟なデータ構造を持つことができる • RDB のような複雑な結合操作はできない、検索が苦手

Slide 30

Slide 30 text

30 DynamoDB とは - パーティショニングハッシュ関数によって別々のパーティションにアイテムが分散されるパーティションをまたいだ検索をするには全体をフルスキャンするなどの非効率な方法をとるか、グローバルセカンダリインデックスを設定するなどの対応をしないといけない GSI はテーブルの読み込みとは別に課金が発生する

Slide 31

Slide 31 text

31 DynamoDB とは - パーティショニング • パーティション分割は AWS の内部的に行われるため、ユーザーが指定したり管理したりできない • つまり、パーティションをユーザーが増やしたり減らしたり、パーティション数を直接指定したりできない • 現在のパーティション数をユーザーが把握することはできないが、 2017 年の古い BlackBelt 資料 PDF 35 ページ以降にパーティション数の計算方法が記載されているため机上である程度割り出すことは可能 • 2017/08/09 AWS Black Belt Online Seminar 2017 Amazon DynamoDB

Slide 32

Slide 32 text

32 DynamoDB とは - パーティショニング「へー AWS 側で良しなにやってくれてるんだ。じゃあ別に計算とかしなくてもいいじゃん」

Slide 33

Slide 33 text

33 DynamoDB でパフォーマンスが出ない！ • Purpose Built Database • DynamoDB とは • DynamoDB でパフォーマンスが出ない！ • スロットリングの原因と対応策 • おわりに

Slide 34

Slide 34 text

DynamoDB でパフォーマンスが出ない！なんだか処理が遅いなぁ…

Slide 35

Slide 35 text

35 DynamoDB でパフォーマンスが出ない！ • 構成によって原因は様々考えられるが、DynamoDB としてはまずスロットリングが発生していないか確認する • スロットリング (throttling) とは • システムの過負荷や特定のアクセスによるリソース独占を回避するため、一定の制限値を超えた場合に意図的に性能を低下させたり、要求を一時的に拒否したりする制御のこと

Slide 36

Slide 36 text

36 DynamoDB でパフォーマンスが出ない！ • スロットリングの確認方法（CloudWatchメトリクス） • ThrottledRequests • スロットリングされたリクエストの総数。読み取り/書き込み両方を含む • ReadThrottleEvents • 読み取りキャパシティ不足でスロットリングされた回数。プロビジョニングした読み取り容量を超過 • WriteThrottleEvents • 書き込みキャパシティ不足でスロットリングされた回数。プロビジョニングした書き込み容量を超過 • ConsumedReadCapacityUnits • 実際に消費された読み取りキャパシティユニット(RCU)。プロビジョニング容量に対する使用量を確認可能 • ConsumedWriteCapacityUnits • 実際に消費された書き込みキャパシティユニット(WCU)。プロビジョニング容量に対する使用量を確認可能 CloudWatch メトリクスを使用したスロットリング問題の調査 - Amazon DynamoDB

Slide 37

Slide 37 text

37 DynamoDB でパフォーマンスが出ない！ • DynamoDB でスロットリングエラーを発生させてみた | DevelopersIO

Slide 38

Slide 38 text

38 DynamoDB でパフォーマンスが出ない！ • DynamoDB でスロットリングエラーを発生させてみた | DevelopersIO

Slide 39

Slide 39 text

39 DynamoDB でパフォーマンスが出ない！（余談） DynamoDB バーストキャパシティとアダプティブキャパシティ - Amazon DynamoDB • DynamoDB にはバーストキャパシティがある • 利用可能なスループットを使い切っていない場合、キャパシティの未使用分を最大 5 分 (300 秒) 蓄えておき、後のスループットのバースト（スパイク）時に消費することで対応する • テーブルに定義した 1 秒あたりのプロビジョンドスループットキャパシティよりも高速 • WCU や RCU を少し上回るくらいでは貯蓄された余剰キャパシティを消費することによりスロットリングは発生しないバーストキャパシティ DynamoDB

Slide 40

Slide 40 text

40 DynamoDB でパフォーマンスが出ない！（余談） DynamoDB バーストキャパシティとアダプティブキャパシティ - Amazon DynamoDB • DynamoDB にはバーストキャパシティがある • 利用可能なスループットを使い切っていない場合、キャパシティの未使用分を最大 5 分 (300 秒) 蓄えておき、後のスループットのバースト（スパイク）時に消費することで対応する • テーブルに定義した 1 秒あたりのプロビジョンドスループットキャパシティよりも高速 • WCU や RCU を少し上回るくらいでは貯蓄された余剰キャパシティを消費することによりスロットリングは発生しないバーストキャパシティバーストキャパシティ DynamoDB

Slide 41

Slide 41 text

41 DynamoDB でパフォーマンスが出ない！（余談） DynamoDB バーストキャパシティとアダプティブキャパシティ - Amazon DynamoDB • DynamoDB にはバーストキャパシティがある • 利用可能なスループットを使い切っていない場合、キャパシティの未使用分を最大 5 分 (300 秒) 蓄えておき、後のスループットのバースト（スパイク）時に消費することで対応する • テーブルに定義した 1 秒あたりのプロビジョンドスループットキャパシティよりも高速 • WCU や RCU を少し上回るくらいでは貯蓄された余剰キャパシティを消費することによりスロットリングは発生しないバーストキャパシティスパイク時に消費して対応 DynamoDB スパイク

Slide 42

Slide 42 text

42 スロットリングの原因と対応策 • Purpose Built Database • DynamoDB とは • DynamoDB でパフォーマンスが出ない！ • スロットリングの原因と対応策 • おわりに

Slide 43

Slide 43 text

スロットリングの原因と対応策

Slide 44

Slide 44 text

44 スロットリングの原因と対応策メトリクスからキャパシティが足りていないことが読み取れる場合

Slide 45

Slide 45 text

45 スロットリングの原因と対応策 • メトリクスからキャパシティが足りていないことが読み取れる場合 • キャパシティを追加することでスロットリングが解消するか確認する • 金で解決パターン

Slide 46

Slide 46 text

46 スロットリングの原因と対応策金ではなく、工夫で解決したい！

Slide 47

Slide 47 text

47 スロットリングの原因と対応策スロットリングしないように DynamoDB への書き込み・読み込みを調整する

Slide 48

Slide 48 text

48 スロットリングの原因と対応策 • 例えばいきなり DynamoDB に書き込むのではなく、 SQS を挟むなど

Slide 49

Slide 49 text

49 スロットリングの原因と対応策 • データ処理後、1 件 1 件削除している場合 • DynamoDB でデータを 1 件1 件削除するのは Bad Practic • 「DeleteItem」オペレーションは書き込みキャパシティを消費する • データの TTL が設定できるので自然に削除されるのを待つ（書き込みキャパシティを消費しない） • DynamoDB で有効期限 (TTL) を設定する | AWS re:Post • どうしても削除したい場合は DynamoDB の複数レコードをまとめて削除する BatchWriteItem API を利用して一気に削除する • 1 件ずつ削除するより性能が良くなる可能性あり • BatchWriteItem - Amazon DynamoDB

Slide 50

Slide 50 text

50 スロットリングの原因と対応策キャパシティは足りているのにスロットリングが発生している場合

Slide 51

Slide 51 text

51 スロットリングの原因と対応策 • 例えば、プロビジョンドキャパシティとして十分にキャパシティを確保しているのにスロットリングが記録されている

Slide 52

Slide 52 text

52 スロットリングの原因と対応策 • スループット (単位時間当たりの処理量) が 1 分あたりでは平均未満でも 1 秒あたりでは使用可能な量を超えている場合にスロットリングする可能性がある • 対応方法 • DynamoDB への書き込み・読み込み API 呼び出し時にエクスポネンシャルバックオフとジッターを実装するプロビジョンドモードのスロットリングの問題のトラブルシューティング - Amazon DynamoDB

Slide 53

Slide 53 text

53 スロットリングの原因と対応策 • Exponential Backoff（エクスポネンシャルバックオフ） • 待機時間を指数関数的に増やしていく • wait_time = base_delay * (2 ** retry) で retry を増やしていくなど Exponential Backoff And Jitter - AWS Architecture Blog DynamoDB うまくいかないリトライリトライリトライリトライ待ってくれ～ DynamoDB うまくいかないリトライ 2秒置くリトライ 4秒置くゆっくり処理できるリトライ 8秒置くリトライ 16秒置く：

Slide 54

Slide 54 text

54 スロットリングの原因と対応策 • Jitter（ジッター） • ランダム性を追加することでリトライタイミングを分散させる • max_wait_time = base_delay * (2 ** retry) で retry を増やしていく（エクスポネンシャルバックオフ） • wait_time = random.uniform(0, max_wait_time) のように 0 ～ max_wait_timeまでのランダムな値を生成 • リトライ回数が増えると max_wait_time が大きくなるため、ランダムに選ばれる待機時間も自動的に増加 Exponential Backoff And Jitter - AWS Architecture Blog DynamoDB 4秒 + ランダム秒数置いてリトライ同時ではなくバラバラにアクセスが来るので順番にゆっくり処理できる 4秒 + ランダム秒数置いてリトライ 4秒 + ランダム秒数置いてリトライ

Slide 55

Slide 55 text

55 スロットリングの原因と対応策（余談） • Boto3 の再実行ロジック • AWS SDK には実行時のエラーを受け取った際の再試行ロジックが最初から自動で実装されている • ユーザーが明示的にリトライロジックを組まなくても各リソースのデフォルトで設定された回数分はエクスポネンシャルバックオフによるリトライ処理が実施される • SDK for Python (Boto3) ではデフォルトで 5 回エクスポネンシャルバックオフによるリトライ処理が実施される • ジッターはデフォルトで含まれていないので、カスタムリトライロジックを実装する必要がある https://github.com/boto/botocore/blob/287fb2bbe32f11d449826344d4c6a21da6b1c9c5/botocore/data/_retry.json#L93 AWS SDK for Python (Boto3)のエラーの再試行について | DevelopersIO

Slide 56

Slide 56 text

56 スロットリングの原因と対応策パーティションで並列に分散処理されているのでは？

Slide 57

Slide 57 text

57 スロットリングの原因と対応策気にしなければいけない 2 点・ホットパーティション・パーティションあたりの最大トラフィック

Slide 58

Slide 58 text

58 スロットリングの原因と対応策 • 各パーティションの最大値は以下 • 1 つのパーティションが持てる最大 RCU：3000 • 1 つのパーティションが持てる最大 WCU：1000 • 1 つのパーティションの最大サイズ： 10 GB • 各パーティションのスループットは同じように分散され均等になっているパーティションキーを設計してワークロードを DynamoDB で分散する - Amazon DynamoDB Amazon DynamoDB のサービス、アカウント、およびテーブルのクォータ - パーティションキーおよびソートキー

Slide 59

Slide 59 text

59 スロットリングの原因と対応策 • ホットパーティション • パーティションの偏りによる性能劣化

Slide 60

Slide 60 text

60 スロットリングの原因と対応策 • ホットパーティションを防ぐため、データアクセスが均等に分散するようなキー設計が必要 • カーディナリティ（Cardinality） • 特定の集合や列に含まれる異なる値の数（種類の数）のこと • 例：「都道府県」という列があったとすると、カーディナリティは 47 種類 • キー設計をする際はカーディナリティを検討し、アクセスが均等に分散されるようにするパーティションキーを設計してワークロードを DynamoDB で分散する - Amazon DynamoDB

Slide 61

Slide 61 text

61 スロットリングの原因と対応策 • Contributor Insights • 特定のパーティションキーにアクセスが集中していないか確認できる DynamoDB運用者必見！！頻繁にアクセスされるキーが見やすくなりました！ | DevelopersIO CloudWatch Contributor Insights for DynamoDB を使用してデータアクセスを分析する - Amazon DynamoDB

Slide 62

Slide 62 text

62 スロットリングの原因と対応策 • パーティションは増えるが、減らない • ※ドキュメントに記載が見当たらないので見つけたら教えてください • 例えば… • 一時的に大きなサイズの大量データを書き込むと、パーティションが増える • その後データを削除しても、パーティションは減らず、一つ一つのパーティションのスループットが下がる • データ移行や負荷試験などで一時的に大量のデータを書き込んで削除したり、プロビジョンドキャパシティを大きく増やしてから減らしたりした際、スループットが落ちたように感じたらこれが原因かも • 基本的には「キャパシティの追加」か「テーブルの作り直し」で対処 AWS Black Belt Online Seminar 2017 Amazon DynamoDB

Slide 63

Slide 63 text

63 スロットリングの原因と対応策

Slide 64

Slide 64 text

64 スロットリングの原因と対応策（余談） • アダプティブキャパシティ • ホットパーティションに他のパーティションの余った WCU を集める DynamoDB バーストキャパシティとアダプティブキャパシティ - Amazon DynamoDB

Slide 65

Slide 65 text

65 おわりに • Purpose Built Database • DynamoDB とは • DynamoDB でパフォーマンスが出ない！ • スロットリングの原因と対応策 • おわりに

Slide 66

Slide 66 text

おわりに

Slide 67

Slide 67 text

67 おわりに • AWS で提供されているフルマネージドの NoSQL データベース • 1 つ、もしくは 2 つのキーで構成される Key-Value Store • DynamoDB でパフォーマンスが出ない場合はまずスロットリングが発生していないか確認する • キャパシティが足りているか足りていないかで対応方法を検討 • パーティションの仕組みを把握しておくと良い • 一気に処理するとスロットリングが発生しがちなのでなるべく処理を穏やかにする • エクスポネンシャルバックオフやジッターで工夫する • 書き切れなかった機能や仕様がまだまだあるのでまたの機会に！

Slide 68

Slide 68 text

68 おわりに • 参考 • DynamoDBを使ってみませんか？ #cm_odyssey - YouTube • Purpose-built Database へのいざない • DynamoDB のキャパシティユニット、テーブル構造、パーティション分割について図解でおさらい | DevelopersIO