Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Performance Insights アップデート
Search
hmatsu47
PRO
July 11, 2023
Technology
0
200
Performance Insights アップデート
JAWS-UG 名古屋 オブザーバビリティ for AWS 2023/7/11
hmatsu47
PRO
July 11, 2023
Tweet
Share
More Decks by hmatsu47
See All by hmatsu47
大人の社会科見学 ~ NTT 技術史料館に行ってみよう!
hmatsu47
PRO
0
260
pgvector 0.6.0 以降の進化についてざっくり取り上げてみる
hmatsu47
PRO
0
21
Cloudflare Workes からMySQL 系 DB への接続事情(2024/4 現在)
hmatsu47
PRO
0
45
BuriKaigi2024 にボランティアスタッフとして参加した話
hmatsu47
PRO
0
62
Aurora MySQL と Redshift の zero-ETL 統合のフィルター機能を試してみた
hmatsu47
PRO
0
82
Aurora MySQL 3.06 の ML 機能で Bedrock アクセスを試してみた
hmatsu47
PRO
0
68
RDS Data API と Aurora zero-ETL 統合と BuriKaigi2024 の話
hmatsu47
PRO
0
32
RDS Data API のその後と Aurora zero-ETL 統合のデータ転送処理の話
hmatsu47
PRO
0
81
RDS_Aurora 関連アップデート 2023 版
hmatsu47
PRO
0
82
Other Decks in Technology
See All in Technology
Classmethod Odyssey 登壇資料
yamahiro
0
390
AutomatedLabを使って内部ペンテストを勉強しよう! -やられ社内ネットワークの自動構築-
n_etupirka
1
610
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
270
AWSでRAGを作る法方
sonoda_mj
1
140
Classmethod流のPlatform Engineering / classmethod-platform-engineering-devio2024
tomoki10
0
470
ゆめみのアクセシビリティの現在地と今後
ryokatsuse
3
290
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
160
運用改善、不都合な真実 / 20240722-ssmjp-kaizen
opelab
17
8k
[2024最新版]AWS Control Towerを使ったセキュアなマルチアカウント環境の作り方
hiashisan
0
270
サーバーレスAPI(API Gateway+Lambda)とNext.jsで 個人ブログを作ろう!
shuntaka
PRO
0
560
Featured
See All Featured
The Brand Is Dead. Long Live the Brand.
mthomps
52
36k
The Illustrated Children's Guide to Kubernetes
chrisshort
39
47k
How to Ace a Technical Interview
jacobian
274
23k
Building Your Own Lightsaber
phodgson
101
5.9k
Optimizing for Happiness
mojombo
373
69k
The Mythical Team-Month
searls
217
43k
Gamification - CAS2011
davidbonilla
78
4.9k
Docker and Python
trallard
37
2.9k
Scaling GitHub
holman
458
140k
GitHub's CSS Performance
jonrohan
1026
450k
Unsuck your backbone
ammeep
666
57k
Atom: Resistance is Futile
akmur
261
25k
Transcript
Performance Insights アップデート JAWS-UG 名古屋 オブザーバビリティ for AWS 2023/7/11 まつひさ(hmatsu47)
自己紹介…は書く時間がなかったのでスキップ 松久裕保(@hmatsu47) • https://qiita.com/hmatsu47 2
本日のネタは • Performance Inshghts 2022・2023 年のアップデート ◦ DevOps Guru for
RDS の有効化が簡単に(2022/6) ◦ 履歴の保持期間を細かく選べるように(2022/7) ◦ トップ SQL の表示が最大 10 件→ 25 件に(2022/9) ◦ CloudWatch メトリクスとの統合ビューをサポート(2023/5) 3
本日のネタは • Performance Inshghts 2022・2023 年のアップデート ◦ DevOps Guru for
RDS の有効化が簡単に(2022/6)←説明対象外 ◦ 履歴の保持期間を細かく選べるように(2022/7) ◦ トップ SQL の表示が最大 10 件→ 25 件に(2022/9) ◦ CloudWatch メトリクスとの統合ビューをサポート(2023/5) 4 2023/3 に Aurora MySQL / PostgreSQL で予測的インサイトをサポートした のですが、こちらも今回は説明対象外です。 https://aws.amazon.com/jp/about-aws/whats-new/2023/03/amazon-devops-guru-rds-proactive-insights/
おことわり • 直前に LT 枠に移動して突貫で資料を作ったので ◦ 使い回しが多い&詰めが甘いと思いますがご容赦ください ◦ 運営の方も慌てたようで…? •
わたしが資料を作り始めたとき、内容欄には謎の「理央」が? →作り終わった頃には↓のとおり直っていました 5
Performance Insights のおさらい • RDS / Aurora のパフォーマンス分析・モニタリング機能 ◦ RDS
/ Aurora の負荷とその内訳(など)を示す ◦ 過去に 2 回 JAWS-UG 名古屋でも解説 https://speakerdeck.com/hmatsu47/aurorapahuomansuinsaitowoshi-tutemiru(2021/1) https://speakerdeck.com/hmatsu47/rds-aurorapahuomansuinsaitofalsedetawoathenatoquicksi ghtdejian-ru(2021/5) 6
表示される項目(従来ビュー) • カウンターメトリクス ◦ 性能に関係するカウンター値を個別にグラフ表示 • データベース負荷 ◦ 負荷の高さと内訳をグラフ表示 •
トップ待機・トップ SQL など ◦ 負荷の大きな項目(上位から降順で表示) 7
表示される項目(新ビュー) • データベース負荷 ◦ 負荷の高さと内訳をグラフ表示 • トップ待機・トップ SQL など(ディメンション) ◦
負荷の大きな項目(上位から降順で表示) • メトリクスダッシュボード ◦ CloudWatch メトリクス(固定項目 / カスタムダッシュボード) ▪ カウンターメトリクスはこちらの「カスタムダッシュボード」に統合 8
新ビューで表示するには • 上(新規)を選択 9
新ビューで表示してみる • 保持階層 ?? 10
新ビューで表示してみる • 保持期間の選択肢のことだった https://aws.amazon.com/jp/about-aws/whats-new/2022/07/amaz on-rds-performance-insights-additional-performance-history-rete ntion-periods/ 11
データベース負荷(おさらい) 12
データベース負荷(おさらい) • 合計:単位時間あたり平均コネクション数 • 内訳:待機イベント毎の所要時間 ◦ 上位 9 個(※)+ CPU
時間(緑)で計 10 個 (※)「上位 9 個」は選択期間内における上位 9 個 ◦ 正規化した SQL(文)上位 10 個の待機イベント内訳も表示可能 ▪ SQL(文)正規化 ≠ DB(テーブル)正規化 ▪ 空白・クォート等を揃え、 パラメータを「?」に置き換え • トークン化 13
データベース負荷(おさらい) • 合計:単位時間あたり平均コネクション数 • 内訳:待機イベント毎の所要時間 ◦ 上位 9 個(※)+ CPU
時間(緑)で計 10 個 (※)「上位 9 個」は選択期間内における上位 9 個 ◦ 正規化した SQL(文)上位 10 個の待機イベント内訳も表示可能 ▪ SQL(文)正規化 ≠ DB(テーブル)正規化 ▪ 空白・クォート等を揃え、 パラメータを「?」に置き換え • トークン化 14
データベース負荷(アップデート後) • 合計:単位時間あたり平均コネクション数 • 内訳:待機イベント毎の所要時間 ◦ 上位 9 個(※)+ CPU
時間(緑)で計 10 個 (※)「上位 9 個」は選択期間内における上位 9 個 ◦ 正規化した SQL(文)上位 25 個の待機イベント内訳も表示可能 ▪ SQL(文)正規化 ≠ DB(テーブル)正規化 ▪ 空白・クォート等を揃え、 パラメータを「?」に置き換え • トークン化 15 増えた
待機イベント(おさらい) 16 時間が掛かる処理 • ログの書き出し ◦ MySQL の場合バイナリログもある • なんらかのロック・mutex(排他制御の待ち時間)
• データの書き出し • データの読み取り(ストレージから>メモリから) • クライアントの接続
その他 • DevOps Guru for RDS(2021/12 ~) ◦ 機械学習を利用して性能および運用の問題を自動検出・診断 ◦
Aurora MySQL / PostgreSQL と RDS for PostgreSQL に対応 ▪ RDS for MySQL には現時点で非対応 ※今回は説明しません ▪ うっかり RDS for MySQL で検証を進めてしまったので… 17
問題点(おさらい) • 選択期間内の上位 10 件 ≠ 対象時間の上位 10 件の場合 (※)待機イベントの場合は
CPU を含めて 10 件 ◦ 一部の待機イベント・SQL(文)が漏れる ◦ 合計値が本来より低くなる ▪ 一般的なワークロードでは SQL(文)が数十種類以上になるはず • 待機別よりも SQL 別のスライスのほうが実際の合計値から乖離しやすい 18
問題点(おさらい) • 選択期間内の上位 10 件 ≠ 対象時間の上位 10 件の場合 (※)待機イベントの場合は
CPU を含めて 10 件 ◦ 一部の待機イベント・SQL(文)が漏れる ◦ 合計値が本来より低くなる ▪ 一般的なワークロードでは SQL(文)が数十種類以上になるはず • 待機別よりも SQL 別のスライスのほうが実際の合計値から乖離しやすい 19
問題点(アップデート後) • 選択期間内の上位 10 件 ≠ 対象時間の上位 10 件の場合 (※)待機イベントの場合は
CPU を含めて 10 件 ◦ 一部の待機イベント・SQL(文)が漏れる ◦ 合計値が本来より低くなる ▪ 一般的なワークロードでは SQL(文)が数十種類以上になるはず • 2022/9 のアップデートで SQL(文)は 25 件に https://aws.amazon.com/jp/about-aws/whats-new/2022/09/amazon-rds-performance-insights-d isplaying-top-25-sql-queries/ 20
トップ SQL 21
メトリクスダッシュボード(固定項目) 22 https://aws.amazon.com/jp/about-aws/whats-new/2023/05/amazon-rds-performan ce-insights-enhanced-console/
メトリクスダッシュボード(カスタムダッシュボード) 23
デモ(時間があれば) 24
まとめ • 履歴が 1 週間・2 年以外にも選択可能に ◦ 1 ヶ月から 24
ヶ月まで 1 ヶ月単位で選択可能 • トップ SQL の表示が最大 25 件に増加 ◦ 負荷の表示がより正確に • CloudWatch メトリクスとの統合ビューが利用可能に ◦ 1 つの画面の中で確認しやすくなった 25