Tech Night#73 データベース管理者に向けた OCIのデータベース運用監視サービス活用入門

2023年11月30日実施
Oracle Database Technology Night #73 データベース管理者に向けたOCIのデータベース運用監視サービス活用入門で使用した資料です。

1.はじめに
・本セミナーの目的
・Oracle Databaseの一般的な監視要件と対応するツール
2.OCIが提供する運用監視サービスOracle Cloud Observability and Managementの概要
3.Oracle Cloud Observability and Managementを利用したBaseDB・ExaDB-Dの監視
4.各サービスのご紹介とデモ
・リソース・パフォーマンス監視サービス
・キャパシティプランニングやリソースの需要予測サービス
・ログ分析サービス
5.概算費用
6.まとめ

動画はこちら
https://youtu.be/jfsaDmFhVeY

Transcript

1. データベース管理者に向けた OCIのデータベース運⽤監視サービス活⽤⼊⾨ 2023年11⽉30⽇ ⽇本オラクル株式会社 クラウドエンジニアリング統括 COE本部 セキュリティ&マネージメント ソリューション部 進藤 航
2. Agenda Copyright © 2023, Oracle and/or its affiliates. All rights reserved 2 1. はじめに • 本セミナーの⽬的 • Oracle Databaseの⼀般的な監視要件と対応するツール 2. OCIが提供する運⽤監視サービスOracle Cloud Observability and Managementの概要 3. Oracle Cloud Observability and Managementを利⽤したBaseDB・ExaDB-Dの監視 4. 各サービスのご紹介とデモ • リソース・パフォーマンス監視サービス • キャパシティプランニングやリソースの需要予測サービス • ログ分析サービス 5. 概算費⽤ 6. まとめ
3. はじめに Copyright © 2023, Oracle and/or its affiliates. All rights reserved 3 BaseDB、ExaDB-Dをすでにご利⽤またはこれから利⽤するデータベース管理者がOCIが提供する運⽤監 視サービスを選択肢の1つとしていただく • OCIが提供するデータベース運⽤監視サービスの概要と下記機能を理解する Ø リソース・パフォーマンス監視 Ø リソース需要予測 Ø ログ分析 • OCIが提供するデータベース運⽤監視サービスの活⽤⽅法を理解する 本セミナーの⽬的
4. Oracle Databaseの⼀般的な監視要件と対応するツール 4 はじめに 多様なツールと監視⼿法 • Oracle Enterprise Manager （Diagnostics Pack/Tuning Pack等） • サードパーティ・ツール Ø Hinemos Ø Zabbix Ø Systemwalker • SQL Developer • スクリプト・SQLによるカスタム監視 etc Copyright © 2023, Oracle and/or its affiliates. All rights reserved リソース・死活監視 • メトリック（CPU、メモリ等）の監視 • 表領域の使⽤率 パフォーマンス監視 • 待機イベントやセッションの監視 • SQL監視・分析 ログ監視 • DB関連ログ（リスナー、アラート等） • ホスト関連ログ（Syslog、Secure等） Database 監視要件に応じて使いわけ
5. Oracle Cloud Observability and Management Platform 5 n OCIに最適化された運⽤管理プラット・フォーム すべての監視データを可視化し、シームレスに連携 リソースの稼働状況やアクセスログは常時モニタリングし 異常を素早く検知するフレームワーク アプリケーションやデータベースのパフォーマンス改善を 様々なインフラスタックの観点からアドバイス リモートワークに最適な接続の容易性と厳格な認証 マルチクラウド、オンプレミスのリソース監視へ拡張可能 n 最先端のテクノロジー 機械学習を⽤いたログ分析、将来必要となるリソースの 需要予測などのイノベーティブな機能を提供 n オープン・スタンダート クラウド・ネイティブに準拠し、OpenTracingやFluentd等の オープンな技術を採⽤、既存ツールとの相互運⽤性を向上 Monitoring Notifications Events Functions OS Management Streaming Logging Logging Analytics Application Performance Monitoring Database Management Operations Insights Service Connector Hub + Observability & Management サービス Platform サービス Copyright © 2023, Oracle and/or its affiliates. All rights reserved
6. Logging Logging Analytics Application Performance Monitoring Database Management Operations Insights Service Connector Hub 監査ログやネットワーク、ストレージ・ログ などのOCIサービスに関するログ管理 様々な種類のログを集約し、機械学習 を⽤いた⾼度な分析とビジュアライズ Loggingのログを別のサービスに 転送するサービス連携基盤 Javaアプリケーションやマイクロサービスの のパフォーマンス分析 オンプレミス、クラウドのOracle DBの リソース監視、パフォーマンス分析 OSやDBのキャパシティプランニングや リソースの需要予測 Monitoring Events Notifications Streaming OS Management Functions コンピュート、ネットワークなど各OCIリソー スの状態を監視するメトリックを管理 メール、SMS、Slack等のアラート メッセージを発信 クラウド上のリソースの変化を捉え、検知 した内容に応じたアクションの実⾏ インフラストラクチャを必要としない サーバーレスなアプリケーション実⾏環境 ⼤量のデータストリームを処理するフルマ ネージドな分散メッセージング基盤 ＯS上で稼働するアプリケーションの ワークロードの管理やリソース監視 6 Observability & Management サービス Platform サービス Oracle Cloud Observability and Management Platform Copyright © 2023, Oracle and/or its affiliates. All rights reserved
7. 7 O&Mを利⽤したBaseDB、ExaDB-Dの監視 Copyright © 2023, Oracle and/or its affiliates. All rights reserved Logging Analytics Database Management Operations Insights • 多様なツールを使い分ける必要無し • 監視要件に幅広く対応 Observability & Management Monitoring リソース・死活監視 • メトリック（CPU、メモリ等）の監視 • 表領域の使⽤率 パフォーマンス監視 • 待機イベントの内訳、セッションの監視 • SQL監視・分析 ログ監視 • DB関連ログ（リスナー、アラート等） • ホスト関連ログ（Syslog、Secure等） Database
8. O&Mを利⽤したBaseDB、ExaDB-Dの監視 8 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 定義済み監視テンプレートを使⽤し ⼈依存による運⽤監視からの脱却 運⽤者の知⾒をもとに⾏っていた作業を機械 学習が実装されたツールを使⽤することでより ⾼度な分析が可能 データベース運⽤管理に必要な要素の 監視統合プラットフォームとして利⽤可能 メトリック監視、リソース監視、パフォーマンス分析、 ログ監視を統合し、各監視サービスを横断的に利 ⽤した⾼度な運⽤管理を実現 データベースの運⽤監視SaaS データベース内の情報をリアルタイムに監視 過去の情報も随時蓄積 直接データベースにアクセスすることなく、 Webブラウザから監視、分析が可能 Database Management Logging Analytics Operations Insights Monitoring
9. 9 リソース・パフォーマンス監視 Copyright © 2023, Oracle and/or its affiliates. All rights reserved - Monitoring 、 Database Management -
10. BaseDB、 ExaDB-Dのメトリック監視はMonitoring、Database Managementの利⽤が可能 リソース（メトリック）監視サービス 10 Copyright © 2023, Oracle and/or its affiliates. All rights reserved Monitoring 、 Database Management Database Management Monitoring メトリック（CPU、メモリ等）の監視 Database
11. 2つの管理オプション • 対象機能 - メトリック監視 - フリートサマリー(DB Managementの専⽤コンソール)上で 複数のデータベースに対して以下の監視や管理機能を提供 - Basicのパフォーマンス・ハブ ※1 、 - アラート・ログ、AWRエクスプローラー ※1 - SQLチューニング・アドバイザー、オプティマイザ統計 ※1 - 表領域やデータベース・パラメータの監視 - ジョブの実⾏ • 対象データベース - BaseDB(CDB/PDB) , ExaDB-D(CDB/PDB) - オンプレミスのOracle DB、Exadata、DB on OCI/他社クラウド - Autonomous DBの場合、フリートサマリのみが使⽤可 ※1は、Oracle DB Enterprise Edition 12.2以上が必要 • 有償 • 対象機能 - メトリック監視 - CPU Utilization - Storage Utilization - Execute Count…(20種類以上） - パフォーマンス・ハブ（ASH分析、SQLモニタリング） ※上記機能は、ADBやBaseDB等の詳細コンソール内の⼀部として 提供される。フリートサマリーには表⽰されない • 対象データベース - Autonomous DB - BaseDB(CDBのみ) , ExaDB-D(CDBのみ) ※PDBは、稼働するCDBをFull Managementにする必要がある パフォーマンス・ハブは、 BaseDB EE以上 • 無償 Database Management 11 Full Management Basic Management Copyright © 2023, Oracle and/or its affiliates. All rights reserved
12. BaseDBやExaDB-Dの各サービスの性能や状態を表すメトリックを収集・監視 CDBのメトリック監視は無償 PDBのメトリック監視は有償（Database Managementの完全管理が必要） 主要なメトリックは、コンソールにメトリック・チャートとして表⽰ メトリック・エクスプローラーによる詳細なメトリック分析 ユーザー⾃⾝によるカスタム・メトリックの作成 メトリックの保持期間は90⽇間 - 90⽇を超える保存には、Object StorageやLogging Analyticsと連携 することで対応可能 メトリックに対してアラームを作成可能 Monitoring 12 METRICS ALARMS CPU: 80 CPU: 90 CPU: 40 CPU: 50 Oracle Cloud Infrastructure Console Customer Monitoring Tool Monitoring Alarms Notifications Alarms Copyright © 2023, Oracle and/or its affiliates. All rights reserved Database
13. BaseDB、 ExaDB-Dのメトリック監視はMonitoring、Database Managementの利⽤が可能 リソース（メトリック）監視サービスの⽐較 13 Copyright © 2023, Oracle and/or its affiliates. All rights reserved Monitoring Database Management （完全管理︓有償） + Monitoring Database Management （基本管理︓無償） Database Management （完全管理︓有償） ⭕ ⭕ ⭕ ⭕ ❌ ⭕ ❌ ⭕ サービス 監視対象
14. BaseDBやExaDB-Dの各サービスの性能や状態を表すメトリックを収集・監視 CDBのメトリック監視は無償 PDBのメトリック監視は有償（Database Managementの完全管理が必要） 主要なメトリックは、コンソールにメトリック・チャートとして表⽰ メトリック・エクスプローラーによる詳細なメトリック分析 ユーザー⾃⾝によるカスタム・メトリックの作成 メトリックの保持期間は90⽇間 - 90⽇を超える保存には、Object StorageやLogging Analyticsと連携 することで対応可能 メトリックに対してアラームを作成可能 Monitoring 14 METRICS ALARMS CPU: 80 CPU: 90 CPU: 40 CPU: 50 Oracle Cloud Infrastructure Console Customer Monitoring Tool Monitoring Alarms Notifications Alarms Copyright © 2023, Oracle and/or its affiliates. All rights reserved Database
15. メトリック・チャート メトリックとは、各リソースのヘルス状態、キャパシティ、性能についての測定値 Base-DB、ExaDB-Dで確認することのできるメトリック • oci_database メトリック - CPU使⽤率,ストレージの使⽤状況 - DBブロック変更,実⾏数 - 現在のログオン, 解析件 - トランザクション件数,ユーザー・コール - 使⽤済みストレージ領域,割り当て済みストレージ領域 • oci_database_cluster メトリック - CPU使⽤率,メモリーの使⽤率 - スワップ使⽤率, ASMディスク・グループ使⽤率 - ロード平均, ノードステータス チャートにないメトリック、メトリック値のフィルタやグルーピングなど 問い合わせ内容をカスタマイズする場合は、メトリック・エクスプローラー を利⽤ Monitoring 15 メトリック・チャート Copyright © 2023, Oracle and/or its affiliates. All rights reserved
16. メトリック・エクスプローラー Monitoring 16 Copyright © 2023, Oracle and/or its affiliates. All rights reserved GUI操作で詳細なメトリック検索と分析が可能 問い合わせエディタにクエリーを記述して検索も可能 問い合わせ GUI操作で条件を指定 直接コマンド編集も可能 問い合わせ結果の表⽰ GUI操作に連動して⾃動⽣成 表形式でも表⽰可能 （例）metric[interval]{dimensionname=“dimensionvalue”}.groupingfunction.statistic
17. カスタム・メトリック OCIで⽤意されている以外のメトリックを監視したい場合、ユーザー独⾃のメトリックとして Monitoringに追加し監視することが可能 - REST API, SDK, CLI等で作成したカスタム・メトリック値を定期的にMonitoringにPost (最⼩頻度: 1秒、最⼩集計間隔: 1分） Monitoring <略> #OCIへの接続情報 . for proc in psutil.process_iter(）: try: if "vmstat" in proc.exe(）: existvalue = 1 except psutil.AccessDenied: pass dt_now = datetime.datetime.now(timezone('UTCʼ）） . <略> #OCIテナンシ情報 post_metric_data_response = monitoring_client.post_metric_data( post_metric_data_details=oci.monitoring.models.PostMetricDataDetails( metric_data=[ oci.monitoring.models.MetricDataDetails( namespace="osprocess", compartment_id="ocid1.compartment.oc1..aaaaaaaa6itxxxxxxxxxxx", name="process001", dimensions={ 'serverid': 'testsrv001ʼ}, datapoints=[ oci.monitoring.models.Datapoint( timestamp=datetime.datetime.strftime( dt_now,"%Y-%m-%dT%H:%M:%S.%fZ"）, value=existvalue）] ）] ... ） Python SDKを使⽤したサンプルコード 稼働するプロセスやサービス を OS コ マ ン ド で 取 り 出 し メトリック値とする Monitoringを実施する コンパートメント名や、 作成するメトリック名、 ディメンションなどを指定 17 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
18. アラーム Monitoring 18 リソースのメトリック値にトリガールール(しきい値)を設定することで 管理者に通知、もしくは特定のアクションを⾃動実⾏ 通知には、 Notificationsサービスを使⽤ 選択可能なサブスクリプション - 電⼦メール, SMS, Slack - HTTPS(カスタムURL), PagerDuty - Functionの実⾏ CPUのしきい値 60%を超える 場合にアラームを発⽣させる Notifications 例）データベースのCPU使⽤率が60%超過した場合、 - Notificationsと連携し、Eメールにて通知 -（応⽤編） Functionsを呼出し、 データベースのシェイプを変更 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
19. オンプレミスやクラウド上にあるOracle Databaseの稼働状況を ⼀元的に管理する統合ビュー メトリック監視（CPU、メモリ、I/O、表領域などのリソース使⽤率） 多⾓的なパフォーマンス分析 - リアルタイムSQLモニタリング - ASH分析、実⾏計画、ブロッキングセッション検出 - チューニング・アドバイザによるSQLパフォーマンス改善 AWRエクスプローラーによるパフォーマンスデータの視覚化 ユーザー、データベース・パラメータ、表領域の監視 SQLジョブのスケジュール実⾏管理 監視可能データベース︓ - BaseDB, ExaDB-D, Autonomous DB, Oracle DB on IaaS - オンプレミスの Oracle DB, Exadata 対象のDBバージョン︓ - Oracle Database 11.2.0.4以上 (SEの場合は⼀部機能制限あり) Database Management 19 Cloud@Customer Public Cloud On-Premises Database Management Copyright © 2023, Oracle and/or its affiliates. All rights reserved
20. 2つの管理オプション • 対象機能 - メトリック監視 - フリートサマリー(DB Managementの専⽤コンソール)上で 複数のデータベースに対して以下の監視や管理機能を提供 - Basicのパフォーマンス・ハブ ※1 、 - アラート・ログ、AWRエクスプローラー ※1 - SQLチューニング・アドバイザー、オプティマイザ統計 ※1 - 表領域やデータベース・パラメータの監視 - ジョブの実⾏ • 対象データベース - BaseDB(CDB/PDB) , ExaDB-D(CDB/PDB) - オンプレミスのOracle DB、Exadata、DB on OCI/他社クラウド - Autonomous DBの場合、フリートサマーリのみが使⽤可 ※1は、Oracle DB Enterprise Edition 12.2以上が必要 • 有償 • 対象機能 - メトリック監視 - CPU Utilization - Storage Utilization - Execute Count…(20種類以上） - パフォーマンス・ハブ（ASH分析、SQLモニタリング） ※上記機能は、ADBやBaseDB等の詳細コンソール内の⼀部として 提供される。フリートサマリーには表⽰されない • 対象データベース - Autonomous DB - BaseDB(CDBのみ) , ExaDB-D(CDBのみ) ※PDBは、稼働するCDBをFull Managementにする必要がある パフォーマンス・ハブは、 BaseDB EE以上 • 無償 Database Management 20 Full Management Basic Management Copyright © 2023, Oracle and/or its affiliates. All rights reserved
21. パフォーマンスハブ︓ Active Session History分析 グラフによるセッション情報の可視化、セッション情報から DBで発⽣している問題を特定 • Active Session History(ASH)は、データベースへの アクティブなセッション情報を毎秒サンプリング • 特定のジョブまたはセッションが応答しないがインスタンス の他の部分は通常どおりに動作している場合など、 発⽣期間が短い⼀時的なパフォーマンスの問題を解決 • AWRの上位には出てこない短時間で完了するSQLの 検索が可能 • 時間、セッション、モジュール、アクション、SQL IDなど 様々なディメンションによる分析 • 対象のデータベースはEE 12.2以上が必要 Database Management 21 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
22. フリート・サマリー 管理下にある全てのDBのステータスを⼀⽬で確認 Database Management 22 フリート・サマリーは、 オンプレミス、クラウド上で管理している データベース全体の稼働状況や、アラート等の問題を表⽰ さらに個々のデータベースのCPU,メモリ,I/O等の リソース、表領域使⽤率など状態を表⽰ Copyright © 2023, Oracle and/or its affiliates. All rights reserved
23. パフォーマンスハブ︓リアルタイムSQLモニタリング データベースで実⾏されている全てのSQLの詳細、パフォーマンスを可視化 Database Management 23 ⼤量のリソースを消費する⻑時間実⾏SQLやパラレルSQLに 起因する実⾏時のパフォーマンス問題などを効果的に特定 SQLに対して最適なチューニング戦略の策定を⽀援 統計情報は、経過時間、CPU時間、読取りと書込みの 回数、I/O待機時間、その他の各種待機時間などの主要な パフォーマンス指標ごとに、実⾏計画の各ステップで追跡される Copyright © 2023, Oracle and/or its affiliates. All rights reserved
24. SQLチューニング・アドバイザ パフォーマンスが最適ではないSQLを特定し 改善⽅法を明確な根拠に基づいてアドバイス アドバイスされた内容の実装を判断するために必要な 実⾏計画やコスト、ベネフィット率が明⽰化される 推奨事項として提供される項⽬ - オブジェクト統計の収集 - 索引の作成 - SQL⽂のリライト - SQLプロファイルの作成 - SQL計画ベースラインの作成 ASHからチューニング対象のSQLを選択し実⾏ データベースの⾃動メンテナンス・タスクを有効化すれば 夜間のメンテナンス・ウィンドウ期間にSQLチューニング アドバイザが⾃動実⾏ 対象のデータベースはEE 12.2以上が必要 Database Management 24 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
25. ExadataのFlash I/OやDisk I/Oといったハードウェアリ ソースに関する情報を提供 サーバ・モデルやディスク・ステータスなどの構成確認 Exadataシステムにデプロイされた複数のデータベースの パフォーマンス特性を分析 I/Oの⾼い負荷を特定し、その負荷をバックアップ、リバラ ンス、ユーザーI/Oなどのものとして分類 サーバ・モデルやディスク・ステータスなどの構成確認 Database Management Copyright © 2023, Oracle and/or its affiliates. All rights reserved 25 パフォーマンスハブ︓Exadata
26. 26 デモ Copyright © 2023, Oracle and/or its affiliates. All rights reserved
27. 今回のデモ環境 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 27 Monitoring OCI上のデータベース VCN Subnet Exa DB-D Base DB • メトリック・チャート、 メトリック・エクスプローラのご紹介 • アラート機能
28. 今回のデモ環境 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 28 Monitoring OCI上のデータベース VCN Subnet Exa DB-D Base DB Private Endpoint Database Management • 設定⽅法 • 各種機能紹介 • リアルタイムSQLモニタリングによる パフォーマンスチューニング
29. 29 Database ManagementのリアルタイムSQLモニタリング を利⽤したSQLパフォーマンスのチューニング Copyright © 2023, Oracle and/or its affiliates. All rights reserved
30. 概要 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 30 1. I / Oに負荷をかけるSQL⽂を実⾏ 2. Database ManagementのリアルタイムSQLモニタリングからSQL⽂のボトルネックを特定 3. Oracle Databaseの機能（パーティション化、表圧縮）を活⽤して、SQL⽂のボトルネックを解消 4. SQL⽂のパフォーマンスがどのように変化をしたかDatabase Managementで確認
31. 実⾏環境 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 31 Oracle Cloud Infrastructure エディション︓Enterprise Edition High Performance シェイプ︓VM.Standard2.16 OCPU コア数︓16 メモリ︓240GB [19.20] Database Database Management
32. 作成したスキーマ Copyright © 2023, Oracle and/or its affiliates. All rights reserved 32 • サンプルスキーマとして提供されているSH（Sales History）スキーマがベース • 年、四半期、⽉、週ごとの売り上げを製品別に記録 • このスキーマを対象にクエリ（SELECT⽂）を実⾏
33. チューニング対象のSQL⽂ Copyright © 2023, Oracle and/or its affiliates. All rights reserved 33 WITH /*+MONITOR */ DUMMY_SALES AS ( select * from (select 0 from CHANNELS ) D1, sales D2), SACOMMON1340 AS ( select sum(T220.AMOUNT_SOLD) as c1, sum(T220.QUANTITY_SOLD) as c2, T147.CHANNEL_CLASS as c3, T228.CALENDAR_QUARTER_DESC as c4, T228.CALENDAR_YEAR as c5, T185.PROD_CATEGORY as c6 from CHANNELS T147, PRODUCTS T185, DUMMY_SALES T220, TIMES T228 where ( T220.TIME_ID < to_date('2014/01/01','YYYY/MM/DD') and T228.TIME_ID = T220.TIME_ID and T147.CHANNEL_ID = T220.CHANNEL_ID and T185.PROD_ID = T220.PROD_ID) group by T147.CHANNEL_CLASS, T185.PROD_CATEGORY, T228.CALENDAR_QUARTER_DESC, T228.CALENDAR_YEAR), SAWITH0 AS ( select distinct 0 as c1, D1.c3 as c2, D1.c4 as c3, D1.c5 as c4, D1.c6 as c5, D1.c2 as c6, D1.c1 as c7, cast(NULL as DOUBLE PRECISION ) as c8 from SACOMMON1340 D1), SAWITH1 AS ( select D1.c1 as c1, D1.c2 as c2, D1.c3 as c3, D1.c4 as c4, D1.c5 as c5, D1.c6 as c6, D1.c7 as c7, D1.c8 as c8, sum(D1.c7) as c9 from SAWITH0 D1 group by D1.c1, D1.c2, D1.c3, D1.c4, D1.c5, D1.c6, D1.c7, D1.c8), SAWITH2 AS ( select distinct 1 as c1, D1.c3 as c2, D1.c4 as c3, D1.c5 as c4, D1.c6 as c5, D1.c2 as c6, D1.c1 as c7 from SACOMMON1340 D1), SAWITH3 AS ( select D1.c1 as c1, D1.c2 as c2, D1.c3 as c3, D1.c4 as c4, D1.c5 as c5, D1.c6 as c6, D1.c7 as c7, sum(D1.c6) as c8, sum(D1.c7) as c9 from SAWITH2 D1 group by D1.c1, D1.c2, D1.c3, D1.c4, D1.c5, D1.c6, D1.c7), SAWITH4 AS (( select D1.c1 as c1, D1.c2 as c2, D1.c3 as c3, D1.c4 as c4, D1.c5 as c5, D1.c6 as c6, D1.c7 as c7, D1.c8 as c8, sum(D1.c9) over (partition by D1.c3, D1.c4, D1.c5) as c9 from SAWITH1 D1 union all select D1.c1 as c1, D1.c2 as c2, D1.c3 as c3, D1.c4 as c4, D1.c5 as c5, D1.c6 as c6, D1.c7 as c7, sum(D1.c8) over (partition by D1.c3, D1.c4, D1.c5) as c8, sum(D1.c9) over (partition by D1.c3, D1.c4, D1.c5) as c9 from SAWITH3 D1 )) select D1.c1 as c1, D1.c2 as c2, D1.c3 as c3, D1.c4 as c4, D1.c5 as c5, D1.c6 as c6, D1.c7 as c7, D1.c8 as c8, D1.c9 as c9 from SAWITH4 D1 order by c1, c3, c5, c4; I/OバウンドなSQL
34. SQL⽂の実⾏結果（チューニング前） Copyright © 2023, Oracle and/or its affiliates. All rights reserved 34 Duration（実⾏時間）︓4.38m Database Time︓4.38m CPU=17.69%,User IO=81.73% ,Other=0.58% Buffer Gets︓4056k IO Requests︓32k IO Bytes︓30.9GB パーティションと表圧縮を実施し、パフォーマンスの改善を検討
35. Copyright © 2023, Oracle and/or its affiliates. All rights reserved 35 パーティション 読込み対象データを限定することで、処理量（I/O量）を削減可能 Oracle Client ⾮パーティション表 パーティション表 SQL> select * from TABLE1 where COLOR = ‘RED’ ; RED GRAY YELLO W 全データを読み取って から、必要なデータ （RED）をフィルタリン グ 必要なデータ（RED）の みを読み取り、最低限の フィルタリングを実現 ✔ 3
36. 表圧縮 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 36 データ量を縮⼩し、I/Oを削減 Oracle Instance ⾮圧縮の表 圧縮済みの表 必要なデータを少ないI/O量で 取得可能 全てのデータを読み込む 表圧縮⽅法
37. チューニング前後の実⾏結果⽐較 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 37 Duration（実⾏時間）︓18s Database Time︓17.21m CPU=75.86%,User IO=24.14% Buffer Gets︓254k IO Request︓2182 IO Bytes︓1.9GB Duration（実⾏時間）︓4.38m Database Time︓4.38m CPU=17.69%,User IO=81.73% ,Other=0.58% Buffer Gets︓4056k IO Requests︓32k IO Bytes︓30.9GB チューニング前 チューニング後
38. デモを踏まえて Copyright © 2023, Oracle and/or its affiliates. All rights reserved 38 • MonitoringやDatabase Managementのメトリック監視機能により死活監視が可能 • リアルタイムSQLモニタリングを利⽤してSQL⽂のボトルネックを特定し、パフォーマンスの改善策を検討することが可能
39. 39 リソース分析・需要予測サービス Copyright © 2023, Oracle and/or its affiliates. All rights reserved - Operations Insights -
40. 最⼤25カ⽉間のホスト及びデータベースのCPUやメモリと いったリソースの使⽤率を⻑期記録 保存データに基づいた利⽤状況のトレンド分析から 今後必要となるリソースを予測するキャパシティ・プランニング SQLウェアハウスによるパフォーマンス分析 - レスポンスが低下しているSQL、変動率が⾼いSQL - CPUやI/O使⽤率が⾼いSQL - ⾮効率な待機時間を要しているSQL 俯瞰的に全体リソースを把握し、ITコストのプラニングに活⽤ 対象となるターゲット - Autonomous Database - Base DB、ExaDB-D(19c以上) - Exadata Cloud at Customer (EM13cR5で監視されている) - オンプレミスのOracleデータベース(11.2.04以上) - 管理エージェントがデプロイされている Linuxホストまたは、EM13cR5で モニターされているホスト Operations Insights 40 メトリック 情報収集 Operations Insights Copyright © 2023, Oracle and/or its affiliates. All rights reserved
41. 容量計画 蓄積した過去のデータを⽤いて、OSとOracle Databaseの各リソースの 使⽤率のトレンド分析と需要予測 - CPU, ストレージ, メモリー, I/O 指定したトレーニング期間(最⼤365⽇)に基づた機械学習と 線形の未来値予測 従来のメトリック値では分からない、リソース使⽤量の変化率を分析 多数のリソースを集約し分析したダッシュボード ⼗分に活⽤されていないサーバーを識別し、リソースの適切な 割り当てにより運⽤コストの削減を⽀援 Operations Insights 41 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
42. SQL Warehouse 最⼤25カ⽉の傾向分析やパフォーマンス分析に使⽤できるSQLの パフォーマンス・データを蓄積 ⾃動化された分析によりパフォーマンスの問題やリソース消費量の 多いSQLを特定 実⾏されたSQLからトレンド・パターンを⾃動識別 • 低下: ⼀定期間にパフォーマンスが⼤幅に低下したSQL • 変動: 実⾏時間の変動が⼤きいSQL • ⾮効率: ⾮CPU/IO待機イベントで待機時間が⻑いSQL • 計画変更: 複数の実⾏計画を持つSQL • 向上:⼀定期間にパフォーマンスが⼤幅に向上したSQL 同⼀SQL⽂でパフォーマンスが良かったものと悪かったものを 過去データから⽐較することで原因の究明に役⽴つ Operations Insights 42 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
43. AWRハブ AWRのデータをクラウドベースのウェアハウスに⻑期保存 (最⼤25カ⽉) 複数のデータベースのAWRのデータを⼀元管理 本番データベースのパフォーマンスに影響を与えることなく オフラインでAWRのデータを分析 ⻑期に蓄積されたAWRデータからAWRレポートを⽣成 - データベースの過去と現在のパフォーマンスの⽐較 - 1つのデータベース内でワークロードのSQL計画変更の 追跡および分析 - 複数のデータベースのワークロードに対するSQL計画変更の 追跡および分析 サポートされるOracle Database - Autonomous Database - OCI外部のOracle Database (12.1以降) Operations Insights 43 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
44. AWRエクスプローラ SQL⽂を直接実⾏せずに、画⾯UI上からAWRレポート 情報を取得し、表に可視化 • ターゲットのDatabaseのAWRを直接参照し ロード・プロファイルや待機イベントといったインスタンス 全体の実⾏統計をビジュアライズ • スナップショットの時間軸やチャートの追加など 表⽰したいAWRの情報をカスタマイズ • AWR、SQLヘルスチェック、ASHレポートの出⼒ • 管理エージェントが直接ターゲットDBのAWRを参照 しているので、表⽰可能なAWRの情報はAWRの リテンションの設定に依存 Operations Insights 44 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
45. Operations Insights 45 Operations Insightsの機能として提供 Exadataのリソース使⽤率を監視、予測するExadata専⽤機能 複数のExadataを横断した運⽤、監視、リソース効率化のための統合ビューを提供 キャパシティ・プラニングやSQL Warehouseをフルに活⽤し Exadataのリソース監視と予測を実現 ExaDB-Dを監視対象とした場合もManagement Agentのインストールは不要 かつPrivate Endpoint経由の監視で容易なセットアップ Exadata Insights CPU Memory Storage Copyright © 2023, Oracle and/or its affiliates. All rights reserved Exadata Insights
46. Operations Insights 46 Copyright © 2023, Oracle and/or its affiliates. All rights reserved News Report Operations Insightsで監視しているデータベースの週 次レポートを提供 データベース、ホスト、およびExadataフリート全体におけ る⾼、低、⼤幅な変更、およびインベントリの変更に関し てレポートを配信 レポート内容 先週のサマリー データベース、ホストおよびExadataシステムのフリート全 体における、新しい使⽤率の⾼まり、使⽤率の⼤きな変 更およびインベントリの変更の簡易的なサマリーを表⽰ ⼤きな変更 前の週の使⽤率が平均+/- 25%変化するリソースを表 ⽰ イベントリ 前週にOperations Insightsが有効/無効化されたリ ソースを表⽰ ＊ニュース・レポートは、電⼦メールのみ対応 新機能
47. SQL Insights 最⼤25か⽉の⻑期保存されたSQLのパフォーマンス・データを 分析する専⽤ダッシュボード V$SQLSTATSなど様々なDBディクショナリビューから情報を30分毎に 収集し、以下3つの観点でインサイトを提供 データベース全体を俯瞰するフリート分析 - 稼働率の⾼いアクティブな上位データベース - それぞれのDBの実⾏SQLのトレンドや性能を⽐較 時間経過に伴うワークロードを解析するデータベース分析 - コマンドおよびモジュール別のSQLアクティビティの内訳 - 実⾏SQLをパフォーマンス観点で解析し下記のカテゴリに識別 • 低下,変動,⾮効率,計画変更,向上するSQL SQLパフォーマンス統計に基づいた詳細なSQL分析 - 実⾏SQLに占めるリソース待機時間やDisk I/O時間 - 実⾏計画の違いによるSQLパフォーマンス⽐較 Operations Insights 47 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 新機能
48. 48 デモ Copyright © 2023, Oracle and/or its affiliates. All rights reserved
49. 今回のデモ環境 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 49 Monitoring OCI上のデータベース VCN Subnet Exa DB-D Base DB Private Endpoint Database Management Operations Insights • 設定⽅法 • 各種機能紹介 • 容量計画、SQL Warehouse の活⽤⽅法ご紹介
50. デモを踏まえて Copyright © 2023, Oracle and/or its affiliates. All rights reserved 50 • 容量計画を利⽤して監視下のデータベースごとのソースの使⽤状況を分析し、リソース割り当ての意思決定が可能 • SQL Warehouseを利⽤することでSQLのパフォーマンスを分析し、問題がありそうなSQLを的確に判別可能
51. 51 ログ分析サービス Copyright © 2023, Oracle and/or its affiliates. All rights reserved - Logging Analytics -
52. 機械学習のテクノロジーを活⽤した⾼度なログ分析・サービス基盤 様々なデータベースのログに対応した事前定義済みパーサー ユーザー独⾃のログに対応するためのカスタム・パーサを簡単に⼿動作成 異常値の検出、クラスタ分析、トレンド分析など、誰でも簡単に ログを⾒やすくビジュアライズし、⾼度な分析を実現 様々な観点からログ分析結果を集約したダッシュボードの提供 ログデータに応じたアラート通知 Service Connector Hub経由でLoggingのログを受信し OCIの各サービスやセキュリティ・ネットワーク関連のログを集約 監視対象ホストにインストールされた管理エージェントは、 OSやミドルウェア等のシステムログを⾃動的ににアップロード データベース関連のログ（アラートログ、監査ログ等）は 管理エージェントをインストールすることで分析可能 Logging Analytics 52 Logging Analytics 管理エージェント 連携 Syslog、Secureログ 監査ログ、 アラートログ Listnerログ、 Clusterwareログ etc.. Copyright © 2023, Oracle and/or its affiliates. All rights reserved Database
53. パーサーが事前に定義されているデータベース関連のログ インスタンス関連のログ Database Alert Logs Database Trace Files Incident Dump Files リスナー関連のログ Database Listener Alert Logs Database Listener Trace Files 監査関連のログ Database Audit Tables Database Unified Audit Trail OS関連のログ OS Audit Logs OS Cron Logs OS Mail Delivery Logs OS Secure Logs OS Syslog Logs OS Package or Yum Logs ASM関連のログ ASM Alert Logs ASM Trace Files クラスタウェア関連のログ Clusterware Alert Log Clusterware Daemon Logs Clusterware Disk Monitor Logs Exadataストレージ関連のログ Linux Exadata Cell Alert Logs Linux Exadata Cell Management Server Logs Linux Exadata Cell Management Server Trace Logs Logging Analytics Copyright © 2023, Oracle and/or its affiliates. All rights reserved 53 事前定義済みのパーサーにないログは、ガイド付きパーサー・ビルダーで 簡単に正規表現のパーサー作成が可能
54. ドラッグ&ドロップ、クリックなどの直感的な操作でログを検索、分析 Logging Analytics 54 検索クエリー GUI操作に連動して⾃動⽣成 直接コマンド編集も可能 フィールド ログパーサーによって解析され たフィールドと関連付いた値 フィールドを⽤いたフィルタ 処理や検索、複数のフィード を組み合わせたグループ化 など柔軟な分析が可能 ビジュアライゼーション 分析結果を様々な形式でグラフ化 Copyright © 2023, Oracle and/or its affiliates. All rights reserved ログ・エクスプローラ
55. クラスタ分析 機械学習を⽤いたログ分析 「無視してよい⼤量のログ」「⼤切な⼀⾏のログ」を効率的に探索 類似したパターンを持つログを⾃動的に認識しグルーピング 膨⼤な量のログイベントを少量のパターン情報 (クラスタ)へと集約 - 例外的パターンや断続的に発⽣するイベントを素早く検知することで 迅速なトラブルシューティングや、異常の検出を可能に Logging Analytics 55 クラスター: ログ・レコードのパターンを識別し、類似した パターンを持つログをグループ化 潜在的な問題: Error, Fatal(致命的), Exception(例外) などのキーワードを含むログ・レコードのクラスタ 外れ値: 特定の期間中に⼀度のみ発⽣し、クラスタに 含まれなかったログ・レコード トレンド: クラスタのトレンド。類似した傾向を持つクラスタ同⼠ をトレンドとして表⽰ Copyright © 2023, Oracle and/or its affiliates. All rights reserved
56. Logging Analytics 56 Copyright © 2023, Oracle and/or its affiliates. All rights reserved クラスタ分析よるパターン検出・例外検出 その1 1 10分間に97Kを超えるログを確認する のは難しい 97K のログ レコードを61のクラスター、5つの潜在的な問題、18の外れ値、19の傾向に分割 クラスター分析を選択 2 3 レコードを表に挿⼊ できていない問題を 確認 NOT NULL制約のカラムに値 をセットしていないエラーが発⽣
57. Logging Analytics 57 Copyright © 2023, Oracle and/or its affiliates. All rights reserved クラスタ分析よるパターン検出・例外検出 その２ アプリケーションからDBへの接続エラーのトラブルシュート中、同時間帯 にリスナーログが⼤幅増加していることを確認 クラスタリング結果から、接続要求⾃体は届いているものの、接続記述 ⼦に問題があることを即座に確認
58. Logging Analytics Copyright © 2023, Oracle and/or its affiliates. All rights reserved 58 ログ・エクスプローラーで検索した条件を保存し、⼀⽬で ユーザーの参照したい画⾯をダッシュボードにして作成 ⽇付に応じた画⾯のリフレッシュ ログ・エクスプローラーの画⾯に遷移し、さらに詳細な 分析を⾏うことも可能 ダッシュボードをクローンすることで、事前定義済み ダッシュボードのカスタマイズ ダッシュボードの定義をエクスポートし、別のテナントに インポート可能 Database監視ダッシュボード ダッシュボード
59. ラベル ラベル • 特定の値を持つログエントリに「ラベル」＝「わかりやすいキーワード」を付与 • ⼈間にわかりやすい⾔葉でログを検索することが可能 事前定義済ラベル • ラベルとラベル付与ルールを事前定義済で提供 • ユーザー⾃⾝がカスタムで作成することも可能 Logging Analytics 59 Tue Feb 14 22:24:23 2017 … Errors in file … (PDBNAME=CDB$ROOT): ORA-04031: unable to allocate 512 bytes of shared memory 「メモリエラー」 Oracle Databaseのアラートログ ラベル ラベルによる検索 「メモリエラー」に関する ログを教えて︕ Copyright © 2023, Oracle and/or its affiliates
60. 検出ルールとアラート ２種類の検出ルール - 検出したいログの検索クエリーをスケジュール化して定期的に 実⾏(最⼩5分間隔)、結果をメトリックとして更新 - ログ取り込み時にラベルの有無をチェックし、結果をメトリック として更新 メトリックは、モニタリングの独⾃メトリックとして定義 メトリックには、しきい値を設定したアラートの実⾏ - モニタリングのアラート機能を使⽤ アラートの通知先には、通知サービスを使⽤した メール, Slack, SMS, Webhook, Functionsと連携した コードの⾃動実⾏など、しきい値を検知した際の アクションの設定が可能 データベースのインスタンス停⽌を検索クエリーとし保存 検索クエリーを定期的に実⾏し、1件でも⼀致するログがあれば アラームを発報し、メール等で通知 Logging Analytics 60 Copyright © 2023, Oracle and/or its affiliates. All rights reserved
61. 61 デモ Copyright © 2023, Oracle and/or its affiliates. All rights reserved
62. 今回のデモ環境 Copyright © 2023, Oracle and/or its affiliates. All rights reserved 62 Database Management Monitoring Logging Analytics OCI上のデータベース VCN Subnet 管理エージェント Exa DB-D Base DB Private Endpoint Operations Insights • 設定⽅法 • ダッシュボード・分析機能のご紹介 • アラーム機能との連携
63. デモを踏まえて Copyright © 2023, Oracle and/or its affiliates. All rights reserved 63 • ダッシュボード機能により、⼀⽬でユーザーの参照したい情報を確認可能 • 機械学習による分析機能により、データベース関連の「無視してよい⼤量のログ」「⼤切なログ」を効率的に探索可能 • アラーム機能ととの連携により、ログから検知したデータベースで発⽣した問題をすぐに通知可能
64. 65 概算費⽤ Copyright © 2023, Oracle and/or its affiliates. All rights reserved
65. 価格 メトリック ⽉額概算 年額概算 ¥0.21 Million datapoints/時間 ※１ O&Mを利⽤したBaseDB、ExaDB-Dの監視費⽤ Copyright © 2023, Oracle and/or its affiliates 66 ※2 CDBとPDBそれぞれではなく、ホストCPU(OCPU)数 Database Management 価格 メトリック ⽉額概算 年額概算 ¥7 OCPU/時間 ※２ ¥20,832 ¥249,984 4OCPUのBaseDB、ExaDB-Dを監視する場合 価格 メトリック ⽉額概算 年額概算 ¥2.1 OCPU/時間※３ ¥6,250 ¥74,995 Operations Insights Monitoring Logging Analytics 価格 メトリック ⽉額概算 年額概算 ¥70 1unit（300GB） ¥52,080 624,960 ※１ 10億データポイントまで無償 価格 メトリック ⽉額概算 年額概算 ¥0.21 Million datapoints/時 間※1 Database Management 価格 メトリック ⽉額概算 年額概算 ¥7 OCPU/時間 ※２ ¥83,328 ¥999,936 16OCPUのBaseDB、ExaDB-Dを監視する場合 価格 メトリック ⽉額概算 年額概算 ¥2.1 OCPU/時間※３ ¥25,000 ¥300,000 Operations Insights Monitoring Logging Analytics 価格 メトリック ⽉額概算 年額概算 ¥70 1unit（300GB） ¥52,080 624,960 ※1 10億データポイントまで無償 ※３ CDBとPDBそれぞれではなく、ホストCPU(OCPU)数 ※2 CDBとPDBそれぞれではなく、ホストCPU(OCPU)数 ※３ CDBとPDBそれぞれではなく、ホストCPU(OCPU)数
66. 67 まとめ Copyright © 2023, Oracle and/or its affiliates. All rights reserved
67. Copyright © 2023, Oracle and/or its affiliates. All rights reserved 68 データベースのリソース・死活監視 • メトリック・表領域等の監視 • リアルタイムなSQLパフォーマンス分析 Database Management Database O&Mでは利⽤者の課題や要件に合わせたデータベース監視の選択肢を提供 Operations Insights Logging Analytics データベースのコストプラニング • リソースの需要予測 • ⻑期的なSQLパフォーマンス分析 データベースのログ監視・分析 • 監査ログやアラートログの監視 • 機械学習を利⽤したログ分析 まとめ Monitoring Observability & Management
68. O&Mの各サービスは、OCI上のデータベースはもちろん、オンプレミスのデータベースまで幅広く監視することができます。 ブラウザにアクセスする環境さえあればデータベースの監視をOCI コンソールだけで⾏うことができます。 またO&Mでは無償でお試しする機能や⼀部サービスでは無償枠も提供しているため気軽にお試しいただけます。 無償でお試しいただける機能 Operations Insights • デモ・モードを利⽤したお試し利⽤ Database Management • 基本管理であれば無償で利⽤可能 Logging Analytics • 10GBまで無償で管理・分析が可能 まとめ Copyright © 2023, Oracle and/or its affiliates. All rights reserved 69