Autonomous Database Cloud 技術詳細

Autonomous Database Cloud 技術詳細

Oracle Autonomous Database Cloud (ADB) のサービス詳細です。

以下を対象としています。
・Oracle Autonomous Data Warehouse (ADW)
・Oracle Autonomous Transaction Processing (ATP)

Autonomous Data Warehouse / ADW / Autonomous Database / Oracle Cloud / サービス / 詳細 / 概要 / 技術 / アーキテクチャ / Autonomous Transaction Processing / ATP / OCI / Oracle Cloud Infrastructure

3115a782126be714b5f94d24073c957d?s=128

oracle4engineer

May 01, 2020
Tweet

Transcript

  1. 日本オラクル株式会社 2020/07/27 技術詳細 Oracle Autonomous Database Cloud

  2. Safe harbor statement 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、 情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以 下の事項は、マテリアルやコード、機能を提供することを確約するものではないため、購買 決定を行う際の判断材料になさらないで下さい。 オラクル製品に関して記載されている機能の開発、リリース、時期及び価格については、弊 社の裁量により決定され、変更される可能性があります。 Copyright

    © 2020, Oracle and/or its affiliates 2
  3. 3 Copyright © 2020, Oracle and/or its affiliates はじめに 本資料は、表紙に記載の日付時点における、

    Oracle Autonomous Database Cloud の技術情報です。 Autonomous Databaseはデプロイモデルとして Shared Exadata Infrastructure * とDedicated Exadata Infrastructure がありますが、本資料では Shared を対象に記載しています。 * 旧 Serverless
  4. 4 Copyright © 2020, Oracle and/or its affiliates はじめに 最新情報や詳細情報は以下もご参照ください

    マニュアル • ADW : https://docs.oracle.com/en/cloud/paas/autonomous-data-warehouse-cloud/index.html • ATP : https://docs.oracle.com/en/cloud/paas/atp-cloud/index.html サービス・アップデート • 「 Autonomous Database サービスアップデート」で検索 ハンズオンラボ • 「ADB HOL」で検索 FAQ for Autonomous Database • https://www.oracle.com/database/technologies/datawarehouse-bigdata/adb-faqs.html • (日本語) https://www.oracle.com/jp/database/technologies/datawarehouse-bigdata/adb-faqs.html
  5. 1. Autonomous Database が実現する世界 2. サービス概要 3. ADW/ATPの違い 4. 技術詳細(共通)

    5. まとめ Agenda Copyright © 2020, Oracle and/or its affiliates 5
  6. 1. Autonomous Database が実現する世界 2. サービス概要 3. ADW/ATPの違い 4. 技術詳細(共通)

    5. まとめ Agenda Copyright © 2020, Oracle and/or its affiliates 6
  7. Oracle Database デプロイメント選択肢 様々なシステム要件に対応 Copyright © 2020, Oracle and/or its

    affiliates 7 Most Manual Most Autonomous 汎用サーバ上に Databaseを インストール Exadataに Databaseを構成 IaaS上に Databaseを インストール Autonomous Database (Shared or Dedicated) DBCS - BM/VM Exadata Cloud Service Or Exadata Cloud at Customer Oracle Cloud Infrastructure On Premise
  8. Autonomous Database 世界で初めての自律型データベース Copyright © 2020, Oracle and/or its affiliates

    8 Self-Driving (自己稼働) 管理・拡張・監視 ・チューニングの自動化 Self-Securing (自己保護) 外部からの攻撃や悪意のある 内部ユーザからの防御 Self-Repairing (自己修復) 計画停止を含む全ての ダウンタイムからの保護
  9. Autonomous Databaseが実現する世界 現時点で最高な構成。今後もさらなる進化を Copyright © 2020, Oracle and/or its affiliates

    9 今後も随時機能強化 高可用性・高セキュリティ 性能チューニング自動化 自動的に パフォーマンス診断 自動的に最適化 自動的に セキュアな構成 自動的に 障害回避 自動的に エラーハンドリング 今後実装 テスト・移行自動化 自動的に テスト実行 自動的に移行 実装済み 自動的にスケール 自動的にパッチ適用 自動的に モニタリング 自動的にバックアップ 予め最適化 検証済みの構成 システム運用の省力化・自動化
  10. 1. Autonomous Database が実現する世界 2. サービス概要 3. ADW/ATPの違い 4. 技術詳細(共通)

    5. まとめ Agenda Copyright © 2020, Oracle and/or its affiliates 10
  11. Autonomous Databaseを構成するテクノロジー Copyright © 2020, Oracle and/or its affiliates 11

    Autonomous Database Automated Data Center Operations and Machine Learning Complete Infrastructure Automation Complete Database Automation Oracle Cloud
  12. Oracle Databaseの進化 オラクルは数千人/年をデータベースの自動化最適化に投資 Copyright © 2020, Oracle and/or its affiliates

    12 • Automatic Query Rewrite • Automatic Undo Management • Autonomous Health Framework • Automatic Diagnostic Framework • Automatic Refresh of Clones • Automatic SQL Tuning • Automatic Workload Capture / Replay • Automatic SQL Plan Management • Automatic Capture of SQL Monitor • Automatic Data Optimization • Automatic Memory Management • Automatic Segment Space Mgmt • Automatic Statistics Gathering • Automatic Storage Management • Automatic Workload Repository • Automatic Diagnostic Monitor • Automatic Columnar Flash • Automatic IM population • Automatic Application Continuity 9i 10g 11g 12c 18c • Automatic Indexes 19c
  13. Exadataの進化 直近10年間、高性能/高可用性を追求 Copyright © 2020, Oracle and/or its affiliates 13

    • Smart Scan • Infiniband Scale-Out • Database Aware Flash Cache • Storage Indexes • Hybrid Columnar Data • IO Priorities • Data Mining Offload • Offload Decryption • Direct-to-wire Protocol • JSON and XML offload • Instant failure detection • Network Resource Mgmt • Prioritized File Recovery • In-Memory Columnar in Flash • Smart Fusion Block Transfer • Exadata Cloud Service 2008 2020 • RDMA over Converged Ethernet
  14. Exadataの進化 高性能、高可用性を実現するOracle DBの究極のプラットフォーム Copyright © 2020, Oracle and/or its affiliates

    14 All Exadata DB Machine Innovations All Oracle Database Innovations Multitenant In-Memory DB Real Application Clusters Active Data Guard Partitioning Advanced Compression Advanced Security, Label Security, DB Vault Real Application Testing Advanced Analytics, Spatial and Graph Management Packs for Oracle Database InfiniBand Fabric Columnar Flash Cache HCC 10:1 I/O I/O I/O Storage Indexes Hybrid Columnar Compression I/O Resource Management Exafusion Direct-to-Wire Protocol Offload SQL to Storage Network Resource Management In-Memory Fault Tolerance PCI Flash Smart Flash Cache, Log Redundant Optimized Hardware
  15. Autonomous Database 各レイヤーでMachine Learningを活用 Copyright © 2020, Oracle and/or its

    affiliates 15 Database Operations Workload Optimizations Database Infrastructure 故障・不調なサーバ、 ストレージ、スイッチ機器の検出と 自動回復 ハングや異常検知、 既知の不具合との比較、修正 自動SR起票 クエリ・オプティマイザ リアルタイム統計収集 自動索引
  16. Autonomous Database 機械学習に基づいたポリシーベースの自動化 Copyright © 2020, Oracle and/or its affiliates

    16 Alert Log ML Knowledge Extraction モデル 生成 Expert Input アプリケーションの 最適化された モデル フィードバック データ・スクラブ フィードバックと 改善 リアルタイムでの 障害の検出と通知 Oracle Exadata RDBMS N 監視 エンジン Autonomous Database 稼働中に発生する様々な事象を組合せ 根本的な対策を 適宜 適用する仕掛け 人と機械学習で 24x365 監視 & 対策適用 RDBMS 3 RDBMS 2 RDBMS 1 アプリ 1 アプリ 2 アプリ 3 アプリ N
  17. Autonomous Database 運用コストを大幅に削減できる Copyright © 2020, Oracle and/or its affiliates

    17 オンプレミス/他社クラウドの分析基盤 Autonomous Database • パッチ適用計画 • バックアップ計画 • システム拡張計画 – 停止時間の見積もり – 拡張時には再設計と停止 • 自動パッチ適用 • 自動バックアップ • CPUまたはストレージを個々に追加 – 無停止で即時に拡張可能 – CPUは自動調整機能あり ピーク時は オンラインで拡張 拡張時は無停止 で即時適用 CPU CPU CPU Storage Storag e Storage Storage CPU Storage あらかじめピークを見込んだサ イジングが必要 少しずつシステム 拡張することは困難
  18. Autonomous Database 完全な自動化によるデータ管理の効率化/コストの削減 Copyright © 2020, Oracle and/or its affiliates

    18 Software Cost Labor Cost Storage Cost Server Cost Facilities Cost *Source: Oracle TCO report 2018. 50% savings calculated based on 16 CPU config w/BYOL from on-premises Oracle Database 管理コストを最大80%、TCOを3年間で最大50%削減 ファシリティ管理 サーバー管理 OSインストール/パッチ適用 DBインストール/パッチ適用 バックアップ/リストア HA/DR DB最適化/スケール AP最適化 AP管理 ファシリティ管理 サーバー管理 OSインストール/パッチ適用 DBインストール/パッチ適用 バックアップ/リストア HA/DR DB最適化/スケール AP最適化 AP管理 $877K $431K Autonomous Database お客様管理 お客様管理 オラクル管理 On-Premise
  19. Autonomous Database ビジネスへの貢献度の高いタスクへ人的リソースをシフト可能 Copyright © 2020, Oracle and/or its affiliates

    19 システムの重要度 High Low 従来の リソース配分 業務固有タスク 今後の リソース配分 アーキテクチャ設計 データ・ライフサイクル検討 論理モデル検討 データ・セキュリティ設計 AP+DB結合試験 SQLチューニング H/Wリソース拡張 予防保守・パッチ適用 バックアップ・リカバリ DB障害対応 運用監視 構築(設計、試験含む) AP設計開発 データセンター検討 運用管理タスク リソース拡張レベル サポート SQLチューニング レベルサポート バックアップ・リカバリレベル サポート
  20. 20 Copyright © 2020, Oracle and/or its affiliates これまでの全ての開発/進化はAutonomous Databaseの実現へ続いてきた

    • 導入、運用コストの削減 • 安定運用、高可用性 • 高セキュリティ • 高性能、高可用性を探求し、 唯一無二の存在へ • 圧倒的なシェアを誇り、 数多くのMission Criticalな システムにて稼働実績有り • 途方もない研究開発費を投入し、他 社に追いつけないコア技術を確立 • お客様の要件を満たす改善、新規 機能を実装 • 自動化機能を実装し、扱いやすい製 品へと進化 Cloud の選択肢 最適なプラットフォーム 40年以上の継続開発 Oracle Database + Oracle Exadata + Oracle Cloud Autonomous Database
  21. 21 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    価格体系 フルマネージドのExadataを安く利用可能 CPU、ストレージのサイズを個々に設定 • OCPU:1 OCPU単位で秒課金 • 1 OCPUを1時間利用した場合:161.292円 • ストレージ : 1 TB単位で秒課金 • 1TB を 1カ月利用した場合:14208円 従量課金制 • 最低1分からスタート可能 • 1分を超えた利用については秒単位で課金 • 一時的なスケールアップに対するコストを抑制 • テストのための一時利用を必要最低限のコストで対応 • お手持ちのOracle Database ライセンスの持ち込みも可能(BYOL) スケールアップ・ダウンの際は、業務停止不要 • CPU、ストレージをそれぞれ個別にオンラインで変更可能 初期費用なし ピーク時は 秒単位で拡張 拡張時は 無停止で即時適用 * 料金::2020/7 現在
  22. 22 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    価格体系 最新情報は以下をご確認ください 価格情報 • https://www.oracle.com/jp/database/adw-cloud-pricing.html • https://www.oracle.com/jp/database/atp-cloud-pricing.html 見積りサイト • https://cloud.oracle.com/ja_JP/cost-estimator
  23. Oracle Cloud Free Tier 最新のクラウドが無料で使える Copyright © 2020, Oracle and/or

    its affiliates 23 クラウドを使い始めてみたい! という方に最適! Oracle Cloud Free Tier • Always Free: • Autonomous Database, Compute, Storage, Load Balancer, Monitoring • Free Trial: • すべてのPaaS/IaaSを利用可能 https://www.oracle.com/jp/cloud/free/ Always Free 時間制限なく サービスを利用可能 Free Trial 30日間 300ドルの フリー・クレジット + NEW
  24. 24 Copyright © 2020, Oracle and/or its affiliates Always Free

    無料、期限なしでAutonomous Databaseが利用可能に ご自身のテナント内のホームリージョンにADBインスタンスを2つまで作成可能 • 各データベースは、1 OCPU、20GBストレージが上限 • ADBの各種機能を試用可能。 • APEX、SQL Developer Web、Notebook等が同梱 • 作成したインスタンスはいつでも有償環境にアップグレード可能 特記事項 • Scale Up/Down、Auto Scaling、Update License Type、backups、Restoreは不可 • 7日間接続がないと自動停止(データは保持される) • 90日間接続がない(停止状態含)とデータを含めて完全削除 • 1 OCPUに制限されるため性能試験には不向き(パラレルクエリが動かないため) • プライベート・エンドポイントは利用不可(パブリック・エンドポイントのみ) その他 • Compute インスタンス、ブロックストレージ、オブジェクトストレージ、ロードバランサを利用可能
  25. Always Free 無料、期限なしでAutonomous Databaseが利用可能に Copyright © 2020, Oracle and/or its

    affiliates 25 Paid Free Trial Always Free OCPU 1 - 128 1 – 8 * 1 Storage 1 – 128 TB 1 - 128 TB * 20 GB Scaling 1インスタンスあたり 上記リソースまで拡張可能 Auto Scale も利用可能 上記リソース内で可能 Auto Scale も利用可能 不可 インスタンス数 上限なし 2 (上記リソース内で可能) 2 Backup/Restore 可能 可能 不可 サポート あり あり なし SLA/SLO 99.95(SLA) 99.95(SLO) なし 同時接続 100/OCPU 100/OCPU 20 利用可能リージョン 全リージョン利用可能 全リージョン利用可能 ホームリージョンのみ * Service Limitによるデフォルトの制限値
  26. 1. Autonomous Database が実現する世界 2. サービス概要 3. ADW/ATPの違い 4. 技術詳細(共通)

    5. まとめ Agenda Copyright © 2020, Oracle and/or its affiliates 26
  27. Autonomous Database ワークロードに応じた選択肢 Copyright © 2020, Oracle and/or its affiliates

    27 行型フォーマット 列型フォーマット インデックス作成 データ集計を作成 I/O削減のためデータキャッシュ メモリ上で結合、集計 オプティマイザ統計をリアルタイムで更新し、実行計画の劣化を予防 AUTONOMOUS DATABASE Autonomous Transaction Processing (ATP) Autonomous Data Warehouse (ADW) OLTPおよび混合ワークロードに最適化: • トランザクション、バッチ、レポーティング、IoT • アプリケーション開発、機械学習 すべてのデータ分析処理に最適化: • データウェアハウス、データマート • データレイク、機械学習
  28. Autonomous Database ADWとATPの主な違い Copyright © 2020, Oracle and/or its affiliates

    28 ADW ATP メモリ設定 集計・ソート処理を優先する設定(SGA < PGA) データのキャッシュを優先する設定(SGA > PGA) 圧縮 有効(列圧縮形式(HCC)、表毎に無効化可能) 無効(表毎に圧縮設定可能) Result Cache 全てのSQLに有効(ヒントで無効化可能) デフォルトのまま Cacheは無効) ヒント 無効(セッション単位で有効化が可能) デフォルトのまま パラレル処理 接続サービス毎に選択可能 ・High : 自動的にパラレル処理 ・Medium : 自動的にパラレル処理 ・Low : 無効 接続サービス毎に選択可能 ・TPURGENT : 手動で設定 ・TP : シリアル処理 ・High : 自動的にパラレル処理 ・Medium : 自動的にパラレル処理 ・Low : 無効
  29. Autonomous Data Warehouse(ADW) 従来のExadataで行ってきたチューニングがデフォルトで有効化 Copyright © 2020, Oracle and/or its

    affiliates 29 ADWならば、 ここからスタート可能
  30. 30 Copyright © 2020, Oracle and/or its affiliates Autonomous Data

    Warehouse(ADW) 顧客ワークロードでの検証結果 DWHを対象に、手動チューニングとADWとの性能比較 • パーティション、コンプレッション等を活用してチューニング • ADWでは自動的なチューニング 様々なワークロードに対して、ADWは一貫して同等以上の性能 Elapsed Time (sec) Customer Tuned 2551 5137 ADW 某取引所 Customer Tuned 2835 4051 某製造業 ADW Customer Tuned 2265 2831 某銀行 ADW
  31. Autonomous Transaction Processing (ATP) 自動索引作成| MLによるミッションクリティカルへの適合 Copyright © 2020, Oracle

    and/or its affiliates 31 • 熟練したエンジニアによる索引チューニングが、24 x 365 休みなく行うことと同等の機能 • 自動索引を作成する手順は、これまでのSQLチューニン グのアプローチと同様 • 新たなSQL実行計画と索引の特定 • 本番環境の外で評価/検証 • 一度実行し確認 • もし遅ければ、元の実行計画に戻す • 一連のプロセスに DBA は介在する必要なく、全自動で 実行 • チューニング内容はレポーティングされる Capture Identify Verify Decide Monitor * 19c以上で利用可能 * ATPだけでなくADWでも利用可能
  32. 32 Copyright © 2020, Oracle and/or its affiliates Autonomous Transaction

    Processing (ATP) NetSuite ワークロードでの検証結果 長年かけてチューニングされた NetSuiteを対象に、ATP での自動索引の効果を検証 • 17,542 SQLステートメント、 1,852 テーブル、 8151 索引 • ATPでは実行する前に全ての索引と統計を削除 手動チューニングと同等の性能をAuto Indexで実現 Elapsed Time (sec) Expert ATP 1155 1172 Indexes Used Expert ATP 1733 4663
  33. 1. Autonomous Database が実現する世界 2. サービス概要 3. ADW/ATPの違い 4. 技術詳細(共通)

    5. まとめ Agenda Copyright © 2020, Oracle and/or its affiliates 33
  34. Autonomous Database アーキテクチャ Copyright © 2020, Oracle and/or its affiliates

    34 Oracle Exadata Cloud Service Oracle Database Cloud Service Express Cloud Service Data Warehouse Services (EDWs, DW, departmental marts and sandboxes) Autonomous Database サービス・コンソール 組込みアクセスツール Oracle Machine Learning サービス監視 Oracle SQL Developer 開発ツール Oracle Object Storage Cloud データ連携 サービス統合 Oracle Data Integration Platform Cloud サードパーティーの データ統合ツールを Oracle Cloud Computeで サードパーティーの データ統合ツールを On-premises 上で Oracle Analytics Cloud データ分析 アプリケーション 開発/稼働(Local/Cloud) 既存のアプリケーションを Oracle Cloud Compute上で 既存の アプリケーションを On-premises 上で
  35. インスタンス作成 Copyright © 2020, Oracle and/or its affiliates. 35

  36. インスタンス作成 Copyright © 2020, Oracle and/or its affiliates 36 入力項目は最小限

    • ADW or ATPの選択 • サービス名 • OCPU(Core)数:1以上 • Storageサイズ:1以上 • 管理者パスワード 等 数分で完了 • 作成時間はサイズ依存 サービス・コンソールから 『インスタンスの作成』をクリック
  37. インスタンスへの接続 Copyright © 2020, Oracle and/or its affiliates. 37

  38. 38 Copyright © 2020, Oracle and/or its affiliates セキュアな接続方式 Credential

    Walletを利用した証明書認証・SSL暗号化接続 • 様々な言語/ドライバに対応し、 他クラウド・サービスや製品からも接続可能 • クライアント要件(一部抜粋* ) • Oracle Call Interface (OCI)、ODBCまたはJDBC OCI • Oracle Database Client 11.2.0.4 以上 • Oracle Instant Client 12.1.0.2 以上 • HTTPプロキシを利用する場合、Oracle Client 12.2.0.1 以上 • JDBC Thin • JDKがバージョン8 (8u161以上)である場合、追加の準備は不要 • JDKバージョン8 (8u161より前)を使用している場合、 JCEポリシー・ファイルの更新が必要 特記事項 • データベースへの接続のみを許可(OSログイン不可) • デフォルトポート:1522 (変更不可) 対応言語とドライバ Wallet / Keystore Encrypted SSL Wallet / Keystore SQL*Net TCP/IP 接続元 鍵ファイルのダウンロード (鍵を持っているクライアントのみADBにアクセス可能) ADB
  39. 39 Copyright © 2020, Oracle and/or its affiliates 動作確認済 Third

    Party Tool (2020/06) BI / Visualization • Alteryx Designer / Business Objects / Cognos / DataViz / Domo / FlexDeploy / HVR Software / Looker / Microsoft Power BI / MicroStrategy / Qlik Sense Desktop / Qlik Sense Server / SAS Access / Tableau Desktop / Tableau Server / Tableau Online / TIBCO Spotfire® / WingArc1st MotionBoard Data Movement • Data Virtuality Pipes / Data Virtuality Platform / IBM DataStage / Informatica Powercenter / Talend / WanDisco Driver • DataDirect / Simba Autonomous Data Warehouse Tools and Application Test Matrix https://cloud.oracle.com/datawarehouse/tools
  40. SQL*Plus(OCI)での接続イメージ クレデンシャル・ウォレットのダウンロード Copyright © 2020, Oracle and/or its affiliates 40

    インスタンス・ウォレット • 特定のインスタンスの資格証明のみが記載 • アプリケーションからの接続はこちらの利用を推奨 リージョナル・ウォレット • 選択されたリージョン内の全てのインスタンスの資格証 明が記載 • 他のインスタンスへの接続時も利用できるため、主に管 理目的での利用に限定ください ① インスタンス詳細ページで 「DB接続」 をクリックしてください ② ウォレット・タイプを選択ください ③ 「ウォレットのダウンロード」をクリックして ください ① ② ③
  41. SQL*Plus(OCI)での接続イメージ クレデンシャル・ウォレットのダウンロード Copyright © 2020, Oracle and/or its affiliates 41

    ④ ウォレットのパスワードを設定します ⑤ 「ダウンロード」を押してウォレットをダウ ンロードします ④ ⑤
  42. SQL*Plus(OCI)での接続イメージ 接続情報を編集し、インスタンスに接続 Copyright © 2020, Oracle and/or its affiliates 42

    ⑤ 展開後のcredential.zip 内にある cwallet.sso を任意の場所に配置 (例えば、 $OH/network/admin配下にコピーし ます) ⑥ sqlnet.ora を編集 (⑤でcwallet.ssoを配置した場所を指定します) ⑦ tnsnames.ora を編集 (展開後のcredential.zip 内の tnsnames.ora から、接続先のサービスへの接続情報を転記しま す) ⑧ 接続サービスを指定して接続 $ cat sqlnet.ora WALLET_LOCATION = (SOURCE = (METHOD = file) (METHOD_DATA = (DIRECTORY=“?/network/admin”))) SSL_SERVER_DN_MATCH=yes ⑥ $ cat tnsnames.ora ADW_high = (description= (address=(protocol=tcps)(port=1522) (host=adwc.uscom-east-1.oraclecloud.com)) (connect_data=(service_name=XXXX)) (security=(ssl_server_cert_dn="CN=XXXX"))) ⑦ $ sqlplus admin/XXXXXX@ADW_high ⑧
  43. 接続サービスの選択 Copyright © 2020, Oracle and/or its affiliates 43 インスタンス作成時点で、接続サービスが複数定義されている

    • リソース・マネージャのコンシューマ・グループにマッピングされ、 同時実行性や並列処理等を制御 インスタンス接続時に、接続サービスを選択するだけでリソースコントロールが可能 接続サービス platform 概要 パラレル制御 同時実行 セッション数 リソース割り当て (SHARES*2) TPURGENT ATP only 最も優先度の高い処理向け 手動設定 300 x OCPUs 12 TP ATP only 汎用的な処理向け シリアル 300 x OCPUs 8 HIGH ADW/ATP 大量データを扱う処理向け 自動 3 4 MEDIUM ADW/ATP 大量データを扱いつつも、 同時実行数も多い処理向け 自動 1.25 x OCPUs 2 LOW ADW/ATP 優先度が低い処理向け シリアル 300 x OCPUs 1 *1 : 同時に接続できるセッション数はOCPUに比例し、OCPU当たり300セッション *2 : サービス間でのCPU配分の相対的な優先度を示す。デフォルト値からの変更は可能 *3 : 5分以上アイドル状態の続くセッションは自動的に切断される
  44. 44 Copyright © 2020, Oracle and/or its affiliates OLTP系?接続サービスはどれを使えばよい? 特徴

    • 少量の行しかアクセスしない • 大量のユーザが同時に実行する • 一般的なオーダーとしてはミリ秒レベル 一般的なチューニング方針 • スループット(TPS:Transaction Per Sec)を重視し、 単体処理のリソース利用の極小化を目指す Autonomousにおける推奨 • TPを利用 • 単一のCPUコアで処理させるため • 手動でパラレル度を制御したい場合、 もしくは最優先したい特別な処理の場合は、TPURGENTを推奨 少ないリソースで処理させることで、 より多くの処理をこなせるようになる! CPU/IO CPU/IO
  45. 45 Copyright © 2020, Oracle and/or its affiliates バッチ系・DWH系?接続サービスはどれを使えばよい? 特徴

    • 大量の行にアクセスし、一括で処理する • ユーザ数は少ない • 一般的なオーダーとしては秒~分レベル 一般的なチューニング方針 • 単体SQLのレスポンス(Elapsed Time)を重視し、 単体処理でCPU、IOリソースを100%割りきることを目指す Autonomousにおける推奨 • MEDIUMを利用 • 複数のCPUコアで処理させるため • 動的にパラレル処理されるだけでなく、 キューイングも実装されているため、効率よく処理できる • 同時実行数が3よりも少ない場合はHIGHを推奨 100% リソースを100%使い切ることで、 全体の処理を早く終えることができる! CPU/IO CPU/IO
  46. 46 Copyright © 2020, Oracle and/or its affiliates Runaway Queryの管理

    DWHにありがちな一部のクエリによるリソースの大量消費を防ぐ • 接続グループに対し、上限を設定 • SQLの実行時間 : < value in seconds > • IO の量 : < value in MB > • 上限を超えるステートメントは強制キャンセル • セッションは接続されたまま • 設定方法 • サービスコンソール • CS_RESOURCE_MANAGER パッケージ
  47. 47 Copyright © 2020, Oracle and/or its affiliates コネクション・プールの設定 Database

    Resident Connection Pool (DRCP:常駐接続プール) 常駐接続プールとは • データベースへの接続時に必要な専用サーバをプールする仕組み • 多数のクライアントプロセスが短期間にセッションの切断・接続を繰り返すといった場合に有効 • より多くの接続要求を少ないリソースで迅速に処理できるように • Autonomous Databaseにおいては、デフォルト無効 設定方法 • tnsnames.ora に SERVER=POOLED を追記(アプリケーションからは透過的に利用可能) dbname_high= (description= (address=(protocol=tcps)(port=1522)(host=adw.example.oraclecloud.com)) (connect_data=(service_name=example_high.oraclecloud.com)(SERVER=POOLED)) (security=(ssl_server_cert_dn=“CN=adw.oraclecloud.com,OU=Ora … "))
  48. データベース・ユーザーの管理 Copyright © 2020, Oracle and/or its affiliates. 48

  49. 49 Copyright © 2020, Oracle and/or its affiliates ユーザーの作成 ユーザー

    • 管理者ユーザー:admin (デフォルト作成済) • アプリユーザー:任意に作成可能 作成方法 • adminユーザーで作成 • 要件に応じて権限(ロール)を付与 • 例:事前定義済のDWROLEロールを利用する場合 • データ利用量を設定 SQL> CREATE USER new_user IDENTIFIED BY password; SQL> GRANT DWROLE TO new_user; DWROLEに含まれるロール一覧 • ALTER SESSION • CREATE [ANALYTIC VIEW/ATTRIBUTE DIMENSION/HIERARCHY/JOB/MINING MODEL/PROCEDURE/SEQUENCE/SESSION/SYNONYM/TA BLE/TRIGGER/TYPE/VIEW] • READ,WRITE ON directory DATA_PUMP_DIR • EXECUTE privilege on the PL/SQL package DBMS_CLOUD
  50. 50 Copyright © 2020, Oracle and/or its affiliates パスワード管理 •

    少なくとも一つの大文字、小文字、数字を含む12以上、30文字以内 • usernameを含めることは不可 • 直前4つとは別のパスワードであること • 24時間以内に利用されたパスワードは不可 • 二重引用符(“)は使用不可 • その他 • 同じパスワードを認証に使用できる日数:360日(360日以内に変更が必要) • 指定のログイン試行の連続失敗回数後にアカウントがロックされる日数:1日 • 現在のパスワードを再利用できるようになるまでに必要なパスワードの変更の回数:4回 • パスワードを再使用できなくなるまでの日数:1日 詳細はマニュアルを参照ください。
  51. 51 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ パスワードを360日以内に変更するのは必須ですか?これまでの運用と同様、Unlimitedとして変更したくないのですが。

    セキュリティの観点から360日以内の変更を推奨しております。 ただし、アプリケーション側でパスワードの変更が困難な場合は、デフォルト・プロファイルではなく、ユーザー・プロファイルを作 成してご利用ください。 -- プロファイルの作成例 CREATE PROFILE new_profile LIMIT PASSWORD_REUSE_MAX 10 PASSWORD_LOCK_TIME 5 PASSWORD_LIFE_TIME UNLIMITED ; -- ユーザーの作成例(新たに作成したプロファイルを利用) CREATE USER new_user IDENTIFIED BY password PROFILE new_profile;
  52. ストレージ領域の管理 Copyright © 2020, Oracle and/or its affiliates. 52

  53. 53 Copyright © 2020, Oracle and/or its affiliates ストレージサイズ インスタンス毎にストレージサイズを指定(TB)

    • 実効容量を指定(実際にはトリプルミラーで冗長化されている) • システム表領域やディレクトリオブジェクトを含む • 10%の超過利用が許容される • Exadataのフラッシュサイズはストレージサイズに比例 インスタンス作成時 ダウンタイムなしにスケールアップ・ダウンが可能
  54. 54 Copyright © 2020, Oracle and/or its affiliates 表領域管理 Autonomous

    Database により自動作成・管理される • ユーザーによる表領域作成、削除は不可。必要に応じて自動的に拡張 *1 : 表領域のMAXBYTESは32TBだが、実質インスタンス毎のストレージサイズが上限 *2: インスタンス上限が32TB以上で、格納されるデータが32 TBを超えた場合は、複数のDATA表領域が作成される 表領域名 自動拡張 最大サイズ(*1) NOTE SYSTEM Yes - SYSAUX Yes - DATA Yes - (*2) • デフォルト表領域(変更不可) DBFS_DATA Yes - • ローカルファイルシステム(ディレクトリオブジェクトとして利用) SAMPLESCHEMA Yes - • サンプルスキーマが格納される • 読み取り専用、ストレージサイズには計上されない UNDOTBS1 Yes RACノード毎にストレージサイズの5% • 必要に応じて変更(resize)可能(Shrinkは不可) UNDO_8 Yes - TEMP Yes ストレージサイズの30% • デフォルト一時表領域(変更不可) • 必要に応じて変更(resize)可能(Shrinkは不可)
  55. 55 Copyright © 2020, Oracle and/or its affiliates ユーザー毎のデータ使用量の上限設定 •

    例:上限を10GBに設定する場合 • 例:特に上限を設けず、ストレージサイズの上限まで利用可能とする場合 BEGIN DBMS_CLOUD_ADMIN.GRANT_TABLESPACE_QUOTA( username => 'ADBUSER', tablespace_quota => '10G' ); END; / BEGIN DBMS_CLOUD_ADMIN.GRANT_TABLESPACE_QUOTA( username => 'ADBUSER', tablespace_quota => 'UNLIMITED' ); END; /
  56. 可用性 Copyright © 2020, Oracle and/or its affiliates. 56

  57. 57 Copyright © 2020, Oracle and/or its affiliates Maximum Availability

    Architecture(MAA) 数々のミッションクリティカルで実証された高可用性ベストプラクティス Real Application Clusters • データベース処理能力のリニアなスケールアウトを実現 • 複数サーバー構成で、サーバー障害の影響を極小化(ほぼゼロ) • ローリングパッチ適用により、オンラインでメンテナンスを実施 Active Data Guard (*1) • 全てのコンポーネントがActiveなStandby Databaseを提供 • クラスタ障害、リージョン障害時のRTO/RPOの極小化(数秒) • データ破損から無停止かつ確実な復旧 Flashback Technology • Flashback Databaseを始めとする様々なFlashback機能で、 ユーザー・エラー(誤ったデータ更新)からの高速復旧を実現 Online Redefinition • ユーザー・ワークロード実行中に、オンラインで表定義や索引定義の変更可能 + Primary Standby Time(SCN) Flashback Database Real Application Clusters Active Data Guard *1 : ADBではAutonomous Data Guardを採用
  58. 58 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    高可用性ベストプラクティス(MAA)を基に設計 優れたSLA保証: 99.995% (非合理な例外なし) *1 • 1ヵ月で2.5分未満のダウンタイム 障害 主要機能 想定される ダウンタイム サーバー障害 (HA) RAC ほぼゼロ リージョン障害 ADG 数秒 データ破損 ADG ゼロ パッチ適用 RAC ほぼゼロ アップグレード ADG 数秒 表/索引の変更 Redef ゼロ ユーザー・エラー Flashback エラー発生 からの時間 ADG: Active Data Guard Redef : Online Re-Definition(オンライン再定義) *1 : 2020/7 現在、SLA 99.95%
  59. 59 Copyright © 2020, Oracle and/or its affiliates Autonomous Data

    Guard AD間での高可用性構成のサポート スタンバイ・データベースの作成が可能に • コンソールからのクリック操作で簡単に構成可能 • スタンバイ側も同一構成、OCPUのスケールアップ等の操作はスタンバイ側にも適用される • 最小限のダウンタイムでフェイルオーバー、スイッチオーバーが可能 • 自動フェイルオーバー時、RTO:2分、RPO:0分 • 手動フェイルオーバー時、RTO:2分、RPO:最大5分 • フェイルオーバー、スイッチオーバー後、アプリの修正は不要 • データベースに接続するために接続文字列は変更不要。APEX、SDW、OML Notebookも対応 • フェイルオーバー完了後は自動的に新規スタンバイを作成
  60. 60 Copyright © 2020, Oracle and/or its affiliates Autonomous Data

    Guard AD間での高可用性構成のサポート 注意点 • シングルAD(東京、大阪)の場合はExadataの筐体間で構成 • Region間の高可用性構成は今後提供予定 • スタンバイ側も課金対象(AutoScalingは含まない) • 通常時スタンバイデータベースへアクセスは不可 • Always Free Autonomous Databaseでは使用不可 • 18cでは利用不可 • コンソールでのリソース使用率の表示はプライマリ側の情報のみ
  61. 61 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    サーバエラーやタイムアウト、およびメンテナンスを隠蔽 Application Continuityの有効化が可能 • セッション切断の影響を受ける進行中の処理を自動回復 • アプリからは処理がわずかに遅れたようにみえる • 接続サービス毎に有効化するだけで、アプリからは透過的に利用できる * 要件 • Oracle Client software version 18.3 (or higher). Request Errors/Timeouts hidden BEGIN DBMS_CLOUD_ADMIN.ENABLE_APP_CONT( service_name => ‘adb1_high.adwc.oraclecloud.com‘ ); END; / SELECT name, failover_restore, drain_timeout FROM v$services; NAME FAILOVER_RESTORE DRAIN_TIMEOUT ---------------------------------- ----------------- ------------- adb1_high.adwc.oraclecloud.com LEVEL1 300 * ADB-Shared は Failovertype =TRANSACTION(透過的Application Continuity (TAC) は未対応) ADB-Dedicated は Failovertype = AUTO(TACに対応済)
  62. 性能・拡張性 Copyright © 2020, Oracle and/or its affiliates. 62

  63. 63 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    Exadataが支える。Exadataの主な高速化技術 Smart Scan (DB処理のオフロード) • データ・スキャン/フィルタ処理をストレージ・サーバー内で実行 • データベース・サーバーには関連する結果だけが戻される • レポート、クエリー、バッチ・ジョブなどを大幅にスピードアップ(10倍以上) Persistent Memory Accelerator / Smart Flash (ストレージの階層化) • ストレージ・サーバー上の永続メモリー、フラッシュ、ディスクに対して 透過的にデータを最適配置 • 永続メモリーのパフォーマンスを、フラッシュ容量、ディスク容量で実現 • 超高速ログ書き込み Hybrid Columnar Compression (HCC) • 業界最高のデータ圧縮率(平均で10倍) • データはフラッシュ、メモリ、バックアップ、スタンバイ内でも圧縮された状態 リソース管理 • データベースやワークロードごとにCPU、ネットワーク、I/Oの優先度を決定 • 混合ワークロードやデータベースの統合に不可欠 HCC 10:1 I/O I/O I/O S Q L データベース・サーバー ストレージ・サーバー
  64. 64 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    オンラインでリソースをスケールアップ・ダウン可能 システム負荷の増減に対し、オンラインで柔軟に変更可能 • OCPU/ストレージをそれぞれ個別に増減可能 • OCPUを増やすことで性能向上を実現 変更方法 • Auto Scaling • 負荷が予測できない場合や、突発的な負荷増に対応したい場合に有用 • 最低限のコストで対応できる • セッション数やメモリサイズはベースOCPUに紐づくため変化しない • Manual Scaling (GUI/ocicli/RestAPI) • システムの負荷状況がある程度把握できる場合に有用 • セッション数やメモリ数をAuto Scalingに比べて多く確保できる 4 Elapsed OCPU 16 8 チュートリアル https://community.oracle.com/docs/DOC-1035108 (ADB HOLで検索ください)
  65. 65 Copyright © 2020, Oracle and/or its affiliates Auto Scaling

    システムの負荷状況に応じて、CPU/IOリソースを拡張、または縮小が可能 • 上限は128コア(ベースOCPUが64の場合も上限はOCPU=128) • セッション数やメモリサイズはベースOCPUに紐づくため変化しない 1時間当たりのCPU平均使用率に基づき課金される • Auto Scaling有効時の利用OCPUの算出は、ベースのOCPU数、もしくは最大OCPU数 x 平均 CPU使用率の、どちらか大きい方。小数点以下は切り上げ 設定方法 • 新規インスタンス作成時、自動拡張の有効/無効を選択 • 既存インスタンスに対してもオンラインで有効化、無効化が可能
  66. 66 Copyright © 2020, Oracle and/or its affiliates Manual Scaling

    (GUIによる変更) CPU/ストレージをそれぞれオンラインで拡張、縮退可能 • 『Scale Up/Down』をクリック • 利用したリソース数(CPU/Storage)を入力 • CPUは1 OCPU単位 • Storageは1TB単位 • 『Update』をクリック
  67. 67 Copyright © 2020, Oracle and/or its affiliates Manual Scaling

    (OCI CLIによる変更) インスタンスの作成、停止、起動、スケールアップ・ダウン等を自動化可能 • 実行例 • 参考チュートリアル • https://community.oracle.com/docs/DOC-1035108 • その他、 REST API からの操作も可能です $ oci db autonomous-data-warehouse update --autonomous-data-warehouse-id “ADW の OCID“ ¥ --cpu-core-count 2
  68. 構成変更 Copyright © 2020, Oracle and/or its affiliates. 68

  69. 69 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    管理範囲 お客様管理範囲 • アプリケーションのアラート監視/管理 • パフォーマンス監視 オラクル管理範囲 • OS, ミドルウェアのアラート監視/管理 • OS, ミドルウェア(GI, Database)パッチ適用 • 自動チューニング • バックアップ • 仮想マシン以下のアラート監視/管理 • ハードウェア故障対応 • 仮想マシン/ハイパーバイザー層へのパッチ適用 データセンター ハードウェア機器 OS ミドルウェア アプリケーション オラクル管理 お客様管理 ハイパーバイザー 仮想マシン
  70. Autonomous Database 共有職責モデル(マニュアル抜粋) Copyright © 2020, Oracle and/or its affiliates

    70 タスク 対象者 詳細 Autonomous Databaseリソースの プロビジョニング Oracle Oracleは、リソースのプロビジョニングを担当します。 お客様は、プロビジョニングするリソースの構成特性を指定するプロビジョニング・リクエストを開始する責任があります。 データベースのバックアップ Oracle Oracleは、データベースを毎日バックアップし、データベースのバックアップを60日保存する責任を負います。 データベースのリカバリ Oracle Oracleは、データベースのリカバリを担当します。 お客様は、リカバリする既存のバックアップを指定するリカバリ・リクエストの開始責任を負います。 パッチ適用とアップグレード Oracle Oracleは、すべてのAutonomous Databaseリソースへのパッチ適用およびアップグレードを行います。 スケーリング Oracle OracleはAutonomous Databaseのスケーリングを担当します。 お客様は、スケーリング・リクエストを開始する責任があります。 サービスのヘルスのモニタリング Oracle Oracleは、Autonomous Databaseリソースのヘルスをモニタリングし、公開されたガイドラインに従って可用性を確保する責任があります。 アプリケーションのヘルスと パフォーマンスのモニタリング 顧客 お客様は、すべてのレベルでアプリケーションのヘルスとパフォーマンスのモニタリングを担当します。 この職責には、データベース問合せのパフォーマンスのモニタリングおよびアプリケーションの実行の更新が 含まれます。 アプリケーション・セキュリティ 顧客 お客様は、すべてのレベルでアプリケーションのセキュリティについて責任を負います。 この職責には、Autonomous Databaseリソースへのクラウド・ユーザー・アクセス、これらのリソースへのネットワーク・ア クセス、およびデータベース・データへのアクセスが含まれます。 Oracleによって、Autonomous Databaseに格納されたデータが暗号化されていることを確認し、Autonomous Databaseへの接続に、TLS 1.2の暗号化およびウォレット・ベースの認証が必要になり ます。 監査 Oracle Oracleは、Autonomous Databaseリソースに対してREST APIコールを記録し、これらのログをお客様が監査のために利用できるようにする必要があります。 Oracleは、Autonomous DatabaseがOracle Database監査機能を有効にしてプロビジョニングされていることを確認する必要があります。 お客様は、これらの機能を使用してデータベース使用状況 を監査します。 アラートと通知 Oracle Oracleは、サービス・イベントに対してアラートおよび通知機能を提供する責任があります。 お客様は、関心のあると思われるデータベース・アラートのモニタリングを担当します。 https://docs.oracle.com/cd/E83857_01/paas/autonomous-database/shared-responsibility-model.html
  71. 71 Copyright © 2020, Oracle and/or its affiliates バックアップ・リストア オンラインで自動的に取得され、任意のタイミングにリカバリ可能

    バックアップ • 自動バックアップ • インスタンス構成時にデフォルトで有効化され、無効化はできない • オブジェクトストアに出力される(課金対象外) • 週次でフルバックアップ、日次で増分バックアップ • インスタンスが停止している場合、増分バックアップは取得されない • 手動バックアップ • 事前に用意したオブジェクトストア上のバケットに出力(追加費用が発生) • 保管期間は60日 • オンラインで取得可能 • 取得したバックアップは、ADBのリストアのみに利用可能(ATPからADWへの変換は不可) 特定時点にリストア可能 • ユーザ自身でGUI/APIを介して実施
  72. 72 Copyright © 2020, Oracle and/or its affiliates バックアップ・リストア Data

    Pumpを利用した論理バックアップ Data PumpによるAutonomous Databaseからのエクスポート • スキーマ単位で、表単位でバックアップを取っておきたい場合に利用 • 出力先 • ディレクトリ・オブジェクト(デフォルトはDATA_PUMP_DIR、変更可能) • DBMS_CLOUD.PUT_OBJECTにてオブジェクト・ストレージに転送 • Object Storageに直接 • イメージ作成準備のため、Expdp起動後のデータ出力までに 数分程度の時間を要する • 出力されたダンプファイルをインポートする際は、 オブジェクトストレージに出力される構成ファイル (<ダンプファイル名>_aaaaa)が必要。削除不可
  73. 73 Copyright © 2020, Oracle and/or its affiliates バックアップ・リストア Data

    Pumpを利用した論理バックアップ 実行例 • 事前にオブジェクトストレージへのユーザ名、アクセストークンが必要です (credentialの登録) • 性能の観点から接続サービスはHIGHを利用し、PARALLEL句にはOCPU数を指定下さい。必要に応じて圧縮を設 定ください • 必要に応じて、暗号化を設定ください エクスポート(例) インポート(例) expdp admin/xxxxx@adb01_high ¥ filesize=5G ¥ dumpfile=default_credential:https://objectstorage. ap-Tokyo-1.oraclecloud.com/n/<namespace>/b/<bucket_name>/o/exp_%U.dmp ¥ parallel=16 encryption_pwd_prompt=yes SCHEMAS=SCHAMA01 ¥ compression=ALL ¥ logfile=export.log directory=data_pump_dir impdp admin/xxxxx@adw01_high ¥ dumpfile=default_credential:https://objectstorage. ap-Tokyo-1.oraclecloud.com/n/<namespace>/b/<bucket_name>/o/exp_%U.dmp ¥ parallel=16 encryption_pwd_prompt=yes REMAP_SCHEMA=SCHAMA01:TEST_SCHAMA01 ¥ logfile=import.log directory=data_pump_dir 詳細はマニュアルを参照ください (Oracle Client Version 19.6 以前の場合)
  74. バックアップ・リストア 手法一覧 Copyright © 2020, Oracle and/or its affiliates 74

    手法 対象 保持 期間 出力先 バックアップ 実行方法 リストア 実行方法 補足・特記事項 自動バックアップ インスタン ス全体 60日 オブジェクトストレージ(課 金対象外) 不要(自動で設定済み) コンソール、APIを利 用 任意の時間(分)を指定したリストアが可能 (Point-In-Time-Recovery) 手動バックアップ インスタン ス全体 60日 オブジェクトストレージ(追 加費用が発生) コンソール / APIを利用して実 施。事前にオブジェクトストレー ジを作成 コンソール、APIを利 用 フルバックアップのみ。バックアップを指定したリスト ア Data Pumpを利用 した論理バックアップ スキーマ、 表 制限なし ディレクトリオブジェク (DATA_PUMP_DIR) or オブジェクトストレージ 手動でexpdpコマンドを発行 手動でimpdpコマン ドを発行 DATA_PUMP_DIRから退避する際は、 DBMS_CLOUDパッケージを利用。(追加でオ ブジェクトストレージの費用が発生)他のインスタ ンス上にリストア可能 参考) フラッシュバックテーブ ルを利用したデータ 戻し 表 8時間 *1 インスタンス内部 不要(自動で設定済み) FLASHBACK TABLE コマンドにて 実行 DB_FLASHBACK_RETENTION_TARGET= 480 *1 : あくまでも目標値であり、この値を保証する訳ではありません。データの更新量に依存して短くなる場合もございます。
  75. 75 Copyright © 2020, Oracle and/or its affiliates ライセンスタイプの変更 インスタンス作成後に変更可能

    • インスタンスの停止は不要 利用例 • インスタンス作成時に間違えたケース • BYOLでの利用時に、さらに多くのOCPUにスケールアップしたいケース • BYOLできるライセンス数には上限があるため、サブスクリプション込みに変更する必要がある
  76. 76 Copyright © 2020, Oracle and/or its affiliates インスタンスの複製 複製方法

    • クローン・タイプの選択 • データベース全体の複製 • データベースのメタデータのみの複製 • ソースの選択 • 実行中インスタンスからの複製(ソースは無停止) • バックアップからの複製 (任意のタイミング/バックアップリスト) • クローン先の構成 • コンパートメントの指定(コンパートメント跨ぎが可能) • OCPU/ストレージのサイズ指定可能 利用例 • 特定時点のデータを利用した開発環境の作成 • 人為的ミスに伴うデータロストへの対応(*1) 等 *1 : フラッシュバック・テーブルによる過去データへの参照も可能です
  77. 77 Copyright © 2020, Oracle and/or its affiliates インスタンス停止における課金について サービス・インスタンスを停止すれば、OCPUの課金は停止可能

    • 利用しない期間のコストを抑えられ、必要になった時に再起動してすぐに利用可能 • データやバックアップは保持されるため、ストレージの課金は継続
  78. 78 Copyright © 2020, Oracle and/or its affiliates インスタンス操作履歴の確認 Work

    Requestによる操作進捗・履歴の確認 • サービスの作成、削除 • サービスの起動、停止 • リストア、クローニング • 手動バックアップの作成、削除 • リソース(ストレージ/CPU)の増減 • Auto Scale の有無も含む • ライセンスタイプの変更 • ネットワークACLの更新 等
  79. 監視ツール Copyright © 2020, Oracle and/or its affiliates. 79

  80. 80 Copyright © 2020, Oracle and/or its affiliates メトリック監視、アラート通知 OCI

    Monitoring for ADB OCI Compute インスタンス等と同様に監視可能 • OCI Notificationを併用 利用例 • CPU使用率が70%を超えるとメール通知 • ストレージ使用率が90%を超えるとSlackに通知 監視項目(一部抜粋) • CPU Utilization / Storage Utilization / Sessions / Failed Connections / Transaction Count …
  81. 81 Copyright © 2020, Oracle and/or its affiliates データベース稼働監視 Service

    Console 稼働状況の把握 • SQL実行数 • 平均レスポンスタイム • 接続サービス毎の負荷状況 等 パフォーマンス確認 • リアルタイムSQL監視 • Performance Hub
  82. 82 Copyright © 2020, Oracle and/or its affiliates データベース稼働監視 Service

    Console ADMINパスワードの変更 MLユーザの管理 リソースマネージャの設定変更 • 長時間実行されるSQLや大量にIOを消費するSQLの 自動切断設定(右下、デフォルトは0で未設定) • 接続サービス間の優先度の調整 Oracle 社へのフィードバックウィザード
  83. 83 Copyright © 2020, Oracle and/or its affiliates 複数インスタンスの一元監視・通知設定 Oracle

    Management Cloud 事前定義されたメトリック • 一般的なデータベース監視に必要な項目を多数用意 • データベースのアクティビティ • SQLの平均レスポンスタイム • 初期化パラメータ • サービスレベル毎の情報 • アラートの事前定義 • Performance Hub 等 • しきい値のカスタマイズ / アラート通知 • メール送信 • モバイルアプリ ADBを監視する範囲内でOMCは無償
  84. パッチ適用・メンテナンス Copyright © 2020, Oracle and/or its affiliates. 84

  85. 85 Copyright © 2020, Oracle and/or its affiliates パッチ適用 お客様による作業は不要

    オラクル社にて自動適用 • お客様作業は不要 全てのコンポーネントが対象 • Firmware, OS, Hypervisor, Clusterware, Database 事前定義されたメンテナンス・ウィンドウにて実施(緊急時を除く) • メンテナンスウィンドウはGUIから確認可能 アプリケーション(既存セッション)への影響 • 多くのパッチはオンラインで適用できるため影響なし • オンライン適用不可のパッチは、RACのローリングアップグレードで適用されるため影響なし • 一部、長時間かかる処理については瞬断の可能性があるが、Application Continuityを利用することで、処理を継続可能 (どうしてもサービス停止が必要となるメンテナンスについては、事前に通知の上で実施)
  86. 86 Copyright © 2020, Oracle and/or its affiliates パッチ適用 注意事項

    長時間かかる処理に対する瞬断の可能性について • トランザクションがDBで完結するジョブについては、Application Continuityの有効化を検討 • トランザクションがDBの完結しないジョブについては、実施時間の変更等を検討 • DBMS_CLOUD.COPY_DATAによるインポート処理 • expdp/impdpによるデータ移行処理 • DBMS外部に対し操作を実行するプロシージャ • UTL_FILE、UTL_HTTP,DBMS_FILE、、、 • 等
  87. アップグレード Copyright © 2020, Oracle and/or its affiliates. 87

  88. 88 Copyright © 2020, Oracle and/or its affiliates データベース・バージョン 18c/19cから選択可能

    • デフォルトは19c • 大阪リージョンは19cのみ対応。 • リージョン毎の18cの選択可否はマニュアルを参照ください • 18cインスタンスは2020年9月まで利用できる予定
  89. 89 Copyright © 2020, Oracle and/or its affiliates 既存18cインスタンスの19cへのアップグレード方法 自動アップグレード

    • オラクル社のタイミングで実施(2020/9から順次実施) • 事前通知済(メール / バナー / イベント通知。右) • 18cインスタンスを保有されているテナントが対象、管理者アカウント宛 • お客様によるタイミングの変更は不可 • 最小限のダウンタイムで実施される。最大10分のダウンタイムを予定 • ユーザーのタイミングで実施 • 上記オラクル社による一斉アップグレードの前に、顧客のタイミングで実施可能 • クリックするだけでアップグレードが完了。ダウンタイムは最小限 • 数十分でアップグレードが完了(2020/5時点の実績値) • アップグレード進行中もデータベースはオンラインだが、最後に再起動が生じる • アップグレード後も既存のウォレットを利用可能
  90. 90 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ 19c

    へのおススメのアップグレード方法は? アップグレードのタイミングを調整可能なワンクリックによるアップグレードをご利用ください。 クローン機能を利用することでアップグレード前の事前動作確認が可能です。 • フルクローンもしくはバックアップを利用したクローンによる19cインスタンス作成 より慎重にアップグレードしたいという場合は以下のようなステップが考えられます。 ① 本番DBから19cのクローン( Metadataのみ)を作成し、接続性の確認 ② 本番DBから19cのクローンを作成し、アプリケーションのレスポンス確認 ③ (万一を想定し、戻れるように)本番DBから18cのクローンを作成・保持 ④ 本番DBを19cにワンクリックでアップグレード
  91. SRへの問い合わせ Copyright © 2020, Oracle and/or its affiliates. 91

  92. 92 Copyright © 2020, Oracle and/or its affiliates SRへの問い合わせに関して 利用開始前にアカウント登録をお願いします。

    技術的なお問い合わせは、他の製品・サービスと同様、サービスリクエスト (SR) を介して実施いただきます。 SRの起票に際しては、My Oracle Supportのアカウントをすでに保持され、ADBの問い合わせができるサポートIDでアク セスできることが必要です。 • SRの作成、管理方法の一般的なガイドは、下記製品別サポート窓口より「Oracle Cloud Support ご利用ガイ ド SR作成・管理(PDF)」を参照ください。 • My Oracle Supportのアカウント、サポートIDのリクエスト方法は、下記製品別サポート窓口より「Oracle Cloud Support ご利用ガイド ユーザー登録・管理」を参照ください。 製品別サポート窓口 https://www.oracle.com/jp/support/support-services-list/
  93. 93 Copyright © 2020, Oracle and/or its affiliates SRへの問い合わせに関して 利用開始前にご登録をお願いします。

    Autonomous Databaseのご利用開始に際しては、以下の資料も併せてご確認ください。 • サポートサービスへの問い合わせ(Service Requestの起票) • https://community.oracle.com/docs/DOC-1038224 (ADB HOLで検索ください)
  94. 94 Copyright © 2020, Oracle and/or its affiliates SRを起票する際のTips より迅速に解決を図るために

    起票される際は「Autonomous Database」を利用されている旨を選択ください テナント名やOCID等のお客様環境情報は必ず入力ください。また「問題タイプ」を適切に選択ください • 初期調査をスムーズに進めることが可能となります スクリーンショットをご提示される場合は、ブラウザ表示を日本語ではなく英語で取得ください • 海外のエンジニアが参照する際に、効率的な調査が可能になります • その他、SQLの実行結果等のテキストログなども日本語が含まれない形でご提示いただくとスムーズです 登録時の電話番号は、確実に連絡の取れる番号を入力ください より正確な状況を把握させていただくために、サポートからお電話をさせていただくことがございます
  95. 95 Copyright © 2020, Oracle and/or its affiliates SRへの問い合わせに関して サポート・サービスFAQ

    サポート・ポータルへのログイン方法等、My Oracle Support のご利用前に必要となる手順や、SR 対応の際にエンジニ アがご提供をお願いすることの多い Cloud 環境の情報収集方法など、サポートサービスに関する様々な情報が記載され ています。ご活用ください。 1. Cloud サポート・ポータル 2. Cloud SR 登録 / 対応 3. Oracle サポートの有効活用 4. Cloud サービス基本 5. IT 技術一般 (Cloud サービス以外) サポート・サービスFAQ https://blogs.oracle.com/supportjp/cloud_support_faq
  96. データ移行・連携 Copyright © 2020, Oracle and/or its affiliates. 96

  97. 97 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ 既存Oracle

    DatabaseのAutonomous Database への移行方法を教えて欲しい • まずはADBにおける各種制限に抵触しないか、ご確認ください。 • 本資料、もしくはマニュアルを確認ください。またスキーマアドバイザ (MOS Note: 2462677.1)を利用することでデー タ型等、細かい調査も移行前に実施いただけます。 • その上で、まずはData Pumpによる移行を検討ください(参考手順) • アプリケーションのダウンタイムを最小限に抑えたい場合は、GoldenGateの利用を検討ください。今ならGoldenGateラ イセンスがタダになるキャンペーンを実施中です(Golden Gate on Marketplace)
  98. 98 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ 他社データベースからAutonomous

    Database に移行するには? • 基本的には、CSVなどのフラットファイルでの移行を検討ください • データサイズが小さいのであれば、SQL Developer等、クライアントツールが簡単です。 • データサイズが大きいのであれば、DBMS_CLOUDパッケージを利用ください。XMLやAvro、Parquetといったフォー マットを直接読み込んだり、S3等の他社ストレージを介しても利用できます。尚、データを圧縮したり分割すること で、転送時間を削減可能です。 • DDL/SQLの変換については、Oracle SQL Developer Migration Workbenchも検討ください • 幾つかについてはマニュアル等に手順が公開されています(Redshift PostgreSQL BigQuery)
  99. 99 Copyright © 2020, Oracle and/or its affiliates 制限事項および運用上の注意点 データベース構成

    パラメータ(init.ora) • 事前に設定済 • 一部、ユーザによる変更が可能 (e.g. NLS関連) 表領域管理 • 事前に定義済 • ユーザによる作成/変更/削除は不可 • クオータ設定が可能 • HCC圧縮が設定済み(ADWのみ) パラレル度 • 接続するサービスに依存 • HIGH/MEDIUMであれば自動設定される • DMLのパラレル実行無効化は可能 オプティマイザの統計情報収集 • ダイレクト・ロード実行時は自動収集 • ユーザーによる統計情報収集も可能 Optimizer hints(ADWのみ) • デフォルトではヒントは無視される • 明示的に有効化可能 Result cache(ADWのみ) • Result cache はデフォルトで全クエリに有効
  100. 100 Copyright © 2020, Oracle and/or its affiliates 制限事項および運用上の注意点 ユーザーによる変更が可能なパラメータ

    NLS関連 • NLS_CALENDAR / NLS_COMP / NLS_CURRENCY NLS_DATE_FORMAT / NLS_DATE_LANGUAGE NLS_DUAL_CURRENCY / NLS_ISO_CURRENCY NLS_LANGUAGE / NLS_LENGTH_SEMANTICS NLS_NCHAR_CONV_EXCP NLS_NUMERIC_CHARACTERS / NLS_SORT NLS_TERRITORY / NLS_TIMESTAMP_FORMAT NLS_TIMESTAMP_TZ_FORMAT オプティマイザ関連 • OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES(ALTER SESSIONのみ) OPTIMIZER_IGNORE_HINTS OPTIMIZER_IGNORE_PARALLEL_HINTS OPTIMIZER_MODE QUERY_REWRITE_INTEGRITY 集計処理関連 • APPROX_FOR_AGGREGATION APPROX_FOR_COUNT_DISTINCT APPROX_FOR_PERCENTILE PL/SQL 関連 • PLSCOPE_SETTINGS / PLSQL_DEBUG PLSQL_WARNINGS / PLSQL_OPTIMIZE_LEVEL PLSQL_CCFLAGS その他機能関連 • AWR_PDB_AUTOFLUSH_ENABLED CURSOR_SHARING / DDL_LOCK_TIMEOUT FIXED_DATE / MAX_IDLE_TIME MAX_STRING_SIZE (一度限り、ExtendedからStandardへ の変更が可能) STATISTICS_LEVEL (ALTER SESSIONのみ) TIME_ZONE (ALTER SESSION / ALTER DATABASE の み) 最新情報はマニュアルを参照ください
  101. 101 Copyright © 2020, Oracle and/or its affiliates 制限事項および運用上の注意点 制限されているデータベース操作&機能

    使用できないSQL • ADMINISTER KEY MANAGEMENT • ALTER PROFILE • ALTER TABLESPACE • CREATE DATABASE LINK (*1) • CREATE PROFILE • CREATE TABLESPACE • DROP TABLESPACE 一部制限があるSQL • ALTER PLUGGABLE DATABASE • ALTER DATABASE • ALTER SESSION • ALTER SYSTEM • ALTER USER • ALTER TABLE • CREATE TABLE • CREATE USER サポートしていないデータ型 • LONG (*2) • LONG RAW (*2) • Media types • Spatial types 最新情報はマニュアルを参照ください *1 : DBMS_CLOUD_ADMIN.CREATE_DATABASE_LINKを 利用したDB Linkの作成は可能 *2 : ADWでHCC圧縮を使用する場合はサポートされない
  102. 102 Copyright © 2020, Oracle and/or its affiliates 制限事項および運用上の注意点 制限されているデータベース操作&機能

    一部制限のある機能 • Oracle XML DB • Oracle Text • Oracle Spatial and Graph • Oracle Flashback 使用できない機能 • Oracle Real Application Testing • Oracle OLAP • Oracle R capabilities of Oracle Advanced Analytics • Oracle Industry Data Models • Oracle Tuning Pack • Oracle Database Lifecycle Management Pack • Oracle Data Masking and Subsetting Pack • Oracle Cloud Management Pack for Oracle Database • Oracle Multimedia • Java in DB • Oracle Workspace Manager 最新情報はマニュアルを参照ください
  103. 103 Copyright © 2020, Oracle and/or its affiliates 制限事項および運用上の注意点 ADBにおける文字コードはAL32UTF8で固定

    現行SJIS環境からの移行における確認事項 • LENGTHB関数、SUBSTRB関数等、バイト単位で制御するプログラムがある場合は修正が必要 • 表名、列名にマルチバイトを使われている場合、表名、列名の変更が必要な可能性 • DB12.2からの機能拡張で従来の32バイトまでが128バイトまで利用可能になったため、12.1より前からの移行であれば表名、 列名の変更は不要 • 格納される際のバイト数の違いから、 CHAR, VARCHARの列定義でエラーとなる可能性 • 2文字の場合、SJISでは4バイト、UTF8では6バイトとなり、現行SJISのシステムでCHAR(4)で定義している場合、ADBだと 6バイト必要となるためエラーとなる • 対応策① • 表、PLSQLパッケージ等のオブジェクト作成時、NLS_LENGTH_SEMANTICSパラメータでCHARを指定 • 対応策としては簡単だが、既存の環境と比べてデータ領域を3倍必要とする(*) • 対応策② • 列定義、PL/SQLパッケージの定義について、機械的に1.5倍に増やす * Autonomous Databaseでは圧縮機能が利用できるため、影響は最小限
  104. 104 Copyright © 2020, Oracle and/or its affiliates 移行に際しての事前検証ツール スキーマ・アドバイザ

    (MOS Note: 2462677.1) PL/SQLで実装されたOracle 10.2以上で動作する非常に軽いパッケージ • 既存DBにインストール • データタイプといった各種制限に抵触しないかを移行前に確認可能 実施の流れ • パッケージをダウンロード • 既存DBに一時的にスキーマを作成し、権限付与 (スキーマ作成は任意) • 作成したスキーマ内にパッケージをインストール • 調査対象用のスキーマに対して、実行 • スキーマを削除 SQL> exec adw_advisor.report (‘SH’) ;
  105. Autonomous Database データロード・連携イメージ Copyright © 2020, Oracle and/or its affiliates

    105 On-Premise / Local Disk OCI Object Storage Autonomous Database Dump CSVなど S3 / Azure CSVなど CSVなど DB Link (INSERT/UPDATE) GoldenGate OCI Console (GUI) OCI CLI REST API Expdp Impdp/dbms_datapump RedShift DBMS_CLOUD DBMS_CLOUD Dump Impdp/ dbms_datapump Data Sync(OAC‘s Option) Oracle Database Other SQL Developer SQL*Loader(*) Dump データ移行 データリンク ELT連携(Bulk Load) リアルタイム・レプリケーション * : SQL Developerでの操作が可能 3rd Party 外部表 DBMS_CLOUD
  106. Autonomous Database データロード・連携イメージ Copyright © 2020, Oracle and/or its affiliates

    106 ソースDB 対象 利用フェーズ 追加で必要な ライセンス / サービス 補足 他社 Oracle DB (*1) データ ロード(*3) 連携 SQL*Loarder SQL Developer SQL Developer Web APEX 〇 〇 表データ (CSV等のフラットファイル) △(少量) - - - DBMS_CLOUD (DATA_COPY) 〇 〇 表データ (CSV等のフラットファイル) 〇 - • Object Storage • ソースがOracle DBの場合は性能/作業工数の観点 からData Pumpを推奨 • S3、Azure Blob Storage対応 DBMS_CLOUD (外部表) 〇 〇 表データ (CSV等のフラットファイル) 〇 - • Object Storage • ロードする際に簡易なETL処理が可能 • ソースがOracle DBの場合は性能/作業工数の観点 からData Pumpを推奨 • S3、Azure Blob Storage対応 Data Pump - 〇 (11.2.0.4+) スキーマ、表、その他オブジェクト 〇 - • Object Storage • S3、Azure Blob Storage対応 GoldenGate 〇 (*2) 〇 (11.2.0.4+) (*2) 表、その他オブジェクト、 DDL・DML操作 △(少量) リアルタイム • GoldenGateライセンス (ソース/ターゲットの合計コア数に課金) • Compute、Block Storage • データベース移行時のダウンタイムを極小化したい場合 に利用。初期データの移行はData Pumpとの併用を 推奨 GoldenGate on Marketplace 〇 (*2) 〇 (11.2.0.4+) (*2) 表、その他オブジェクト、 DDL・DML操作 △(少量) リアルタイム • GoldenGateライセンス (2020末までUC契約者無償提供中) • Compute、Block Storage • 同上 DB Link 〇 〇 (11.2.0.4+) 表 △(少量) 実行時 - • MVIEWと組み合わせた基本レプリケーションが可能 • Walletファイルの考慮が必要 • 他社DBの場合はOracle Database Gatewayが必要 サポート対象DBはマニュアルを参照のこと Data Sync 〇 〇 表 △(少量) 実行時 - - *1 : 括弧内はサポートされる最低バージョン これよりも古いバージョンのサポート可否は都度確認が必要 *2 : 利用製品/バージョン/OS等、ソースDBのサポート可否は都度確認が必要 *3 : 括弧内は対象となるデータサイズ
  107. 107 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ 概要

    Autonomous Database 固有のパッケージ Object Store 上のファイルにアクセスするためプロシージャ • DBMS_CLOUD.COPY_DATA • Autonomous Database(ADB)へのデータロード • DBMS_CLOUD.CREATE_EXTERNAL_TABLE • Object Store 上のファイルを外部表として参照 対応フォーマット • Text(CSV、TSV等)、JSON、XML、Parquet、Avro、ORC、Data Pump(*1) 対応ソース • Oracle Cloud Infrastructure Object Storage • Oracle Cloud Infrastructure Object Storage Classic • AWS S3 • Azure Blob Storage *1 : 外部表でORACLE_DATAPUMPアクセスドライバを利用しエクスポートした ダンプファイルが対象(expdpコマンドで出力したダンプファイルは対象外)
  108. 108 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ データロード手順

    ① 資格証明の登録 • Object Storage を利用するための資格情報を定義 • 資格証明名、Object Storageのユーザー名とパスワード(トークン) • 設定は一度だけ (*1) • 資格情報をデータベース・スキーマに格納後は、全ロード処理でその情報を利用 begin DBMS_CLOUD.create_credential ( credential_name => 'OBJ_STORE_CRED', username => '<your username>', password => '<your Auth Token>' ) ; end; /
  109. 109 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ データロード手順

    ② 事前に表を作成 ③ 作成した表にローディング • ソース・ファイルのデータフォーマットをJSON形式で指定 BEGIN DBMS_CLOUD.COPY_DATA( table_name =>'CHANNELS', credential_name =>'DEF_CRED_NAME', file_uri_list =>'https://swiftobjectstorage.us-phoenix-1.oraclecloud.com/v1/adwc/adwc_user/channels.txt', format => json_object('delimiter' value ',') ); END; / CREATE TABLE CHANNELS ( xxxx ) ;
  110. 110 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ 補足)リクエストURLのフォーマット

    Oracle Cloud Infrastructure Object Storage URI • ネイティブURI • Swift URL • Amazon S3 URI • Azure Blob Storage URI https://objectstorage.us-phoenix-1.oraclecloud.com/n/idy4veans2xl/b/adwc_user/o/channels.txt 本資料はこちらをベースに記載 https://swiftobjectstorage.us-phoenix-1.oraclecloud.com/v1/idy4veans2xl/adwc_user/channels.txt https://s3-us-west-2.amazonaws.com/adwc/channels.txt https://adwc_user.blob.core.windows.net/adwc/channels.txt
  111. 111 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ データロード手順

    データ・ロードの履歴の確認 • user_/dba_load_operations 表を参照する 上手くロードできない場合 • ログと bad ファイルが表として格納されているため、参照する select table_name,status,rows_loaded,logfile_table,badfile_table from user_load_operations; TABLE_NAME STATUS ROWS_LOADED LOGFILE_TABLE BADFILE_TABLE -------------------- --------- ----------- -------------------- -------------------- CHANNELS FAILED COPY$1_LOG COPY$1_BAD CHANNELS COMPLETE 5 COPY$2_LOG COPY$2_BAD
  112. 112 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ 補足)資格証明の登録作業の簡素化について

    事前認証リクエストURLに対応 • OCI Object Storageにて事前認証済みリクエストを作成すると、 リクエストおよびファイル毎に一意のURLが生成される(ファイル単位) • そのURLを利用することで、データベースに認証情報を登録せずにデータにアクセス可能 (DBMS_CLOUD.create_credentialは不要) BEGIN DBMS_CLOUD.COPY_DATA( table_name =>'CHANNELS', file_uri_list =>'https://objectstorage.us-phoenix-1.oraclecloud.com/p/2xN-uDtWJNsiD910UCYGue5/n/ adwc/b/adwc_user/o/channels.txt', format => json_object('delimiter' value ',') ); END; / 注意)実際の利用に際しては、セキュリティを考慮し、アクセスタイプや有効期限を適切に設定してください
  113. 113 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ 補足)資格証明の登録作業の簡素化について

    パブリックURLに対応 • OCI Object StorageにてPublic URLを作成される (バケット単位) • データベースに認証情報を登録せずにデータにアクセ ス可能 (DBMS_CLOUD.create_credentialは不要) BEGIN DBMS_CLOUD.COPY_DATA( table_name =>'CHANNELS', file_uri_list =>'https://objectstorage.us-ashburn-1.oraclecloud.com/n/compartment1/b/adwc/o/chan_v3.dat', format => json_object('delimiter' value ',') ); END; / 注意)実際の利用に際しては、セキュリティについて十分考慮の上、ご使用ください
  114. 114 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ 外部表利用

    Object Store上のデータに対して、外部表アクセスが可能 • ロードせずに、直接データを参照 • Object Store上のデータを変換しながら Autonomous Databaseにロード BEGIN DBMS_CLOUD.CREATE_EXTERNAL_TABLE( table_name =>'CHANNELS_EXT', credential_name =>'DEF_CRED_NAME', file_uri_list =>'https://objectstorage. us-phoenix-1.oraclecloud.com/n/atpc/b/atpc_user/o/channels.txt', format => json_object('delimiter' value ','), column_list => 'CHANNEL_ID NUMBER, CHANNEL_DESC VARCHAR2(20), CHANNEL_CLASS VARCHAR2(20), CHANNEL_CLASS_ID NUMBER, CHANNEL_TOTAL VARCHAR2(13), CHANNEL_TOTAL_ID NUMBER' ); END; / select count(*) from channels_ext; Insert /*+ APPEND */ into channels Select * from channels_ext where channel_class like ‘A%’; SQL Autonomous Database オブジェクトストレージ 外部表 実データ
  115. DBMS_CLOUDパッケージ 外部表:利用パターン Copyright © 2020, Oracle and/or its affiliates 115

    SQL Autonomous Database オブジェクトストレージ 実データ 外部表 ・単一ファイルを表として参照 SQL Autonomous Database オブジェクトストレージ 実データ Object Storage 2019/Q1 2019/Q2 2019/Q3 SQL Autonomous Database オブジェクトストレージ (*1) 2019/Q1 2019/Q3 2019 実データ 2019/Q2 実データ *1 : 19c以降で利用可能予定
  116. 116 Copyright © 2020, Oracle and/or its affiliates DBMS_CLOUDパッケージ 外部表:ソースファイルの有効性確認

    外部表の参照先であるソースファイルを検証し、その存在確認やフォーマットオプションといった外部表定義との整合性を チェックが可能 • DBMS_CLOUD.VALIDATE_EXTERNAL_TABLE • DBMS_CLOUD.VALIDATE_EXTERNAL_PART_TABLE • DBMS_CLOUD.VALIDATE_HYBRID_PART_TABLE BEGIN DBMS_CLOUD.VALIDATE_EXTERNAL_PART_TABLE ( table_name => 'PET1', partition_name => 'P1'); END; / BEGIN DBMS_CLOUD.VALIDATE_EXTERNAL_PART_TABLE ( table_name => 'PET1', rowcount => 100 ); END; / パーティションP1のソースファイルを参照し、 外部パーティション表の定義との整合性をチェック 100行ずつ各パーティションのソースファイルを参照し、 外部パーティション表の定義との整合性をチェック
  117. 117 Copyright © 2020, Oracle and/or its affiliates Data Pump

    Oracle DatabaseからAutonomous Databaseへの移行 Autonomous Databaseでも使い慣れたData Pumpを利用できる 移行イメージ • (アプリケーションの停止) • データをダンプファイルにエクスポート(①) • オブジェクトストレージにダンプファイルをアップロード(②) • GUI / OCICLI / Rest API 等で実施 • OCI / OCI Classic / S3 / Azure に対応 • ADBにインポート(③) • (アプリケーションの接続先を切り替え) • (アプリケーションの再開) オブジェクトストア ダンプ ファイル Oracle Database ダンプ ファイル ① エクスポート (expdp) ② アップロード ③ インポート (impdp) ローカルディスク等
  118. 118 Copyright © 2020, Oracle and/or its affiliates Data Pump

    移行手順 ① Oracle Database(移行元) からのエクスポート • スキーマモードを推奨 • 高速化のためにPARALLELオプションを利用したファイル分割を推奨 • OCPU数に合わせる。以下の例では16を指定している • ADWはDWH向けに特化しており、重要度の低いオブジェクトはエクスポート時に排除しておくことを推奨 • その他要件に応じて、圧縮オプションなどの利用をご検討ください • エクスポートしたファイルはオブジェクトストレージに格納ください expdp sh/sh@orcl ¥ exclude=cluster,db_link ¥ parallel=16 ¥ schemas=sh ¥ dumpfile=export%u.dmp ADW ATP expdp sh/sh@orcl ¥ exclude=index,cluster,indextype,materialized_view,¥ materialized_view_log,materialized_zonemap,db_link ¥ data_options=group_partition_table_data ¥ parallel=16 ¥ schemas=sh ¥ dumpfile=export%u.dmp
  119. 119 Copyright © 2020, Oracle and/or its affiliates Data Pump

    移行手順 ② Autonomous Database(移行先)に対して資格証明の登録 • Object Storage を利用するための資格情報を定義 • 資格証明名、Object Storageのユーザー名とパスワード(トークン) • 設定は一度だけ (*1) • 資格情報をデータベース・スキーマに格納後は、全ロード処理でその情報を利用 begin DBMS_CLOUD.create_credential ( credential_name => 'OBJ_STORE_CRED', username => '<your username>', password => '<your Auth Token>' ) ; end; /
  120. 120 Copyright © 2020, Oracle and/or its affiliates Data Pump

    移行手順 ③ Autonomous Database(移行先)へのインポート • 可能な限り最新バージョンのOracle Client (Data Pumpも含まれる)をご利用ください • 基本的にエクスポート実行時に設定したオプションを踏襲してインポートしてください • PARALLELオプションや圧縮オプション、Excludeで指定したオブジェクト等 特記事項 • 他のユーザが保持していたオブジェクトをインポートする場合、DATAPUMP_CLOUD_IMPロールを付与してくださ い • Computeインスタンス等、impdpを利用する環境が用意できない場合は、DBMS_DATAPUMPを利用して、 ADBインスタンス上からObject Storage上のDUMPファイルを読み込むことも可能です。 • SQL Developerもしくはコマンドラインで操作します。
  121. 121 Copyright © 2020, Oracle and/or its affiliates Data Pump

    移行手順 インポート実行例(18.3以上の場合) ADW impdp admin/password@ADWC1_high directory=data_pump_dir credential=def_cred_name ¥ dumpfile= https://objectstorage.us-ashburn-1.oraclecloud.com/n/adwc/b/adwc_user/o/export%u.dmp ¥ parallel=16 ¥ partition_options=merge ¥ transform=segment_attributes:n ¥ transform=dwcs_cvt_iots:y transform=constraint_use_default_index:y ¥ exclude=index,cluster,indextype,materialized_view,materialized_view_log,materialized_zonemap,db_link ATP impdp admin/password@ATPC1_high directory=data_pump_dir credential=def_cred_name ¥ dumpfile=https://objectstorage.us-ashburn-1.oraclecloud.com/n/atpc/b/atpc_user/o/export%u.dmp ¥ parallel=16 ¥ transform=segment_attributes:n ¥ transform=dwcs_cvt_iots:y transform=constraint_use_default_index:y ¥ exclude=cluster,db_link
  122. 122 Copyright © 2020, Oracle and/or its affiliates Data Pump

    移行手順 ログデータの確認 • インポート実行時のログはADBインスタンス内のディレクトリ・オブジェクトに出力されているため、 DBMS_CLOUD.PUT_OBJECTを利用して、オブジェクトストレージにログを移動します BEGIN DBMS_CLOUD.PUT_OBJECT( credential_name => 'DEF_CRED_NAME', object_uri => 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/atpc/b/atpc_user/o/import.log', directory_name => 'DATA_PUMP_DIR', file_name => 'import.log'); END; /
  123. 123 Copyright © 2020, Oracle and/or its affiliates GoldenGateを利用したデータベース移行 システム停止時間の極小化

    GoldenGateを利用することでアプリケーションの停止を極小化できる 移行イメージ • GoldenGateのセットアップ(①) • マーケットプレイスの仮想マシンイメージを利用 • 既存Oracle DatabaseとADBにそれぞれ接続し、初期設定 • GoldenGateユーザーやロール付与など • トランザクションをキャプチャ(extract) • Data Pumpによる初期データ移行( ② ) • GoldenGateによる追いつき処理・同期(replicat)( ③ ) • (アプリケーションの停止) • (アプリケーションの接続先を切り替え) • (アプリケーションの再開) Oracle Database ② 初期データ移行 (expdp / impdp) GoldenGate ① セットアップ ③ 差分の追いつき処理・同期 Application 最後に切り替え
  124. 124 Copyright © 2020, Oracle and/or its affiliates GoldenGate on

    OCI Marketplace 構成済みイメージによる容易なプロビジョニング • VM.Standard2.4 以上 • GoldenGate 19c (19.1.0.0.4) Oracle Databases(OnP)からのキャプチャ • Oracle Databases 11.2.0.4+ からのキャプチャが可能 • DDL Replication をサポート Cloud Based Servicesへの高速適用 • Autonomous Resources and DBaaSへの適用 • Parallel Replicat によるDeliveryのサポート • SQL*Netによるリモート適用
  125. 125 Copyright © 2020, Oracle and/or its affiliates GoldenGate on

    OCI Marketplace 特別プログラム • 30日間フリートライアル • 顧客による既存ライセンスの持込 (Term, Processor, Named User, etc) • 2019年5月末までにUCM/Creditご契約済みの御客様は2020年12月末までOGG部分を無償で利用可能 NOW AVAILABLE!(2019年12月末更新) • 2020年12月末までは、OCI Cloud Database環境への レプリケーション用途で、GoldenGate部分は無償で利用可能 *前提として、稼働環境となるIaaS(Compute + Storage)部分については、UCM/Creditが消費されます。
  126. GoldenGate on OCI Marketplace 特別プログラム(補足) Copyright © 2020, Oracle and/or

    its affiliates 126 ※該当部分のみ一部抜粋※(2019年12月末更新時点の情報です) (1) You represent that You had an active entitlement for Oracle PaaS and IaaS Universal Credits Cloud Services as of May 31, 2019. Assuming the foregoing, this promotion grants You a limited use term license for this Program and the right to receive technical support services for this Program, both through December 31, 2020. This Program may only be used in conjunction with Your Oracle PaaS and IaaS Universal Credits Cloud Services through December 31, 2020. OR (2) You represent that You are using the Program to replicate data into an Oracle Cloud Service (an “Oracle Cloud Service”), as designated in the Oracle PaaS and IaaS Universal Credits Service Descriptions (which may be viewed at http://www.oracle.com/contracts). Assuming the foregoing, this promotion grants You a limited use term license for this Program and the right to receive technical support services for this Program, both through Dec 31, 2020. This Program may only be used to replicate data into an Oracle Cloud Service through Dec 31, 2020. 1) デプロイ時に「Promotional」のものを選択して、「 Oracle Program Limited Use Promotional Terms.」のリンクをク リックします。 2) 条件などライセンス条項が表示されるので、内容を確認しま す。 3) 同意して利用する場合、チェックボックスをチェックして 「Launch Stack」をクリックすることで、当該条件での利用が可 能です。 特別プログラムの諸条件については 以下の記載を適宜ご確認ください
  127. Redshift からADW/ATPへの移行 SQL Developer Migration Assistant Copyright © 2020, Oracle

    and/or its affiliates 127 SQL Developer 17.4以降で利用可能 スキーマごとにRedshift環境を移行するためのフレームワーク Oracle Autonomous Database Amazon Redshift SQL Developer
  128. 128 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    DB Linkを利用したデータ連携 Autonomous Databaseを参照先、もしくは参照元としたDB Linkが作成可能 • ADB同士の連携の場合は (1) を選択 • 他のOracle DBとの連携の場合は、可能な限り (2-1) の利用を推奨 • (2-1) の構成の場合、リモートDBがWallet認証である必要だが、 ADB側でパラレル処理が可能であり、ADBのCPUリソース を効率よく利用できる • (2-2) の構成はDB Link越しのデータに対してパラレル処理が出来ない SQL 実データ ローカル Autonomous Database リモート Oracle Database SQL 実データ リモート Autonomous Database ローカル Oracle Database SQL 実データ ローカル Autonomous Database リモート Autonomous Database 1. Autonomous Database間 2-1. ADBから他のOracle DBを参照 2-2. Oracle DBからADBを参照
  129. 129 Copyright © 2020, Oracle and/or its affiliates Database Link

    によるデータ連携 (1) Autonomous Database間のDB Link DBMS_CLOUD_ADMINを利用して作成 作成手順(リモートDBがAutonomous Databaseの場合) • リモートDBのCredential.zipをダウンロードし、Object Storageにcwallet.ssoをアップロード • ローカルDBに、Object StorageにアクセスするためのCredentialを作成 • ローカルADBにObject Storage上にあるcwallet.ssoを取り込み SQL 実データ ローカル Autonomous Database リモート Autonomous Database BEGIN DBMS_CLOUD.GET_OBJECT( credential_name => 'DEF_CRED_NAME', object_uri => 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/adwc/b/adwc_user/o/cwallet.sso', directory_name => 'DATA_PUMP_DIR'); END; / begin DBMS_CLOUD.create_credential ( credential_name => 'DEF_CRED_NAME', username => '<your username>', password => '<your Auth Token>' ) ; end; / 格納先のディレクトリを変更すること で複数のDBリンクを作成できます (1:Nの構成を作成できます。ディレ クトリ・オブジェクトの追加方法は別 途マニュアルを参照ください)
  130. 130 Copyright © 2020, Oracle and/or its affiliates Database Link

    によるデータ連携 (1) Autonomous Database間のDB Link 作成手順(リモートDBがAutonomous Databaseの場合)(続き) • リモートDBにアクセスするためのCredentialを作成します • ローカルのADBに接続し、Database Linkを作成しますリモートDBへのCredential Walletの登録します BEGIN DBMS_CLOUD.CREATE_CREDENTIAL( credential_name => 'DB_LINK_CRED', username => 'NICK', password => 'password' ); END; / BEGIN DBMS_CLOUD_ADMIN.CREATE_DATABASE_LINK( db_link_name => 'SALESLINK', hostname => 'adb.eu-frankfurt-1.oraclecloud.com’, port => '1522', service_name => 'example_medium.adwc.example.oraclecloud.com', ssl_server_cert_dn => 'CN=adwc.example.oraclecloud.com,OU=Oracle BMCS FRANKFURT,O=Oracle … ', credential_name => 'DB_LINK_CRED’, directory_name => 'DATA_PUMP_DIR'); END; / このCredential_nameはリモート DBにアクセスするためのCredential であり、前頁のObject Storageにア クセスするためのCredentialとは別 であることに注意してください 全て大文字で記載してください
  131. 131 Copyright © 2020, Oracle and/or its affiliates Database Link

    によるデータ連携 (1) Autonomous Database間のDB Link 作成手順(リモートDBがAutonomous Databaseの場合)(続き) • DB Link越しにリモートDBのデータを操作できることを確認します -- リモードDBのデータを参照し、ローカルDBにコピーする SQL> insert into channels select * from channels@saleslink; -- ローカルDBのデータをリモートDBにコピーする SQL> insert into channels@saleslink select * from channels ;
  132. 132 Copyright © 2020, Oracle and/or its affiliates Database Link

    によるデータ連携 (2-1) ADBから他のDBを参照するDB Link DBMS_CLOUD_ADMINを利用して作成 リモートDBの要件 • サポートされるリモートDBのバージョンは、19c、18c、12.2.0、12.1.0、および11.2.0 • リモートDBのポートは1521-1525に制限 • リモートDBの認証方式の変更が必要 • Autonomous DBと同様、Walletによる接続設定が必要 作成手順 • こちらを参照ください 特記事項 • Private Endpoint上のADBからのDatabase Linkは未対応(将来対応予定) • Private Segment(IPSec VPN / FastConnect経由 等)にあるOracle DatabaseへのDB Link作成は、 Connection Manager を仲介して接続 • 参考 : https://qiita.com/RexZheng/items/92fb55686fff9811bfbe SQL 実データ ローカル Autonomous Database リモート Oracle Database
  133. 133 Copyright © 2020, Oracle and/or its affiliates Database Link

    によるデータ連携 (2-2) ADBを参照するDB Linkの作成方法 ADBをリンク先とした場合、従来通りの設定手順で接続可能 作成手順 • 参照先のADBからCredential.zipをダウンロードし、参照元のDB側のtnsnames.oraやsqlnet.ora等に接続情 報を追加します • ソースDB上でADBへのDBリンクを作成します • DB Link越しにADBのデータを操作できることを確認します SQL 実データ リモート Autonomous Database ローカル Oracle Database SQL> create database link adwlink connect to admin identified by adwcWelcome1 using ‘<InstanceName_high>’; -- リモードDBのデータを参照し、ローカルDBにコピーする SQL> insert into channels select * from channels@adwlink; -- ローカルDBのデータをリモートDBにコピーする SQL> insert into channels@adwlink select * from channels ;
  134. 134 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    Database Linkを利用したOracle Database以外のデータベースとの連携 ADBからDB LINKでOracle Database Gatewayを経由したNon-Oracleデータベースを参照可能 • Oracle Database GatewayはOracle環境からNon-Oracleデータベースに透過的にアクセスするための機能をサ ポートする製品。for SQL Server/for Teradataなど対象ごとに提供。 • 『Database Heterogeneous Connectivityユーザーズ・ガイド』をご確認ください ADBからデータベースリンクを使って参照するリモートDBには要件があります • パブリックIPまたはホスト名を持つまたはOracle Database Gatewayを介する • TCPS接続 • ポートは1521-1525の範囲 そのため、事前にOracle Database Gateway側で作業が必要です 1. Oracle Database Gatewayを対象のNon-Oracleデータベースに接続できるよう構成する 2. Oracle Net ListenerをOracle Database Gatewayでリクエストを処理するよう構成する 3. Oracle Database Gateway上で自己署名付きウォレットを作成する
  135. 135 Copyright © 2020, Oracle and/or its affiliates Data Syncによるデータ連携

    各種データソースからADBに対してデータをロード、 もしくは抽出が可能 • 初期ロード/差分ロード • ジョブによるスケジューリング実行 Oracle Technology Networkにアクセスすること が出来るユーザであれば無償 Autonomous Database 完全ロード・差分ロード 定期スケジューリング OAC-Data Sync
  136. ネットワーク接続 Copyright © 2020, Oracle and/or its affiliates. 136

  137. 137 Copyright © 2020, Oracle and/or its affiliates 接続方式に関する検討ポイント エンドポイントの選択

    • パブリック・エンドポイント(Public IP) • プライベート・エンドポイント(Private IP, VCN) ADBへの接続経路の選択 • インターネット接続 • IPSec VPNを介した接続 • FastConnect (Private Peering / Public Peering )を利用した接続 ADBへのアクセス許可の設定 • ネットワークACL • ネットワーク・サービス・グループ
  138. 接続イメージ Copyright © 2020, Oracle and/or its affiliates 138 利用者

    Internet ap-tokyo-1 AD1 Fast Connect VPN DRG 既存認証 システム 分析者 事業会社 運用管理者 ADB SGW Public Segment IGW Private Segment ADB Compute Compute Private Segment
  139. 139 Copyright © 2020, Oracle and/or its affiliates ADBのエンドポイントを選択 パブリック・エンドポイント(Public

    IP) • すべてのIPアドレスからのアクセスが可能 • アクセス制御はNetwork ACL を利用(任意) プライベート・エンドポイント(Private IP, VCN) • 指定したVCNからのトラフィックのみが許可される • アクセス制御はネットワーク・セキュリティ・グループ(NSG)を利用 • ネットワークACLは利用不可 • NSGはインスタンス作成前に作成しておくこと(NSG自体は何度でも変更可能)。複数のNSGを指定可能 • 現時点で、APEX、SDW、ORDS、Notebook、Data Safeは非対応 • OACからの接続時はData Gatewayを利用 【特記事項(共通)】 • インスタンスへの接続時はウォレットを利用(証明書認証、およびSecure Sockets Layer(SSL)接続) • 接続ポートは1522を利用(デフォルト、変更不可) • インスタンス作成後にエンドポイントの変更が可能(ただし、Walletは差し替えが必須)
  140. 140 Copyright © 2020, Oracle and/or its affiliates ADBのエンドポイントを選択 プライベート・エンドポイント構成例

    vcn01 10.0.0.0/16 NSG01 方向 ステートレス ソース or 宛先 プロトコル ソースポート 宛先ポート NSG01 Ingress Yes 10.0.1.0/24 TCP All 1522 egress Yes 10.0.1.0/24 TCP All All 10.0.2.3/24 10.0.1.2/24 Public Subnet (10.0.1.0/24) ADB Compute Private Subnet (10.0.2.0/24) ネットワーク・サービス・グループ
  141. 141 Copyright © 2020, Oracle and/or its affiliates ADBへのアクセス許可の設定 Network

    ACLによるアクセスコントロール 指定されたクライアントからの接続のみを許可 • IPアドレス、およびCIDR、VCN、VCN(OCID)で指定 • インスタンスの作成時、もしくは作成後にオンラインで設定可能 • 複数のルールを組み合わせた設定が可能 • リストにない接続ソースからのアクセスは拒否 • ORA-12506: TNS:listener rejected connection based on service ACL filtering • 定義情報は直接インスタンス内に格納されるため、 セキュアかつ、自動でバックアップされる • サービスコンソールはACLの制御対象外 • 顧客データを一切公開しないため必ずしも不要
  142. 142 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ ADBインスタンスに割り当てられたIPアドレスは、固定されていますか?

    インスタンスの再起動等で変わりますか? • Public IPは変わる可能性があるため、ホスト名を利用ください。 • Private IPは固定です。インスタンスをTerminateしない限り、最初に割り当てられたIPから変わりません。
  143. 143 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ オンプレミス環境に配置した

    AP サーバ / BI サーバ / 開発環境から、IPsec VPN、もしくはFastConnect(Private Peering)経由での接続を検討しています。 • プライベート・エンドポイント(Private IP)を選択ください • その他の手段 • OCI Transit Routingを利用し、Service Gateway経由で接続ください • 参考手順 • https://qiita.com/shirok/items/ec0e5a09346422346fd4 • OCI Compute インスタンスにAPサーバ、BIサーバを配置し、Service Gateway経由で接続 • OCI Computeインスタンスにプロキシサーバを構築し、 Service Gateway経由で接続
  144. 144 Copyright © 2020, Oracle and/or its affiliates 参考) OCI

    Transit RoutingによるADBへのプライベート接続 IPSec VPNやFastConnect接続の場合に、動的ルーティング・ゲートウェイ(DRG)からサービス・ゲートウェイ(*)を経由 して、ADBを含むOracle Service Network上の各サービスにアクセス可能 OCI Tokyo Region VCN 10.0.0.0 On-Premises CPE/Router DRG Service Gateway Autonomous DB adb.ap-tokyo-1 .oraclecloud.com IPsec VPN onp-inst01 192.168.0.2 ① ② Object Storage objectstorage. ap-tokyo-1.oraclecloud.com Oracle Services Network FastConnect ② Route Table : RT-SG Destination CIDER Route Target 192.168.0.0/16 DRG ① Route Table : RT-DRG Destination CIDER Route Target All NRT Services In Oracle Services Network Service Gateway * ADBやObject Storage等、パブリック・エンドポイントを持つサービスに対し、VCN内からプライベートアクセスを行うためのGateway Internet Gateway や NAT Gatewayを介した外部インターネットに接続可能な設定をせずにセキュアにADBに接続できる
  145. 145 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ 手元のクライアントPCから直接アクセスしたい。ただし、自社のポリシー上、1522への直接アクセスが許可されていないが、

    どうすれば良いか? • HTTP プロキシ・サーバが利用可能な場合、HTTP Proxyを利用する(後述) • SSHトンネルを作成し接続する(後述) • IP Sec VPNやFastConnect経由で接続する • お客様環境、Oracle Cloud環境それぞれにVPN等の設定が必要だが、通常はプロキシや1522のブロックは設定 していないことが多い • WebClient(Notebook/APEX/SQL Developer Web/Oracle Analytics Cloud)を利用する
  146. 参考) HTTP Proxyを利用した接続方法 Copyright © 2020, Oracle and/or its affiliates

    146 HTTP Proxyが利用可能な場合、接 続設定ファイルにHTTPプロキシの情報 を追記してから接続する ① ”sqlnet.ora”にHTTPプロキシの利用 を追記 ② “tnsnames.ora”を編集し、プロキシ サーバ、ポート番号を追加 $ cat sqlnet.ora WALLET_LOCATION = (SOURCE = (METHOD = file) (METHOD_DATA = (DIRECTORY="/home/adwc_credentials"))) SSL_SERVER_DN_MATCH=yes SQLNET.USE_HTTPS_PROXY=on ① $ cat tnsnames.ora ADWC1_high = (description= (address=(https_proxy=proxyhostname) (https_proxy_port=80) (protocol=tcps)(port=1522) (host=adwc.example.com)) (connect_data=(service_name=adwc1_high.adwc.oraclecloud.com)) (security=(ssl_server_cert_dn="XXX"))) ② HTTP Proxy Internet ADB 接続元
  147. 参考) SSHトンネルを利用した接続方法 Copyright © 2020, Oracle and/or its affiliates 147

    1522番以外のポートが開いている・開 けられる場合、踏み台となるCompute インスタンスを作成し、Computeインス タンスにSSH接続、SSHトンネルを作成 してから接続する ① ADWにアクセスしたいクライアントから ComputeインスタンスへSSH接続 (*1) ② クライアントの任意のポートへの接続を ADWの1522番ポートへ転送(SSH ポートフォワーディング) 詳細手順はこちら VCN Public Subnet Compute Internet Gateway SSH トンネル Port 1522 Port 11522 ② 接続元 ① *1 : SSH接続するポート(社内ネットワークから接続するポート)は Computeインスタンス側の設定で任意のポート番号へ変更可能 https://qiita.com/tnagakub/items/495781887f3bd8488d08 SGW オンプレミス (プライベート・エンドポイント利用時も考え方は同様) ADB
  148. 148 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ Oracle

    Analytics Desktop (OAD、旧DVD)を検討しています。自社のポリシーとして1522ポートへの直接アクセスがNG であり、プロキシ経由が必須なのですが、OADはプロキシ設定が出来ないと聞いています。どうしたら良いでしょうか? • SSHトンネル経由による接続 • OCI Computeインスタンス上でOAD(旧DVD)を起動、リモートデスクトップを利用しアクセス • 443 or 3389番ポートへのアクセス許可が必要 • IP Sec VPNやFastConnect経由でアクセス • お客様環境、Oracle Cloud環境それぞれにVPN等の設定が必要だが、基本的にプロキシや1522のブロックは行 われない
  149. 149 Copyright © 2020, Oracle and/or its affiliates よくある問い合わせ パブリック・エンドポイントを利用する場合に、Service

    Gatewayを介した接続のみに限定するには?また、 OAC(Analytics Cloud)からの接続のみに限定するには? • Network ACLを利用します。Network ACLでService Gateway を指定するには、 CIDRとして240.0.0.0/4を記載してください。 • またOACからの接続に限定するには、以下を参考にIP/CIDRを設定ください。 • Oracle Analytics CloudインスタンスのIP範囲とゲートウェイIPs
  150. セキュリティ・監査 Copyright © 2020, Oracle and/or its affiliates. 150

  151. Autonomous Database のセキュリティ プロビジョニング直後から強固に保護され、安心して利用できる Copyright © 2020, Oracle and/or its

    affiliates 151 バックアップを含む全てのデータを暗号化 (Transparent Data Encryption) 特権ユーザ・Oracle運用者から 顧客データへのアクセスをブロック(Database Vault) DB 全ての通信を暗号化 (Advanced Security) 監査ログを保管 (OCI Audit / Unified Audit) 特定の通信のみを許可 (Network ACL) 27001 : 27017 : 27018 国際的コンプライアンス標準に対応(一部抜粋) ・・・ 常に最新のセキュリティパッチで保護 特定のユーザのみを許可 (デジタル証明書/パスワード認証) ※ 主要な機能を抜粋
  152. 152 Copyright © 2020, Oracle and/or its affiliates Oracle Data

    Safe との連携 より高いデータセキュリティを実現 統合されたデータベースセキュリティ管理サービス • Sensitive Data Discovery (機密データの発見) • Data Masking (データ・マスキング) • Activity Auditing (アクティビティの監査) • Security Assessment (セキュリティ構成の評価) • User Assessment (ユーザーのリスク評価) 多層防御の最も重要なデータ・セキュリティ対策に 短時間でセキュリティ・リスクを軽減、専門知識は不要 ADBを含む、全てのOracle Cloud Databasesで無料で利用可能(*) *: 監査機能は100万レコード/月まで無償、その他の機能は無償
  153. Autonomous Database データベースの各オプション機能の利用可否 Copyright © 2020, Oracle and/or its affiliates

    153 機能名 Transparent Data Encryption (EE オプション機能) Data Masking Pack (EE オプション機能) Data Redaction (EE オプション機能) Virtual Private Database (EE標準) Database Vault (EE オプション機能) Audit Vault and Database Firewall (EE オプション機能) 脅威 • データファイル、バックアップ データの奪取 • 開発/テスト環境のデータの奪 取 • 正規利用者の業務を逸脱した 不適切なアクセス • 正規利用者の業務を逸脱し た不適切なアクセス • DB管理者によるデータの奪 取 • 内部不正への追跡困難、影 響範囲の特定困難 機能 概要 • 既存のアプリケーションに変更 なく、透過的に本番、バック アップデータを暗号化 • 開発・テスト環境の実データのマ スキング(伏字化) • ステージ環境を用意することなく Export時にマスキングデータを 生成 • 特定の表への参照範囲を列レベ ルで制限 • この機能は、データベース内で実 施されるため、アプリケーション側 からは透過的に利用可能 • 特定の表への行・列レベルで のより厳密なアクセス制御を実 現 • DB管理者の業務データアクセ スを制御 • 特定のDB設定やパスワード 変更、業務データの閲覧等を 制限する • DB、OSなどのログをもれなく 取得 • 定常的なレポートと不正なア クセスを検知 • 証跡を改ざん・削除されない ようログを保全 使途 • 本番データ、バックアップファイ ルに含まれる情報を保護 • テスト、開発環境の情報を保護 • 参照時における列レベルでの伏 字化 • 参照、更新時における行・列 レベルでのアクセス制御 • データベース管理者の職務分 掌 • 業務データにアクセスさせない • DB、OSなど、 網羅的な監査証跡の取得、 管理 ADBでの 利用可否 • デフォルトで設定済み。特に 追加操作は不要 • 利用不可(*3) • 利用可能 • 利用可能 • 利用可能 (*1) • 利用不可 (*2) (*3) *1 : オラクルの管理者がお客様データにアクセスしないよう機能的制限をかける用途でも利用している *2 : インスタンスに関する各種操作ログは別途取得されている。また、DB内の操作に対しては統合監査機能が有効化されている *3 : Oracle Data Safe を利用して代替可能(Database Firewallを除く )
  154. 154 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    のセキュリティ 監査機能 インスタンス操作に対する監査ログ(OCI Audit機能) • APIやGUIコンソールで検索。CASBを併用しレポーティング可能 • ログ保持期間は90日、最大365日まで設定可 データベース内の操作に対する監査ログ • Oracle Database の統合監査機能を利用可能 • 従来の標準監査は利用不可。 • 統合監査モードのみが使用可能。混合モードは不可 • UNIFIED_AUDIT_TRAILビューを参照し確認 • 監査内容に関してはデフォルトで設定済み • ただしユーザ側で監査項目(ポリシー)を有効化する必要がある • ログ保持期間は30日 • コマンドベース(後述)、もしくはData Safeを利用
  155. 155 Copyright © 2020, Oracle and/or its affiliates データベース統合監査 利用例

    定義済みポリシーの確認 ポリシーの有効化(例) • Autonomous Database ではいくつか事前にポリシーが定義されている • 監査ログを取得するには有効化が必要 SQL> AUDIT POLICY ORA_ACCOUNT_MGMT; SQL> SELECT * FROM AUDIT_UNIFIED_ENABLED_POLICIES ORDER BY POLICY_NAME; ORA_ACCOUNT_MGMT データベースユーザに対する変更を監査するポリシー CREATE USER, ALTER USER, DROP USER, CREATE ROLE, DROP ROLE, ALTER ROLE, SET ROLE, GRANT, REVOKE ポリシーを有効化するには下記実行後に、再接続が必要です
  156. 156 Copyright © 2020, Oracle and/or its affiliates データベース統合監査 利用例

    ユーザ定義ポリシーの作成・有効化 • 例 :データベースのすべての操作を監査 • 例:SHユーザーのORDERS表へのすべての操作を監査 SQL> CREATE AUDIT POLICY all_actions_orders ACTIONS ALL ON SH.ORDERS; SQL> AUDIT POLICY all_actions_orders; SQL> CREATE AUDIT POLICY all_actions ACTIONS ALL; SQL> AUDIT POLICY all_actions ;
  157. 157 Copyright © 2020, Oracle and/or its affiliates データベース統合監査 利用例

    • 監査ログの確認 • 出力例 SELECT EVENT_TIMESTAMP, AUDIT_TYPE, DBUSERNAME, ACTION_NAME, SQL_TEXT,UNIFIED_AUDIT_POLICIES from UNIFIED_AUDIT_TRAIL where DBUSERNAME = ‘XXXX' order by 1 DESC
  158. 158 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    のセキュリティ Credential Wallet • 格納ファイル Filename Purpose cwallet.sso 自動ログイン・ウォレット ewallet.p12 ウォレット本体(自動ログイン・ウォレットの認証に利用、PKCS#12形式) keystore.jks キーストア(Javaベースのクライアントで利用) truststore.jks キーストアの認証に利用するトラストストア(Javaベースクライアントで利用) sqlnet.ora Walletを指定。SQL*Plusの場合は$ORACLE_HOME/network/adminに配置 tnsnames.ora 接続文字列。SQL*Plusの場合は$ORACLE_HOME/network/adminに配置 ojdbc.properties Walletのロケーションを指定
  159. 159 Copyright © 2020, Oracle and/or its affiliates Autonomous Database

    のセキュリティ Credential Walletのローテーション 定期的に更新が必要な場合や、Walletファイルの流出が懸念される場合等に利用 既存のWalletファイルはローテーションにより無効化される ローテーションの対象はインスタンス・ウォレットかリージョナル・ウォレットかで選択可能 ローテーションは数分 • ローテーション中は既存セッションはそのまま有効 • ローテーション中に既存Wallletファイルを利用した 新規セッションは接続不可 • ローテーション完了後、既存セッションはそのまま有効、 新規セッションはローテーションされた新規Walletファイルを 利用して接続する必要がある 可能であればインスタンスの再起動を推奨 • ローテーション自体はインスタンスの再起動は不要だが、 ローテーション前のWalletファイルを利用したセッションが 残り続ける可能性を排除するため
  160. 開発ツール Copyright © 2020, Oracle and/or its affiliates. 160

  161. アプリケーション開発を強力にサポートするツール群 インスタンスを作成すれば、すぐに利用可能 Copyright © 2020, Oracle and/or its affiliates 161

    機械学習アナリティクス Notebook ビジネスインテリジェンス Oracle Analytics Desktop Webアプリ開発 Application Express : APEX API開発 Oracle Rest Data Services 簡易データ操作 SQL Developer Web Service Console SQL Monitor / Performance Hub
  162. 162 Copyright © 2020, Oracle and/or its affiliates 機械学習アナリティクスの開発をサポート Oracle

    Machine Learning / Notebook データサイエンティストのためのツール • WebベースのSQLツール • ブラウザからすぐに実行可能 • 共有されたノートブックやテンプレート、権限、スケジューラなど への簡単アクセス • SQLやPL/SQLのスクリプト言語をサポート Oracle Advanced Analyticsの機械学習アルゴリズムがデータベー ス内に含まれており、Autonomous Databaseだけで機械学習メソ ドロジーをビルド、評価、デプロイ可能
  163. 163 Copyright © 2020, Oracle and/or its affiliates Oracle APEX

    まずはここから チュートリアル • スプレッドシート・ラボ • 既存表ラボ • コンセプト実証ラボ • RESTラボ • リモート表 等 ユーザー会 • 各種イベントのご紹介 • 日本語ドキュメントの公開 等 https://apex.oracle.com/ja/learn/tutorials/ https://orclapex-jp.connpass.com/
  164. 1. Autonomous Database が実現する世界 2. サービス概要 3. ADW/ATPの違い 4. 技術詳細(共通)

    5. まとめ Agenda Copyright © 2020, Oracle and/or its affiliates 164
  165. 165 Copyright © 2020, Oracle and/or its affiliates まとめ Autonomous

    Database Making your life easier コストを削減 • 冗長な作業による管理コストを削減 • さらに従量課金のメリットを活かし、トータルコストを削減 革新の推進 • 迅速なプロビジョニングや自動チューニングにより、新規アプリ開発を迅速化 • ビジネスへの貢献度の高いタスクへ人的リソースをシフト データの安全性確保 • サイバー攻撃から守るアップデートをオンラインで継続適用 • フォールト・トレラントを実装 – メンテナンス時間含め継続運用
  166. None