Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AutonomousDB_Technical.pdf

 AutonomousDB_Technical.pdf

jtakai

May 14, 2019
Tweet

More Decks by jtakai

Other Decks in Technology

Transcript

  1. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Safe Harbor Statement The preceding is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. Confidential – Oracle Internal
  2. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | はじめに • 本資料は、表紙に記載の日付時点における、 Oracle Autonomous Database Cloud の技術情報です。 • 最新情報や詳細情報は以下もご参照ください – マニュアル • Autonomous Data Warehouse • Autonomous Transaction Processing 3
  3. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Agenda Autonomous Database Cloud が実現する世界 サービス概要 ADW / ATP 技術詳細 Appendix 1 2 3 4 4 5 6
  4. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Cloud 5 自律型データベースに対するオラクルのビジョン Self-Driving (⾃⼰稼働) 全ての管理・拡張・監視・ チューニングの⾃動化 Self-Securing (⾃⼰保護) 外部からの攻撃や悪意のある 内部ユーザからの防御 Self-Repairing (⾃⼰修復) 計画停⽌を含む全ての ダウンタイムからの保護 コスト低減 生産性向上 リスク低減 コスト削減 リスク低減
  5. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Databaseが実現する世界 自律型データベースに対するオラクルのビジョン 6 予め構成・最適化 ・テスト済み 自動的にスケール 自動的に オンラインでパッチ適用 自動的に セキュアな構成 自動的に モニタリング 自動的にバックアップ 自動的に障害回避 自動的に パフォーマンス診断 自動的に最適化 自動的に テスト実行 自動的に エラーハンドリング 自動的に 移行とデータロード
  6. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Databaseが実現する世界 一般的なフルマネージド・サービスとの比較 7 予め構成・最適化 ・テスト済み 自動的にスケール 自動的に オンラインでパッチ適用 自動的に セキュアな構成 自動的に モニタリング 自動的にバックアップ 自動的に障害回避 自動的に パフォーマンス診断 自動的に最適化 自動的に テスト実行 自動的に エラーハンドリング 自動的に 移行とデータロード 一般的なフルマネージド・サービスで軽減可能な管理業務
  7. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Databaseが実現する世界 8 現在~将来機能 今後も随時機能強化 高可用性・高セキュリティ 性能チューニング自動化 自動的に パフォーマンス診 断 自動的に最適化 自動的に セキュアな構成 自動的に 障害回避 自動的に エラーハンドリン グ 構築が簡単! 高性能 DWH 環境を簡単に利用可能 運用が楽! システム運用の省力化・自動化 1 2 コストパフォーマンスが良い! 3 今後実装 テスト・移行・拡張自動化 自動的に テスト実行 自動的に 移行とデータロー ド 自動的にスケール ◦予め構成・最適化テスト済み ◦自動的にモニタリング/バックアップ/パッチ適用
  8. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Agenda Autonomous Database Cloud が実現する世界 サービス概要 ADW / ATP 技術詳細 Appendix 1 2 3 9 4 5 6
  9. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Cloud を構成するテクノロジー 10 • Oracle Database 18c – 多くの自動化されたデータベース機能 • Oracle Exadata – Exadataによる自動化されたインフラストラクチャー、 パフォーマンス、可用性、セキュリティ • Oracle Cloud Infrastructureと応用機械学習 – 次世代クラウドアーキテクチャを採用したデータセンター 機械学習を活用したポリシーベースでの自動化 Infrastructure Automation with Exadata Oracle Database Automation with Database 18c Oracle Cloud Infrastructure and Applied Machine Learning + +
  10. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Oracle Databaseの進化 オラクルは数千人/年をデータベースの自動化と最適化に投資してきた 11 • Automatic Query Rewrite • Automatic Undo Mgmt • Autonomous Health Framework • Automatic Diagnostic Framework • Automatic Refresh of Clones • Automatic SQL Tuning • Automatic Workload Capture/Replay • Automatic SQL Plan Management • Automatic Capture of SQL Monitor • Automatic Data Optimization • Automatic Memory Management • Automatic Segment Space Mgmt • Automatic Statistics Gathering • Automatic Storage Management • Automatic Workload Repository • Automatic Diagnostic Monitor • Automatic Columnar Flash • Automatic IM population • Automatic Application Continuity 9i 10g 11g 12c 18c
  11. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 自動パフォーマンス診断 • 業界最先端の診断自動化を活用 • Automatic Database Diagnostic Monitor (ADDM) • Active Workload Repository (AWR) • リアルタイムSQLモニタリング 自動最適化 • 業界最先端のデータベース・チューニング自動 化を活用 • 自己最適化 - キャッシング、ストレージ・イン デックス、負荷分散を行う多くのアルゴリズム を搭載 • オプティマイザが新しいデータのロードに合わ せ、統計情報を収集しさらに自動化 • 自動SQL (再)チューニング – 機械学習技術が定期的にSQL実行計画を最新 の統計情報に基づいて再評価し、より良い実行 計画へのリコメンドと実装 12 自動チューニングに関わるDatabaseテクノロジー
  12. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 直近10年間、高性能/高可用性を追求 Exadataの継続的な進化 • Smart Scan • InfiniBand Scale-Out • Database Aware Flash Cache • Storage Indexes • Columnar Compression • IO Priorities • Data Mining Offload • Offload Decrypt on Scans • In-Memory Fault Tolerance • Direct-to-wire Protocol • JSON and XML offload • Instant failure detection • Network Resource Management • Multitenant Aware Resource Mgmt • Prioritized File Recovery Smart Software Smart Hardware • Unified InfiniBand • Scale-Out Servers • Scale-Out Storage • DB Processors in Storage • PCIe NVMe Flash • Tiered Disk/ Flash • Software-in- Silicon • 3D V-NAND Flash • In-Memory Columnar in Flash • Exadata Cloud Service • Smart Fusion Block Transfer • Exadata Cloud at Customer • In-Memory OLTP Acceleration • Hot Swappable Flash • 25 GigE Client Network 13
  13. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database を支える Exadataの主な高速化テクノロジー 全てデフォルト有効化 • Smart Scan(DB処理のオフロード) – データ・スキャン/フィルタのDB処理をストレージにオフロード – レポート、クエリー、バッチ・ジョブなどを高速化(10倍以上) • Smart Flash Cache / ストレージの階層化 – アクティブ・データはストレージ上のフラッシュに自動キャッシュ • In-Memory Columnar Formats in Flash Cache – フラッシュ上にキャッシュする際にIn-Memory Columnar Formatを 利用することで集計処理を大幅高速化 • Hybrid Columnar Compression(HCC) – 業界最高のデータ圧縮率(平均で10倍) – データはフラッシュ、メモリ、バックアップ、スタンバイ内でも圧縮された状態で処理 HCC 10:1 S Q L データベース・サーバー ストレージ・サーバー In-Flash Columnar scans 14
  14. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Oracle Exadata Database Machine 高性能、高可用性を実現するOracle Databaseの究極のプラットフォーム All Exadata DB Machine Innovations All Oracle Database Innovations Multitenant In-Memory DB Real Application Clusters Active Data Guard Partitioning Advanced Compression Advanced Security, Label Security, DB Vault Real Application Testing Advanced Analytics, Spatial and Graph Management Packs for Oracle Database InfiniBand Fabric Columnar Flash Cache HCC 10:1 I/O I/O I/O Storage Indexes Hybrid Columnar Compression I/O Resource Management Exafusion Direct-to-Wire Protocol Offload SQL to Storage Network Resource Management In-Memory Fault Tolerance PCI Flash Smart Flash Cache, Log Redundant Optimized Hardware 15
  15. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Oracle Exadata Database Machine • ペタバイト級のウェアハウス • オンライン金融トレード • Eコマース・サイト • ビジネス・アプリケーション – SAP, Oracle, Siebel, PSFT, … • 大規模な DB 統合 • 代表的なSaaSプロバイダ – Oracle Fusion Apps, Salesforce, SAS, … 数多くのミッション・クリティカルな環境で実証済み 銀行業、通信業、小売業で 上位5社のうち4社がExadataを使用 16
  16. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Databaseによって自動化される管理業務 既に他社のクラウドを凌駕した実装レベル、近い将来圧倒的に • 優れたSLA保証: Oracleの持つ可用性のブループリントを元に設計 – 将来的に、99.995 NRX% (非合理な例外なし) • 既存サービスでは99.95%(ADG構成無し) – 1ヵ月で2.5分未満のダウンタイム – 上記はパッチ適用、アップグレード、 データベースのバグ、データセンター・ リージョンの障害を含む • メンテナンスにおける最小限の “ブラウンアウト(サービスレベルの低下)” 障害 主要機能 想定される ダウンタイム サーバー障害 (HA) RAC ほぼゼロ リージョン障害 障害復旧 ADG 数秒 データ破損 ADG ゼロ パッチ適⽤(アップデート) RAC ほぼゼロ データベース・ アップグレード ADG 数秒 表/索引の変更 Redef ゼロ ユーザー・エラー Flashback エラー発⽣からの 時間 ADG: Active Data Guard Redef : Online Re-Definition(オンライン再定義) 17
  17. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomousを支える Exadataの主な高可用性テクノロジー • Real Application Clusters – データベース処理能力のリニアなスケールアウトを実現 – 複数サーバー構成により、サーバー障害の影響を極小化(ほぼゼロ) – パッチをローリング適用することで、オンライン・メンテナンスを提供 • Active Data Guard (今後予定) – 全てのコンポーネントがActiveなStandby Databaseを提供 – クラスタ障害、リージョン障害時のRTO/RPOの極小化(数秒) – データ破損から無停止かつ確実な復旧 • Flashback Technology – Flashback Databaseを始めとする様々なFlashback機能で、 ユーザー・エラー(誤ったデータ更新)からの高速復旧を実現 • Online Redefinition – ユーザー・ワークロード実行中に、オンラインで表定義や索引定義の変更可能 Maximum Availability Architectureがデフォルト有効化 18 + Primary Standby Time(SCN) Flashback Database Real Application Clusters Active Data Guard
  18. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomousを支えるMachine Learning 各レイヤーで、自動診断、自動回復、自動最適化機能を実装 19 Database Operations Workload Optimizations Database Infrastructure 故障・不調なサーバ、スト レージ、スイッチ機器の検 出と自動回復 ハングや異常検知、 既知の不具合との比較、修正 自動SR起票 クエリ・オプティマイザ リアルタイム統計収集 自動索引
  19. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Hardware障害への対応例 • Autonomous Databaseの基盤は、高度な 障害を予測する機能を有するExadataで 構成されている – 長時間のタイムアウトなしにサーバ障害を検 知、システム停止を防ぐ – 不調デバイスに起因するIO障害を1秒未満で リダイレクトし、データベースのハングを回避 20 Continuously monitors for sick devices 障害ディスクを 自動的にオフライン化 (ミラーデータを参照し処理を継続) DevOpsによる故障ドライブの交換 作業 ディスクのレイテンシの変化を 自動的に検出 データを自動で再編成 (リバランス作業) 自動的に新しいディスクを検出し、 データを自動で再編成 (リバランス作業)
  20. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Software障害への対応例 1. 診断情報を収集し、 時系列にアノマリーや障害の兆候を診断 2. パターン認識を利用し、 それらが既知の問題かどうかを決定する 3. 既知の問題の場合、 a. 修正箇所を特定 b. チェックポイントの確保 c. 修正を適用し、根本原因分析を実行 d. 必要に応じて修正をロールバック 4. 新規の問題の場合、 a. 全ての診断情報を整理 b. 開発側に提供 21 Collect Scrubbed Logs, Traces Problem Repository Determine if it’s a known Problems using pattern recognition Save environment check point Apply Fix Roll back if necessary Package for DevOps Done! Unknown Known Resolved Unresolved Problem Occurs
  21. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Cloudが実現すること 既に他社のクラウドを凌駕した実装レベル • パッチ適⽤計画 • バックアップ計画 • システム拡張計画 – 停⽌時間の⾒積もり • 拡張時には再設計と停⽌ • ⾃動パッチ適⽤ • ⾃動バックアップ • CPUまたはストレージを個々に追加 – 無停⽌で即時拡張 ピーク時は時間 単位で拡張 拡張時は無停 ⽌で即時適⽤ CPU CPU CPU Storage Storage Storage Storage CPU Storage あらかじめピークを⾒込ん だサイジングが必要 少しずつシステム 拡張することは困難 オンプレミス/他社クラウドの分析基盤 Autonomous Data Warehouse Cloud 22
  22. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Cloudが実現すること 完全な自動化によるデータ管理の効率化/コストの削減 23 Software Cost Labor Cost Storage Cost Server Cost Facilities Cost *Source: Oracle TCO report 2018. 50% savings calculated based on 16 CPU config w/BYOL from on-premises Oracle Database 管理コストを最⼤80%、TCOを3年間で最⼤50%削減 ファシリティ管理 サーバー管理 OSインストール/パッチ適⽤ DBインストール/パッチ適⽤ バックアップ/リストア HA/DR DB最適化/スケール AP最適化 AP管理 ファシリティ管理 サーバー管理 OSインストール/パッチ適⽤ DBインストール/パッチ適⽤ バックアップ/リストア HA/DR DB最適化/スケール AP最適化 AP管理 $877K $431K On-Premise Autonomous Database お客様管理 お客様管理 オラクル管理
  23. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Databaseによる自動化・省力化 ビジネスへの貢献度の高いタスクへ人的リソースをシフト可能 システムの重要度 High Low 従来の リソース配分 業務固有タスク 今後の リソース配分 アーキテクチャ設計 データ・ライフサイクル検討 論理モデル検討 データ・セキュリティ設計 AP+DB結合試験 SQLチューニング H/Wリソース拡張 予防保守・パッチ適⽤ バックアップ・リカバリ DB障害対応 運⽤監視 構築(設計、試験含む) AP設計開発 データセンター検討 運用管理タスク リソース拡張レベル サポート SQLチューニング レベルサポート バックアップ・リカバリレベル サポート 24
  24. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 価格体系 25 リソース拡張・縮退可能 • CPU︓1CPU単位で時間課⾦ • ストレージ︓1TB単位で⽉額課⾦ 初期費⽤なし ピーク時は 時間単位で拡張 拡張時は 無停⽌で即時適⽤ 初期費⽤なし 初期費⽤なしですぐに構築可能。 データロードをして検索するだけ 従量課⾦ CPUとストレージは個別に拡張・縮⼩可能 CPUをゼロにすると課⾦なし 動的リソース拡張 システム拡張時に業務停⽌なく、 動的にリソース拡張可能や縮⼩可能。 ピーク時は時間単位で拡張可能
  25. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database までの進化 これまでの全ての開発/進化はAutonomous Databaseの実現へ続いてきた 26 • 導入、運用コストの削減 • 安定運用、高可用性 • 高セキュリティ • 高性能、高可用性を探求し、 唯一無二の存在へ • 圧倒的なシェアを誇り、 数多くのMission Criticalな システムにて稼働実績有り • 途方もない研究開発費を投 入し、他社に追いつけないコ ア技術を確立 • お客様の要件を満たす改善、 新規機能を実装 • 自動化機能を実装し、扱いや すい製品へと進化 Cloud の選択肢 最適なプラットフォーム 40年以上の継続開発 Oracle Database + Oracle Exadata + Oracle Cloud Autonomous Database
  26. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Agenda Autonomous Database Cloud が実現する世界 サービス概要 ADW / ATP 技術詳細 Appendix 1 2 3 27 4 5 6
  27. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Cloud 28 ワークロードに応じた選択肢 Autonomous Transaction Processing (ATP) すべてのデータ分析処理に最適化: • データウェアハウス、データマート • データレイク、機械学習 Autonomous Data Warehouse (ADW) OLTPおよび混合ワークロードに最適化: • トランザクション、バッチ、レポーティング、IoT • アプリケーション開発、機械学習 AUTONOMOUS DATABASE 2018年3月提供開始 2018年8月提供開始
  28. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Cloud 29 基本コンセプト * Coming Soon in Oracle Database 19c ADW ATP 行型フォーマット Row Format 列型フォーマット Columnar Format インデックス作成* Creates Indexes* データ集計を作成 Creates Data Summaries I/O削減のためデータキャッシュ Memory for Caching to Avoid IO メモリ上で結合、集計 Memory Speeds Joins, Aggs オプティマイザ統計をリアルタイムで更新し、実行計画の劣化を予防 Statistics updated in real-time while preventing plan regressions
  29. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Cloud 30 ADWとATPの主な違い ADW ATP 圧縮 High Columner Compressionがデフォルトで有 効。個々の表で変更可能 デフォルトでは無効。表を圧縮したい場合は、 個々の表に対して指定する Result Cache すべてのSQLに対してデフォルトで有効化。 ヒントにより無効化が可能 デフォルトのまま(Result Cacheは無効) ヒント 無効(セッション単位で有効化が可能) 有効 接続サービス High / Medium / Low TPURGENT / TP / High / Medium / Low パラレル処理 接続サービス毎に定義 ・High/Medium : 自動的にパラレル処理 ・Low : 無効 接続サービス毎に定義 TPURGENT : 手動で設定 TP : シリアル処理 High/Medium : 自動的にパラレル処理 Low : 無効
  30. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Data Warehouse(ADW) のスタートライン 従来のOn Premise – Exadataで行ってきたチューニングがデフォルトで有効化 ADWならば、 ここからスタート可能
  31. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Data Warehouse(ADW) • チューニングされたDWHとADWの比較 – パーティション、コンプレッション等を活用しチューニング – ADWでの自動的なチューニング 32 顧客ワークロードでの検証結果 ユーザが最適化した異なるワークロードでも、 ADWは一貫して高速 Elapsed Time (sec) Customer Tuned 2551 5137 ADW 某取引所 Customer Tuned 2835 4051 某製造業 ADW Customer Tuned 2265 2831 某銀行 ADW
  32. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Transaction Processing (ATP) 自動索引作成| MLによるミッションクリティカルへの適合 • ゴールは処理性能の向上 – 実行計画は、経路策定と似ている – 索引作成は、まさに近道策定と同じ! • ML による継続的負荷監視 – 新たなSQL実行計画と索引の特定 – 本番環境の外で評価/検証 – 一度実行し確認 – もし遅ければ、元の実行計画に戻す
  33. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Transaction Processing (ATP) 自動索引作成| MLによるミッションクリティカルへの適合 • 熟練したエンジニアによる索引 チューニングが、24 x 365 休みなく 行うことと同等の機能 • 自動索引を作成する手順は、これ までのSQLチューニングのアプロー チと同様 • 一連のプロセスに DBA は介在する 必要なく、全自動で実行 • チューニング内容はレポーティング される MONITOR ONLINE VALIDATION CAPTURE IDENTIFY VERIFY DECIDE
  34. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Transaction Processing (ATP) • エキスパートによりチューニングされた NetSuite と ATP でのチューニングを比較 – 17,542 SQLステートメント、 1,852 テーブル、 8151 索引- 長年かけてのチューニング – ATPで実行する前にすべての索引と統計を削除 35 NetSuite ワークロードでの検証結果 Elapsed Time (sec) Expert ATP 1155 1172 Indexes Used Expert ATP 1733 4663 ATPはエキスパートによるマニュアル・チューニングと同等の性能を実現 ATP はワークロード変更があってもチューニングされる
  35. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Agenda Autonomous Database Cloud が実現する世界 サービス概要 ADW / ATP 技術詳細 Appendix 1 2 3 36 4 5 6
  36. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Autonomous Database Cloud: アーキテクチャ Oracle Exadata Cloud Service Oracle Database Cloud Service Express Cloud Service Data Warehouse Services (EDWs, DW, departmental marts and sandboxes) Autonomous Database Cloud Service Console Built-in Access Tools SQL Worksheet Oracle ML Service Management Database SQL Developer Developer Tools Data Integration Services 3rd Party BI on-premises Oracle Data Integration Cloud Service 3rd Party DI on Oracle Cloud Compute 3rd Party DI On-premises 37
  37. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | インスタンス作成 • 入力項目は最小限 – サービス名 – OCPU(Core)数:1以上 – Storageサイズ:1以上 – 管理者パスワード 等 • 数分で完了 – 作成時間はサイズ依存 39 サービス・コンソールから 『インスタンスの作成』をクリックし、作成
  38. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | インスタンスへの接続 • データベースへの接続のみ – OSログインは不可 • Credential Walletを利用した セキュアな接続 – SQL*Net, JDBC, ODBC – Service Console、 もしくはREST APIでWalletをダウンロード – 他クラウド・サービスや製品からの接続も 上記プロトコルを利用することで接続可能 40 Autonomous Database SQL Developer SQL*Net JDBC OCI … Data Integration Services Oracle Data Integration Cloud 3rd Party Data Integration Business Intelligence Services Oracle Business Analytics Cloud 3rd Party Business Intelligence
  39. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | インスタンスへの接続 41 Certified Tools (2018/8) ADW Tool Version Note DVD 12.2.1.4 or later Windows Only (June 1st) OAC / OAAC Available OBIEE 12.2.1.4 2018/Apr Tableau Desktop/Serv 10.5 or later Requires Oracle Client 12.1 and higher. Cognos 10.2 or later Certified using IBM JRE 8. Qlik Sense Desktop/Serv Feb 2018 or later Requires Simba ODBC 1.1.6 and higher + Oracle 12.1 and higher Oracle Client. Looker 5.4 or later Oracle JDBC 12.1.0.2 and higher (ojdbc8.jar). Microstrategy 10.4.0 or later Requires MicroSstrategy Direct Wire Protocol (Data Direct 8.00.02.2091) or 12.1 and higher OCI Oracle Client. Tool Version Note OGGCS 18.1.3 or later Classic Repcat Only OGG (onP) 12.3.0.1.2 or later Classic Repcat Only ODICS 17.2.1 or later JDE 8u161 recommended ODI (onP) 12.2.1.2.6 or 12.2.1.3.0 or later JDE 8u161 recommended SQL Develper 17.4 or later JDE 8u161 recommended Informatica PoweCenter 9.6.1 or later Data Direct JDBC 5.1.3.000179 required for PowerCenter repository. Data Direct ODBC Direct Wire Protocol 8.00.02.2091 required for importing source metadata from ADWC. Oracle Client 12.1 required for moving data from source to destination. Data Virtually 2.0.46 or later Oracle JDBC 12.1.0.2 and higher (ojdbc8.jar) WanDisco Fusion 2.11 or later Oracle OCI/OCI-C Object Storage Amazon S3 Azure Blob Storage (Note: 青字はPartner社製品)
  40. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | インスタンスへの接続 • 管理者ユーザー:admin (デフォルト作成済) • ユーザー作成 – adminユーザーで実行可能。表領域/一時表領域等の指定不要 – DWROLEロールが事前定義済 42 データベース・ユーザー SQL> CREATE USER new_user IDENTIFIED BY password; SQL> GRANT CREATE SESSION TO new_user; DWROLEに含まれるロール一覧 • ALTER SESSION • CREATE [ANALYTIC VIEW/ATTRIBUTE DIMENSION/HIERARCHY/JOB/MINING MODEL/PROCEDURE/SEQUENCE/SESSION/SYNONYM/TABLE/TRIGGER/TYPE/VIEW] • READ,WRITE ON directory DATA_PUMP_DIR • EXECUTE privilege on the PL/SQL package DBMS_CLOUD SQL> GRANT DWROLE TO new_user;
  41. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | インスタンスへの接続 • インスタンスを作成した時点で、リソース・マネージャが設定済み • 接続サービスを選択するだけで、すぐにリソースコントロールが可能 – Credentialsファイル内の tnsnames.ora に記載 Confidential – Oracle Internal 43 接続サービスを選択 testdb01_tpurgent = (description= (address=(protocol=tcps)(port=1522)(host=… testdb01_tp = (description= (address=(protocol=tcps)(port=1522)(host=… testdb01_high = (description= (address=(protocol=tcps)(port=1522)(host=… testdb01_medium = (description= (address=(protocol=tcps)(port=1522)(host=… testdb01_low = (description= (address=(protocol=tcps)(port=1522)(host=… tnsnames.oraより抜粋
  42. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | インスタンスへの接続 – OLTP系の処理はシリアル処理を前提とするため、TPを推奨 • 大量データを一括で扱う処理には向かない • 手動でパラレル度を制御したい場合、最優先したい特別な処理の場合に、TPURGENTを利用 – バッチ系、DWH系の処理はパラレル処理を前提とするため、HIGH/MEDIUMを推奨 • TPSを重視するようなワークロードには向かない • 同時実行数が3より多いことが想定される場合はMEDIUMを利用 Confidential – Oracle Internal 44 接続サービスを選択 SERVICES NAME platform 概要 パラレル制御 同時実行 セッション数 リソース割り当て (SHARES*2) TPURGENT ATP only 最も優先度の高い処理向け 手動設定 制限なし (*1) 12 TP ATP only 汎用的な処理向け シリアル 制限なし (*1) 8 HIGH ADW/ATP 大量データを扱う処理向け 自動 3 4 MEDIUM ADW/ATP 大量データを扱いつつも、 同時実行数も多い処理向け 自動 OCPUに比例した値 2 LOW ADW/ATP 優先度が低い処理向け シリアル 制限なし (*1) 1 *1 :同時に接続できるセッション数はOCPU辺り、100セッション *2 : 各サービスでのCPU使用率の配分を示す。デフォルト値からの変更は可能
  43. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | インスタンスへの接続 • サーバエラーやタイムアウト、およびメンテナンスを隠蔽 – セッション切断の影響を受ける進行中の処理を自動回復 – アプリからは処理がわずかに遅れたようにみえる – 接続サービス毎に有効化するだけで、 アプリからは透過的に利用可能(デフォルト:無効) • 要件 – Oracle Client software version 18.3 (or higher). Application Continuityの有効化が可能 45 Request Errors/Timeouts hidden TAC BEGIN DBMS_CLOUD_ADMIN.ENABLE_APP_CONT( service_name => 'nvthp2ht_adb1_high.adwc.oraclecloud.com‘ ); END; /
  44. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | データ移行・連携方法 47 • SQL*Net経由でのデータロード – 少ないデータ量向き • ローカルのファイルシステム上からのSQL*Loader • DML(Insert/Update)を利用したETLスクリプト • Object Store からのデータロード – 大きいデータ量向き • Object Storage上にあるデータを外部表を利用してロード (New PL/SQL APIs) • 他クラウドサービスにあるデータも可能(Amazon S3、Azure Blob Storage) • サポートするフォーマットのデータファイルからのデータロード – Oracle-Loaderファイル・フォーマットをサポート(CSV、JSONは今後予定) – Hadoopファイル・フォーマットをサポート(Parquet) ADW Object Storage Amazon S3 Azure Blob Storage
  45. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | DBMS_CLOUDパッケージを利用したデータ・ロード • New Object Store 上のファイルにアクセスするためのPL/SQLパッケージ – Oracle Cloud Infrastructure Object Storage – Oracle Cloud Infrastructure Object Storage Classic – Amazon AWS S3 – Azure Blob Storage • 手動での外部表の定義作成が不要 – ソースデータの形式の指定がシンプルに 48
  46. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | DBMS_CLOUDパッケージを利用したデータ・ロード • Object Storage を利用するための資格情報を定義 – 資格証明名、ユーザー名、Swiftのパスワード • 設定は一度だけ – データベース・スキーマに情報を格納された後は、全ロード処理でその情報を利用 begin dbms_cloud.create_credential( credential_name => 'OBJ_STORE_CRED', username => '<swift user>', password => '<swift password>' ); end; / 49
  47. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | DBMS_CLOUDパッケージを利用したデータ・ロード • あとは、ロード対象のテーブルに直接ローディング – 余計なステップは必要ない • ソース・ファイルのデータフォーマットをJSONで簡単に設定 begin dbms_cloud.copy_data( table_name =>'CHANNELS', credential_name =>'OBJ_STORE_CRED', file_uri_list =>'https://swiftobjectstorage.us-ashburn- 1.oraclecloud.com/v1/dwcsdemo/DEMO_DATA/chan_v3.dat', format => json_object('ignoremissingcolumns' value 'true', 'removequotes' value 'true') ); end; / 50
  48. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | DBMS_CLOUDパッケージを利用したデータ・ロード • データ・ロードの履歴が確認可能 – New user/dba_load_operations • ログと bad ファイルを表として格納 select table_name,status,rows_loaded,logfile_table,badfile_table from user_load_operations; TABLE_NAME STATUS ROWS_LOADED LOGFILE_TABLE BADFILE_TABLE -------------------- --------- ----------- -------------------- -------------------- CHANNELS FAILED COPY$1_LOG COPY$1_BAD CHANNELS COMPLETE 5 COPY$2_LOG COPY$2_BAD 51
  49. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Object Store の外部表利用 • 外部表をObject Store上のデータに対して作成可能 – 参照先 • Oracle Object Storage • Amazon S3 • Azure Blob Storage – Oracle-Loaderファイル・フォーマットをサポート • CSVファイル形式、Parquet フォーマット対応 • 使い分けが可能 – Object Store上のデータをADWへロード – ロードせずに、直接参照も可能 52 ADW Object Storage Amazon S3 Azure Blob Storage
  50. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Object Store の外部表利用 • Object Storage を利用するための資格情報を定義 – 資格証明名、ユーザー名、Swiftのパスワード • 設定は一度だけ – データベース・スキーマに情報を格納された後は、全クエリでその情報を利用 • ソース・ファイルに対する外部表の作成はCloud APIのdbms_cloud PL/SQL パッケージを利用 53
  51. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Object Store の外部表利用 begin dbms_cloud.create_external_table( table_name =>'CHANNELS_EXT', credential_name =>'OBJ_STORE_CRED', file_uri_list => 'https://swiftobjectstorage.us-ashburn- 1.oraclecloud.com/v1/dwcsdemo/DEMO_DATA/chan_v3.dat', format => json_object('ignoremissingcolumns' value 'true', 'removequotes' value 'true'), column_list => 'CHANNEL_ID NUMBER, CHANNEL_DESC VARCHAR2(20), CHANNEL_CLASS VARCHAR2(20), CHANNEL_CLASS_ID NUMBER, CHANNEL_TOTAL VARCHAR2(13), CHANNEL_TOTAL_ID NUMBER' ); end; / select count(*) from channels_ext; 54
  52. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | データ移行方法 55 SQL Developer を利用したRedshift からADWへの移行 Oracle Autonomous Data Warehouse Cloud Amazon Redshift SQL Developer • SQL Developer 17.4で利用可能 • スキーマごとにRedshift環境を移行 するためのフレームワーク SQL Developer Amazon Redshift Migration Assistant
  53. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | データ連携サービス 56 Data Integration Platform Cloud • データ連携機能を包括的に提供 – リアルタイムのデータ・レプリケーション、データ変換、 データ品質およびデータ・ガバナンス機能を 1つのプラットフォームとして提供 – Oracle Cloud だけでなく、オンプレミス環境や、 サード・パーティー・クラウドとのデータ統合が可能 – オンプレミスで実績のあるOracle GoldenGate, Oracle Data Integrator, Oracle Enterprise Data Quality を ベースに実装された信頼性の高いサービスを提供 Source DB DIPC ADW
  54. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 各エディションでの提供機能 Data Integration Platform Cloud 用途/ソリューション例 提供される主な機能 Standard Edition Enterprise Edition Governance Edition • データベースのオフライン移行 • データマートの生成 • バッチ処理でのデータ転送 • E-LT/ETLによるデータ変換 • 簡単なデータプロファイリング 直感的なWebダッシュボードによる管理 ü ü ü バッチ処理などのデータ転送および変換 ü ü ü SaaS/PaaS向けの簡単なデータプロファイリング ü ü ü 各種管理監視機能 ü ü ü • Active-ActiveDB環境の構築 • オンラインでのDB移行 • リアルタイムDWHの構築 • リアルタイムレポーティング • Hadoopを使ったBigData ETL DBトランザクションのStreaming供給(CDC) ü ü Streaming ETL や複雑なデータ変換 ü ü Big Data (stream/batch) サポート ü ü 双方向DBレプリケーション(Multi Master) ü ü • Advanced データプロファイリング • データクレンジング(real-time/batch) • Data Lineage (comprehensive) • 監査、修正、ワークフローなど (Governance) ビジネス辞書・ルール ü 包括的なデータ・プロファイリングとクレンジング ü コンプライアンス、監査、ケースマネジメント ü システムに跨がったData Lineage ü
  55. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | ADWへのデータ移行・連携方法 58 データ移行 データリンク ELT連携(Bulk Load) リアルタイム・レプリケーション OCI Object Storage OnP Transfer Tools Object Store ADW Dump CSV AWS S3 Azure Dump CSV CSV CSV DB Link DIPC (GoldenGate、GGCS、ODICS) OCI Console (GUI) OCI CLI REST API SQL*Loader (Developer) Data Pump Data Pump RedShift DBMS_CLOUD DBMS_CLOUD Dump DBMS_CLOUD Data Pump (Developer) DataSync(OAC‘s Option) Oracle Database DBMS_CLOUD Other Developer
  56. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | スケールアップ・ダウン 60 • 動的(ダウンタイムなし)にスケールアップ・ダウンが可能 – 対象: OCPU数、およびStorageサイズ – オンラインでスケールアップが可能 – メモリーやI/O帯域幅はOCPUに比例 • サービス・インスタンスを停止することで、OCPU課金の停止可能 – データやバックアップは保持 – 利用しない期間のコストを抑えられ、必要になった時に再起動してすぐに利用可能
  57. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | スケールアップ・ダウン 61 リソース使用率の確認方法 • 管理コンソールによる確認 • SQLによる確認 SET LINES 200 COLUMN PDB_NAME FORMAT A30 SELECT r.CON_ID, p.PDB_NAME, r.CPU_UTILIZATION_LIMIT, r.AVG_CPU_UTILIZATION, (r.AVG_CPU_UTILIZATION /r.CPU_UTILIZATION_LIMIT)*100 usage FROM V$RSRCPDBMETRIC r, CDB_PDBS p WHERE r.CON_ID = p.CON_ID; https://docs.oracle.com/cd/E96517_01/multi/using-oracle-resource-manager- for-pdbs-with-sql-plus.html#GUID-BFBB962E-D5CF-4CD7-B5A5-D6CA74DAA88B
  58. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | スケールアップ・ダウン 62 1. 『Scale Up/Down』をクリック 2. 利用したリソース 数 (CPU/Storage)を入力 – CPUは1ocpu単位 – Storageは1TB単位 3. 『Update』をクリック ⇒動的にスケール
  59. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | スケールアップ・ダウン 63 CLI でスケールアップ・ダウン可能 • 管理コンソールによる確認 $ oci db autonomous-data-warehouse update --autonomous-data-warehouse-id “ADW の OCID“ ¥ --cpu-core-count 2 ※ oci コマンドは Oracle が提供する python スクリプトです ※ REST API からの操作も可能です
  60. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Memo • 停止とスケールダウンの状態の違い – サービス・インスタンスを停止する=0OCPUにすることで課金停止が出来ます • インスタンス停止中もデータは保持されます。インスタンス削除する場合にはデータも削除されます。 • 他サービス・他社サービスでは、停止or削除して課金を抑えることは可能ですが、再開時にデータ の再ローディングが必要になります。 – スケールダウンでOCPUを0にすることはできません • リソース増減のスケジューリング – スケジューリング機能はありません – Rest APIによるジョブスケジューリングは可能 64
  61. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | バックアップ・リストア • 定期的にバックアップを自動取得 – オンラインバックアップでObject Storeに出力 – 週次フルバックアップ・日次増分バックアップ – 保管期間は60日 – 取得したバックアップは、ADWサービス・インスタンスへのリストアのみに利用可能 – 手動バックアップも取得可能 • オンラインバックアップで、別のObject Storeに出力 • 事前にObject Storeの用意(別料金)・構成が必要 • 特定時点へのリストア – お客様がクラウドコンソールからリカバリーを開始 65
  62. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 監視 66 WebベースのService Console • 統計情報の履歴やリアルタイムの情報 を確認 – OSのCPU使用率、Storage使用率 – データベースのアクティビティ、SQLの平均レ スポンスタイム、サービスレベル毎の情報な ど • リアルタイムSQL監視による実行中の SQLや履歴の確認 • データ・ロードの履歴
  63. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | パッチ適用・アップグレード • お客様の声 – パッチを適用して性能問題が生じた。だから、漠然とした不安がある。パッチ適用後の新規の問題は 避けたい。。 • Autonomous Databaseの利用に際して – 実行計画の変化はアクセスパスが多く考えられる場合です。 • 大量データを扱うバッチ処理や分析系の処理(ATP/ADW) Þその場合、Exadataであれば基本的にSmartScanが中心で索引は不要であり、そこまで気にする必要ないと思いません か?アクセスパスも少なく、ぶれる要素が少ないです。 • OLTP系のトランザクション処理:索引アクセスが中心(ATP) Þ確かに、従来通り、計画的にテストを実施いただくことが必要です。また従来通り、SPM(*)の利用をご検討ください。 – 他社でもセキュリティパッチの適用や既知の不具合への対応を視野に、 定期的にパッチを適用されています。 72 自動でパッチが適用されるのは不安 * 現時点で、ベースラインの取得はセッション単位
  64. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | パッチ適用 • パッチ適用は無停止 – SLA 99.95%(2018/9時点) を遵守するよう、サービス停止を伴わない形で実施します。 – サービス停止が必要となる場合にはメンテナンスウインドウを設け、事前に通知され ます。 • パッチ適用はオラクル社が実施 – お客様による作業は不要 73
  65. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 基本的な考え方 75 • ネットワーク/データセキュリティ – SSL証明書(外部パスワードストア、Wallet)による認証・ログイン(標準機能) – デフォルトで全ての通信(標準機能)、及びデータの暗号化(オプション、Cloudに限り) – 最新セキュリティ・アップデートをオンラインで⾃動適⽤ • アクセス制御・テナント分離 – Oracle Database Vault オプションによる制御・分離 • ユーザはSys/Systemでのログイン不可 • ユーザは当該サービス以外へのアクセスは不可能 • SQLコマンドの実⾏制御 – セキュリティ、および性能担保のための⼀部機能制限 • 統合監査機能を⽤いたアクセス監査
  66. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | ネットワーク/データセキュリティ 76 • セキュアな接続 – データベースへの接続のみ、OSログインは不可 – Credential Walletを利⽤したセキュアな接続 • Service Console もしくはREST APIでWalletをダウンロード • 他クラウド・サービスや製品からの接続も上記プロトコルを利⽤するこ とで接続可能 • 外部攻撃からの⾃動的な保護 – 物理的な外部データ・アクセスに対してはデータベースのネイ ティブ暗号化で保護 – 最新のセキュリティ・アップデートをオンラインで⾃動的に適⽤ ADW SQL*Net JDBC OCI … Filename Purpose cwallet.sso 自動ログイン・ウォレット ewallet.p12 ウォレット本体(自動ログイン・ウォレットの認証に利用、PKCS#12形式) keystore.jks キーストア(Javaベースのクライアントで利用) truststore.jks キーストアの認証に利用するトラストストア(Javaベースクライアントで利用) sqlnet.ora Walletを指定。SQL*Plusの場合は$ORACLE_HOME/network/adminに配置 tnsnames.ora 接続文字列。SQL*Plusの場合は$ORACLE_HOME/network/adminに配置 ojdbc.properties Walletのロケーションを指定 Contents of Client Wallet
  67. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | アクセス制御 77 Oracle Database Vaultによる強制アクセス制御の実装 • Database Vaultでユーザ・データの参照を保護 – 管理者や悪意のある内部ユーザーからの⾃動保護 – Oracleの管理者はお客様データから完全にシャットアウト Oracle 管理者 ユーザー データ管理 運用管理 お客様 データベース利用者
  68. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 特権ユーザーのアクセスを制御、権限集中によるリスクを回避 参考)Oracle Database Vault 78 データベースの起動/停⽌ など ※実データへのアクセスは不可︕ ユーザーの作成/削除 ※実データへのアクセスは不可︕ ユーザー・データの管理、 アクセス権の設定 データベースの起動/停⽌、全ユーザー・データの操作や、 セキュリティ設定の変更などあらゆる操作が実⾏可能 データベース管理 セキュリティ・ポリシー管理 アプリケーション・データの管理 データベース管理 ユーザー・アカウント管理 アプリケーション・データの管理 ユーザー・アカウント管理 セキュリティの設定/監視 ※実データへのアクセスは不可︕ セキュリティ・ポリシー管理 アカウント 管理者 セキュリティ 管理者 アプリケーション 管理者 データベース 管理者 データベース 管理者 データベース管理者による不正なデータ操作や情報漏えいのリスク︕ 〜 今までの Oracle Database 〜 DBAに管理権限が集中 〜 Oracle Database Vault 〜 複数の管理者が管理権限を分割
  69. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 今までの Oracle Database 参考)マルチテナント時のアカウント制御 CDBのSYSは、すべてのPDBの 表に⾃由にアクセスすることが できる特権ユーザー PDBのSYSは、PDB内の 表にアクセスすることが できる特権ユーザー SYS / SYSTEM データベース 管理者(CDB) SYS SCOTT OE PDB1 APP SCOTT SYS HR APP PDB2 PDB3 SYS 79
  70. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Database Vault による実装 参考)マルチテナント時のアカウント制御 PDBのSYSは、他のスキーマ の表にアクセスできない SYS / SYSTEM データベース 管理者(CDB) SYS SCOTT OE APP SCOTT SYS HR APP SYS Database Vault ON Database Vault ON Database Vault OFF Database Vaultで保護されてい るPDBの表に対して、CDBのSYS ユーザーはアクセスできない それぞれPDBのデータベース管理者が ⾃分のPDBのみを管理する 80 PDB1 PDB2 PDB3 インフラ管理に必要な 業務のみアクセスを許可
  71. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 制限されているデータベース操作&機能 • ADWは事前に最適化されたデータベースのため、一部機能が無効化されています 81 制限のあるデータベース管理用SQL ADWでご使用頂けない機能 ご使用頂けないSQL • ADMINISTER KEY MANAGEMENT • ALTER PROFILE • ALTER TABLESPACE • CREATE DATABASE LINK • CREATE TABLESPACE • DROP TABLESPACE 一部制限があるSQL • ALTER PLUGGABLE DATABASE and ALTER DATABASE • ALTER SESSION • ALTER SYSTEM • ALTER USER • ALTER TABLE • CREATE TABLE • CREATE USER • Oracle Real Application Testing • Oracle Database Vault • Oracle OLAP • Oracle R capabilities of Oracle Advanced Analytics • Oracle Spatial and Graph • Oracle Industry Data Models • Oracle Text • Oracle Tuning Pack • Oracle Database Lifecycle Management Pack • Oracle Data Masking and Subsetting Pack • Oracle Cloud Management Pack for Oracle Database • Oracle Application Express • Oracle Multimedia • Java in DB • Oracle XML DB • Context • Oracle Workspace Manager
  72. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | クラウドなどCDBを共有する環境でPDBごとの詳細なアクセス制御を実現 参考)マルチテナント時のアクセス制御 82 ネットワークアクセス 共有ユーザーと オブジェクトアクセス DB管理操作 OSコマンド実⾏ ファイルアクセス PDB内から Advanced Queuing (AQ) やUTL_SMTPな どを利⽤したネット ワーク・アクセスを 制限 共通ユーザーを介 した別PDBのオブ ジェクトや共通オブ ジェクトへのアクセ スを制限 データベースのオ プションの利⽤や、 ALTER SYSTEMなどの DB管理操作の 実⾏をPDBごとに 詳細に制限 DBサーバー上で OS操作を⾏う際 のOSユーザーを PDBごとに個別に 指定 PDBがアクセスでき るDBサーバー上の ディレクトリを特定 の場所以下に限 定 PDBロックダウン・プロファイル PDB OS クレデンシャル パス・プレフィックス / CREATE_FILE_DEST パラメータ
  73. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 統合監査 • 混合モード(12c のデフォルトモード) – 11g までの標準監査と 12c からの新しい監査の仕組みを同時に実行 – 標準監査が動作するためパフォーマンスへの悪影響の可能性 – ADWでは選択不可 • 統合監査モード – ADWでは統合監査モードのみが使用可能 • 標準監査の仕組みは使用不可 – 標準監査で使用していた AUDIT_XXX 初期化パラメータは受け付けなくなる 83
  74. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 参考)統合監査機能(Oracle Database 12c 新機能) 84 従来は別々になっていた監査証跡を一つに統合
  75. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 参考)11g までの監査機能との比較 85
  76. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 参考)統合監査のセキュリティ • 読み取り専用の監査証跡表に格納 – 監査証跡が誤操作で削除される心配が不要 • 監査構成に関する操作の監査 – 監査ポリシーの作成、変更、削除、有効化は強制的に監査 • SYSユーザーのアクションの監査 • 監査管理用のロールの導入により監査管理職務が分離 – AUDIT_ADMINロール 監査構成の管理用 – AUDIT_VIEWERロール 監査証跡の参照用 86
  77. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 参考)基本監査情報と拡張監査情報 • 基本監査情報 – ユーザー名 – インスタンス番号 – データベースID – 実行されたアクション、SCN、オブジェクト名、SQL文 • 拡張監査情報の例 – DP_XXX列 DataPump操作 – RMAN_XXX列 RMAN操作 87 コンポーネントの固有のアクションの監査 基本監査情報と拡張監査情報は両⽅ ⼀つのビュー (UNIFIED_AUDIT_TRAIL)から参 照できる
  78. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | ADW/ATP へのネットワーク接続関連 88
  79. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | ネットワーク接続 • 接続パターン (現状) 89 閉域網 インターネット ORACLE CLOUD INFRASTRUCTURE AD Virtual Cloud Network Subnet Compute Instance DRG Object Storage ADW VPN ルータ DRG : Dynamic Routing Gateways IPsec VPN Customer Edge Service Gateway 1) インターネット 2) IPsec VPN 3) 閉域網 (FastConnect) è ADW へ直接アクセス可能 è 踏み台経由で ADW へアクセス可能 Fast Connect edge è ADW へ直接アクセス可能
  80. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 1. HTTP Proxy経由の接続 – HTTP Proxy経由でポート1522番にアクセスできる場合 2. SSHトンネル経由の接続 – 1522番以外のポートが開いている・開けられる場合 – 踏み台となるComputeインスタンスを作成し、ComputeインスタンスにSSH接続し、SSHトンネリングを行う 3. VPN / FastConnect を利用した接続 – IPsec VPN で接続し、Computeインスタンスを経由して接続 – FastConnect(Public Peering) により接続 4. Oracle Machine Learning Notebookによる接続 – HTTP / HTTPS での社外アクセスしか許可されない場合 – Oracle Machine Learning NotebookからSQLやPL/SQL実行が可能 社内から1522番ポートに直接接続できない場合の対処策 90
  81. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 1. HTTP Proxy経由での接続 ① sqlnet.ora $ cat sqlnet.ora WALLET_LOCATION = (SOURCE = (METHOD = file) (METHOD_DATA = (DIRECTORY="/home/adwc_credentials"))) SSL_SERVER_DN_MATCH=yes SQLNET.USE_HTTPS_PROXY=on ② tnsnames.ora $ cat tnsnames.ora ADWC1_high = (description= (address=(https_proxy=proxyhostname)(https_proxy_port=80)(protocol=tcps)(port=1522)(host=adwc.example.com)) (connect_data=(service_name=adwc1_high.adwc.oraclecloud.com)) (security=(ssl_server_cert_dn="XXX")) ) 接続構成ファイルである①“sqlnet.ora”および ②“tnsnames.ora”を更新して HTTP Proxy 経由 での接続構成可能 ADW クライアント HTTP Proxy Internet HTTP Proxy 経由でのみ インターネット接続可能な場合 手順については以下ドキュメントをご参照ください。 https://docs.oracle.com/cd/E83857_01/paas/autonomous-data-warehouse-cloud/user/connect-preparing.html#GUID-3667EC68-930E-4566-95B3-DFA24203A8FF 91
  82. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | ORACLE CLOUD INFRASTRUCTURE 2. SSHトンネル経由による接続 92 AD Virtual Cloud Network Public Subnet Compute instance オンプレミス Object Storage ADW Service Gateway ADWにアクセスしたいクライアントから ComputeインスタンスへSSH接続 *1) クライアントの任意のポートへの 接続をADWの1522番ポートへ転送 (SSHポートフォワーディング) Internet Gateway SSH トンネル クライアント Port 1522 Port 11522 *1) SSH接続するポート(社内ネットワークから接続するポート)はComputeインスタンス 側の設定で任意のポート番号へ変更可能) 手順については以下資料 p.26 以降をご参照ください。 https://stbeehive.oracle.com/content/dav/st/Cloud_Tech_JP/Public%20Documents/AD WC_PoC/share/Guide_Connecting_to_ADW_from_MS_Access2016_wProxy_v1.0.pptx
  83. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | ADW/ATP へのネットワーク接続関連 将来予定 93 Internal Use Only 社外に利用される場合は削除ください。 最新情報は適宜ご確認ください。
  84. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | データベース構成&機能制限 94
  85. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 95 下記のパラメータはユーザーによる変更が可能 データベース構成 • NLS関連 – NLS_CALENDAR/NLS_COMP/NLS_CURRENCY NLS_DATE_FORMAT/NLS_DATE_LANGUAGE NLS_DUAL_CURRENCY/NLS_ISO_CURRENCY NLS_NCHAR_CONV_EXCP/NLS_LANGUAGE NLS_LENGTH_SEMANTICS/NLS_NCHAR_CONV_EXCP NLS_NUMERIC_CHARACTERS/NLS_SORT NLS_TERRITORY/NLS_TIMESTAMP_FORMAT NLS_TIMESTAMP_TZ_FORMAT • オプティマイザ関連 – (ALTER SESSIONのみ) OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES – OPTIMIZER_IGNORE_HINTS – OPTIMIZER_IGNORE_PARALLEL_HINTS • 集計処理関連 – APPROX_FOR_AGGREGATION – APPROX_FOR_COUNT_DISTINCT – APPROX_FOR_PERCENTILE • AWR_PDB_AUTOFLUSH_ENABLED • PL/SQL 関連 – PLSCOPE_SETTINGS – PLSQL_DEBUG – PLSQL_WARNINGS – PLSQL_OPTIMIZE_LEVEL – PLSQL_CCFLAGS • (ALTER SESSIONのみ) TIME_ZONE
  86. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | • パラメータ(init.ora) – DW向けに事前に設定済 – 一部、ユーザによる変更可(e.g. NLS関連) • 表領域管理 – 事前に定義済 – ユーザによる作成/変更/削除は不可 • 圧縮(ADWのみ) – 全テーブルでHCC(Hybrid Columnar Compression)がデフォルトで有効化 • DB LINK – 利用不可。ただし他のDBからADW/ATPへの参 照は可能 • パラレル度 – 接続するサービスに依存 – HIGH/MEDIUMであれば自動設定される • DMLのパラレル実行無効化は可能 • オプティマイザの統計情報収集 – ダイレクト・ロード実行時は自動収集 – ユーザーによる統計情報収集も可能 • Optimizer hints(ADWのみ) – デフォルトではヒントは無視される – 明示的に有効化可能 • Result cache(ADWのみ) – Result cache はデフォルトで全クエリに有効 96 データベース構成(ADW/ATP)
  87. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 制限されているデータベース操作&機能 • ADW/ATPは事前に最適化されたデータベースのため、一部機能が無効化されています 97 制限のあるデータベース管理用SQL ADWでご使用頂けない機能 ご使用頂けないSQL • ADMINISTER KEY MANAGEMENT • ALTER PROFILE • ALTER TABLESPACE • CREATE DATABASE LINK • CREATE TABLESPACE • DROP TABLESPACE 一部制限があるSQL • ALTER PLUGGABLE DATABASE and ALTER DATABASE • ALTER SESSION • ALTER SYSTEM • ALTER USER • ALTER TABLE • CREATE TABLE • CREATE USER • Oracle Real Application Testing • Oracle Database Vault • Oracle OLAP • Oracle R capabilities of Oracle Advanced Analytics • Oracle Spatial and Graph • Oracle Industry Data Models • Oracle Text • Oracle Tuning Pack • Oracle Database Lifecycle Management Pack • Oracle Data Masking and Subsetting Pack • Oracle Cloud Management Pack for Oracle Database • Oracle Application Express • Oracle Multimedia • Java in DB • Oracle XML DB • Context • Oracle Workspace Manager
  88. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 制限されているデータベース操作&機能 • ADW/ATPでは、Oracle Databaseで使用可能なほとんどのデータ型を使用できますが、 セキュリティとパフォーマンスを保証するため、一部のデータ型が制限されています 98 サポートしていないデータ型 • LONG (ADWのみ非サポート) • LONG RAW (ADWのみ非サポート) • Media types • Spatial types
  89. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | ADBにおける文字コードの扱いについて • 移行の際の注意事項 – アプリケーション – LENGTHB関数、SUBSTRB関数等、バイト単位で制御するプログラムがある場合は、一部修正が必要 – DDL発行時 • マルチバイトを使用した表名・列名が使われている場合、DDL発行時にエラーとなる可能性 => 元々は32バイトまでだったが、DB12.2からの機能拡張で128バイトまで利用可能になるため、 12.1以前からの移行であれば問題にはならない 99 文字コードはAL32UTF8で固定
  90. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | ADBにおける文字コードの扱いについて • 移行の際の注意事項 – データロード時 • 格納される際のバイト数の違いから、 CHAR, VARCHARの列定義でエラーとなる可能性 – 2文字の場合、SJISでは4バイト、UTF8では6バイト。 – この時、現行SJISのシステムでCHAR(4)で定義している場合、ADBだと6バイトとなり、エラーが生じる => 表、PLSQLパッケージ等のオブジェクト作成時、NLS_LENGTH_SEMANTICSパラメータでCHARを指定 • 対応策としては簡単だが、既存の環境と比べてデータ領域を3倍必要とする(*) => 列定義、PL/SQLパッケージの定義について、機械的に1.5倍に増やす 100 文字コードはAL32UTF8で固定 * HCC、OLTP圧縮は利用可能
  91. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | データベース構成の確認ツール • 内容 – PL/SQLで実装されたOracle 11.2以上で動作する非常に軽いパッケージ(既存DBにインストールする必要あり。) – データタイプやADWの各種制限に抵触しないか確認可能。 • 実施の流れ – パッケージをダウンロード – 既存DBに一時的にスキーマを作成し、権限付与(スキーマ作成は任意) – 作成したスキーマ内にパッケージをインストール – 調査対象用のスキーマに対して、実行 – スキーマを削除 Confidential – Oracle Internal 101 Oracle Autonomous Data Warehouse Schema Advisor (Doc ID 2462677.1) SQL> exec adw_advisor.report (‘SH’) ;
  92. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Agenda Autonomous Database Cloud が実現する世界 サービス概要 ADW / ATP 技術詳細 Appendix 1 2 3 102 4 5 6
  93. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 機械学習アナリティクスの開発をサポート 103 Oracle Machine Learning / Notebook • データサイエンティストのためのコラボレーティブUI – WebベースのSQLツール。ブラウザからすぐに実⾏可能 – 共有されたノートブックやテンプレート、権限、 スケジューラなどへの簡単アクセス – SQLやPL/SQLのスクリプト⾔語をサポート – Oracle Advanced Analyticsの機械学習アルゴリズムが データベース内に含まれており、 ADWで機械学習メソドロジーをビルド、評価、デプロイ可能
  94. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | 究極のDatabase比較(2019/2/20時点) 比較項目 ADW ATP (Serverless) ATP (Dedicated) ExadataCS ExadataCC Exadata On Premise/Public Cloud Cloud Cloud Cloud Cloud @Customer On Premise システム運用負荷 不要 不要 不要 一部不要 一部不要 必要 パッチの適用 自動で適用 自動で適用 自動で適用 お客様で適用 お客様で適用 お客様で適用 バックアップ 自動で取得 自動で取得 自動で取得 お客様で取得 お客様で取得 お客様で取得 システム構築負荷 極小 極小 極小 小 中 大 課金体系 従量課金 従量課金 従量課金 従量課金 従量課金 ライセンス購入 最低利用期間 期間制限なし 期間制限なし 期間制限なし 期間制限なし 4年 期間制限なし SLA/SLO 99.95% 99.95% 99.995% 99.95% 99.95%(SLO) 99.999% スタンバイ環境 不可 不可 不可 可能 可能 可能 チューニング 自動 自動 自動 手動 手動 手動 H/W更改に関する移行作業 不要 不要 不要 お客様で実施 お客様で実施 お客様で実施
  95. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Oracle Cloud Infrastructure : Databaseサービス 1コアからスタート、ベアメタル、RAC、Exadata まで、幅広いサービスラインナップを提供 OCI Exadata 2-368 OCPUs OCI Database Bare Metal 2-52 OCPUs ローカルNVMe搭載 OCI Database Virtual Machines 1-24 OCPUs OCI Database Virtual Machines RAC 4-48 OCPUs Exadata ベアメタル 仮想マシン Autonomous Autonomous Transaction Processing 1-128 OCPUs Autonomous Data Warehouse 1-128 OCPUs 1コアからスタート可能 RAC対応* コア数を柔軟に設定 物理専有環境 ⼤規模CPUやIO性能 が必要な場合に最適 あらゆるワークロードで ⾼性能を実現する Exadataの専有環境 AI/機械学習を活⽤し た⾃律型データベース *Public Cloud上でRACを組めるのはOracle Cloud のみ 105
  96. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | OCI Database – Virtual Machines OCI Database – Bare Metal OCI Exadata X7 Autonomous Database Oracle Cloud Infrastructure : Databaseサービス 1コアからスタート、ベアメタル、RAC、Exadata まで、幅広いサービスラインナップを提供 • 仮想マシン(VM)で利用可能なデータベースサービス • 4つのエディションを選択可能で、Oracle Real Application Clusters(RAC)が利用可能 • 他のサービスと比較し、ユーザーのニーズに合わせて 様々な サイズ・構成で利用可能なサービス • 専有型のベアメタル環境で利用可能なデータベースの サービス • 4つのエディションを選択可能で、オンプレミスの自前サー バーと同様に、他の環境から影響を受けることなくワーク ロードを捌けるサービス • Oracle Exadata Database Machine(Exadata)を 丸ごと利用できる専有型のサービス • 3種類のラックサイズを選択可能で、Enterprise Editionのオ プション機能を全て利用可能 • Oracle Database 向けの高性能・高可用性を備えた環境を、 他の環境からの影響を受けることなくワークロードを捌け るサービス • Oracle Exadata Database Machine(Exadata)上で動くデータ ベースを安価で簡単に利用できるフルマネージド・サービ ス • 「自己管理」「自己保護」「自己修復」を特徴とした自律型 データベースのサービスで、ワークロードごとに事前定義・ 設定済の、DWH向けのAutonomous Data Warehouse、 OLTPやミックスワークロード向けの Autonomous Transaction Processingの2種類のサービスを提供
  97. Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

    | Safe Harbor Statement The preceding is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. Confidential – Oracle Internal 107