GoldenGate Stream Analytics 概要

Transcript

1. GoldenGate Stream Analytics 概要 日本オラクル株式会社 2023年5月
2. Oracle が提供する包括的な Cloud Data Platform ソリューション OCI Data Platformサービス全体像 Copyright © 2023, Oracle and/or its affiliates 2 Storage OCI Core Infrastructure Compute/ GPU Database Networking OCI Data Platform Services メタデータ管理 収集 蓄積/管理 提供 可視化/分析/データサイエンス Container Instance* *: Coming Soon! Data Catalog Data Integration GoldenGate GoldenGate Stream Analytics Streaming Object Storage ADW/ATP Exadata Database MySQL Heatwave Big Data Data Flow ADW/ATP Exadata Database MySQL Heatwave Big Data Data Flow Analytics Artificial Intelligence Data Science Query* Cloud SQL Oracle Machine Learning/ AutoML
3. https://spark.apache.org/ Apache Spark Copyright © 2023, Oracle and/or its affiliates 3 • 巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク • Scalaで書かれ、クラスタ化されたJVM上で稼働する • Scala と Java のアプリケーションはネイティブに対応 • Python の実行をサポート (PySpark) → データサイエンス系のソリューションと親和性が高い • Spark SQL → 非構造化データをSQLライクに処理できる • Spark Streaming → ストリーミング・データをSQLライクに処理できる (永遠に増え続ける行を持つテーブルを処理) Apache Spark is a unified analytics engine for large-scale data processing. 多くのOCIサービスのベースとなっている • Big Data Service (Sparkのクラスタ環境を提供) • Data Flow (Sparkジョブ実行サービス) • Data Integration (Spark SQLをベースにしたETL) • Stream Analytics (Spark Streaming ベースのGUIリアルタイム分析) • Data Science (PySpark実行環境をNotebookで提供)
4. DX時代に求められる実用的なビジネス・インサイトのために必要な基盤要素 Stream Analytics Technology Copyright © 2023, Oracle and/or its affiliates 4 Batch ETL Decision Maker Action Traditional Analytics DWH/Data Lake Business Data Queries Reports Decision 従来型のバッチ処理ETLをベースとしたAnalytics リアルタイムのデータ処理パイプラインによる迅速なAnalytics Streaming Data Automated Decisions Event Producers 短い 経過時間 短い 経過時間 Action DX に 向 け た パ ラ ダ イ ム シ フ ト 従来型のままではデータ活用のスタイルチェンジは極めて困難。 高速なデータ処理サービスを提供することが、昨今のデータ基盤に求められる重要な要素で あり、DX時代におけるデータ活用のスタイルチェンジが可能。 Stream Analytics
5. 業界に関わらず幅広く存在するStreaming Data Copyright © 2023, Oracle and/or its affiliates 5 IT/Data Management Financial Services Transportation Telecom • Data Lake/DWHへの取込 • Enterprise Data Services (REST, Pub/Sub) • Streaming ETL, Data Pipelines • DataOps (insights on operational data) • 不正検知 • リスク管理 • 為替データや商品のリアルタイム分 析 • 顧客維持、リアルタイムの問題介入 • コンテナ、配送車両、その他の資 産の追跡 • 車両管理 • 乗客への注意喚起 • 物流・ルート最適化 • Wifi オフロード • 動画分析 • ネットワーク管理 • セキュリティ業務 • ジオロケーションマーケティング • モバイルデータ処理 Retail Manufacturing Utilities, Oil & Gas Healthcare • リアルタイムでパーソナライズされたオ ファー • マークダウンの最適化 • 動的な価格設定と予測 • ショッピングカートの欠陥 • より良い店舗と棚の管理 • 顧客維持、リアルタイムの問題介入 • スマートインベントリ • 品質管理 • ビル管理 • 物流・ルート最適化 • Outage Intelligence (停電状況管理等) • 作業員管理 • リアルタイムのドリル分析 • 重要資産の遠隔測定 • 医療機器監視 • 在宅患者モニタリング • 医療不正検出 • 安全な都市構想
6. GoldenGate Stream Analytics Copyright © 2023, Oracle and/or its affiliates 6 Data Engineer Data Analyst DBA/GG Ops Capture Pipeline Analyze Deliver Ingest GoldenGate Stream Analytics connect Streaming GoldenGate MySQL Database Service Autonomous Data Warehouse Object Storage
7. Copyright © 2023, Oracle and/or its affiliates 7 • 2019年に発足したヨットレースのシリーズ • セーリングレースの最高峰リーグ SailGP: Oracle Cloudでのリアルタイムの ストリーム分析プラットフォーム・デプロイメント • 1隻当たり毎秒約3万件のデータを約70kbpsでOCIへ配信 • 前処理後に、GGSAで関連イベントが検出される • Autonomous Data Warehouseで複雑な分析を行う • 分析結果は、チームのデータ分析や専用アプリを通して観戦者 にも提供される https://docs.oracle.com/ja/solutions/sailgp-on-oci/index.html
8. 従来バージョンからの進化と継続的な開発投資 Copyright © 2023, Oracle and/or its affiliates 8 • ストリーム処理に関する70件以上の特許 • イベント処理のための成熟した技術スタック • 10年以上の知財投資実績 12.2 12.3 11g 18c 19c
9. テクノロジー観点のオーバービュー Copyright © 2023, Oracle and/or its affiliates 9 CSV, JSON REST API OLTP Streaming GoldenGate GoldenGate Stream Analytics Pub Sub 機械学習モデル 地理空間データ 複雑な ビジネスルール イベント 相関処理 異常検出 空間情報 プロセッシング 機械学習 処理時間の コンパクト化 ダッシュボード ビジネス判断の自動化 イベント別処理・注文・ フィルタ・集計 等 パターンマッチングと検出 地理的境界分析 予測、イベントスコアリング、 予測分析 ウィンドウの移動や 全体最適化 ストリームの可視化と 運用ダッシュボードの構築
10. 主な特徴 Copyright © 2023, Oracle and/or its affiliates 10 インタラクティブなデザイナーUI 予測分析と機械学習 位置情報を用いた分析 （Geospatial Analysis） Oracle GoldenGateとの統合 堅牢性、拡張性、高性能 豊富なストリーミング 処理パターンテンプレート
11. 主な特徴：インタラクティブなブラウザベースのデザイナーUI GoldenGate Stream Analytics Copyright © 2023, Oracle and/or its affiliates 11 直感的なユーザーインタフェース •コーディングスキルを必要としないデータアナリストでもデー タ強化の操作が可能 •直感的で常時オンのデータビューによる変換結果の参照 が可能 •ストリームのフィルタリングと相関、ルールの適用、集計、 フィールドの計算などを利用可能 統合された可視化 •表、チャート、地理空間マップなどを使って、鮮度の高いビ ジネスデータの活用が可能 Javaによる機能拡張性 •データエンジニアがチームメンバー全員で使用するカスタム ステージ(ユーザー定義処理)や機能を提供
12. 主な特徴：予測分析と機械学習 GoldenGate Stream Analytics Copyright © 2023, Oracle and/or its affiliates 12 Oracle R Enterprise Notebooks (Jupyter, Zeppelin, etc) Data Scientist Data Analyst/ Data Engineer OSAでデザインした処理 リアルタイムのスコアリングと意思決定 •機械学習モデルを使用してリアルタイムにビジネス意思決定が可能 •機器の故障、顧客行動、不正行為、セキュリティ侵害などの将来の結果を 予測等に適用可能 •改良されたモデルを再インポートして予測を改善可能 データサイエンスを本番環境へ •データサイエンティストやエンジニアが独自の環境で作成した予測モデルのイ ンポート •Vector Machine, Association rule, Naive Bayes classifier, Clustering models, Text model, Decision tree, Different Regression modelなど、さま ざまなアルゴリズムのPMMLモデルをインポート可能 •データアナリストはモデルの複雑さを気にせず適用可能 •外部のスコアリングシステムにアクセスするためのカスタムステージ(ユーザー定 義処理)と連携も可能
13. 主な特徴：位置情報を用いた分析（Geospatial Analysis） GoldenGate Stream Analytics Copyright © 2023, Oracle and/or its affiliates 13 インタラクティブな空間デザインと可視化 •イベントが処理されると、マップ上にライブの位置情報を表示 •個々のオブジェクトを追跡し、異なる条件に基づいてハイライ ト エリアとジオフェンスのスケーラブルな定義 •地図上に境界線を描画して多角形を定義 •OracleデータベースでSpatial型を使って大量の図形を管理 リッチな空間パターンセット •空間的な相互作用を介して複数オブジェクトを相関 •速度検出と近接性の確認 •ジオコーディングにより、住所や都市の情報を位置情報から 取得したり、その逆の情報を取得したりすることが可能
14. 主な特徴：Oracle GoldenGateとの統合 GoldenGate Stream Analytics Copyright © 2023, Oracle and/or its affiliates 14 ライブデータの処理と分析 •ライブトランザクションやスキーマイベント(DDL等) を分析し、ビ ジネス・インサイトの獲得が可能 •フィルタ、結合、ルール、集約、分割、結合、その他の一般的 な操作を使用して、イベントを変換して集約、リアルタイムに データレイクへ格納 •GoldenGateからの変更差分情報をネイティブに処理、ライブ 集計を保持 データベーストランザクションの監視 •進行中のデータベースアクティビティの統計を分析 •多くの変更があるホットレコードを識別し、機密性の高いテー ブルやレコードのアクティビティを監視、しきい値を超えているか どうかなど確認が可能 •異なるトランザクションを関連付け、例えばリクエストが承認さ れたかどうかといった確認が可能 •作成されてすぐに削除されたレコードなど、通常とは異なる活 動や不正な活動を識別可能 リアルタイムBI Big Data Lake ビジネスプロセス オペレーショナル ダッシュボード OLTP Database GoldenGate Kafka GoldenGate Stream Analytics 不正検知や正しい データのチェック等 クリティカルアラート や処理 OLTP Database GoldenGate Kafka GoldenGate Stream Analytics Target Database
15. 主な特徴：豊富なストリーミング処理パターン・テンプレート GoldenGate Stream Analytics Copyright © 2023, Oracle and/or its affiliates 15 複雑なアルゴリズムを簡素化 •設計者によるユーザーアシスタンス機能を備えた使いやすい モジュール群を提供 •事前に定義されたビジュアライゼーションにより、すぐにフィード バックを提供 •データアナリストが簡単にアクセス可能 パターンの総合的なライブラリ •異常検知、ストリーム相関、トレンド解析、空間関数など多 様な領域をカバーしています。 •重複、品切れ、欠落イベントの検出等 •金融・統計・対数解析操作のための関数等
16. 主な特徴：堅牢性、拡張性、高性能 GoldenGate Stream Analytics Copyright © 2023, Oracle and/or its affiliates 16 Sparkクラスタによるスケーラビリティ •Sparkによる高度に並列化されたインメモリ処理による高ス ループットを実現 •ノードを追加してクラスターを動的にスケール •ロードバランシングによる複数のWebサーバノードの分散 クラスタの冗長性による高可用性 •Sparkクラスタ内の故障したワーカーノードをデータ損失なしで 回復
17. ライセンス価格(2022年12月現在) GoldenGate Stream Analytics ライセンスについて Copyright © 2023, Oracle and/or its affiliates 17 ライセンス名称 NUP 価格 NUP 保守 プロセッサ 価格 プロセッサ 保守 GoldenGate Stream Analytics 168,000 36,960 8,400,000 1,848,000 • それぞれの価格は、日本円($1=140円)での金額となります。 • NUPの最小ユーザー数は10NUPです。 • Oracle GoldenGate for Big Data をお持ちの場合、Oracle GoldenGate for Big Data から伝搬されるデータをGoldenGate Stream Analytics で処理する構成では無償でGoldenGate Stream Analytics をお使い頂けます。 • OSAには別途リポジトリ用のDBとしてOracle DatabaseもしくはMySQLが必要です。(*) • OSAのデータ層として別途Hadoop 2.7 およびKafka 0.10環境が必要です。 (*) (*)詳細バージョン等構成については製品ドキュメントを御確認下さい
18. Oracle Cloud Marketplace からも利用可能(BYOL or UCM) Copyright © 2023, Oracle and/or its affiliates 18 Resource Manager GG for Big Data Virtual Machine [^1] Block Storage GG4BD Data Kafka Data MySQL Data [^1]: VM Standard2.4+でプロビジョニング可能 Marketplace GoldenGate Stream Analytics Open Source GG Database Replication
19. GoldenGate Stream Analytics Copyright © 2023, Oracle and/or its affiliates 19 ▪ ユースケース • 複雑なイベント処理パイプラインを構築したい • 時系列データ内のパターンを検出し、リアルタイムな処理を 実行したい • 処理されたデータ・ストリームを視覚化するためのダッシュ ボードを構築したい ▪ 特徴 • IoTデータ、ログデータ、ソーシャル・メディアといったStream データを分析的計算処理するテクノロジーを提供 • 直感的で使いやすいローコード開発プラットフォームを提供 • 豊富なプリセット済みのストリーミング処理パターンテンプレー トを活用し素早く開発が可能 ▪ 価格 (2022年12月現在) • (NUP) 価格: ¥168,000、保守: ¥36,960 • (プロセッサ) 価格: ¥8,400,000、保守: ¥1,848,000 • (UCM) ¥132.972 [OCPU/時間] * 別途IaaS部分の課金が必要 Capture Ingest Pipeline Analyze Deliver connect GoldenGate Streaming Autonomous Data Warehouse Object Storage - イベント相関処理 - ビジネス判断の自動化 - ウィンドウ処理 - 地理的境界分析 - 異常検出 - 機械学習 - ダッシュボードの提供 - etc. GoldenGate Stream Analytics
20. Copyright © 2023, Oracle and/or its affiliates 20 Thank you
22. Copyright © 2023, Oracle and/or its affiliates 22 Appendix
23. Demo: アトランタの街中を走行するバスの走行データをリアルタイムに分析する Copyright © 2023, Oracle and/or its affiliates 23 Kafka Topic Kafka Topic Kafka Console Consumer Pub Sub Sub Pub 地図情報 リアルタイム 車両運行情報 ジオ・フェンスで フィルタリング 10秒ごとの車両毎の 平均時速を計算 スピード違反を判定 Reckless/Major/Minor サマリーをKafka トピックにpublish アトランタの地理的境界定義
24. https://oracle-japan.github.io/ocitutorials/datascience/ggsa-tutorial-for-beginner/ GoldenGate Stream Analytics – チュートリアルご紹介 Copyright © 2023, Oracle and/or its affiliates 24 Kafka Topic Kafka Topic Kafka Console Consumer Pub Sub Sub Pub 地図情報 リアルタイム 車両運行情報 ジオ・フェンスで フィルタリング 10秒ごとの車両毎の 平均時速を計算 スピード違反を判定 Reckless/Major/Minor サマリーをKafka トピックにpublish アトランタの街中を走行するバスのリアルタイムデータを分析