Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Oracle Developer Day 2021 GoldenGate Stream Analytics

Oracle Developer Day 2021 GoldenGate Stream Analytics

140494d272a4d89883a94fdfdb29dea2?s=128

oracle4engineer
PRO

December 17, 2021
Tweet

Transcript

  1. GoldenGate Stream Analyticsで 始めるリアルタイムデータ分析 Shuhei Kawamura Cloud Solution Engineer/Oracle Groundbreaker

    Advocate Solutions Architect, Oracle Corporation Japan December 17th, 2021
  2. Shuhei Kawamura • 日本オラクル株式会社 • ソリューション・アーキテクト本部 • Oracle Cloud Hangout

    Cafe メンバー • 担当領域 • Cloud Native, App Dev & Data Platform (Data Flow, GGSA) • 趣味で認証・認可関連も少し (OAuth, OpenID Connect, FIDO, etc.) FPO @shukawam Twitter/GitHub/Qiita Copyright © 2021, Oracle and/or its affiliates 2
  3. Agenda 1.GoldenGate Stream Analytics 2.デモンストレーション 3.まとめ 3 Copyright © 2021,

    Oracle and/or its affiliates
  4. Agenda 1.GoldenGate Stream Analytics 2.デモンストレーション 3.まとめ 4 Copyright © 2021,

    Oracle and/or its affiliates
  5. Stream Analytics Technology DX時代に求められる実用的なビジネス・インサイトのために必要な基盤要素 従来型のバッチ処理ETLをベースとしたAnalytics リアルタイムのデータ処理パイプラインによる迅速なAnalytics Batch ETL Queries Reports

    Decision Business Data DWH/Data Lake Traditional Analytics Dicision Maker Action Event Producers Action Stream Analytics Streaming Data Automated Dicisions 短い 経過時間 短い 経過時間 Stream Analytics DX に 向 け た パ ラ ダ イ ム シ フ ト 5 Copyright © 2021, Oracle and/or its affiliates
  6. 業界・業種に関わらず幅広く存在する Streaming Data IT/Data Management Financial Service Transportation Telecom Retail

    Manufacturing Utilities, Oil & Gas Healthcare • DWH/Data Lakeへの取り込み • Enterprise Data Services (REST, Pub/Sub) • Streaming ETL, Data Pipelines • Data Ops • 不正検知 • リスク管理 • 為替データや商品のリアルタイム分析 • 顧客維持、リアルタイムの問題介入 • コンテナ、配送車両、その他の資産の追跡 • 車両管理 • 乗客への注意喚起 • 物流ルート最適化 • WiFiオフロード • 動画分析 • ネットワーク管理 • ジオロケーションマーケティング • モバイルデータ処理 • リアルタイムオファー • マークダウンの最適化 • 動的な価格設定と予測 • ショッピングカートの欠陥 • 在庫管理 • 顧客維持、リアルタイムの問題介入 • スマートインベントリ • 品質管理 • ビル管理 • 物流ルート最適化 • Outage Intelligence (停電状況管理 etc.) • 作業員管理 • リアルタイムのドリル分析 • 重要資産の遠隔測定 • 医療機器監視 • 在宅患者モニタリング • 医療不正検出 • 安全な都市構想 6 Copyright © 2021, Oracle and/or its affiliates
  7. GoldenGate Stream Analytics リアルタイムなストリームデータ処理パイプラインを実現するテクノロジー製品 Capture Ingest Pipeline Analyze Deliver DBA/GG

    Ops Data Engineer Data Analyst OLTP GoldenGate for BigData Streaming Event Producers GoldenGate Stream Analytics Streaming REST API DWH/Data Lake Messages, Events & Alerts Analytics Data 7 Copyright © 2021, Oracle and/or its affiliates
  8. GoldenGate Stream Analytics の活用例 8 Copyright © 2021, Oracle and/or

    its affiliates
  9. GoldenGate Stream Analytics テクノロジー観点のオーバービュー REST API CSV, JSON OLTP Streaming

    GoldenGate Stream Analytics イベント 相関処理 複雑な ビジネスルール 処理時間の コンパクト化 空間情報 プロセッシング 異常検出 機械学習 ダッシュボード イベント別処理・注文・ フィルタ・集計 等 ビジネス判断の自動化 ウィンドウの移動や 全体最適化 地理的境界分析 パターンマッチングと検出 予測、イベントスコアリング、 予測分析 ストリームの可視化と 運用ダッシュボードの構築 機械学習モデル 地理空間データ 9 Copyright © 2021, Oracle and/or its affiliates
  10. GoldenGate Stream Analytics 主な特徴 インタラクティブなデザイナーUI 予測分析と機械学習 位置情報を用いた分析(Geospatial Analytics) Oracle GoldenGateとの統合

    豊富なストリーミング処理パターンテンプレート 堅牢性、拡張性、高性能 • コーディングスキルを必要とし ないデータアナリストでのデー タ強化の操作が可能 • 直感的で常時オンのデータ ビューによる変換結果の参 照が可能 CDC[^2]を入力のイベントスト リームとし、ライブトランザクション やデータベースアクティビティの統 計をリアルタイムに分析可能 • 機械学習のモデルを使用し てリアルタイムにビジネスの意 思決定が可能 • PMML[^1]のインポートに 対応 • 事前定義済みの分析処理 用のライブラリを活用してパ イプラインを構築可能 • 異常検知、ストリーム相関、 トレンド解析など、様々な領 域をカバー 入力データに含まれる位置情 報(緯度、経度 etc.)と地図 データを使用したリアルタイムな 分析が可能 • Sparkによる高度に並列化さ れたインメモリ処理により高いス ループットを実現 • クラスタの冗長性による可用性 [^1]: Predictive Model Markup Language: XMLベースの予測モデル変換フォーマット [^2]: Change Data Capture 10 Copyright © 2021, Oracle and/or its affiliates
  11. Agenda 1.GoldenGate Stream Analytics 2.デモンストレーション 3.まとめ 11 Copyright © 2021,

    Oracle and/or its affiliates
  12. デモ – 全体像 リアルタイムな注文データ等を元に、収益の集計と購買予測を行う Kafka Topic Kafka Topic Kafka Topic

    通知 or 他システム連携 12 Copyright © 2021, Oracle and/or its affiliates RTRevenue Predictions
  13. デモ – パイプライン 注文データ 顧客情報付与 緯度・経度情報付与 キャンペーン対象リージョンで絞り込み 商品詳細情報の付与 顧客分類 (Bronze/

    Gold/ Diamond/ Platinum) 顧客分類、商品カテゴリ ごとに収益の集計 & 可視化 購買予測(機械学習) 購入しそうな顧客に絞り込み 可視化 Kafkaにpublish Kafkaにpublish 顧客情報付与 13 Copyright © 2021, Oracle and/or its affiliates
  14. デモ – ダッシュボード 購入しそうな顧客の分類 (BRONZE, Platinum, GOLD, Diamond) をリアルタイムに可視化 購入しそうな顧客数を郵便番号毎に集計し

    リアルタイムに可視化 顧客の分類毎に 売り上げをリアルタイムに集計し可視化 LikelyBuyersByType LikelyBuyersByType RealtimeRevenue 14 Copyright © 2021, Oracle and/or its affiliates
  15. Agenda 1.GoldenGate Stream Analytics 2.デモンストレーション 3.まとめ 15 Copyright © 2021,

    Oracle and/or its affiliates
  16. GoldenGate Stream Analytics for OCI Oracle Cloud Marketplace からの利用可能(BYOL or

    UCM) GoldenGate Stream Analytics GoldenGate for BigData GoldenGate Database Replication Vitrual Machine Block Storage OLTP MySQL Data Kafka Logs GG4BD Data Resource Manager Marketplace 16 Copyright © 2021, Oracle and/or its affiliates
  17. GoldenGate Stream Analytics for OCI 膨大なストリーミング・データに対するリアルタイム処理を実現 サービス概要/特徴 • IoTデータ、パイプライン、ログデータ、ソーシャル・メディアといった Streamデータをリアルタイムに分析的計算処理するテクノロジー

    を提供します • 大量のデータをリアルタイムでフィルタ処理、集計、相関付けおよ び分析することが可能です こんな課題に役立ちます • 異なるソースからのデータを混合/変換し、複雑なイベント処理パ イプラインを構築したい • 時系列データ内のパターンを検出し、リアルタイムな処理を実行し たい • 処理されたデータ・ストリームを資格化することにより、操作ダッシュ ボードを構築したい • 機械学習を使用して、現在のイベントをスコアリングし、次のイベン トを予測したい サービス価格 • ¥113.98 [OCPU/時間] * 別途IaaS部分(Virtual Machine etc.)の費用が必要 17 Copyright © 2021, Oracle and/or its affiliates
  18. GoldenGate Stream Analytics チュートリアルのご紹介 Kafka Topic Kafka Topic 通知 or

    他システム連携 リアルタイム車両運行情報 地図情報 ジオ・フェンスで フィルタリング 車両ごとの平均時速を計算 スピード違反の判定 Reckless/Major/Minor サマリーをKafkaの トピックにpublish アトランタの街中を走行するバスのリアルタイムデータを分析 & 可視化 https://oracle-japan.github.io/ocitutorials/datascience/ggsa-tutorial-for-beginner/ 18 Copyright © 2021, Oracle and/or its affiliates
  19. Thank you 19 Copyright © 2021, Oracle and/or its affiliates