Upgrade to Pro — share decks privately, control downloads, hide ads and more …

OCI Search Service with OpenSearch ご紹介/search-service-overview

OCI Search Service with OpenSearch ご紹介/search-service-overview

OCI Search Service with OpenSearch の概要紹介資料です。

oracle4engineer
PRO

December 02, 2022
Tweet

More Decks by oracle4engineer

Other Decks in Technology

Transcript

  1. OCI Search Service with OpenSearch ご紹介 Name 日本オラクル株式会社 2022年12月

  2. • 複数の文書の中から目的の文字列を検索すること • 全文検索の手法 • grep 型(逐次検索型) • 複数文書の内容を順次走査する検索手法のこと •

    検索対象の増加に伴い、検索速度が低下する • 索引(インデックス)型 • 検索対象となる文書群を走査し、高速な検索が可能になるような索引データを準備することで、検索時のパフォーマンスを向 上させる手法のこと • インデクシング:事前に索引ファイルを作成すること • インデックス:インデクシングにより生成されるデータのこと(文字列、ファイルの場所、更新日、出現頻度、etc.) 全文検索とは Copyright © 2022, Oracle and/or its affiliates 2
  3. https://opensearch.org/ • OpenSearch • オープンソースの検索、分析スイート • 索引型の全文検索エンジンを提供 • データの取り込み、検索、可視化、分析をAPIやWeb UIを通し

    て実行可能 • Apache Licence, Version 2.0 で提供 • Elasticsearch 7.10.2 と Kibana 7.10.2 から派生し、コミュニティドリブ ンで開発 • 主なユースケース • ログの分析 • アプリケーションモニタリング • 検索ロジックの実装 OpenSearch Copyright © 2022, Oracle and/or its affiliates 3 OpenSearch makes it easy to ingest, search, visualize, and analyze your data.
  4. ▪ ユースケース • ログの分析 • アプリケーションの検索ロジック実装 ▪ 特徴 • OpenSearch

    ベースのフルマネージドな検索/分析スイート • コア数/メモリを柔軟にダウンタイムなしで拡張可能 • AD/FD にまたがった高可用性構成を自動的に構築 • 統合済みのダッシュボードを用いて、分析したデータを素早く可 視化 • 既存のクラスタ(ELK or OpenSearch)からのマイグレートが可能 ▪ 価格 • 3 台目の Data Node 以降、1 ノードあたり ¥30/h • ※OCI Search Service with OpenSearch を稼働させる IaaS(Compute, Block Volume)使用料が別途発生 OCI Search Service with OpenSearch Copyright © 2022, Oracle and/or its affiliates 4 OCI Search Service with OpenSearch
  5. OCI Search Service with OpenSearch の全体像 Copyright © 2022, Oracle

    and/or its affiliates 5 OCI Search Service with OpenSearch Master Node … OpenSearch Dashboard Node … Data Node … User Private Endpoint Cluster • 1 つ以上の Master/OpenSearch Dashboard/Data Node から構成される Compute インスタンスの集合 Master Node • クラスタのオペレーション管理、ノードのステータス監視、 ネットワークトラフィックの制御を行う管理ノード OpenSearch Dashboard Node • クラスタの OpenSearch ダッシュボードを管理するノー ド Data Node • OpenSearch のデータを保存し、データの検索、管理、 集計に関連する操作を処理するノード Cluster OpenSearch Dashboard
  6. OCI Search Service with OpenSearch のメリット Copyright © 2022, Oracle

    and/or its affiliates 6 フルマネージド • コンソールや API から 自動的にクラスタ構築 • 定期的な自動バック アップ • 自動的なパッチ適用 柔軟性 • コア数・メモリ数を柔 軟にスケール可能 • ダウンタイムなしで拡 張可能 セキュア • OCI IAM との統合に よるアクセス制御と認 可を実現 • すべてのデータは暗号 化して保存される • FIPS準拠 コスト • 最初の 2 データノード までは無償*で使用 可能 • 運用コストの削減 *: IaaSの使用料は発生 可視化機能 • 統合済みのダッシュ ボードを用いて、デー タを素早く可視化 • オンプレミス、クラウド 両方のデータ取り込 みが可能 高可用性 • AD/FD にまたがった 分散配置を自動的に プロビジョニング
  7. 1 Master, 1 Dashboard, 3 Data Nodes 価格比較 Copyright ©

    2022, Oracle and/or its affiliates 7 Internal $2,214 $4,339 $7,989 $6,173 $- $1,000 $2,000 $3,000 $4,000 $5,000 $6,000 $7,000 $8,000 $9,000 OCI AWS Elastic on Azure (Marketplace) Elastic on GCP( Marketplace) OCI vs. Competition – Entry Level Configuration
  8. OCI vs. AWS Copyright © 2022, Oracle and/or its affiliates

    8 Internal $606.74 $2,214 $4,944.10 6395.52 $969.50 $4,338.94 $10,189.65 12497.86 37% 50% 51% 49% 0% 10% 20% 30% 40% 50% 60% $- $2,000.00 $4,000.00 $6,000.00 $8,000.00 $10,000.00 $12,000.00 $14,000.00 Elastic Small Entry Level OCI LA Customer Elastic Large OCI OpenSearch versus AWS OpenSearch OCI AWS OCI is cheaper than AWS by x%
  9. Master Node(s) Master Node(s) 価格モデル Copyright © 2022, Oracle and/or

    its affiliates 9 Master Node(s) OCPU/RAM/Storage Master Node(s) Master Node(s) Dashboard Node(s) OCPU/RAM/Storage Data Node 2 OCPU/RAM/Storage Data Node 1 OCPU/RAM/Storage Master Node(s) Master Node(s) Data Nodes 3+ OCPU/RAM/Storage “NO” Service Fee Service Fee ¥35/h ※ 3 ノード以上で Data Node を構成する場合は、3 ノー ド目以降からノード毎に Service Fee が発生 e.g. 5 ノードの場合: 5-2=3 ノードに Service Fee が発生 IaaS の利用分 ※2022年12月現在
  10. • 使い慣れた OpenSearch の Web UI を用いてログの分析が可能 • アプリケーションサーバーのログなどOCIサービスではないログ分析に特に有効的 ユースケース:

    ログ分析 Copyright © 2022, Oracle and/or its affiliates 10 OCI Search Service with OpenSearch ダッシュボードの構築 膨大なログデータの中から迅速に目的のログを検索 … Beats (データ取り込み) Logstash (データ取り込み、加工) Fluentd/Fluent Bit (データ取り込み、加工) OCI Logging (データ取り込み) SCH* (フィルター、連携) *SCH: Service Connector Hub Functions (データ加工)
  11. Search Service w/ OpenSearch Logging Analytics 対象のログ 監査ログ ◦ 監査ログ

    ◎ サービス・ログ ◦ サービス・ログ ◎ カスタム・ログ ◎ カスタム・ログ ◦ コスト(最小構成)[月額] ¥22,722 ¥52,080 参考: OCI Logging Analytics との使い分け Copyright © 2022, Oracle and/or its affiliates 11 【OCI Search Service with OpenSearchがログ分析で有効活用できるケース】 • 顧客独自のアプリケーションなどが出力するカスタム・ログに対する検索や分析を実施したい場合 • OCI Logging Analyticsは、OCI Nativeなログに最適化されている • 使い慣れたOpenSearchのUIを用いて、分析を実施したい場合 • 検索性能のスケールが要件に含まれている場合 • スモールスタートでログ分析を始めたい場合 ※2022年12月現在
  12. • アプリケーションの検索ロジック(論理演算(AND, OR, etc.)を用いた検索、類似語検索、etc.)を OpenSearch の API を用いて実装 • 大量データから目的のデータへの高速アクセスを提供

    ユースケース: 検索ロジックの実装 Copyright © 2022, Oracle and/or its affiliates 12 User Application OCI Search Service with OpenSearch Load Balancer Application OpenSearch の API を用いて 検索ロジックを実装
  13. Master Node x 1, Dashboard Node x 1, Data Node

    x 1 サービス名/リソース名 構成の概要 見積りの概要 月額 Compute x 1 (Master Node) 1OCPU, 16GB RAM ¥3.5 x 1(OCPU) x 24(h) x 31(day) x 1(台) = ¥2,604 ¥0.21 x 16(GB) x 24(h) x 31(day) x 1(台) = ¥2,500 ¥5,104 Compute x 1 (Dashboard) 1OCPU, 16GB RAM ¥3.5 x 1(OCPU) x 24(h) x 31(day) x 1(台) = ¥2,604 ¥0.21 x 16(GB) x 24(h) x 31(day) x 1(台) = ¥22,500 ¥5,104 Compute x 1 (Data Node) 4OCPU, 10GB RAM ¥3.5 x 4(OCPU) x 24(h) x 31(day) x 1(台) = ¥10,416 ¥0.21 x 10(GB) x 24(h) x 31(day) x 1(台) = ¥1,562 ¥11,978 Block Storage (Data Node) 50GB ¥3.57 x 50(GB) x 1(台) = ¥535 ¥535 Service Fee* - - 合計 [月額] ¥22,722 見積り例(2022年12月現在) – 開発、検証用途のクラスタ環境の場合 Copyright © 2022, Oracle and/or its affiliates 13 *: 3 ノード以上で Data Node を構成する場合は、3 ノード目以降からノード毎に Service Fee が発生
  14. Master Node x 3, Dashboard Node x 3, Data Node

    x 3 サービス名/リソース名 構成の概要 見積りの概要 月額 Compute x 3 (Master Node) 2OCPU, 32GB RAM ¥3.5 x 2(OCPU) x 24(h) x 31(day) x 3(台) = ¥15,624 ¥0.21 x 32(GB) x 24(h) x 31(day) x 3(台) = ¥12,999 ¥30,622 Compute x 3 (Dashboard) 2OCPU, 16GB RAM ¥3.5 x 2(OCPU) x 24(h) x 31(day) x 3(台) = ¥15,624 ¥0.21 x 16(GB) x 24(h) x 31(day) x 3(台) = ¥7,499 ¥23,133 Compute x 3 (Data Node) 32OCPU, 244GB RAM ¥3.5 x 32(OCPU) x 24(h) x 31(day) x 3(台) = ¥249,984 ¥0.21 x 244(GB) x 24(h) x 31(day) x 3(台) = ¥114,367 ¥364,351 Block Storage (Data Node) 50GB ¥3.57 x 50(GB) x 3(台) = ¥535 ¥535 Service Fee* ¥35 x 24(h) x 31(day) x 1(台) = ¥26,040 ¥26,040 合計 [月額] ¥444,672 見積り例(2022年12月現在) – 本番相当のクラスタ環境の場合 (Log Analytics) Copyright © 2022, Oracle and/or its affiliates 14 *: 3 ノード以上で Data Node を構成する場合は、3 ノード目以降からノード毎に Service Fee が発生
  15. Master Node x 3, Dashboard Node x 3, Data Node

    x 3 サービス名/リソース名 構成の概要 見積りの概要 月額 Compute x 3 (Master Node) 2OCPU, 32GB RAM ¥3.5 x 2(OCPU) x 24(h) x 31(day) x 3(台) = ¥15,624 ¥0.21 x 32(GB) x 24(h) x 31(day) x 3(台) = ¥12,999 ¥30,622 Compute x 3 (Dashboard) 2OCPU, 16GB RAM ¥3.5 x 2(OCPU) x 24(h) x 31(day) x 3(台) = ¥15,624 ¥0.21 x 16(GB) x 24(h) x 31(day) x 3(台) = ¥7,499 ¥23,133 Compute x 3 (Data Node) 64OCPU, 244GB RAM ¥3.5 x 64(OCPU) x 24(h) x 31(day) x 3(台) = ¥499,968 ¥0.21 x 244(GB) x 24(h) x 31(day) x 3(台) = ¥114,367 ¥614,335 Block Storage (Data Node) 50GB ¥3.57 x 50(GB) x 3(台) = ¥535 ¥535 Service Fee* ¥35 x 24(h) x 31(day) x 1(台) = ¥26,040 ¥26,040 合計 [月額] ¥694,656 見積り例(2022年12月現在) – 本番相当のクラスタ環境の場合 Copyright © 2022, Oracle and/or its affiliates 15 *: 3 ノード以上で Data Node を構成する場合は、3 ノード目以降からノード毎に Service Fee が発生
  16. Copyright © 2022, Oracle and/or its affiliates 16 Reference Architecture

    – Log Analysis https://docs.oracle.com/en/solutions/oci-opensearch-log-analytics/index.html#GUID-AE21AAA4-FA48-4EA9-A80D-A3199AC9AEA6 Filebeatを用いて、ロ グの転送 Logstashで転送されたログの解析と変換 を行い、OCI Search Service with OpenSearchへ変換後のログを送信する OCI Search Service with OpenSearchを 用いて、高速な検索・分析・可視化を行う
  17. Reference Architecture – App Search Copyright © 2022, Oracle and/or

    its affiliates 17 https://docs.oracle.com/en/solutions/oci-opensearch-application-search/index.html#GUID-AEAA600E-BBCC-4102-8E23-ABEC941FE84C アプリケーション内の検索を OpenSearch の API を用いて、実装する
  18. Copyright © 2022, Oracle and/or its affiliates 18 Thank you

  19. None