OCI Search Service with OpenSearch 概要

Transcript

1. OCI Search Service with OpenSearch ご紹介 Name 日本オラクル株式会社 2023年12月
2. • 複数の文書の中から目的の文字列を検索すること • 全文検索の手法 • grep 型（逐次検索型） • 複数文書の内容を順次走査する検索手法のこと • 検索対象の増加に伴い、検索速度が低下する • 索引（インデックス）型 • 検索対象となる文書群を走査し、高速な検索が可能になるような索引データを準備することで、検索時のパフォーマンスを向 上させる手法のこと • インデクシング：事前に索引ファイルを作成すること • インデックス：インデクシングにより生成されるデータのこと（文字列、ファイルの場所、更新日、出現頻度、etc.） 全文検索とは Copyright © 2023, Oracle and/or its affiliates. 2
3. https://opensearch.org/ • OpenSearch • オープンソースの検索、分析スイート • 索引型の全文検索エンジンを提供 • データの取り込み、検索、可視化、分析をAPIやWeb UIを通し て実行可能 • Apache Licence, Version 2.0で提供 • Elasticsearch 7.10.2とKibana 7.10.2から派生し、コミュニティドリブン で開発 • 主なユースケース • ログの分析 • アプリケーションモニタリング • 検索ロジックの実装 OpenSearch Copyright © 2023, Oracle and/or its affiliates. 3 OpenSearch makes it easy to ingest, search, visualize, and analyze your data.
4. ▪ ユースケース • ログの分析 • アプリケーションの検索ロジック実装 ▪ 特徴 • OpenSearchベースのフルマネージドな検索/分析スイート • コア数/メモリを柔軟にダウンタイムなしで拡張可能 • AD/FDにまたがった高可用性構成を自動的に構築 • 統合済みのダッシュボードを用いて、分析したデータを素早く可 視化 • 既存のクラスタ(ELK or OpenSearch)からのマイグレートが可能 ▪ 価格(2022年12月現在) • 3 台目のData Node以降、1 ノードあたり¥35/h • ※OCI Search Service with OpenSearchを稼働させる IaaS(Compute, Block Volume)使用料が別途発生 OCI Search Service with OpenSearch Copyright © 2023, Oracle and/or its affiliates. 4 OCI Search Service with OpenSearch
5. OCI Search Service with OpenSearch の全体像 Copyright © 2023, Oracle and/or its affiliates. 5 OCI Search Service with OpenSearch Master Node … OpenSearch Dashboard Node … Data Node … User Private Endpoint Cluster • 1 つ以上の Master/OpenSearch Dashboard/Data Node から構成される Compute インスタンスの集合 Master Node • クラスタのオペレーション管理、ノードのステータス監視、 ネットワークトラフィックの制御を行う管理ノード OpenSearch Dashboard Node • クラスタの OpenSearch ダッシュボードを管理するノー ド Data Node • OpenSearch のデータを保存し、データの検索、管理、 集計に関連する操作を処理するノード Cluster OpenSearch Dashboard
6. OCI Search Service with OpenSearch のメリット Copyright © 2023, Oracle and/or its affiliates. 6 フルマネージド • コンソールや API から 自動的にクラスタ構築 • 定期的な自動バック アップ • 自動的なパッチ適用 柔軟性 • コア数・メモリ数を柔 軟にスケール可能 • ダウンタイムなしで拡 張可能 セキュア • OCI IAM との統合に よるアクセス制御と認 可を実現 • すべてのデータは暗号 化して保存される • FIPS準拠 コスト • 最初の 2 データノード までは無償*で使用 可能 • 運用コストの削減 *: IaaSの使用料は発生 可視化機能 • 統合済みのダッシュ ボードを用いて、デー タを素早く可視化 • オンプレミス、クラウド 両方のデータ取り込 みが可能 高可用性 • AD/FD にまたがった 分散配置を自動的に プロビジョニング
7. Master Node(s) Master Node(s) 価格モデル Copyright © 2023, Oracle and/or its affiliates. 9 Master Node(s) OCPU/RAM/Storage Master Node(s) Master Node(s) Dashboard Node(s) OCPU/RAM/Storage Data Node 2 OCPU/RAM/Storage Data Node 1 OCPU/RAM/Storage Master Node(s) Master Node(s) Data Nodes 3+ OCPU/RAM/Storage “NO” Service Fee Service Fee ¥35/h ※ 3 ノード以上で Data Node を構成する場合は、3 ノー ド目以降からノード毎に Service Fee が発生 e.g. 5 ノードの場合: 5-2=3 ノードに Service Fee が発生 IaaS の利用分 ※2022年12月現在
8. • 使い慣れた OpenSearch の Web UI を用いてログの分析が可能 • アプリケーションサーバーのログなどOCIサービスではないログ分析に特に有効的 ユースケース: ログ分析 Copyright © 2023, Oracle and/or its affiliates. 10 OCI Search Service with OpenSearch ダッシュボードの構築 膨大なログデータの中から迅速に目的のログを検索 … Beats (データ取り込み) Logstash (データ取り込み、加工) Fluentd/Fluent Bit (データ取り込み、加工) OCI Logging (データ取り込み) SCH* (フィルター、連携) *SCH: Service Connector Hub Functions (データ加工)
9. Search Service w/ OpenSearch Logging Analytics 対象のログ 監査ログ ◦ 監査ログ ◎ サービス・ログ ◦ サービス・ログ ◎ カスタム・ログ ◎ カスタム・ログ ◦ コスト（最小構成）[月額] ¥15,847 ¥52,080 参考: OCI Logging Analytics との使い分け Copyright © 2023, Oracle and/or its affiliates. 11 【OCI Search Service with OpenSearchがログ分析で有効活用できるケース】 • 顧客独自のアプリケーションなどが出力するカスタム・ログに対する検索や分析を実施したい場合 • OCI Logging Analyticsは、OCI Nativeなログに最適化されている • 使い慣れたOpenSearchのUIを用いて、分析を実施したい場合 • 検索性能のスケールが要件に含まれている場合 • スモールスタートでログ分析を始めたい場合 ※2023年11月現在
10. • アプリケーションの検索ロジック（論理演算(AND, OR, etc.)を用いた検索、類似語検索、etc.）を OpenSearch の API を用いて実装 • 大量データから目的のデータへの高速アクセスを提供 ユースケース: 検索ロジックの実装 Copyright © 2023, Oracle and/or its affiliates. 12 User Application OCI Search Service with OpenSearch Load Balancer Application OpenSearch の API を用いて 検索ロジックを実装
11. Master Node x 1, Dashboard Node x 1, Data Node x 1 サービス名/リソース名 構成の概要 見積りの概要 月額 Compute x 1 (Master Node) 1OCPU, 20GB RAM ¥3.5 x 1(OCPU) x 24(h) x 31(day) x 1(台) = ¥2,604 ¥0.21 x 20(GB) x 24(h) x 31(day) x 1(台) = ¥3,125 ¥5,729 Compute x 1 (Dashboard) 1OCPU, 8GB RAM ¥3.5 x 1(OCPU) x 24(h) x 31(day) x 1(台) = ¥2,604 ¥0.21 x 8(GB) x 24(h) x 31(day) x 1(台) = ¥1,250 ¥3,854 Compute x 1 (Data Node) 1OCPU, 20GB RAM ¥3.5 x 1(OCPU) x 24(h) x 31(day) x 1(台) = ¥2,604 ¥0.21 x 20(GB) x 24(h) x 31(day) x 1(台) = ¥3,125 ¥5,729 Block Storage (Data Node) 50GB ¥3.57 x 50(GB) x 1(台) = ¥535 ¥535 Service Fee* - - 合計 [月額] ¥15,847 見積り例（2023年11月現在） – 開発、検証用途のクラスタ環境の場合 Copyright © 2023, Oracle and/or its affiliates. 13 *: 3 ノード以上で Data Node を構成する場合は、3 ノード目以降からノード毎に Service Fee が発生
12. Master Node x 3, Dashboard Node x 3, Data Node x 3 サービス名/リソース名 構成の概要 見積りの概要 月額 Compute x 3 (Master Node) 2OCPU, 32GB RAM ¥3.5 x 2(OCPU) x 24(h) x 31(day) x 3(台) = ¥15,624 ¥0.21 x 32(GB) x 24(h) x 31(day) x 3(台) = ¥12,999 ¥30,622 Compute x 3 (Dashboard) 2OCPU, 16GB RAM ¥3.5 x 2(OCPU) x 24(h) x 31(day) x 3(台) = ¥15,624 ¥0.21 x 16(GB) x 24(h) x 31(day) x 3(台) = ¥7,499 ¥23,133 Compute x 3 (Data Node) 32OCPU, 244GB RAM ¥3.5 x 32(OCPU) x 24(h) x 31(day) x 3(台) = ¥249,984 ¥0.21 x 244(GB) x 24(h) x 31(day) x 3(台) = ¥114,367 ¥364,351 Block Storage (Data Node) 50GB ¥3.57 x 50(GB) x 3(台) = ¥535 ¥535 Service Fee* ¥35 x 24(h) x 31(day) x 1(台) = ¥26,040 ¥26,040 合計 [月額] ¥444,672 見積り例（2022年12月現在） – 本番相当のクラスタ環境の場合 (Log Analytics) Copyright © 2023, Oracle and/or its affiliates. 14 *: 3 ノード以上で Data Node を構成する場合は、3 ノード目以降からノード毎に Service Fee が発生
13. Master Node x 3, Dashboard Node x 3, Data Node x 3 サービス名/リソース名 構成の概要 見積りの概要 月額 Compute x 3 (Master Node) 2OCPU, 32GB RAM ¥3.5 x 2(OCPU) x 24(h) x 31(day) x 3(台) = ¥15,624 ¥0.21 x 32(GB) x 24(h) x 31(day) x 3(台) = ¥12,999 ¥30,622 Compute x 3 (Dashboard) 2OCPU, 16GB RAM ¥3.5 x 2(OCPU) x 24(h) x 31(day) x 3(台) = ¥15,624 ¥0.21 x 16(GB) x 24(h) x 31(day) x 3(台) = ¥7,499 ¥23,133 Compute x 3 (Data Node) 64OCPU, 244GB RAM ¥3.5 x 64(OCPU) x 24(h) x 31(day) x 3(台) = ¥499,968 ¥0.21 x 244(GB) x 24(h) x 31(day) x 3(台) = ¥114,367 ¥614,335 Block Storage (Data Node) 50GB ¥3.57 x 50(GB) x 3(台) = ¥535 ¥535 Service Fee* ¥35 x 24(h) x 31(day) x 1(台) = ¥26,040 ¥26,040 合計 [月額] ¥694,656 見積り例（2022年12月現在） – 本番相当のクラスタ環境の場合 Copyright © 2023, Oracle and/or its affiliates. 15 *: 3 ノード以上で Data Node を構成する場合は、3 ノード目以降からノード毎に Service Fee が発生
14. Copyright © 2023, Oracle and/or its affiliates. 16 Reference Architecture – Log Analysis https://docs.oracle.com/en/solutions/oci-opensearch-log-analytics/index.html#GUID-AE21AAA4-FA48-4EA9-A80D-A3199AC9AEA6 Filebeatを用いて、ロ グの転送 Logstashで転送されたログの解析と変換 を行い、OCI Search Service with OpenSearchへ変換後のログを送信する OCI Search Service with OpenSearchを 用いて、高速な検索・分析・可視化を行う
15. Reference Architecture – App Search Copyright © 2023, Oracle and/or its affiliates. 17 https://docs.oracle.com/en/solutions/oci-opensearch-application-search/index.html#GUID-AEAA600E-BBCC-4102-8E23-ABEC941FE84C アプリケーション内の検索を OpenSearch の API を用いて、実装する
16. Copyright © 2023, Oracle and/or its affiliates. 18 Thank you