Introduction to OpenSearch Project - Search Engineering Tech Talk 2025 Winter

Slide 1

Slide 1 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Introduction to OpenSearch Project 榎本貴之 Solutions Architect 2025/02

Slide 2

Slide 2 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 榎本貴之 Analytics Specialist Solutions Architect @AWS Tokyo User Group co-organizer @OpenSearch Project Ex-Cloud Support Engineer @AWS EX-Infrastructure Engineer @CAPCOM • OpenSearch / Kafka を中心に分析系サービスの導入支援～導入後のお悩み相談まで担当好きなソフトウェア • [OpenS|Elastics]earch • Apache Kafka 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Connector (Ingestion) • コネクタ経由で外部の API サービスを呼び出して、ドキュメントのエンリッチが可能 • 原理的には API エンドポイントとアクセスキーがあれば何とでも連携できる。 • SageMaker や Bedrock と連携して埋め込みを生成するのがポピュラーなユースケース 5 Model Group Model Connector Ingest Pipeline ML Inference Processor Index Documents Client Amazon SageMaker Amazon Bedrock Amazon API Gateway AWS Lambda 3rd party services 連携サービスの一例 https://opensearch.org/docs/latest/ingest-pipelines/processors/ml-inference/ INTRODUCED 2.14

Slide 6

Slide 6 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Connector (Query & Fetch) • コネクタ経由で外部の API サービスを呼び出して、クエリ・検索結果の書き換えが可能。ハイブリッド検索時のスコアの操作もここで行う。 • 原理的には API エンドポイントとアクセスキーがあれば何とでも連携できる。 AWS Lambda のような関数呼び出しサービスと組み合わせると… 6 Model Group Model Connector Search Pipeline ML inference search request processor Index Query Client Amazon SageMaker Amazon Bedrock Amazon API Gateway AWS Lambda 3rd party services 連携サービスの一例 INTRODUCED 2.16 ML inference search response processor Query Model Group Model Connector Response https://opensearch.org/docs/latest/search-plugins/search-pipelines/ml-inference-search-request/ https://opensearch.org/docs/latest/search-plugins/search-pipelines/ml-inference-search-response/

Slide 7

Slide 7 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 11 例: Reranker と連携したリランキング POST my-test-data/_search?search_pipeline=rerank_pipeline_bedrock { "query": { "match": { "passage_text": "What is the capital city of America?" } }, "ext": { "rerank": { "query_context": { "query_text_path": "query.match.passage_text.query" } } }, "highlight": { "pre_tags": [""], "post_tags": [""], "fields": {"passage_text": {}} }, "_source": false, "fields": ["passage_text"] } https://opensearch.org/docs/latest/ml-commons-plugin/tutorials/reranking-bedrock/

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 数千コントリビューター、 250 以上のメンテナー 25 以上の組織が関与様々なサービスプロバイダ AWS, OCI, Aiven, Bonsa, DigitalOcean, Alibaba Cloud 122 リポジトリ 39000 以上の Pull request をマージ >7 億回 2021 年のローンチから 2024 年 9 月までのダウンロード回数 Top 4 検索エンジン DB エンジンランキングよりコミュニティ主導で開発されているオープンソースの分散型検索・分析スイート Apache 2.0 ライセンスで利用可能データの取り込み、検索、分析、可視化機能を提供 https://opensearch.org/blog/building-the-future-of-OpenSearch-together/ as of Sep 2024

Slide 10

Slide 10 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. OpenSearch Software Foundation • OpenSearch は 2024 年 9 月 16 日に Linux Foundation 傘下の OpenSearch Software Foundation へ移管された • プレミアメンバーとして AWS、SAP、 Uber、一般メンバーとして Aiven、Aryn、 Atlassian、Canonical、DataStax、DTEX、 DigitalOcean、Eliatra、Graylog、NetApp® Instaclustr、Portal26 等が支援 • 財団は Linux Foundation 内のオープンな技術プロジェクトとして組織され、技術運営委員会によって監督される OpenSearch プロジェクトをサポート 14 https://foundation.opensearch.org/ https://www.linuxfoundation.org/press/linux-foundation-announces-opensearch-software-foundation- to-foster-open-collaboration-in-search-and-analytics

Slide 11

Slide 11 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. The OpenSearch Platform 15 OpenSearch Core 分散型の検索・分析エンジン Elasticsearch 7.10.2 から fork OpenSearch Dashboards OpenSearch の管理、およびデータ分析用ダッシュボード Kibana 7.10.2 から fork Data Prepper データ収集・変換・配信のパイプライン実行ツール Logstash 相当のコンポーネントというよりは、 Ingestion node の外部版といったところ https://opensearch.org/platform/

Slide 12

Slide 12 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. リリース遍歴 16 バージョン2025 リリース日 AWS サービスにおけるサポート日 2.0.0 2022-05-26 - 2.1.0 2022-07-07 - 2.2.0 2022-08-11 - 2.3.0 2022-09-14 2022-11-15 2.4.0 2022-11-15 - 2.5.0 2023-01-24 2023-03-13 2.6.0 2023-02-28 - 2.7.0 2023-04-17 2023-07-10 2.8.0 2023-06-06 - 2.9.0 2023-07-24 2023-10-02 2.10.0 2023-09-25 - 2.11.0 2023-10-16 2023-11-17 2.12.0 2024-02-20 - 2.13.0 2024-04-02 2024-05-21 2.14.0 2024-05-14 - 2.15.0 2024-06-25 2024-09-10 2.16.0 2024-08-07 - 2.17.0 2024-09-17 2024-11-14 2.18.0 2024-11-05 2.19.0 2025-02-11 バージョンリリース日 AWS サービスにおけるサポート日 1.0.0 2021-05-13 2021-09-10 1.1.0 2021-10-05 2022-01-04 1.2.0 2021-11-23 2022-04-04 1.3.0 2022-05-17 2022-07-27 1.3.20 2024-12-11 2.0 に入ってから 6 週間ごとのリリースサイクルに 1.0 が出てからもうすぐ 4 年になります

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 18 1.0 - 2.19 までのキーアップデート抜粋 Project - Playground サイトの公開 - Linux Foundation への移管 Search - 検索パイプラインの追加 - Reciprocal Rank Fusion のサポート - Kuromoji completion token filter サポート - 新規フィールドタイプ (derived, wildcard) - ハイブリッド検索 - セグメント単位の並列検索 - ニューラル検索 (テキスト, スパース, 画像) - リランキング処理 (with Kendra, Personalize, cross-encoder model) Vector Database, GenAI - エージェント、ツール機能の実装 - Fp16/Byte/Binary 量子化のサポート - Disk-based ANN のサポート - 外部サービスとの連携機能 (Connector) の実装ダッシュボード関連 - 次世代ダッシュボード (a.k.a. Workspaces) - 単一ダッシュボードから複数のクラスターに接続可能に - クエリインサイト - LLM による Vega visual の生成、PPL クエリ生成 Breaking changes - type の廃止 (2.0) https://opensearch.org/blog/opensearch-project-roadmap-2024-2025/

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 20 パフォーマンスの改善 • Lucene バージョンアップの恩恵が大きいが、エンジン固有部分の改善も • 公式サイトでベンチマークサイトを公開 • 3.0 以降はアーキテクチャーの大きな変更も計画されている https://opensearch.org/benchmarks/ https://opensearch.org/blog/opensearch-performance-2.17/

Slide 17

Slide 17 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 21 3.0 以降のロードマップアイテム Modular Architecture - Reader / Writer の分離 [#7258 / #15306] - Compute / Storage の分離 [#14637] - Zero compute の実現 [#16720] Search - Join のサポート [#15185] - StarTree インデックスの機能拡充 [#15257] [#12498] - GRPC サポート [#16710 / #16711] - Protobuf サポート [#6844 / #10684] Vector Database, GenAI - リモートベクトルインデックスビルダー [#2293] Indexing - Streaming Index API [#3000] - Pull-based のデータ取り込み [#16495] - Append only インデックス [#12886] - 書き込み可能な Warm index [#12809] - In-place な shard 分割 #12918 - Aurora/RDS PostgreSQL as source [#5309] - Aurora/RDS MySQL as source [#4561] Performance - Disk ベースのキャッシュ #9001 - クエリ書き換え #12390 https://opensearch.org/blog/opensearch-project-roadmap-2024-2025/ コンポーネントの疎結合化が進む

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 25 See also • https://opensearch.org/blog/opensearch-project-roadmap-2024-2025/ • https://github.com/opensearch-project/OpenSearch/blob/main/CHANGELOG-3.0.md • https://github.com/orgs/opensearch-project/projects/206/views/11

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Github Forum Slack Blog 27 Join the OpenSearch Community! https://github.com/opensearch-project https://forum.opensearch.org/ https://opensearch.org/slack.html https://opensearch.org/blog/

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. https://www.meetup.com/opensearch-project-tokyo/