Introduction to OpenSearch Project - Search Engineering Tech Talk 2025 Winter

Search Engineering Tech Talk 2025 Winter で OpenSearch についてお話をさせていただいた際の資料になります。
https://search-tech.connpass.com/event/345134/

Transcript

1. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Introduction to OpenSearch Project 榎本 貴之 Solutions Architect 2025/02
2. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 榎本 貴之 Analytics Specialist Solutions Architect @AWS Tokyo User Group co-organizer @OpenSearch Project Ex-Cloud Support Engineer @AWS EX-Infrastructure Engineer @CAPCOM • OpenSearch / Kafka を中心に分析系サービスの 導入支援～導入後のお悩み相談まで担当 好きなソフトウェア • [OpenS|Elastics]earch • Apache Kafka 2
3. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3 近頃の活動 Connector 機能の関連機能開発、Blueprint やチュートリアルの整備
4. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Connector？
5. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Connector (Ingestion) • コネクタ経由で外部の API サービスを呼び出して、 ドキュメントのエンリッチが可能 • 原理的には API エンドポイントとアクセスキーがあれば何とでも連携できる。 • SageMaker や Bedrock と連携して埋め込みを生成するのがポピュラーな ユースケース 5 Model Group Model Connector Ingest Pipeline ML Inference Processor Index Documents Client Amazon SageMaker Amazon Bedrock Amazon API Gateway AWS Lambda 3rd party services 連携サービスの一例 https://opensearch.org/docs/latest/ingest-pipelines/processors/ml-inference/ INTRODUCED 2.14
6. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Connector (Query & Fetch) • コネクタ経由で外部の API サービスを呼び出して、 クエリ・検索結果の書き換えが可能。ハイブリッド検索時のスコアの操作も ここで行う。 • 原理的には API エンドポイントとアクセスキーがあれば何とでも連携できる。 AWS Lambda のような関数呼び出しサービスと組み合わせると… 6 Model Group Model Connector Search Pipeline ML inference search request processor Index Query Client Amazon SageMaker Amazon Bedrock Amazon API Gateway AWS Lambda 3rd party services 連携サービスの一例 INTRODUCED 2.16 ML inference search response processor Query Model Group Model Connector Response https://opensearch.org/docs/latest/search-plugins/search-pipelines/ml-inference-search-request/ https://opensearch.org/docs/latest/search-plugins/search-pipelines/ml-inference-search-response/
7. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 11 例: Reranker と連携したリランキング POST my-test-data/_search?search_pipeline=rerank_pipeline_bedrock { "query": { "match": { "passage_text": "What is the capital city of America?" } }, "ext": { "rerank": { "query_context": { "query_text_path": "query.match.passage_text.query" } } }, "highlight": { "pre_tags": ["<strong>"], "post_tags": ["</strong>"], "fields": {"passage_text": {}} }, "_source": false, "fields": ["passage_text"] } https://opensearch.org/docs/latest/ml-commons-plugin/tutorials/reranking-bedrock/
8. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. OpenSearch Project
9. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 数千コントリビューター、 250 以上の メンテナー 25 以上の 組織が関与 様々なサービスプロバイダ AWS, OCI, Aiven, Bonsa, DigitalOcean, Alibaba Cloud 122 リポジトリ 39000 以上の Pull request をマージ >7 億回 2021 年のローンチから 2024 年 9 月までのダウンロード回数 Top 4 検索エンジン DB エンジンランキングより コミュニティ主導で開発されている オープンソースの分散型検索・分析スイート Apache 2.0 ライセンスで利用可能 データの取り込み、検索、分析、可視化機能を提供 https://opensearch.org/blog/building-the-future-of-OpenSearch-together/ as of Sep 2024
10. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. OpenSearch Software Foundation • OpenSearch は 2024 年 9 月 16 日に Linux Foundation 傘下の OpenSearch Software Foundation へ移管された • プレミアメンバーとして AWS、SAP、 Uber、一般メンバーとして Aiven、Aryn、 Atlassian、Canonical、DataStax、DTEX、 DigitalOcean、Eliatra、Graylog、NetApp® Instaclustr、Portal26 等が支援 • 財団は Linux Foundation 内のオープンな 技術プロジェクトとして組織され、 技術運営委員会によって監督される OpenSearch プロジェクトをサポート 14 https://foundation.opensearch.org/ https://www.linuxfoundation.org/press/linux-foundation-announces-opensearch-software-foundation- to-foster-open-collaboration-in-search-and-analytics
11. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. The OpenSearch Platform 15 OpenSearch Core 分散型の検索・分析エンジン Elasticsearch 7.10.2 から fork OpenSearch Dashboards OpenSearch の管理、および データ分析用ダッシュボード Kibana 7.10.2 から fork Data Prepper データ収集・変換・配信の パイプライン実行ツール Logstash 相当の コンポーネントというよりは、 Ingestion node の 外部版といったところ https://opensearch.org/platform/
12. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. リリース遍歴 16 バージョン2025 リリース日 AWS サービスにおける サポート日 2.0.0 2022-05-26 - 2.1.0 2022-07-07 - 2.2.0 2022-08-11 - 2.3.0 2022-09-14 2022-11-15 2.4.0 2022-11-15 - 2.5.0 2023-01-24 2023-03-13 2.6.0 2023-02-28 - 2.7.0 2023-04-17 2023-07-10 2.8.0 2023-06-06 - 2.9.0 2023-07-24 2023-10-02 2.10.0 2023-09-25 - 2.11.0 2023-10-16 2023-11-17 2.12.0 2024-02-20 - 2.13.0 2024-04-02 2024-05-21 2.14.0 2024-05-14 - 2.15.0 2024-06-25 2024-09-10 2.16.0 2024-08-07 - 2.17.0 2024-09-17 2024-11-14 2.18.0 2024-11-05 2.19.0 2025-02-11 バージョン リリース日 AWS サービスにおける サポート日 1.0.0 2021-05-13 2021-09-10 1.1.0 2021-10-05 2022-01-04 1.2.0 2021-11-23 2022-04-04 1.3.0 2022-05-17 2022-07-27 1.3.20 2024-12-11 2.0 に入ってから 6 週間 ごとのリリースサイクルに 1.0 が出てから もうすぐ 4 年になります
13. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. OpenSearch のこれまでとこれから (超短縮版)
14. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 18 1.0 - 2.19 までのキーアップデート 抜粋 Project - Playground サイトの公開 - Linux Foundation への移管 Search - 検索パイプラインの追加 - Reciprocal Rank Fusion のサポート - Kuromoji completion token filter サポート - 新規フィールドタイプ (derived, wildcard) - ハイブリッド検索 - セグメント単位の並列検索 - ニューラル検索 (テキスト, スパース, 画像) - リランキング処理 (with Kendra, Personalize, cross-encoder model) Vector Database, GenAI - エージェント、ツール機能の実装 - Fp16/Byte/Binary 量子化のサポート - Disk-based ANN のサポート - 外部サービスとの連携機能 (Connector) の実装 ダッシュボード関連 - 次世代ダッシュボード (a.k.a. Workspaces) - 単一ダッシュボードから複数のクラスターに 接続可能に - クエリインサイト - LLM による Vega visual の生成、PPL クエリ生成 Breaking changes - type の廃止 (2.0) https://opensearch.org/blog/opensearch-project-roadmap-2024-2025/
15. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 19 Next-gen dashboards
16. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 20 パフォーマンスの改善 • Lucene バージョンアップの恩恵が大きいが、エンジン固有部分の改善も • 公式サイトでベンチマークサイトを公開 • 3.0 以降はアーキテクチャーの大きな変更も計画されている https://opensearch.org/benchmarks/ https://opensearch.org/blog/opensearch-performance-2.17/
17. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 21 3.0 以降のロードマップアイテム Modular Architecture - Reader / Writer の分離 [#7258 / #15306] - Compute / Storage の分離 [#14637] - Zero compute の実現 [#16720] Search - Join のサポート [#15185] - StarTree インデックスの機能拡充 [#15257] [#12498] - GRPC サポート [#16710 / #16711] - Protobuf サポート [#6844 / #10684] Vector Database, GenAI - リモートベクトルインデックスビルダー [#2293] Indexing - Streaming Index API [#3000] - Pull-based のデータ取り込み [#16495] - Append only インデックス [#12886] - 書き込み可能な Warm index [#12809] - In-place な shard 分割 #12918 - Aurora/RDS PostgreSQL as source [#5309] - Aurora/RDS MySQL as source [#4561] Performance - Disk ベースのキャッシュ #9001 - クエリ書き換え #12390 https://opensearch.org/blog/opensearch-project-roadmap-2024-2025/ コンポーネントの疎結合化が進む
18. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 22 Reader / Writer の分離 [#7258]
19. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 23 Compute / Storage の分離 [#14637]
20. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 24 書き込み可能な Warm インデックス [#12809]
21. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 25 See also • https://opensearch.org/blog/opensearch-project-roadmap-2024-2025/ • https://github.com/opensearch-project/OpenSearch/blob/main/CHANGELOG-3.0.md • https://github.com/orgs/opensearch-project/projects/206/views/11
22. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. OpenSearch Community
23. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Github Forum Slack Blog 27 Join the OpenSearch Community! https://github.com/opensearch-project https://forum.opensearch.org/ https://opensearch.org/slack.html https://opensearch.org/blog/
24. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 28 Tokyo User Group is now generally available https://www.meetup.com/opensearch-project-tokyo/
25. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. https://www.meetup.com/opensearch-project-tokyo/