Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Elasticsearchにおけるベクトル検索(第57回Elasticsearch勉強会)
Search
樋口慎
December 18, 2023
Technology
0
210
Elasticsearchにおけるベクトル検索(第57回Elasticsearch勉強会)
第57回 Elasticsearch勉強会(LT大会)の発表資料です。
樋口慎
December 18, 2023
Tweet
Share
More Decks by 樋口慎
See All by 樋口慎
ChatGPTをどう使うか?(JJUGナイトセミナー5/23)
shin_higuchi
1
2.1k
elasticsearch_semantic_search.pdf
shin_higuchi
0
190
ElasticsearchでECサイトにおける高速検索/集計を実現する
shin_higuchi
2
1.1k
Elasticsearchによる質問応答~NLP機械学習モデルの利用~
shin_higuchi
1
8.4k
Other Decks in Technology
See All in Technology
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
fujiwara3
0
720
20240724_cm_odyssey_hibiyatech
hiashisan
0
110
開発生産性をむしろ向上させる セキュリティパートナーの作り方 / Dev Productivity Con 2024
flatt_security
0
390
[NIKKEI Tech Talk]Bias for Action!! 実践から学ぶための仕組とコミュニティ / Community for Practice and Learning
kanamasa
0
280
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
Git 研修 Advanced【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
200
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
130
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
170
技術負債による事業の失敗はなぜ起こるのか / Why do business failures due to technical debt occur?
i35_267
0
190
MySQLのロックの種類とその競合
yoku0825
6
1.6k
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
63
11k
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
What the flash - Photography Introduction
edds
65
11k
Infographics Made Easy
chrislema
238
18k
Building a Modern Day E-commerce SEO Strategy
aleyda
25
6.7k
Building Flexible Design Systems
yeseniaperezcruz
323
37k
Building Adaptive Systems
keathley
34
2k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
129
32k
Producing Creativity
orderedlist
PRO
340
39k
Web development in the modern age
philhawksworth
203
10k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
Docker and Python
trallard
37
2.9k
Transcript
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 第57回Elasticsearch勉強会
Elasticsearchにおけるベクトル検索 Acroquest Technology 株式会社 Elastic Certified Engineer 樋口 慎 @shin0higuchi 1
自己紹介 ⚫ 名前:樋口 慎 ⚫ 所属:Acroquest Technology株式会社 ⚫ 業務:Elasticコンサルティング全般、データ分析、システム開発 ⚫
資格/執筆: 世界初「Elastic Certification」3種取得 Azure Solutions Architect Elasticsearch NEXT STEP 執筆
ベクトル検索のメリット Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3
名称を知らないものを自然言語で検索するのは困難... Copyright © Acroquest Technology Co., Ltd. All rights reserved.
4 バッグクロージャー 袖ビーム グレービーボート ランチャーム
ベクトル化することで、自然言語に依らず検索が可能 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5 画像1: [0.8, 0.2, 0.3, ....] 画像2: [0.0, 0.5, 0.2, ....] 画像3: [0.3, 0.4, 0.1, ....] 画像4: [0.4, 0.6, 0.2, ....] ベクトル化
文書のベクトル検索 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
6 ▪Elasticsearchの通常の検索 検索クエリを 形態素解析 AWS上でElasticsearchを使うには? AWS/上/で/Elasticsearch/ を/使う/に/は/? 検索対象ドキュメント群 検索 「AWS」「Elasticsearch」 といったキーワードを含むド キュメントのみがヒットする ▪セマンティック検索 機械学習モデルで ベクトル化(embedding) AWS上でElasticsearchを使うには? [0.8, 0.2, 0.3, ....] 検索対象ドキュメント群 検索 意味的に近い ドキュメントがヒットする ※検索ドキュメント群が事前に ベクトル化されている必要がある
Elasticsearchにおけるベクトル検索 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
7
Elasticsearchで学習済みモデルを利用するには Copyright © Acroquest Technology Co., Ltd. All rights reserved.
8 Kibana Elasticsearch 学習済みモデル ② Elandを利用して、 学習済みモデルを Elasticsearchに登録する ① 学習済みモデルを用意する (Hugging Face等を利用す る場合、適切なモデルを選 ぶのみ) ③ ドキュメント登録時/検 索時に登録済みモデルを 呼び出して利用する (ベクトル化)
Elasticsearch内でモデルを呼び出し可能 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
9
Elasticsearchでのベクトル検索 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10 1. HNSWと呼ばれるアルゴリズムによって、 大量のベクトルが対象でも高速な類似検索が可能 ※script scoreクエリによるブルートフォースkNNも利用可能だが 高レイテンシーのため、厳密性を求めない限りは利用機会が少ないと思われる 2. バージョンアップとともに、利用可能なベクトル次元数も増加 (ver.8.11では4096次元のベクトルまで登録可能) 3. 詳細なクエリ記法はリファレンス参照 k-nearest neighbor (kNN) search | Elasticsearch Guide [8.11] | Elastic を参照
ご清聴ありがとうございました。 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11
余談ですが.... Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13 • 8.11で sparse_vector型が復活しました(実体はrank_feature型)