Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Elasticsearchにおけるベクトル検索(第57回Elasticsearch勉強会)
Search
樋口慎
December 18, 2023
Technology
720
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Elasticsearchにおけるベクトル検索(第57回Elasticsearch勉強会)
第57回 Elasticsearch勉強会(LT大会)の発表資料です。
樋口慎
December 18, 2023
Transcript
12 slides
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 第57回Elasticsearch勉強会
Elasticsearchにおけるベクトル検索 Acroquest Technology 株式会社 Elastic Certified Engineer 樋口 慎 @shin0higuchi 1
自己紹介 ⚫ 名前:樋口 慎 ⚫ 所属:Acroquest Technology株式会社 ⚫ 業務:Elasticコンサルティング全般、データ分析、システム開発 ⚫
資格/執筆: 世界初「Elastic Certification」3種取得 Azure Solutions Architect Elasticsearch NEXT STEP 執筆
ベクトル検索のメリット Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3
名称を知らないものを自然言語で検索するのは困難... Copyright © Acroquest Technology Co., Ltd. All rights reserved.
4 バッグクロージャー 袖ビーム グレービーボート ランチャーム
ベクトル化することで、自然言語に依らず検索が可能 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5 画像1: [0.8, 0.2, 0.3, ....] 画像2: [0.0, 0.5, 0.2, ....] 画像3: [0.3, 0.4, 0.1, ....] 画像4: [0.4, 0.6, 0.2, ....] ベクトル化
文書のベクトル検索 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
6 ▪Elasticsearchの通常の検索 検索クエリを 形態素解析 AWS上でElasticsearchを使うには? AWS/上/で/Elasticsearch/ を/使う/に/は/? 検索対象ドキュメント群 検索 「AWS」「Elasticsearch」 といったキーワードを含むド キュメントのみがヒットする ▪セマンティック検索 機械学習モデルで ベクトル化(embedding) AWS上でElasticsearchを使うには? [0.8, 0.2, 0.3, ....] 検索対象ドキュメント群 検索 意味的に近い ドキュメントがヒットする ※検索ドキュメント群が事前に ベクトル化されている必要がある
Elasticsearchにおけるベクトル検索 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
7
Elasticsearchで学習済みモデルを利用するには Copyright © Acroquest Technology Co., Ltd. All rights reserved.
8 Kibana Elasticsearch 学習済みモデル ② Elandを利用して、 学習済みモデルを Elasticsearchに登録する ① 学習済みモデルを用意する (Hugging Face等を利用す る場合、適切なモデルを選 ぶのみ) ③ ドキュメント登録時/検 索時に登録済みモデルを 呼び出して利用する (ベクトル化)
Elasticsearch内でモデルを呼び出し可能 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
9
Elasticsearchでのベクトル検索 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10 1. HNSWと呼ばれるアルゴリズムによって、 大量のベクトルが対象でも高速な類似検索が可能 ※script scoreクエリによるブルートフォースkNNも利用可能だが 高レイテンシーのため、厳密性を求めない限りは利用機会が少ないと思われる 2. バージョンアップとともに、利用可能なベクトル次元数も増加 (ver.8.11では4096次元のベクトルまで登録可能) 3. 詳細なクエリ記法はリファレンス参照 k-nearest neighbor (kNN) search | Elasticsearch Guide [8.11] | Elastic を参照
ご清聴ありがとうございました。 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11
余談ですが.... Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13 • 8.11で sparse_vector型が復活しました(実体はrank_feature型)
More Decks by 樋口慎
See All by 樋口慎
Elasticsearchで作る生成AIエージェントの“記憶” ~RAG・会話履歴・エージェントメモリの実例~
shin_higuchi
0
150
ChatGPTをどう使うか?(JJUGナイトセミナー5/23)
shin_higuchi
1
2.5k
elasticsearch_semantic_search.pdf
shin_higuchi
0
370
ElasticsearchでECサイトにおける高速検索/集計を実現する
shin_higuchi
4
1.7k
Elasticsearchによる質問応答~NLP機械学習モデルの利用~
shin_higuchi
1
9.5k
Other Decks in Technology
See All in Technology
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
300
20261113_JAWS_Osaka
takuyay0ne
1
600
NutanixへのSSHアクセスの今後について
shadowhat
0
150
Platform Engineering をベースとした Agentic Software Factory の実践
110y
3
870
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
480
専門家に使ってもらうAIプロダクトをつくる - 病院の医事課向けDPCコーディング支援システムの設計と評価
hagino3000
4
1k
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
270
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
260
異夢同船〜異なる夢でも同じ船でなんとかする〜
fortegp05
1
590
Well, that’s weird…
csswizardry
1
190
社内アプリ基盤「Quartz」による、 非エンジニアとAIに本番デプロイを 任せても壊れないプラットフォームの設計
staka121
PRO
1
210
ポケモンバトルのAIエージェント
koji_kawamura
0
130
Featured
See All Featured
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
73
43k
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
uxyall
2
540
Unsuck your backbone
ammeep
672
58k
[Rails World 2026] Durable orchestration on Rails: from continuation to workflow
palkan
4
1.3k
How To Speak Unicorn (iThemes Webinar)
marktimemedia
1
640
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
ryanjones
0
310
Navigating Algorithm Shifts & AI Overviews - #SMXNext
aleyda
1
1.7k
Everyday Curiosity
cassininazir
0
410
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
greggifford
PRO
0
410
Ten Tips & Tricks for a 🌱 transition
stuffmc
1
290
Agile Actions for Facilitating Distributed Teams - ADO2019
mkilby
0
350
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
katarinadahlin
PRO
3
3.9k