Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Relevance Filtering for Embedding-based Retrieval
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Hiroki_Iida
May 24, 2025
Research
170
3
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Relevance Filtering for Embedding-based Retrieval
IR-READING 2025春
Hiroki_Iida
May 24, 2025
Transcript
12 slides
Relevance Filtering for Embedding-based Retrieval Authors: Nicholas Rossi, Juexin Lin,
Feng Liu, Zhen Yang, Tony Lee, Alessandro Magnani, Ciya Liao CIKM '24: Applied Research Papers IR READING 2025春 紹介者: (株) UZABASE 飯田 大貴 特に断りがない限り、図表は本論文からの引用です 1
自己紹介 ▪ 名前:飯田 大貴(IR Readingには度々参加させてもらっています) ▪ 所属:(株) ユーザベース • 経済情報基盤を活用して、経営のスピードを上げる情報プラットフォーム
「スピーダ」を提供 ▪ 業務内容:プロダクト横断の検索 /分類モデルの構築とサービスの構築・運用 ▪ インターン等興味あるかたはお声がけください https://www.uzabase.com/jp/ https://www.uzabase.com/jp/info/20241220-corp_jp/ 2
概要と読んだ理由 ▪ 概要:検索結果をPrecision-Recall高く足切りするために、スコアリングの変換関数を提 案 ▪ 読んだ理由:簡易な足切り方法を知りたかった。 Applied系の論文読んでみたかった。 3
論文が対象とする課題と解決方針 ▪ 無関係な検索結果を表示しないようにして、検索体験を向上させたい ▪ そのため、いい感じに無関係な検索結果をフィルタしたい ▪ しかし、ベクトル検索で用いられる類似度(特に cos類似度)は、しきい値 として用いることが難しい ▪
なぜなら、対照学習を用いて学習されているため、クエリに対して相対的なスコアにな る ▪ そのため、cos類似度を絶対的なスコアに変換したい 4
スコアの変換方法 1. 変換関数F Θ (x)を用意する 2. クエリ毎にパラメータΘを変えられるように する a. パラメタΘをNNに出力させる
b. 入力をクエリ埋め込みとする c. 対照学習時と同様な学習データを用いてNNを学 習する 正例:負例=1:31, 負例はBM25 5
推論時の利用方法 6
実験:MSMARCO ▪ PR AUCとMRRが改善 ▪ K=1000でP@R95とFilter%改善 ▪ Null%*について • K=1000で改善し、K=10では改悪。一
つも正例が登場しないクエリが、K=10 では30%だが、K=1000で1%であるた め • powerでnull、かつraw scoreがnullで はない場合において、70%は正例が top10にない ▪ 先行手法のChoppy#より良い。正 例が一つしかない場合が多いデー タであるため、削り過ぎている 提案手法 提案手法 *あるしきい値*で検索結果が返ってこなくなる度合い。しきい値は 5.2.3よりP@R95で決めたと推察 # Transformeベースの学習でしきい値を決める手法 7
分析 ▪ 本手法を適用することで、フィルタリ ングが改善している • raw scoreでは、全部表示するか、全部見 せない場合が多かった ▪ 本手法適用後に正例をフィルタしてし
まうパターンとしては以下があった • 低頻度語がクエリに含まれている • クエリ中の単語がスペルを間違えている 全部表示 全部隠す 8
実験:WallMartデータ ▪ 提案手法により改善 ▪ Contrastive Lossの方が、Listwise Loss*よりも良い結果 • ListwiseLossの方が、検索結果内で相対 的なスコアを学習するため
• 提案手法を適用することで差が縮まる ▪ Recallが低くなるクエリには以下の傾 向があった • レアブランド名 • 数字 • スペルミス *先行研究では、単純な精度は ListwiseLossのほうが良かった 9
実験: Walmart システム ▪ Walmartのシステムでオンラインテスト。Rerankerを用いた後の結果。 ▪ Top10 Precisionを人手で確認。Precisionがやや改善 ▪ ビジネス指標(OrderとGross
Merchandise Value)をA/Bテスト。特に改善はなかった 10
事例: Walmart システム ▪ 無関係だったものが、フィルタされている ▪ FilterしてからRerankしているので、10位のやや関係ある商品は出現していると思われ る 11
まとめと感想 まとめ ▪ 検索結果をPrecision-Recall高く足切りするために、スコアリングの変換関数を提案 ▪ 2つのドメインの異なるデータセットで効果的であることを示した。 また、実システムで検証した 感想 ▪ Rerankerより簡易にフィルタできるのは良いが、
Rerankerでもよいのでは? ▪ ドメイン外でも使用可能なのか気になる。難しそう。 Rerankerでもよいのでは? 12
More Decks by Hiroki_Iida
See All by Hiroki_Iida
SCOTT: Self-Consistent Chain-of-Thought Distillation
meshidenn
0
720
Match Your Words! A Study of LexicalMatching in Neural Information Retrieval
meshidenn
0
290
COIL: Revisit Exact Lexical Match in Information Retrieval with Contextualized Inverted List
meshidenn
1
560
CEQE- Contextualized Embeddings for Query Expansion.
meshidenn
0
330
ACL2019網羅的サーベイ報告会-iida発表
meshidenn
0
130
What the vec
meshidenn
1
470
Other Decks in Research
See All in Research
XDPerf: A High-Performance Traffic Generator Built with WASM and eBPF
takehaya
1
400
フィジカルAIの社会実装に向けて -AIエージェントからAgentic Roboticsへ-
hf149
1
2.8k
Easy to Guess, Hard to Verify: Lessons from AIMO 3 for Olympiad-Level AI Mathematics
corochann
0
160
【令和7年度版】内航船 VS 外航船 早見表
anikisencyo
0
220
Méthane 2030 : Développer des solutions de réduction des émissions de méthane entérique : 1ers résultats
institutdelelevage
PRO
0
120
Adapter les bergeries aux fortes chaleurs
institutdelelevage
PRO
0
180
Être éleveur dans un monde en transition : Comprendre les changements pour mieux les accompagner
institutdelelevage
PRO
0
160
Who’s Behind the Divide?
sirmatrixpage
1
1.6k
[webinaire du Ciirpo] Agnelages plein air : des éleveurs partagent leurs pratiques
institutdelelevage
PRO
0
340
[CV勉強会@関東 CVPR2026] PSDesigner: Automated Graphic Design with a Human-Like Creative Workflow / kantocv 67th CVPR 2026
shunk031
0
410
TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis
satai
3
130
Détecter les vulnérabilités dans un environnement souverain
hellosct1
0
130
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
53
4k
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
330
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
640
Being A Developer After 40
akosma
PRO
92
590k
Optimising Largest Contentful Paint
csswizardry
37
4k
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
540
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.5k
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
Six Lessons from altMBA
skipperchong
29
4.6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.7k
Unlocking the hidden potential of vector embeddings in international SEO
frankvandijk
0
1k
Have SEOs Ruined the Internet? - User Awareness of SEO in 2025
akashhashmi
0
550