Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Relevance Filtering for Embedding-based Retrieval
Search
Hiroki_Iida
May 24, 2025
Research
2
66
Relevance Filtering for Embedding-based Retrieval
IR-READING 2025春
Hiroki_Iida
May 24, 2025
Tweet
Share
More Decks by Hiroki_Iida
See All by Hiroki_Iida
SCOTT: Self-Consistent Chain-of-Thought Distillation
meshidenn
0
550
Match Your Words! A Study of LexicalMatching in Neural Information Retrieval
meshidenn
1
240
COIL: Revisit Exact Lexical Match in Information Retrieval with Contextualized Inverted List
meshidenn
1
460
CEQE- Contextualized Embeddings for Query Expansion.
meshidenn
0
250
ACL2019網羅的サーベイ報告会-iida発表
meshidenn
0
81
What the vec
meshidenn
1
300
Other Decks in Research
See All in Research
研究テーマのデザインと研究遂行の方法論
hisashiishihara
5
1.5k
NLP Colloquium
junokim
1
170
Combinatorial Search with Generators
kei18
0
390
SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
satai
3
230
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
140
データxデジタルマップで拓く ミラノ発・地域共創最前線
mapconcierge4agu
0
190
定性データ、どう活かす? 〜定性データのための分析基盤、はじめました〜 / How to utilize qualitative data? ~We have launched an analysis platform for qualitative data~
kaminashi
7
1.1k
20250624_熊本経済同友会6月例会講演
trafficbrain
1
440
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
2
550
Looking for Escorts in Sydney?
lunsophia
1
120
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
240
Type Theory as a Formal Basis of Natural Language Semantics
daikimatsuoka
1
250
Featured
See All Featured
Into the Great Unknown - MozCon
thekraken
40
1.9k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Navigating Team Friction
lara
187
15k
Building Applications with DynamoDB
mza
95
6.5k
The Pragmatic Product Professional
lauravandoore
35
6.7k
How GitHub (no longer) Works
holman
314
140k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
282
13k
Optimizing for Happiness
mojombo
379
70k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
The Cost Of JavaScript in 2023
addyosmani
51
8.6k
The Cult of Friendly URLs
andyhume
79
6.5k
Transcript
Relevance Filtering for Embedding-based Retrieval Authors: Nicholas Rossi, Juexin Lin,
Feng Liu, Zhen Yang, Tony Lee, Alessandro Magnani, Ciya Liao CIKM '24: Applied Research Papers IR READING 2025春 紹介者: (株) UZABASE 飯田 大貴 特に断りがない限り、図表は本論文からの引用です 1
自己紹介 ▪ 名前:飯田 大貴(IR Readingには度々参加させてもらっています) ▪ 所属:(株) ユーザベース • 経済情報基盤を活用して、経営のスピードを上げる情報プラットフォーム
「スピーダ」を提供 ▪ 業務内容:プロダクト横断の検索 /分類モデルの構築とサービスの構築・運用 ▪ インターン等興味あるかたはお声がけください https://www.uzabase.com/jp/ https://www.uzabase.com/jp/info/20241220-corp_jp/ 2
概要と読んだ理由 ▪ 概要:検索結果をPrecision-Recall高く足切りするために、スコアリングの変換関数を提 案 ▪ 読んだ理由:簡易な足切り方法を知りたかった。 Applied系の論文読んでみたかった。 3
論文が対象とする課題と解決方針 ▪ 無関係な検索結果を表示しないようにして、検索体験を向上させたい ▪ そのため、いい感じに無関係な検索結果をフィルタしたい ▪ しかし、ベクトル検索で用いられる類似度(特に cos類似度)は、しきい値 として用いることが難しい ▪
なぜなら、対照学習を用いて学習されているため、クエリに対して相対的なスコアにな る ▪ そのため、cos類似度を絶対的なスコアに変換したい 4
スコアの変換方法 1. 変換関数F Θ (x)を用意する 2. クエリ毎にパラメータΘを変えられるように する a. パラメタΘをNNに出力させる
b. 入力をクエリ埋め込みとする c. 対照学習時と同様な学習データを用いてNNを学 習する 正例:負例=1:31, 負例はBM25 5
推論時の利用方法 6
実験:MSMARCO ▪ PR AUCとMRRが改善 ▪ K=1000でP@R95とFilter%改善 ▪ Null%*について • K=1000で改善し、K=10では改悪。一
つも正例が登場しないクエリが、K=10 では30%だが、K=1000で1%であるた め • powerでnull、かつraw scoreがnullで はない場合において、70%は正例が top10にない ▪ 先行手法のChoppy#より良い。正 例が一つしかない場合が多いデー タであるため、削り過ぎている 提案手法 提案手法 *あるしきい値*で検索結果が返ってこなくなる度合い。しきい値は 5.2.3よりP@R95で決めたと推察 # Transformeベースの学習でしきい値を決める手法 7
分析 ▪ 本手法を適用することで、フィルタリ ングが改善している • raw scoreでは、全部表示するか、全部見 せない場合が多かった ▪ 本手法適用後に正例をフィルタしてし
まうパターンとしては以下があった • 低頻度語がクエリに含まれている • クエリ中の単語がスペルを間違えている 全部表示 全部隠す 8
実験:WallMartデータ ▪ 提案手法により改善 ▪ Contrastive Lossの方が、Listwise Loss*よりも良い結果 • ListwiseLossの方が、検索結果内で相対 的なスコアを学習するため
• 提案手法を適用することで差が縮まる ▪ Recallが低くなるクエリには以下の傾 向があった • レアブランド名 • 数字 • スペルミス *先行研究では、単純な精度は ListwiseLossのほうが良かった 9
実験: Walmart システム ▪ Walmartのシステムでオンラインテスト。Rerankerを用いた後の結果。 ▪ Top10 Precisionを人手で確認。Precisionがやや改善 ▪ ビジネス指標(OrderとGross
Merchandise Value)をA/Bテスト。特に改善はなかった 10
事例: Walmart システム ▪ 無関係だったものが、フィルタされている ▪ FilterしてからRerankしているので、10位のやや関係ある商品は出現していると思われ る 11
まとめと感想 まとめ ▪ 検索結果をPrecision-Recall高く足切りするために、スコアリングの変換関数を提案 ▪ 2つのドメインの異なるデータセットで効果的であることを示した。 また、実システムで検証した 感想 ▪ Rerankerより簡易にフィルタできるのは良いが、
Rerankerでもよいのでは? ▪ ドメイン外でも使用可能なのか気になる。難しそう。 Rerankerでもよいのでは? 12