15分で検索エンジニアになる

SGG x Zli合同LTの資料です

Transcript

1. １５分で検索エンジニアになる @natsuozawa
2. 自己紹介 • Computer Science @ エジンバラ大学 （UK） • クックパッドでインターン（６～８月） • レシピアプリの検索機能の改善を担当 • LT超初心者
3. 今日のゴール 検索エンジニア入門
4. 前提 • Elasticsearchなどの詳細なAPIに入る 時間はない • 検索知識ゼロからイチを目指す • Relevant Searchという本をもとにし ている • 詳しくは後でQiitaに書く
5. 検索とは 1. コンテンツを選択し、ランク付けする • アルゴリズム問題 2.プラットフォームとして市場価値を生み出す • ビジネス問題 3. ユーザーの属性などのcontextを考慮する • 総合的な問題
6. 検索の仕組み（たとえ） 検索は、本の後ろにある「索引」をイメージすると分かりやすい
7. 検索の仕組み 1. 定期的に、全てのコンテンツの転置インデックスを作る 2. 検索時、関連するドキュメント（コンテンツ）を表示する 3. ユーザーは気になるコンテンツをクリックする
8. 転置インデックス構築（具体例）
9. 転置インデックス構築（具体例）
10. 転置インデックス構築（具体例）
11. 用語説明
12. クエリから検索結果まで keyword token signal score results analysis signal modelling scoring function
13. アナライザ ドキュメントから検索用のトークンを作成する 意味 （data） 意図 （user） シグナル
14. アナライザ（例） standard tokenizer standard filter lowercase filter stop filter standard analyzer “The quick brown fox.” [“The”, “quick”, “brown”, “fox”] [“the”, “quick”, “brown”, “fox”] [“quick”, “brown”, “fox”]
15. トークンにできるもの（例） • 日本語の文章（形態素解析） • 類義語（類義語辞書、ヒエラルキー） • 位置情報 • 電話番号 • 音楽のメロディー
16. シグナルモデリング 基本：Tf-idfで合致度を数値化
17. シグナルモデリング • データソースのフィールドはアプリケーション用に最適化 • 検索用に最適化する必要がある • 複数フィールド x 複数キーワードのロジック • Field centric search • Term centric search
18. Field-centric search stardust crusaders stardust crusaders タイトル (tf-idf) 説明文 (tf-idf) function Score: 0.1143
19. Field-centric searchの問題点 • Albino elephant problem • 高いスコアを出すのに、全ての検索キーワードがマッチする必要はな い • Signal discordance problem • ユーザーのイメージと検索に使われるフィールドが異なる • ユーザーはあまりフィールドのことを考えていない
20. Term-centric search stardust stardust crusaders crusaders タイトル (tf-idf) 説明文 (tf-idf) タイトル (tf-idf) 説明文 (tf-idf) function function function Score: 0.1143
21. Custom all fields stardust crusaders title & subtitle (tf-idf) title & subtitle (tf-idf) function Score: 0.1143
22. Cross fields stardust stardust crusaders crusaders title subtitle title subtitle function function function Score: 0.1143 tf-idf tf-idf
23. Ranking関数 • Sum, max, weighted sumなど • 条件付きブースト • 条件つきフィルター • 独自の関数を定義 • 例：Decay function Relevant Search figure 7.11
24. ありがとうございました