“曖昧な検索” を実現するための Semantic Slot Filling

Transcript

1. “曖昧な検索” を実現するための Semantic Slot Filling ディップ株式会社 澤田悠暉 1
2. 自己紹介 2 澤田 悠暉 経歴 • ディップ株式会社 第二バイトル開発部 AIEmbedded課 (2023/07 ~ ) ◦ dipAI バックエンド テックリード ◦ 最近は生成AIや検索・レコメンドに従事 • xR/メタバース系 某スタートアップ (2020/04 ~ 2023/06)
3. dipAI 生成AIを活用した対話型バイト探しサービス • 対話型インターフェース • 曖昧な希望や潜在的な条件を引き出す • 面接の不安やキャリアの相談にものってくれる • バイト探しに関わらない話も聞いてくれる 3
4. dipAI ※ 重要でない箇所は簡略化しています バックエンドチームの担当領域 • APIサーバアプリケーションの実装 ◦ 検索処理の実装 ◦ プロンプトビルディング • 求人データのベクトル化 4
5. ”曖昧な検索” にどう対応するか？ 5
6. 当初の実装 : ベクトル検索 • アイテム : 求人の主要情報をベクトル化 • ユーザ : 会話履歴の要約をベクトル化 会話履歴 求人 類似度が近いものが 検索上位に来る 6
7. 当初の実装 : ベクトル検索 • アイテム : 求人の主要情報をベクトル化 • ユーザ : 会話履歴の要約をベクトル化 会話履歴 求人 類似度が近いものが 検索上位に来る 当然なのですが 期待した求人が出てこない • ユーザにとって絶対的な条件(エリアや職種など)が フィルタできない • 雑談などがノイズになりやすい 検索型インターフェースの あたりまえ レベルの 機能が担保されずストレスが高い 7
8. ハイブリッド検索をどう実現するか？ 8
9. Semantic Slot Filling ユーザ入力 構造化データ 自然言語の入力から スロット(意味的に重要な要素) を抽出・構造化 9
10. ユーザ入力 (自然言語) 構造化データ ハイブリッド検索の流れ ベクトルデータ (会話履歴の要約) Semantic Slot Filling ハイブリッド クエリ ルールベース 定性的な検索の質が向上 10 エリアや職種など絶対条件に なりやすいものを構造化
11. 副次的なメリット ベンダーロックインの回避 除外検索への対応 条件の重みづけへの対応 未実践 「ホールは嫌なんだよね」 「時給はちょっと安くても良いよ」 検索型インターフェースやベクトル検索でも 実現しづらかった課題に対応できる 検索エンジンを疎結合にできる ユーザ入力 スロット抽出 Elasticsearch用の 検索クエリ生成 11
12. 新たな課題 12 1. LLMの進歩に追いついていくのが大変 • コストを削減していきたいので、モデルを変更したいが、抽出精度に影響が出てしまう 2. フィルタ条件の影響が支配的 • ベクトル検索のうまみを活かせていない • 思ったような求人を出そうとすると、どうしてもフィルタ条件が必要
13. Semantic Slot Filling を 他に転用できるか？ 13
14. エージェントの返答の正確性の向上 エージェントの返答の正確性を向上させるのは 今の時代「RAG」だけじゃない ユーザ入力 (自然言語) 構造化データ スロット A スロット B スロット C Semantic Slot Filling RAG MCP + DB Web Search スロットに適した手法を 採用できる！ 「面接の準備って何すればいい？」 14
15. まとめ エージェント層 解釈・ツール層 データ層 新しい技術に早く移行するために 軽量 に実装 エージェントとツール・データが 疎結合 になるように実装 とても地味な作業が多いが コストをかけて整備 • OpenAI Agent SDK • Google ADK • LangGraph • Semantic Slot Filling • MCP • ユーザデータ • 求人データ • APIドキュメント 費用対効果 大 小 費用対効果が大きそうなところを優先的に実施していきたい！ 15
16. ご清聴ありがとうございました！! バイトルの検索改善をしているメンバーも参加してます！ 16