検索品質がRAGを決める

2026/08/28(金)19:00 〜 21:00
検索品質がRAGを決める | SoftBank Tech Night
https://techplay.jp/event/998829
にて投影した資料です

Transcript

1. 写真撮影禁止 SoftBank Tech Night データエコシステム基盤「GaranAI」を⽀える技術 検索品質がRAGを決める 次世代ｻｰﾋﾞｽ基盤本部 基盤ｱｰｷﾃｸﾁｬ統括部 データエコシステム開発室 Confidential © SoftBank Corp. All Rights Reserved 2026年 8⽉28⽇ 本編 85ページ
2. 本⽇の登壇者 写真撮影禁止 ◼趣味 ・ガジェット ・ボードゲーム ・スキューバダイビング ◼趣味 ・キーボード ・PCゲーム ・自作PC ﾃﾞｰﾀｴｺｼｽﾃﾑ開発室 室 長 ﾃﾞｰﾀｴｺｼｽﾃﾑ開発室 開 発課 佐藤 敏紀 川野 直輝 ◼得意 ◼略歴 ・トライ (Trie) ・2021/1: 中途採用 IT運用本部配属 ・2025/10: JPで次世代技術開発本部へ異動 ◼苦手 ・半角カタカナ marisa-trie Confidential データエコシステム開発室 開発課 ﾃﾞｰﾀｴｺｼｽﾃﾑ開発室 開発課 矢田 晋 山本 一馬 © SoftBank Corp. All Rights Reserved 2
3. 写真撮影禁止 Agenda Confidential © SoftBank Corp. All Rights Reserved 01 GaranAI概要 5min 02 基盤の提供サービス 3min 03 RAGにおける検索品質 20min 04 類似⽂字列検索 20min 05 ご案内 2min
4. 01 Confidential © SoftBank Corp. All Rights Reserved GaranAI概要
5. GaranAIの概要 コンテンツホルダーとデータ利⽤事業者間の溝を埋め 新しい収益や利⽤の形を⽣み出すプラットフォーム Confidential © SoftBank Corp. All Rights Reserved 55 ※「GaranAI」はベータ版のコードネームです。正式一般提供時には変更になる可能性があります。
6. コンテンツホルダーのメリット コンテンツの価値を守りながら、新たな収益機会を創出 新たな収益機会の獲得 データ利⽤事業者から得られる利⽤料 保護されたコンテンツの配信 無断学習や不正利⽤を防ぐ 低イニシャルコストでの参⼊ AI向けデータ加⼯やシステム費⽤はソフトバンクが負担 Confidential © SoftBank Corp. All Rights Reserved 6
7. データ利⽤事業者のメリット ⽇本のコンテンツを正しく利⽤し、AI開発を加速 AIの専⾨チームが提供データを最適化 データ収集や加⼯にかかるリードタイムを⼤幅に削減し開発を促進 出典元が明確な⼀次情報が利⽤可能 誤情報やハルシネーションの混⼊が極めて低い情報源の確保 基盤が全コンテンツホルダーの窓⼝に 各コンテンツホルダーとの個別交渉が不要 Confidential © SoftBank Corp. All Rights Reserved 7
8. データエコシステム基盤(GaranAI)のビジョン ⽇本の著作物データを扱う「中⽴なデータ基盤」の創出 自社データを 預託 基盤データを 利用 GaranAI コンテンツ ホルダー 日本文化の 維持・創出 に貢献 中立性・信頼性・透明性 を備えたデータ基盤 日本の AI開発を 加速 コンテンツホルダー公認の データを利用することで 不安なく事業を実施 AIが普及する社会で データの用途を把握しつつ 対価を得る Confidential データ利用 事業者 中立性 信頼性 透明性 特定の事業者に偏らない、公平・中立な 基盤運営 権利処理・利用管理を適切に行い、安心 して利用できる仕組みを提供 データの流通・利用状況を可視化し透明 性を確保 © SoftBank Corp. All Rights Reserved 8
9. データエコシステム基盤「GaranAI」ベータ版を提供開始 コンテンツホルダーとデータ利用事業者双方の課題を解決し、 新しい収益や利用の形を生み出すプラットフォーム Confidential © SoftBank Corp. All Rights Reserved 9
10. 02 Confidential © SoftBank Corp. All Rights Reserved 基盤の提供サービス
11. 基盤の提供サービス 価値ある情報を流通させる基盤の構築 β版を提供開始 Confidential RAG用データ API 学習用データ配信 コーパス配信 回答の補完 / 最新化 基盤モデルの強化 / 特化に貢献 GENIACで受託し⽣成した ⼤規模コーパス 利用ユーザー SaaS事業者 （AIアプリ提供者） 利用ユーザー PaaS / MaaS事業者 （特化モデル提供者） 利用ユーザー IaaS / クラウド事業者 （基盤モデル開発者） 利用シーン モデルの推論 利用シーン 特定ドメインへの Fine-tuning 利用シーン 基盤モデルの事前学習 （Pre-training） 提供形態 API経由でのデータ参照 提供形態 データセット提供 提供形態 コーパス提供 © SoftBank Corp. All Rights Reserved ※コーパス：膨⼤な⾃然⾔語（⽂章や⾳声）を収集し、コンピュータで検索‧分析できるように電⼦化（構造化）したデータベース ※学習⽤データ配信は2027年7⽉以降に提供開始予定 ※コーパス配信は10⽉以降に提供開始予定 11
12. RAG⽤データAPI 信頼性の⾼いデータを検索‧提供し、RAGの回答品質向上に貢献 GaranAI 預託されたデータに対する 検索・取得エンジン ②RAG用データAPI リクエスト ※従量課金 ③RAG用データAPI レスポンス 貴社 貴社システム エンドユーザー ①エンドユーザからの 質問・リクエスト 検索・取得したデータから RAG処理・回答生成 ④生成AIの回答返却 ※β版では外部提供不可 GaranAI導入のメリット Confidential GaranAI（RAG用データAPI） 一般的な検索API 検索精度 RAGに最適された検索エンジンにより ユーザーの意図に合致した高精度なデータ を提供 キーワード一致を中心とした検索のため、 ノイズの多い結果になる可能性がある 信頼性 信頼度の高い一次情報のみを 検索対象とすることが可能 インターネット上の公開情報が対象となり、 情報の信頼性や鮮度にバラツキがある 網羅性 一般的な検索では見つけにくい非公開/限定公開の ダークデータも提供可能 公開情報が中心のため、一般的な検索では 拾えない情報にはアクセスできない © SoftBank Corp. All Rights Reserved 12
13. 学習⽤データ配信 2027/07 以降提供予定 基盤上データを加⼯し、⽤途別の学習データとして提供 貴社システム GaranAI コンテンツホルダー 新聞社 匿名化・学習用データ加工 データ利用事業者 用途別でデータセット提供 AIサービス A社 A社 ・・・ 出版社 B社 ・ ・ ・ Confidential QA 預託データを匿名化し、 各社ごとに分離して学習用 データへ加工します。 対話 QA・対話・要約など、 用途に応じた学習用データ として提供します。 モデル開発 B社 ・・ ・・ ・・ 権利保護・安心の利用 サブスクリプション 用途別のデータ提供 契約に基づき権利を保護し、安心し てご利用いただける環境を提供しま す。 学習データを用いて学習されたモデ ルが利用されている期間に応じて課 金が発生します。 QA、対話、要約など用途に適した学 習データを提供、モデル開発の効率 化に貢献します。 © SoftBank Corp. All Rights Reserved 13
14. コーパス配信（⾳声対話データセット） 2026年度中 提供予定 GENIAC受託し作成した⼤規模マルチモーダルデータセット データセット概要 データ形式 ＼ AI開発における活用価値 ／ 大規模な対話データ テキスト・音声・動画 ※マルチモーダルデータ データ規模 モニター数 会話データ数 3万人超 7万件超 発話データ数 3万人超のモニター、7万件超の会話、 700万件超の 発話データを収録。 自社で収集が難しい大規模データを活用可能。 700万件 超 マルチモーダル対応 収録内容 コールセンターシナリオ （10業種） / 雑談（約 800テーマ） 付加情報 話者属性・感情タグ・対話ターンごとの感情度数 利用条件 Confidential ※仮想シナリオのため、個人情報なし ※5段階の感情度を付与 商用利用およびデータ利用の同意取得済み © SoftBank Corp. All Rights Reserved テキスト・音声・動画を組み合わせた マルチモーダルAI開発や、音声認識・TTS・ 感情推定など幅広い用途に活用可能。 安心して利用可能なデータ 話者属性や感情タグなどの付加情報を整備し、 商用利用・二次利用の同意取得済みで、 許諾リスクを低減。 14
15. データ預託社ジャンル 新聞社を⽪切りに、各業界の⼤⼿企業と交渉中 契約、協議中の業界 新聞 交渉予定の業界 出版・メディア 小売・サービス 正確な 1次テキスト 情報を保有 専門性の高い コンテンツを保有 カタログ、手順書コ ンテンツを保有 ❖ 共同通信と業務提 携契約を締結済み ❖ 全国の新聞社とも 協議中 ❖ 大手出版社数社と 協議中 ❖ 大手小売会社や書 店等と協議中 教育 不動産 飲食 レジャー コンサルティング 物流 放送 行政・公共 広告 医療 その他の業界についても順次拡⼤予定 Confidential © SoftBank Corp. All Rights Reserved 15
16. 03 Confidential © SoftBank Corp. All Rights Reserved RAGにおける検索品質
17. RAG⽤データAPIを使った⽣成AIアプリのデモ(1/6) 写真撮影禁止 検索エージェントのチャットアプリ Confidential © SoftBank Corp. All Rights Reserved 17
18. RAG⽤データAPIを使った⽣成AIアプリのデモ(2/6) 写真撮影禁止 検索エージェントのチャットアプリ Confidential © SoftBank Corp. All Rights Reserved 18
19. RAG⽤データAPIを使った⽣成AIアプリのデモ(3/6) 写真撮影禁止 検索エージェントのチャットアプリ Confidential © SoftBank Corp. All Rights Reserved 19
20. RAG⽤データAPIを使った⽣成AIアプリのデモ(4/6) 写真撮影禁止 Web検索を使う場合との⽐較 Confidential © SoftBank Corp. All Rights Reserved 20
21. RAG⽤データAPIを使った⽣成AIアプリのデモ(5/6) 写真撮影禁止 Web検索を使う場合との⽐較 Confidential © SoftBank Corp. All Rights Reserved 21
22. RAG⽤データAPIを使った⽣成AIアプリのデモ(6/6) 写真撮影禁止 Web検索を使う場合との⽐較 Confidential © SoftBank Corp. All Rights Reserved 22
23. RAGの基本的な仕組み(1/2) 写真撮影禁⽌ ユーザーの質問とそれに関連する情報をセットでLLMに与えることで 学習していない情報の回答や正確性の向上が期待される 回答 ユーザー 質問 ⽣成 (Generation) + 質問の⼊⼒と 最終回答の受け取り 検索 (Retrieval) 関連情報を参考に LLMが回答を⽣成 関連 情報 質問に関連する情報を 検索 Confidential © SoftBank Corp. All Rights Reserved 23
24. RAGの基本的な仕組み(2/2) 写真撮影禁止 RAGではLLMへの入力（コンテキスト）がどう変わるか RAGあり（外部検索による知識補強） RAGなし（事前学習の知識のみ） ▼ LLMへの⼊⼒ ユーザーの質問: 台風8号の進路と影響を教えてください。 ▼ LLMへの⼊⼒ ユーザーの質問: 台風8号の進路と影響を教えてください。 【関連ドキュメント】 台風8号は18日現在、非常に強い勢力で日本の東日本に接近 中。大雨や強風による交通機関への影響に警戒して・・・ ▼ LLMの回答 提供された気象情報によると、2026年8⽉X⽇に発⽣した台 ⾵第8号は、主に... • • 正確な事実に基づいた回答が可能 検索によって得られた「最新の気象情報」を ⼊⼒に追加 ▼ LLMの回答 申し訳ありませんが、具体的な気象データを調べることは できないため詳細な回答が困難です... • • 最新の情報を知ることができず回答不能 場合によってはハルシネーションの可能性あり 関連ドキュメントとしてどんな情報を入れるかが重要 Confidential © SoftBank Corp. All Rights Reserved 24
25. 固定的なパイプラインの課題 写真撮影禁止 マルチホップな検索（ex. JEMHopQA）や横断的な検索が難しい マルチホップな検索が必要なクエリ例: 現在の東京都知事が初当選した年は？ 検索 1回⽬ 検索 2回⽬ 統合‧回答 現在の東京都知事を調査 〇〇⽒の初当選年を調査 情報を突き合わせて回答 「東京都知事 2026」のような クエリで現在の都知事に関す る事実情報を検索する。 「〇〇 都知事 初当選」のよう なクエリで初当選した年を検 索する。 「現在の都知事＝〇〇⽒」 「初当選＝20XX年」を論理的 に組み合わせ、「20XX年」と いう最終回答を導き出す。 Confidential © SoftBank Corp. All Rights Reserved 25
26. 柔軟な検索を可能にする⽣成AIアプリの例 写真撮影禁止 ReActパターンの検索エージェント ReActパターンとは？ (Yao et al., “ReAct”, ICLR 2023) LLMによる動的クエリ⽣成 思考（Reasoning）と⾏動（Action）のループ ⾼度なコンテキスト理解に基づく検索 LLMに「回答に必要な情報は何か」を判断させ、検索を 実⾏。得られた結果をLLMが観察（Observation）し て、追加検索の要否もLLMに判断させる設計パターン。 単純なキーワード⼀致ではなく、会話の履歴や思考ス テップに基づき、LLMがその都度最適な検索クエリを動 的に⾔語化‧⽣成します。 実装次第で検索以外にも様々な⾏動が可能。 ▪ 検索エージェントの処理サイクル 1. Reasoning: 不⾜している情報を特定し、検索⽅針 を決定 2. Action: 外部データソース（RAG API等）へ検索を 要求 3. Observation: 検索結果を読み込み、情報不⾜なら 再検索 4. FinalAnswer: ⼗分に情報が集まれば回答 Confidential © SoftBank Corp. All Rights Reserved ▪ エージェント化がもたらす優位性 • • • 曖昧な指⽰から具体的な検索パラメータを抽出可 能 最初の検索結果を受けて、⾃動で別⾓度のクエリ を再試⾏ ユーザーの複雑な質問を、解釈可能な複数サブク エリに分解 26
27. 検索エージェントの実⾏過程(1/7) 写真撮影禁止 実⾏過程の全体像（クエリ: 2022年のW杯で⽇本が最後に戦った相⼿は世界何位？） Action, Observation, Reasoning Reasoning ユーザーは 2022年W杯におけ る日本の最後の対戦相手の FIFA世界ランキングを知りた がっています・・・ 2022年 W杯 日本 最後 対戦相 手 Action, Observation, Reasoning クロアチア サッカー 世界ランキング 2022年 W杯時点 Action, Observation, Reasoning クロアチア サッカー 世界ランキング 2022年11月 Action, Observation, Reasoning 検索結果の Webページを参照 FinalAnswer Confidential © SoftBank Corp. All Rights Reserved 回答 27
28. 検索エージェントの実⾏過程(2/7) 写真撮影禁止 Reasoning: ユーザーの質問意図を踏まえてクエリを計画 2022年 W杯 日本 最後 対戦相 手 Reasoning ユーザーは 2022年W杯における日本の最後の対 戦相手の FIFA世界ランキングを知りたがってい ま す クロアチア サッカー 世界ランキング 2022年 W杯時点 クロアチア サッカー 世界ランキング 2022年11月 ・・・ 計画 : 1. 2022年W杯で日本が最後に対戦した相手を特 定する 2. その対戦相手の FIFA世界ランキングを調べる 検索結果の Webページを参照 回答 Confidential © SoftBank Corp. All Rights Reserved 28
29. 検索エージェントの実⾏過程(3/7) 写真撮影禁止 Reasoningの詳細 Confidential © SoftBank Corp. All Rights Reserved 29
30. 検索エージェントの実⾏過程(4/7) 写真撮影禁止 Action: LLMがクエリ（検索ワード）を考えて検索 Action, Observation, Reasoning 2022年 W杯 日本 最後 対戦相 手 ユーザーは 2022年W杯におけ る日本の最後の対戦相手の FIFA世界ランキングを知りた がっています・・・ クロアチア サッカー 世界ランキング 2022年 W杯時点 クロアチア サッカー 世界ランキング 2022年11月 検索結果の Webページを参照 回答 Confidential © SoftBank Corp. All Rights Reserved 30
31. 検索エージェントの実⾏過程(5/7) 写真撮影禁止 Observation & Reasoning: 検索結果を確認して、次の行動を計画 Observation Reasoning 次の行動の計画 検索結果 Confidential © SoftBank Corp. All Rights Reserved 31
32. 検索エージェントの実⾏過程(6/7) 写真撮影禁止 Action (+ Observation, Reasoning)を繰り返し 2022年 W杯 日本 最後 対戦相 手 ユーザーは 2022年W杯におけ る日本の最後の対戦相手の FIFA世界ランキングを知りた がっています・・・ クロアチア サッカー 世界ランキング 2022年 W杯時点 クロアチア サッカー 世界ランキング 2022年11月 検索結果の Webページを参照 回答 Confidential © SoftBank Corp. All Rights Reserved 32
33. 検索エージェントの実⾏過程(7/7) 写真撮影禁止 Final Answer: 必要な情報が集まったら回答を⽣成 2022年 W杯 日本 最後 対戦相 手 ユーザーは 2022年W杯におけ る日本の最後の対戦相手の FIFA世界ランキングを知りた がっています・・・ クロアチア サッカー 世界ランキング 2022年 W杯時点 クロアチア サッカー 世界ランキング 2022年11月 FinalAnswer 2022年カタール W杯で 日本代表が最後に戦っ た相手は・・・ Confidential © SoftBank Corp. All Rights Reserved 33
34. RAGで回答を間違えたり最適な回答が得られないときは(1/3) 写真撮影禁止 RAGの品質評価と失敗原因の分析が必要 RAGシステムを実装してみると、納得のいく結果が得られないことがある。 RAGChecker (Ru et al., NeurIPS 2024) やRagas (Es et al., EACL 2024)の指標のように、⼤きく分けて2つの観点がある。 検索失敗（Retrieval Failure） ⽣成失敗（Generation Failure） LLMが賢くても、検索できない情報は使えない 崩れたテキストや表の⾏列の読み違え RAGの精度を決定づける重要なプロセス。LLM⾃体の性能が どれだけ⾼くても、コンテキストに必要な情報が⼊⼒されな ければ、適切な回答を⽣成することは不可能。 検索が成功していても、LLMが⽂脈を正しく解釈できない、あるい は出⼒形式が不適切なために回答精度が低下する問題。 ▪ 主な要因と対策 ▪ 主な要因と対策 他にも、ユーザーの質問に都合の良い誤った回答、計算を間違え る、などのパターンがある。 ‧クエリ⽣成の失敗（意図と異なるキーワード選定） ‧データ形式の不備（LLMが解釈しづらい構造） ‧データベース未登録（必要なナレッジソースの不⾜） ‧プロンプト設計の⽢さ（コンテキストを無視した回答） ‧リランキング不備（検索上位に正解データが⼊らない） ‧ハルシネーション（検索結果にない嘘情報の出⼒） Confidential © SoftBank Corp. All Rights Reserved 34
35. RAGで回答を間違えたり最適な回答が得られないときは(2/3) 写真撮影禁止 生成失敗を防ぐためには、 LLMが読みやすいフォーマットにする title body source published_at RAG用データ APIのレスポンスを Pythonでテンプレートに埋め込んだ結果 Confidential © SoftBank Corp. All Rights Reserved 35
36. RAGで回答を間違えたり最適な回答が得られないときは(3/3) 写真撮影禁止 一般的な Web検索では 2段階の処理が必要で、整形にも手間がかかる Web検索 結果一覧 Webページ取得 +整 形 Confidential © SoftBank Corp. All Rights Reserved 36
37. まとめ 写真撮影禁止 ポイント 1 RAGでは関連情報を参考に LLMが回答するため、 関連情報に何を入れるかが重要 ポイント 2 ReActパターン というエージェントのデザインパターンでは、 LLMに検索クエリやクエリ計画を動的に生成させることで、マルチホッ プ検索や横断的な検索が行える ポイント 3 RAGの性能評価では、大きく分けて 検索と生成の 2つの観点 で評価する手法が存在する ポイント 4 生成の品質を低下させないためには、 LLMが読みやすいフォーマット で関連情報を与える Confidential © SoftBank Corp. All Rights Reserved 37
38. 写真撮影禁止 ⽂書検索のアルゴリズム Confidential © SoftBank Corp. All Rights Reserved 38
39. ⽂書検索のアルゴリズム: ⽬次 写真撮影禁止 ⽂字列照合 / 転置索引 / 密ベクトルによる検索 ⽂字列照合による検索 転置索引による検索 密ベクトルによる検索 パターンマッチング 転置索引 ベクトル埋め込み ⽂書全体を⾛査して照合する いわゆる grep ⽂書中の単語の出現位置を索引とし て持ち、クエリに含まれる単語の出 現頻度などからスコアを計算する ⽂書とクエリからベクトル埋め込み を⽣成し、ベクトル間の類似度を検 索に利⽤する ▪ 利点 ▪ 利点 ‧⼤規模データからの⾼速な検索 ‧キーワード検索に強い ‧表記揺れ、類義語などに強い ‧多⾔語検索に有効 ▪ ⽋点 ▪ ⽋点 ‧事前に索引の構築が必要 ‧表記揺れ、類義語対策に⼿間 ‧ベクトル化のコストが⼤きい ‧表現の厳密な⼀致を保証しにくい ▪ 利点 ‧⽂書側の索引構築が不要 ‧挙動がわかりやすい ▪ ⽋点 ‧⼤規模データに弱い Confidential © SoftBank Corp. All Rights Reserved 39
40. ⽂書検索のアルゴリズム: ⽂字列照合による検索 写真撮影禁止 ⽂字列照合 / 転置索引 / 密ベクトルによる検索 ⽂字列照合による検索 転置索引による検索 密ベクトルによる検索 パターンマッチング 転置索引 ベクトル埋め込み ⽂書全体を⾛査して照合する いわゆる grep ⽂書中の単語の出現位置を索引とし て持ち、クエリに含まれる単語の出 現頻度などからスコアを計算する ⽂書とクエリからベクトル埋め込み を⽣成し、ベクトル間の類似度を検 索に利⽤する ▪ 利点 ▪ 利点 ‧⼤規模データからの⾼速な検索 ‧キーワード検索に強い ‧表記揺れ、類義語などに強い ‧多⾔語検索に有効 ▪ ⽋点 ▪ ⽋点 ‧事前に索引の構築が必要 ‧表記揺れ、類義語対策に⼿間 ‧ベクトル化のコストが⼤きい ‧表現の厳密な⼀致を保証しにくい ▪ 利点 ‧⽂書側の索引構築が不要 ‧挙動がわかりやすい ▪ ⽋点 ‧⼤規模データに弱い Confidential © SoftBank Corp. All Rights Reserved 40
41. ⽂書検索のアルゴリズム: ⽂字列照合による検索 (1/3) 写真撮影禁止 The Naive algorithm クエリを左から右へと照合、開始位置を一文字ずつずらす 文書 A クエリ S S I M P L E I M P L E S I M P L E S I M P L E S I M P L E S © SoftBank Corp. All Rights Reserved 一致 I M P L E S Confidential E X A M P L E I M P L E 41
42. ⽂書検索のアルゴリズム: ⽂字列照合による検索 (2/3) 写真撮影禁止 The Boyer-Moore algorithm クエリを右から左へと照合、開始位置を照合結果を利用してずらす 文書 A クエリ S S I M P L E E X A M P L E I M P L E S I M P L E 一致 S I M P L E S I M P L E R. S. Boyer and J. S. Moore. A fast string searching algorithm. Comm. ACM, 20:762–772, 1977. N. Horspool. Practical fast searching in strings. Software Practice and Experience, 10:501–506, 1980. Confidential © SoftBank Corp. All Rights Reserved 42
43. ⽂書検索のアルゴリズム: ⽂字列照合による検索 (3/3) 写真撮影禁止 The Aho-Corasick algorithm クエリのリストから ACマシンを構築、文書の走査を一度で済ませる 文書 東 京 都 駅 前 … クエリ 東 京 駅 京 都 駅 駅 前 東 京 駅 京 都 駅 駅 前 一致 前 売 券 前 売 券 一致 ACマシン A. Aho, M. Corasick. Efficient string matching: and aid to bibliographic search. Comm. ACM. 18:333–340. 1975. Confidential © SoftBank Corp. All Rights Reserved 43
44. ⽂書検索のアルゴリズム: 転置索引による検索 写真撮影禁止 ⽂字列照合 / 転置索引 / 密ベクトルによる検索 ⽂字列照合による検索 転置索引による検索 密ベクトルによる検索 パターンマッチング 転置索引 ベクトル埋め込み ⽂書全体を⾛査して照合する いわゆる grep ⽂書中の単語の出現位置を索引とし て持ち、クエリに含まれる単語の出 現頻度などからスコアを計算する ⽂書とクエリからベクトル埋め込み を⽣成し、ベクトル間の類似度を検 索に利⽤する ▪ 利点 ▪ 利点 ‧⼤規模データからの⾼速な検索 ‧キーワード検索に強い ‧表記揺れ、類義語などに強い ‧多⾔語検索に有効 ▪ ⽋点 ▪ ⽋点 ‧事前に索引の構築が必要 ‧表記揺れ、類義語対策に⼿間 ‧ベクトル化のコストが⼤きい ‧表現の厳密な⼀致を保証しにくい ▪ 利点 ‧⽂書側の索引構築が不要 ‧挙動がわかりやすい ▪ ⽋点 ‧⼤規模データに弱い Confidential © SoftBank Corp. All Rights Reserved 44
45. ⽂書検索のアルゴリズム: 転置索引による検索 (1/3) 写真撮影禁止 転置索引 (Inverted index) 文書中の「単語」の出現位置を索引として持つことで、「単語」から出現文書の一覧を引ける 文書101 中 央 駅 の 再 開 発 が 完 了 文書102 青 葉 ス ク エ ア が 開 業 文書103 中 央 駅 東 口 の 再 開 発 が 完 了 中 央 駅 文書101.0, 文書103.0 青 葉 文書102.0 の 文書101.3, 文書103.5 ス ク エ ア 文書102.2 文書101.4, 文書103.6 開 業 文書102.7 が 文書101.7, 文書102.6, 文書103.9 東 口 文書103.3 完 了 文書101.8, 文書103.10 転置索引 再 開 発 C. D. Manning, P. Raghavan, and H. Schütze. Introduction to Information Retrieval, Cambridge University Press, 2008. Confidential © SoftBank Corp. All Rights Reserved 45
46. ⽂書検索のアルゴリズム: 転置索引による検索 (2/3) 写真撮影禁止 トークナイザ: 形態素と⽂字N-gram 「単語＝形態素」と「単語＝文字 N-gram」の違い 「単語＝形態素」 クエリ 文書201 青 葉 ス ク エ ア が 開 業 ス ク ウ エ ア 文書202 フ ァ ミ コ ン フ ァ ミ コ ン 文書203 コ ン ビ ニ 大 手 の フ ァ ミ リ ー マ ー ト 4 0 周 年 フ ァ ミ コ ン クエリ 「単語＝文字 2-gram」 文書201 青 葉 葉 ス ス ク 文書202 フ ァ ァ ミ ミ コ 文書203 コ ン ン ビ ビ ニ ニ 大 大 手 手 の の フ ァ ミ ミ リ リ ー ー マ マ ー ー ト ク エ エ ア ア が が 開 開 業 ス ク ク ウ ウ エ エ ア 0 周 周 年 フ ァ ァ ミ ミ コ コ ン フ ァ ァ ミ ミ コ コ ン コ ン ン 4 4 0 フ ァ 松井くにお, 難波功, 井形伸之. 全文検索エンジン（情報検索の新潮流）, 情報の科学と技術, Vol. 50, No. 1, pp. 9–13, 2000. Confidential © SoftBank Corp. All Rights Reserved 46
47. ⽂書検索のアルゴリズム: 転置索引による検索 (3/3) 写真撮影禁止 スコア付け: TF-IDF & BM25 TF-IDF BM25 単語の出現頻度と希少性から重要度を評価 TF-IDFを改良し、TFの頭打ちと⽂書⻑を考慮 ‧出現頻度（TF: Term Frequency） ‧希少性（IDF: Inverse Document Frequency） の掛け合わせ ▪ 改善点 • TF: ⾼頻度な単語のスコア上昇が緩やかにする • ⽂書⻑: ⻑い⽂書に対してペナルティを課す ▪ 特徴と数式構造 • TF: ⽂書内に多く出現する単語を⾼く評価 • IDF: ⼀般的な単語（「です」等）を低く評価 • 問題点: 単純な単語の繰り返しでスコアが⾼くなる キーワードベースの全⽂検索で標準的に ⽤いられるランキング⼿法 S. Robertson and H. Zaragoza. The Probabilistic Relevance Framework: BM25 and Beyond, Foundations and Trends in Information Retrieval, Vol. 3, No. 4, pp. 333–389, 2009. Confidential © SoftBank Corp. All Rights Reserved 47
48. ⽂書検索のアルゴリズム: 密ベクトルによる検索 写真撮影禁止 ⽂字列照合 / 転置索引 / 密ベクトルによる検索 ⽂字列照合による検索 転置索引による検索 密ベクトルによる検索 パターンマッチング 転置索引 ベクトル埋め込み ⽂書全体を⾛査して照合する いわゆる grep ⽂書中の単語の出現位置を索引とし て持ち、クエリに含まれる単語の出 現頻度などからスコアを計算する ⽂書とクエリからベクトル埋め込み を⽣成し、ベクトル間の類似度を検 索に利⽤する ▪ 利点 ▪ 利点 ‧⼤規模データからの⾼速な検索 ‧キーワード検索に強い ‧表記揺れ、類義語などに強い ‧多⾔語検索に有効 ▪ ⽋点 ▪ ⽋点 ‧事前に索引の構築が必要 ‧表記揺れ、類義語対策に⼿間 ‧ベクトル化のコストが⼤きい ‧表現の厳密な⼀致を保証しにくい ▪ 利点 ‧⽂書側の索引構築が不要 ‧挙動がわかりやすい ▪ ⽋点 ‧⼤規模データに弱い Confidential © SoftBank Corp. All Rights Reserved 48
49. ⽂書検索のアルゴリズム: 密ベクトルによる検索 (1/2) 写真撮影禁止 密ベクトル検索: 概要 文書とクエリをベクトル化して、ベクトル検索をおこなう ベクトル化（埋め込み） 意味の近さを反映したベクトルに変換する 例） ・果物に関する話題のベクトル ・乗り物に関する話題のベクトル ベクトル検索 クエリベクトルと類似する文書ベクトルを検索する 厳密解を求めるのは大変なので、近似最近傍探索 （ANN）を使用する V. Karpukhin et al. Dense Passage Retrieval for Open-Domain Question Answering, Proceedings of EMNLP 2020, pp. 6769–6781, 2020. N. Reimers and I. Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Proceedings of EMNLP 2019, pp. 3982–3992, 2019. Confidential © SoftBank Corp. All Rights Reserved 49
50. ⽂書検索のアルゴリズム: 密ベクトルによる検索 (2/2) 写真撮影禁止 密ベクトル検索: 利点と⽋点 利点 ⽋点 意味の近い⽂書を検索できる 表現の厳密な⼀致を保証しにくい • 同義語‧類義語 ◦ 「開始」 ↔ 「スタート」 ◦ 「料⾦」 ↔ 「価格」 • 多⾔語 ◦ 「パスワードを忘れた」 ↔ “How to reset your password” • 抽象的な質問 ◦ 「安⼼して利⽤できるか？」 ↔ 「通信内容は 暗号化され、多要素認証を採⽤しています。」 • バージョン、エラーコード ◦ 「Ver_1.03」 ≒ 「Ver_1.04」 ◦ 「ERR-1042」 • 社内の名称 ◦ 「Phoenix」＝ 社内のプロジェクト名 Confidential © SoftBank Corp. All Rights Reserved ベクトル化のコストが⼤きい 50
51. 写真撮影禁止 04 Confidential © SoftBank Corp. All Rights Reserved 類似⽂字列検索
52. RAGにおける検索の失敗 写真撮影禁⽌ データはあるのに⾒つからない「ゼロマッチ問題」 なぜ「情報があるのに」検索漏れが起きるのか？ ゼロマッチ問題の発⽣原因例 データベース側には正確なソース情報やドキュメントが 確かに存在していても、ユーザーが検索時に入力する キーワードや検索方法にズレがあるため、 RAGシステムが同一のデータとしてマッピングできない ことがある。 1. ⼊⼒ミス‧誤字脱字（タイポ） この「表記の乖離」により、実質的な情報があっても検索結果が 0件 （ゼロマッチ）になってしまう現象が発生する。 3. 正確な名称を「知らない」状態での推測検索 （例）「ソフトバング」 ↔ 「ソフトバンク」 2. 送り仮名‧語尾の揺れ （例）「売り上げデータ」 ↔ 「売上データ」 （例）うろ覚えのサービス名や、古い組織名での検索 検索の課題：データが存在することと、ユーザーが「正確なクエリで検索できること」は全くの別問題である Confidential © SoftBank Corp. All Rights Reserved 52
53. ゼロマッチ問題への対策の検討 写真撮影禁止 ゼロマッチ問題を解決するためにはどうすればいい？ 入力ミスや表記の揺れを吸収し、正しい文字列に変換できればゼロマッチ問題解消につなげる 対策：⼊⼒漏れや表記揺れの解消 文字列の変換方法 1. ⼊⼒ミス‧誤字脱字（タイポ） 大量の文字列リストのなかから、 変換先として最も適切と思われる文字列を求め、 変換する （例）「ソフトバング」 を 「ソフトバンク」に変換 2. 送り仮名‧語尾の揺れ （例）「売り上げデータ」 を 「売上データ」に変換 3. 正確な名称を「知らない」状態での推測検索 （例）うろ覚えのサービス名や、古い組織名に変換 Confidential © SoftBank Corp. All Rights Reserved 53
54. ベクトル検索によるアプローチ 写真撮影禁止 ベクトル検索は表現の揺れや、類義語・同義語を高度に吸収することが可能 一方で、、、 正解 意味を正しく識別 バナナ わずか1文字のタイプミス 誤り（入力ミス） 未知の概念 ババナ ベクトル検索が抱える課題 ベクトル検索は「意味」や「概念」は捉えられるが未知の単語は扱えない 結論 Confidential どこに存在する？ θ ベクトル検索では 1文字のタイプミスで全く異なる座標に配置されたり、 そもそも未知の単語は扱えないため、異なる類似度計算の指標が必要 © SoftBank Corp. All Rights Reserved 54
55. 近似⽂字列照合によるアプローチ 写真撮影禁止 近似文字列照合とは？ ベクトル検索では意味や概念を扱うため、未知の単語には適用できない課題があった。 そこで、人の書き間違え等による、表記上の曖昧性を扱うために文字列の表層を扱う手法として、 近似文字列照合を考える。 近似文字列照合とは、与えられた2つの文字列がどの程度類似しているかを求める手法のことである。 ここでは、近似文字列照合の手法として、以下の2つを説明する。 1. 編集距離 2. 集合間類似度 片方の文字列に挿入/削除/置換の操作を加えていき、もう 片方の文字列に一致するまでにかかったステップ数によ り、2つの文字列の近さを表現する手法 類似度関数を用いて2つの集合の重なり具合を表す手法 類似度関数は、コサイン係数、ジャッカード係数、 ダイス係数、オーバーラップ係数などが存在する Confidential © SoftBank Corp. All Rights Reserved 55
56. 編集距離とは？ 写真撮影禁止 編集距離 ”kitten”から“sitting”への変換イメージ 片方の文字列に挿入/削除/置換の3種類の操作を加えていき、もう 片方の文字列に一致するまでにかかったステップ数により、 2つの 文字列の近さを表現する。 k i t t e n 置換： k を s に置換 具体例（ ”kitten”と“sitting”との編集距離） ”kitten”を“sitting”に変換するためには以下の3つの操作が 必要である。 置換： k を s に置換（sitten） 置換： e を i に置換（sittin） 挿入：末尾に g を挿入（sitting） よって”kitten”と“sitting”の編集距離は Confidential © SoftBank Corp. All Rights Reserved s i である t e n 置換： e を i に置換 s i 3 t t t i n 挿入：末尾に g を挿入（sitting） s i t t i n g 56
57. 編集距離を求める⼿法（動的計画法） 写真撮影禁止 DPテーブルのイメージ 動的計画法（ Dynamic Programming） 編集距離は動的計画法で計算できることが よく知られている。 動的計画法では、比較対象の2つの文字列を行と列に並べたテー ブルを用意し、特定のルールにしたがって、 マス目に操作回数を記録していくことで、最終的な編集距離を求め る。 □ s i t t i n g □ k i 具体例 t “sitting”と”kitten”の編集距離を考える。 t e n Confidential © SoftBank Corp. All Rights Reserved 57
58. 動的計画法を⽤いた編集距離の求め⽅（1/5） 写真撮影禁止 DPテーブルのイメージ １ テーブル作成 比較対象の文字列を縦横に並べた 1つの表を用意する。 この時先頭に空白を表す 1文字を用意しておき、 空文字列との比較からスタートしていく。 □ s i t t i n g □ 0 1 2 3 4 5 6 7 k 1 0を入力 i 2 t 3 t 4 e 5 n 6 ２ 起点となる左上に 0を入力 空文字列から空文字列への変換コストは 0である。 ３ 先頭行列に連番を入力 空文字からそれぞれの長さの文字列に変換するには、 文字数分の「追加」または「削除」が必要になるため、 0, 1, 2, 3…と連番を振る 例：マス（ □, i）= 5の意味 空文字列□を”sitti”に変換するにはs, i, t, t, iの5回の挿入操作が必要で あることを意味している。 Confidential © SoftBank Corp. All Rights Reserved 0を起点として連番を入力 58
59. 動的計画法を⽤いた編集距離の求め⽅（2/5） 写真撮影禁止 DPテーブルのイメージ 入力対象のマス目をd[ i ][ j ]としたとき、以下の判定条件 に従い、値の入力する。 値は初期値を入力した次の行から、左から右に向かて順 番に入力していく。 ①文字が一致する場合（ a[ i ] == b[ j ]） d[ i ][ j ] = d[ i - 1 ][ j - 1 ] □ s i t t i n g □ 0 1 2 3 4 5 6 7 k 1 1 2 3 4 5 6 7 i 2 t 3 t 4 e 5 n 6 （追加の操作コストなし） ②文字が異なる場合（ a[ i ] != b[ j ]） 以下の値の最小値を採用する d[ i ][ j ] = d[ i - 1 ][ j ] + 1 d[ i ][ j ] = d[ i ][ j - 1 ] + 1 d[ i ][ j ] = d[ i - 1 ][ j - 1 ] + 1 （「上：削除」「左：挿入」「斜め：置換」の最小コスト + 1） Confidential © SoftBank Corp. All Rights Reserved a[ 1 ] = ‘k’, b[ 1 ] = ‘s’ のため d[ 1 ][ 1 ] の値は、 以下の値の最小値である 1となる。 ・d[ 0 ][ 1 ] + 1 = 2 ・d[ 1 ][ 0 ] + 1 = 2 ・d[ 0 ][ 0 ] + 1 = 1 これは ‘k’ を ‘s’ に変換する際に、 1回の置換で変換が 完了することを示している。 59
60. 動的計画法を⽤いた編集距離の求め⽅（3/5） 写真撮影禁止 DPテーブルのイメージ 入力対象のマス目をd[ i ][ j ]としたとき、以下の判定条件 に従い、値の入力する。 値は初期値を入力した次の行から、左から右に向かて順 番に入力していく。 ①文字が一致する場合（ a[ i ] == b[ j ]） d[ i ][ j ] = d[ i - 1 ][ j - 1 ] □ s i t t i n g □ 0 1 2 3 4 5 6 7 k 1 1 2 3 4 5 6 7 i 2 2 1 t 3 （追加の操作コストなし） ②文字が異なる場合（ a[ i ] != b[ j ]） 以下の値の最小値を採用する d[ i ][ j ] = d[ i - 1 ][ j ] + 1 d[ i ][ j ] = d[ i ][ j - 1 ] + 1 d[ i ][ j ] = d[ i - 1 ][ j - 1 ] + 1 （「上：削除」「左：挿入」「斜め：置換」の最小コスト + 1） Confidential © SoftBank Corp. All Rights Reserved t 4 e 5 n 6 a[ 2 ] = ‘i’, b[ 2 ] = ‘i’ のため①の条件から d[ 2 ][ 2 ] の値には、 d[ 1 ][ 1 ] の値がそのまま設定され、 1とな る。 これは ‘ki’ を ‘si’ に変換する際に、 ’k’ から ‘s’ への 1回 の置換で変換が完了することを示している。 60
61. 動的計画法を⽤いた編集距離の求め⽅（4/5） 写真撮影禁止 DPテーブルのイメージ 入力対象のマス目をd[ i ][ j ]としたとき、以下の判定条件 に従い、値の入力する。 値は初期値を入力した次の行から、左から右に向かて順 番に入力していく。 ①文字が一致する場合（ a[ i ] == b[ j ]） d[ i ][ j ] = d[ i - 1 ][ j - 1 ] □ s i t t i n g □ 0 1 2 3 4 5 6 7 k 1 1 2 3 4 5 6 7 i 2 2 1 2 3 4 5 6 t 3 3 2 1 2 3 t 4 e 5 n 6 （追加の操作コストなし） ②文字が異なる場合（ a[ i ] != b[ j ]） 以下の値の最小値を採用する d[ i ][ j ] = d[ i - 1 ][ j ] + 1 d[ i ][ j ] = d[ i ][ j - 1 ] + 1 d[ i ][ j ] = d[ i - 1 ][ j - 1 ] + 1 （「上：削除」「左：挿入」「斜め：置換」の最小コスト + 1） Confidential © SoftBank Corp. All Rights Reserved 61
62. 動的計画法を⽤いた編集距離の求め⽅（5/5） 写真撮影禁止 DPテーブルのイメージ □ s i t t i n g □ 0 1 2 3 4 5 6 7 k 1 1 2 3 4 5 6 7 i 2 2 1 2 3 4 5 6 t 3 3 2 1 2 3 4 5 t 4 4 3 2 1 2 3 4 最終的に表の右下のマス（赤枠部分）に出てきた 数字が2つの文字列の編集距離である 最終的な編集距離 3 最終的な編集距離 3回の操作による変換⼿順 置換： k を s に置換（sitten） 置換： e を i に置換（sittin） 挿入：末尾に g を挿入（sitting） Confidential © SoftBank Corp. All Rights Reserved e 5 5 4 3 2 2 3 4 n 6 6 5 4 3 3 2 3 62
63. 編集距離（動的計画法）のまとめ 写真撮影禁止 まとめ 動的計画法による比較 課題 検索規模拡大による性能破綻 2つの文字列（長さm, n）の近さを挿入/削除/置換の操作回数により 求めることができる 長文化によるコスト増加： 比較文字列の長さ m, n が長くなると、 計算量が増大する。 DPテーブルのマス目は (m + 1) × (n + 1) だけ存在するため、す べてのマス目を埋めるためには、 以下の計算量が必要になる 計算量：O(mn) 候補数Nの増加： 候補数 N の分だけ計算量 O(mn) がかかるため、 候補数が複数存在する場合は、 計算量は O(mn × N) となり、計算量が増大する 検索における重要な指標であるリアルタイム性が損なわれる Confidential © SoftBank Corp. All Rights Reserved 63
64. 編集距離⾼速化の⼿法（ビットパラレル法） 写真撮影禁止 ビットパラレル法 課題 検索規模拡大による性能破綻 より高速な編集距離を計算するための手法 CPUが複数ビット同時に演算できることに着目し、動的計画法で 1 マスずつ行っていた計算をひとかたまりにまとめて計算することで、 高速化を実現する。 比較文字列のビット上限超過： 比較したい文字列が長文となり、ビット上限を超過する 場合、以下のいずれかの対策が考えられる。 bit size = 64 bit 1 1 0 1 ・・・ 1 0 最大64マス分の計算を 1命令で実行 対策①：動的計画法にフォールバックする 対策②：ビット列のハコを複数用意し、そこに文字列を 分割して格納し、処理を実行する。 対策①においては、先述の通り、計算量が増大してしまう 課題が存在する。 対策②においては、どこまでの長さを許容するかなど、 考慮すべき事項が多くなることが想定される。 ビットパラレル法の計算量 ビットパラレルで一度に処理する単位をw bit とすると、 ビットパラレル法の計算量は以下の式で表すことができる。 計算量：O(m/w × n) Confidential © SoftBank Corp. All Rights Reserved 集合間類似度による候補削減を行うことで、 明らかな外れ値を事前に除外する 64
65. 集合間類似度とは？（1/4） 集合間類似度 類似度関数を用いて2つの集合の重なり具合を表す手法。 類似度関数は、コサイン係数、ジャッカード係数、ダイス係数、オー バーラップ係数などが存在する。 写真撮影禁止 「スパゲティー」と「スパゲッティー」を 文字n-gramに分割して、集合として扱うイメージ 「スパゲティー」 「スパゲッティー」 文字列の類似度比較への応用 比較したい文字列をn-gram分割した結果を、集合として扱い、類似 度関数を適用することで、文字列の重なり具合を調べることが可能 になる。 パゲッ パゲテ スパゲ ゲッテ ティー ッティ ゲティ 集合間類似度による候補削減 集合間類似度は、単純な類似度比較だけではなく、候補削減を効 率的に行うことができる Confidential © SoftBank Corp. All Rights Reserved 65
66. 集合間類似度とは？（2/4） 写真撮影禁止 集合間類似度の実例（文字 tri-gramの場合） 「スパゲティー」を文字列 , 「スパゲッティー」を文字列 として2つの文字列の類似度について考える まずは、上記2つの文字tri-gram集合XとYを求める 文字列「スパゲティー」 スパゲ パゲテ ゲティ コサイン係数の数式 ティー 文字列「スパゲッティー」 スパゲ パゲッ ゲッテ ッティ ティー ここで、集合X、Yの要素数を|X|, |Y|と表現すると|X| = 4, |Y| = 5であることが分かる。 さらに、 = 2であることも分かるので、これをコサイン係数の数式に代入すると、 類似度： Confidential © SoftBank Corp. All Rights Reserved 0.45 66
67. 集合間類似度とは？（3/4） 写真撮影禁止 集合間類似度の候補削減の実例（文字 tri-gramの場合） 文字列「スパゲティー」と「スパゲティー麺」、「スパゲティープログラム」の比較を考える 上記3つの文字tri-gram集合を求めて、コサイン係数にあてはめると、類似度は以下の通りである 基準：文字列「スパゲティー」（要素数：4） スパゲ パゲテ ゲティ ティー 比較１：文字列「スパゲティー麺」（要素数：5） スパゲ パゲテ ゲティ ティー ィー麺 類似度： 0.89 類似度： 0.67 比較２：「スパゲティープログラム」（要素数：9） Confidential スパゲ パゲテ ゲティ ティー ィープ ープロ プログ ログラ © SoftBank Corp. All Rights Reserved グラム 67
68. 集合間類似度とは？（4/4） 写真撮影禁止 集合間類似度の候補削減の実例（文字 tri-gramの場合） サイズ差による類似度低下 候補削減への適用 文字列を文字n-gramに分割した際のサイズが大きく 異なる場合、一致している要素数は同じでも、類似度 に差がでる。 例えば前スライドの例において、「スパゲティー」との 類似度が0.8以下となる候補を抽出したいという前提 を設定をすれば、要素数が9となるような文字列は、 あらかじめ除外することが可能であることが分かる。 集合間類似度においてはこの特性を利用して、 n-gramのサイズだけを見て、候補を削減することが 可能である。 「スパゲティー」と類似度が0.8以上の候補を見つけたい 文字tri-gramが9の文字列は、どれだけ要素が一致しても、類似度は0.67にしかならないため、 類似度を計算するまでもなく、候補から除外可能 Confidential © SoftBank Corp. All Rights Reserved 68
69. 集合間類似度における類似⽂字列検索精度向上のコツ（1/4） 写真撮影禁止 「東京都北区」に近いのは「東京都北」 or「京都北区？」 住所⼊⼒の誤りシナリオ ユーザーが「東京都北区」と⼊⼒すべき場⾯で、誤って以下のように⼊⼒した場合の類似度判定を検証する。 ‧パターンA：「東京都北」（「区」の⼊⼒漏れ） ‧パターンB：「京都北区」（先頭の「東京」の脱落） ⽂字列をbi-gram（2⽂字単位）に分割 正解⽂字列「東京都北区」のbi-gram 東京 Confidential 京都 都北 © SoftBank Corp. All Rights Reserved 北区 パターンA「東京都北」のbi-gram 東京 京都 都北 パターンB「京都北区」のbi-gram 京都 都北 北区 69
70. 集合間類似度における類似⽂字列検索精度向上のコツ（2/4） 写真撮影禁止 「東京都北区」に近いのは「東京都北」 or「京都北区？」 全く別地域の「京都北区」と同スコア（ 0.87）になってしまい判別不能 ⼊⼒パターン bi-gram 正解：東京都北区 東京 京都 都北 入力 A：東京都北 東京 京都 都北 コサイン類似度 ー（基準： 4要素） ー（基準： 1.00） 3要素一致 0.87 （東京、京都、都北） （「区」の入力漏れ） 入力 B：京都北区 北区 共通する要素数 京都 （先頭の「東京」の脱落） 都北 北区 3要素一致 （京都、都北、北区） 0.87 コサイン係数の式（再掲） Confidential © SoftBank Corp. All Rights Reserved 70
71. 集合間類似度における類似⽂字列検索精度向上のコツ（3/4） 写真撮影禁止 「東京都北区」に近いのは「東京都北」 or「京都北区？」 ⼊⼒誤りに関する仮説設定 「キーボード⼊⼒において、⽂字列先頭におけるタイプミスの発⽣頻度は低い」と仮定。 ⽂字列の先頭にプレフィックス記号’$’を挿⼊してbi-gramを作成し、再評価する。 ⽂字列をbi-gram（2⽂字単位）に分割 正解⽂字列「$東京都北区」のbi-gram $東 東京 京都 都北 パターンA「$東京都北」のbi-gram $東 東京 京都 都北 パターンB「$京都北区」のbi-gram $京 京都 都北 北区 北区 Confidential © SoftBank Corp. All Rights Reserved 71
72. 集合間類似度における類似⽂字列検索精度向上のコツ（4/4） 写真撮影禁止 「東京都北区」に近いのは「東京都北」 or「京都北区？」 コサイン類似度の再計算 「$東京都北区」 ×「$東京都北」（共通 4個：$東, 東京, 京都, 都北） 0.90 vs 0.67 「$東京都北」 「$京都北区」 「$東京都北区」 ×「$京都北区」（共通 3個：京都, 都北, 北区） プレフィックス記号を導入することにより、「 $東京都北」の方が正解に近いと推定できる Confidential © SoftBank Corp. All Rights Reserved 72
73. GaranAIで構築する類似⽂字列検索システム 写真撮影禁止 GaranAIでは、入力ミス等に起因するゼロマッチの対策として、 編集距離と集合間類似度それぞれのメリットを生かした類似文字列検索システムを構築 Step1 集合間類似度を用いた候補文字列の削減 事前に候補文字列を削減することで、後続の編集距離の計算量を削減し、高速な検索を実現 Step2 複数の尺度を用いた編集距離の並列計算 通常の文字単位での編集距離に加え、単語単位の編集距離、読み仮名やローマ字表記の編集距離といった多様な尺度での並列計 算を実施 Step3 並列計算したスコアを結合して最終的な類似度を算出 編集距離の並列計算結果を結合し類似度を算出。必要に応じて、クエリに特定のキーワードが含まれるか、クエリ文の種類を特徴量 として類似度を算出することも可能 Confidential © SoftBank Corp. All Rights Reserved 73
74. RAGにおける検索の失敗 56スライド⽬再掲 写真撮影禁⽌ データはあるのに⾒つからない「ゼロマッチ問題」 なぜ「情報があるのに」検索漏れが起きるのか？ ゼロマッチ問題の発⽣原因例 データベース側には正確なソース情報やドキュメントが 確かに存在していても、ユーザーが検索時に入力する キーワードや検索方法にズレがあるため、 RAGシステムが同一のデータとしてマッピングできない ことがある。 1. ⼊⼒ミス‧誤字脱字（タイポ） この「表記の乖離」により、実質的な情報があっても検索結果が 0件 （ゼロマッチ）になってしまう現象が発生する。 3. 正確な名称を「知らない」状態での推測検索 （例）「ソフトバング」 ↔ 「ソフトバンク」 2. 送り仮名‧語尾の揺れ （例）「売り上げデータ」 ↔ 「売上データ」 （例）うろ覚えのサービス名や、古い組織名での検索 ゼロマッチ問題発生原因の対策に有効といえる 検索の課題：データが存在することと、ユーザーが「正確なクエリで検索できること」は全くの別問題である Confidential © SoftBank Corp. All Rights Reserved 74
75. 類似⽂字列検索システムのユースケース 写真撮影禁止 社内情報検索システムにおけるゼロマッチ対策 類似文字列検索システムが未導入の場合 類似文字列検索システムを導入した場合 完全一致しないと検索がヒットしない 完全一致しないと場合でも候補を提案 組織検索（Organization Search） 次世代サービス基盤開発本部 該当する組織が見つかりませんでした キーワードの誤字脱字をご確認ください 別の条件で検索してください 組織検索（Organization Search） 検索 次世代サービス基盤開発本部 検索 該当する組織が見つかりませんでした 検索候補の提案 次世代サービス基盤本部 次世代サービス開発本部 キーワードの誤字脱字をご確認ください 別の条件で検索してください Confidential © SoftBank Corp. All Rights Reserved 75
76. 類似⽂字列検索システムのユースケース 写真撮影禁止 コールセンター業務における ACW*業務の効率化 問い合わせ通話ログ お電話ありがとうございます。ソフトバンクカスタマーサポートです。 本日はどういったご用件でしょうか？ 先月まで携帯電話のプランが1,100円の割引が入っていたのですが、 今月から割引が入っていないようです。 今月から割引が入っていないのですね。 お調べしますので、お客様のお名前を伺ってもよろしいでしょうか？ 大盛りです。 大盛り様でございますね。確認しますので少々お待ちください。 お待たせいたしました。大盛り様につきましてはデータプランメリハリ無制限プラス に 加入していることを確認いたしました。 先月まではソフトバンクエアーにもご加入いただいたいておりましたので、おうち割が適用され1,100円の割引となっていました が、今月からソフトバンクエアーを解約いただいておりますので、割引が効かなくなっております。 ※やり取りはイメージです。実際のサービス内容とは異なる場合があります。 *参考：ACW：After Call Workの略。通話の後に行う、顧客対応内容の記録や要約などの事務作業のこと Confidential © SoftBank Corp. All Rights Reserved 76
77. 類似⽂字列検索システムのユースケース 写真撮影禁止 コールセンター業務における ACW*業務の効率化 対応履歴記録 2026/08/31 11:12 音声認識誤りを訂正 大盛り大森様より入電。 データプランメリハリ無制限プラス データプランメリハリ無制限＋ に加入しており、先月まで1,100円の 割引がされていたが、今月より割引が入っていないとのこと。 先月まではソフトバンクエアー SoftBank Airに加入しており、おうち割 おうち割 光セット が適用されて いたが、今月よりソフトバンクエアー SoftBank Airを解約されたために、おうち割 おうち割 光セット が 適用されず、割引が発生していない旨を回答。 回答内容にご納得いただき、対応完了。 正式な表記に統一 *参考：ACW：After Call Workの略。通話の後に行う、顧客対応内容の記録や要約などの事務作業のこと Confidential © SoftBank Corp. All Rights Reserved 77
78. まとめ 写真撮影禁止 ポイント1 データはあるのに検索クエリが不適切なため、検索がヒットしない状態を ゼロマッチと呼ぶ。 ポイント2 ベクトル検索は「意味」や「概念」は捉えられるが未知の単語は扱えない といった特性により、完全なゼロマッチ対策にはならない。 ※ベクトル検索の前処理として、近似文字列照合でタイプミスや表記揺れなどを解消しておくと効果は期待できる ポイント3 近似文字列照合の手法として、編集距離や集合間類似度がある。 ポイント4 GaranAIで開発中の類似文字列検索システムは、編集距離や集合間類似度を組み合わせることで、それぞれのメリットを生かした設計 となってい る。 ポイント5 類似文字列検索システムは、社内情報検索システムや、コールセンター業務の効率化、RAG検索の精度向上など、 幅広い場面で導入による効果が期待 できる。 Confidential © SoftBank Corp. All Rights Reserved 78
79. 05 Confidential © SoftBank Corp. All Rights Reserved ご案内
80. データエコシステム基盤(GaranAI)のビジョン ⽇本の著作物データを扱う「中⽴なデータ基盤」の創出 自社データを 預託 基盤データを 利用 GaranAI コンテンツ ホルダー 日本文化の 維持・創出 に貢献 中立性・信頼性・透明性 を備えたデータ基盤 日本の AI開発を 加速 コンテンツホルダー公認の データを利用することで 不安なく事業を実施 AIが普及する社会で データの用途を把握しつつ 対価を得る Confidential データ利用 事業者 中立性 信頼性 透明性 特定の事業者に偏らない、公平・中立な 基盤運営 権利処理・利用管理を適切に行い、安心 して利用できる仕組みを提供 データの流通・利用状況を可視化し透明 性を確保 © SoftBank Corp. All Rights Reserved 80
81. データエコシステム基盤「GaranAI」ベータ版を提供開始 コンテンツホルダーとデータ利用事業者双方の課題を解決し、 新しい収益や利用の形を生み出すプラットフォーム Confidential © SoftBank Corp. All Rights Reserved 81
82. 信頼ある情報を、⽌まらない社会インフラへ コンテンツの価値を守り抜き、あしたの常識を共につくる Confidential © SoftBank Corp. All Rights Reserved 82
83. さいごに 今後も本データエコシステム事業のアップデート情報を、 SoftBank Tech Nightを通してお届けしていく予定です。 事業を支える背景技術、ビジネス展開などさまざまなコンテンツ をお届けします。期待してお待ちください！ ※隔月開催予定 Confidential © SoftBank Corp. All Rights Reserved 83