RAGのサービスをリリースして 1年が経ちました 多くのお客様に関わって得られた知⾒ 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 1 @segavvy ※個⼈で作成したものであり、内容や意⾒は所属企業・部⾨⾒解を代表するものではありません。

はじめに サイト内検索とChatGPTを組み合わせたRAGのサービスを 2023年4⽉にリリースして1年が経ちました 多くのお客様のPoC（概念実証）や導⼊に関わったので そこで感じたことなどを共有します 3章に分けてお話します 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 2

注意 発表内容や資料は個⼈で作成したものであり 内容や意⾒は所属企業・部⾨⾒解を代表するものではありません 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 3

第１章 1年前にリリースしたサービス サイト内検索＋ChatGPTのサービスとは 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 4

サイト内検索とは︖ 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 5 • ネットの情報を検索する • 検索プロバイダーが提供 • 企業の保有情報を検索する • 企業がサイト訪問客へ提供 ネット検索 サイト内検索

ChatGPTなら 壁を越えられそう!! サイト内検索にChatGPTを組み合わせた理由 検索の利⽤側の想い • 検索して結果⼀覧を ⾒て回るのは⾯倒でイヤ • 知りたいことだけ教えて • 役⽴つことだけ教えて 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 6 提供企業側の想い • 顧客の悩みを解決したい • 問合せ対応を削減したい • 商品を知ってもらいたい • 優秀な⼈を採⽤したい 「教えて」という 要望に対して 直接答えられる︕ 「営業マン」「相談相⼿」 「リクルーター」として 答えてくれる︕

Watson＋ChatGPTでRAG※を実現 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 7 Azure ChatGPT IBM Watson 弊社の サイト内 検索 サービス 対象Webサイト ①⾃然⽂で質問 ⓪クロールしてコンテンツ登録 ②⾃然⽂のまま検索 ③検索結果の情報 ④結果情報・答え⽅の指⽰・質問をプロンプトで⼊⼒ ⑤⽣成⽂ ⑥⽣成⽂ 利⽤者 ※Retrieval-Augmented Generation: ⼤規模⾔語モデル（LLM）でテキスト を⽣成する際に外部の情報を検索して 与えることで、LLMが知らない最新情 報やドメイン固有の知識を回答させた り、誤り（ハルシネーション）を抑え たりする仕組みです。 弊社サービスではWatson Discoveryに よる意味検索とChatGPTの⽣成機能 を組み合わせています。

イメージ 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 8 ① ② ③ ①検索条件の⼊⼒欄 ②ChatGPTの回答⽂ ③Watsonの検索結果 ※公開可能な事例ですが、この資料は営業⽬的ではないのでお客様名を伏せています。

リリースまでの紆余曲折はこちらを…… 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 9 リリースした頃の イベント登壇資料 https://speakerdeck.com/segavvy/chatgpttoibm-watsonde-saitonei-jian-suo-wojin-hua-sasetemita-zeng-bu-ban

第１章 まとめ • サイト内検索は 設置企業のコンテンツに限定した検索 • ChatGPTと連携すれば 利⽤側と提供側の壁を越えられそう︕ • Watson＋ChatGPTのRAGを2023年4⽉にリリースしてみた その結果はいかに…… 第２章に続く 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 10

ʢٳܜʣࣗݾ঺հ 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 11 ͕͑͠Β ͔ͨ͠ ߐ಄ و࢙ !TFHBWWZʢηΨϏʣ גࣜձࣾΞΠΞΫτ ਓ޻஌ೳɾίάχςΟϒιϦϡʔγϣϯ෦ ΧελϚʔαΫηε՝௕ ΋ͷͮ͘Γ΍࢓૊Έͮ͘Γ͕େ޷͖ɻ"*ͷࣾձ࣮૷ʹᬏਐதʂ

第２章 リリース１周年を迎えた今 狙いどおりだったこと・予想外だったこと 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 12

おかげさまでサイト内検索のRAGは好評 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 13 ⽬論みどおりになってくれて 起案メンバーとしては⼀安⼼ ※公開情報ですが、この資料は営業⽬的では ないのでお客様名を伏せています。 以前のサイト内検索では 運⽤に苦戦されており、 区⺠への最適な情報提供、 利便性向上、運⽤コスト 改善の解決策として ご採⽤いただきました。

社内データの活⽤に使う案件も増加中 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 14 RAGブームで 社内データの活⽤にも注⽬が集まっている模様 サポート業務において マニュアル、FAQ、過去の サポート対応のメールを 対象にPoCを⾏い、 業務活⽤の⼿応えを得て ご採⽤いただきました。 ※公開情報ですが、この資料は営業⽬的では ないのでお客様名を伏せています。

⽣成AIを使わない既存サービスも好調に 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 15 ⽣成AIを使わない従来のサイト内検索やチャットボットも好調 頻度の⾼い質問はチャット ボットに登録済みの内容を 回答し、頻度の低い未登録 の質問はサイト内検索の結 果を提⽰することで、幅広 いニーズに対応できる点を ご評価いただきました。 ※公開情報ですが、この資料は営業⽬的では ないのでお客様名を伏せています。

第２章 まとめ • おかげさまでサイト内検索のRAGは好評 • サイト内検索だけでなく 社内データの活⽤に使う案件も増加中 • 意外なことに ⽣成AIを使わない従来のサイト内検索やチャットボットも好調 PoCや導⼊作業を通じて 多くの知⾒が得られました 第３章につづく 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 16

ʢٳܜʣຊ౰ʹΘ͔Γ΍͍͢"*ೖ໳ͷ͝঺հ 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 17 • --.Λ࢖ͬͯ͸͍Δ͚Ͳ ࢓૊Έ͸Α͘Θ͔͍ͬͯͳ͍ํ • "*ͷೖ໳ॻΛങ͚ͬͨͲ ஌ࣝෆ଍Ͱ࠳ંͯ͠͠·ͬͨํ • ͓٬༷ʹ"*ΛఏҊ͍ͯ͠Δ͕ Θ͔Γ΍͘͢આ໌Ͱ͖ͣʹ ͓ࠔΓͷ"*ϕϯμʔͷํ • "*ͷಋೖΛݕ౼͍ͯ͠Δ͕ "*ϕϯμʔͷઆ໌͕Θ͔Βͣ ͓ࠔΓͷΤϯυϢʔβʔͷํ https://qiita.com/segavvy/items/9e7e4ab4b253599ac58a ࡢ೥݄ʹ։࠵ͨ͠ 4UVEZ$Pͷษڧձͷ ಺༰Λ·ͱΊ·ͨ͠ɻ ΑΖ͚͠Ε͹ͥͻʂ

第３章 この１年で得られた知⾒ いろいろあった中から６項⽬をご紹介 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 18

サイト内や企業内の情報検索がうまく実現できていない RAGの前に きちんとした情報検索の環境をつくることが⼤切 ͓٬༷ͷଟ͘͸ݕࡧʹࠔ͍ͬͯΔ 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 19 対象データ 該当データ 検索 LLM ・・・ 回答⽂ RAGは前半の検索がだめだと LLMがよくても精度は出せない

ݕࡧػೳʹ͸ௐ੔खஈ͕͔ܽͤͳ͍ ⾼精度の検索アルゴリズムが お客様環境で⾼精度とは限らない 専⾨⽤語、社内⽤語、略語、etc. 前提が省略された質問 ⽂章ではなく単語を列挙した質問 そもそもテキスト抽出できないデータ お客様のデータや使い⽅に合わせて 検索精度を改善できる必要がある さらに お客様⾃⾝で改善できるのが理想 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 20 弊社検索サービスの調整機能の⼀例︓セマンティックランカー 検索結果の並びをお客様⾃⾝が管理画⾯で調整できる。実際に 検索した結果に対して「関連あり」や「関連なし」のボタンを 押すことでランカーの教師データを作成でき、条件⽂と結果の 関連度合いを機械学習させて検索結果の並びを改善できる。 他にも同義語の登録、アノテーションの付与、条件⽂のサジェ スト、特定⽂⾔に対して指定データを強制的にトップに出す機 能などがあり、すべてお客様⾃⾝が管理画⾯で設定できる。

σʔλͷ੔උ΋Ұॹʹߟ͑Δඞཁ͕͋Δ 企業内データの利活⽤は⼤昔からの課題 データが散在している、⽂書がメンテされていない、 分類されておらず探せない、管轄が違うので修正できない、 システムの⽇本語検索機能が弱い、実はまだ紙、etc. データ整備の重要性を理解してもらい協⼒を得ることが⼤切 • データはメンテできなくても「FAQの追加」は実施できることがある • データを軽く分類するだけでも 絞り込み検索により精度を上げられる • データ整備の指標に「LLMが理解しやすい」を⼊れる先進的なお客様も 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 21

4. 答えて欲しいことはお客様によって違う RAGで⽣成AIに答えて欲しいことは何か︖ 「質問に答える」以外にも ⽬的はたくさんある ⽬的を意識したモデルの選択やプロンプトの調整が必要 • 検索結果の複数のデータから必要なものを取捨選択する • 検索結果の複数のデータを横断的に解釈して回答を⽣成する • 回答は概要程度にとどめて 図表などによる⼀⽬瞭然の資料へと誘導する • 質問に対して不⾜情報を聞き返す etc. 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 22

5. RAGの案件でもRAGが最適とは限らない • 従来のチャットボット（事前登録した回答⽂を答える）の⽅が 利⽤者が誤答に気付きやすく適している場⾯も多い • 検索に困っているお客様は ⾃然⽂で意味検索ができるだけでも⼗分なことも多い RAGは⽬的ではなく単なる⼿段 • RAGが候補になる案件では 従来のチャットボットや意味検索も候補になることが多い • 弊社では従来のチャットボットで前捌きをしつつ 回答できなかったものを意味検索やRAGで答える形も好評 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 23

6. 利⽤者の期待と現実を踏まえたUIが必要 競合はチャットUIばかりだったが 検索UIとしてリリース AIビジネスに⻑けたCTOの⼀⾔で検索UIとしてリリースしたらいい感じに 現在の検索やLLMの性能では まだ検索UIの⽅が⽬的達成しやすい • 現在のRAG案件の⼤半は答えの獲得が⽬的で 会話が⽬的のものは少ない • チャットUIの誤答は顧客体験を⼤きく損なうが 検索UIは⽬検が前提で寛容 検索UIは間違いが許容されるので チャットUIより適合率への期待が低い 検索UIは情報の列挙が許容されるので チャットUIよりも再現率が上がる • 検索UIは質問よりも回答を探すための条件⼊⼒が多い ⽬的のデータには主に「回答」が書いてあり「質問」は書いていない 「質問」よりも「回答」を探す条件の⽅が精度が出る 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 24

第３章 まとめ ͓٬༷ͷଟ͘͸ݕࡧʹࠔ͍ͬͯΔ ݕࡧػೳʹ͸ௐ੔खஈ͕͔ܽͤͳ͍ σʔλͷ੔උ΋Ұॹʹߟ͑Δඞཁ͕͋Δ 4. 答えて欲しいことはお客様によって違う 5. RAGの案件でもRAGが最適とは限らない 6. 利⽤者の期待と現実を踏まえたUIが必要 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 25 あくまでも 私がこの1年のPoCや 導⼊で関わった 数⼗社のお客様から 感じた内容です

おわりに RAGのサービスをリリースして 1年で得られた知⾒の共有でした 私のお話の中に 何か⼀つでも みなさんの参考になることがあれば幸いです。 貴重なお時間をいただき ありがとうございました︕ 🄫2024 segavvy 2024/05/30 ChatGPT Meetup Tokyo #7 26