ChatGPTとIBM Watsonで サイト内検索を進化させてみた ChatGPTを商⽤サービスに組み込んでみたお話 !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 1 @segavvy 増補版 ※個⼈で作成したものであり、内容や意⾒は所属企業・部⾨⾒解を代表するものではありません。

はじめに IBM Watson Discoveryによるサイト内検索サービスと ChatGPTを連携させてみたらいい感じだったので、 やってみたことや思ったことを共有します 3 章に分けて お話します !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 2

第１章 サイト内検索の現状 ネット検索との違いと検索の壁 !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 3

ネット検索とサイト内検索の違い !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 4 • ネットの情報を検索 • 検索プロバイダーが提供 • 企業の保有情報を検索 • 企業がサイト訪問客へ提供 ネット検索 サイト内検索

検索に求められるものの違い !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 5 • コンテンツ作成者は 検索されるように⾃分で⼯夫 • 検索結果に並べてもらうため お⾦を払って広告出稿 検索は雲の上の存在 嫌われたら困る • 企業はうまく検索されるよう 検索サービスへ要求 • 検索結果が好みで並ぶように 検索サービスへ要求 検索側に要求し放題 ダメなら他へ乗り換え ネット検索 サイト内検索

サイト内検索が越えられなかった壁 検索の利⽤側の想い • 知りたいことだけ教えて • 役⽴つことだけ教えて • 検索結果の⼀覧を ⾒て回るのは⾯倒でイヤ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 6 提供企業側の想い • 顧客の悩みを解決したい • 問合せ対応を削減したい • 商品を知ってもらいたい • 優秀な⼈を採⽤したい 検索ができること ⼊⼒条件に対する検索結果の⼀覧表⽰、条件の⼊⼒⽀援 両者の想いをつなげられていない

ChatGPTなら 壁を越えられそう!! サイト内検索が越えられなかった壁 検索の利⽤側の想い • 知りたいことだけ教えて • 役⽴つことだけ教えて • 検索結果の⼀覧を ⾒て回るのは⾯倒でイヤ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 7 提供企業側の想い • 顧客の悩みを解決したい • 問合せ対応を削減したい • 商品を知ってもらいたい • 優秀な⼈を採⽤したい 「教えて」という 要望に対して 直接答えられる︕ 「営業マン」「相談窓⼝」 「リクルーター」として 答えてくれる︕

第１章 まとめ • サイト内検索は、設置企業のコンテンツに限定した検索 • ネット検索と異なり、提供企業側の要求に応える必要がある • これまでの検索には、利⽤側と提供側の壁がある でも、ChatGPTを使ったら壁を越えられそう︕ 第２章に続く !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 8

「誰でもわかる AI ⼊⾨」 AI の⽣い⽴ちから ChatGPT や Stable Diffusion の 仕組みまで、なる べく専⾨⽤語を 使わずにご説明 しています。よろしければぜひ︕ https://segavvy.hatenablog.com/entry/2023/04/01/134729 （休憩）遊ぶ前におもちゃを理解しよう︕ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 9 今回のおもちゃはすごい︕ でも決して万能ではなく 苦⼿なこともあります。 仕組みをざっくり把握して 既存のおもちゃと組み合わせて 良いところ取りするのが お勧めです︕

第２章 ChatGPTでやってみた ChatGPTとWatson Discoveryの連携 !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 10

そもそもChatGTPで検索できるのか︖ 1. ChatGPTはカットオフ以降の最新情報を知らない 2. ChatGPTはお客様の⾮公開情報も知らない 3. ChatGPTはお客様のマニアックなドメイン知識も知らない 4. 現在の技術ではファインチューニングで教えるのは⼤変すぎる 5. そもそもChatGPTの仕組み上、単純な検索には不向き 6. ChatGTPに検索させるのはあきらめて、 受け答えと情報の取捨選択と要約をメインにやらせてみよう︕ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 11

連携の流れ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 12 ChatGPT Watson Discovery サイト内 検索 サービス 対象Webサイト ①⾃然⽂で質問 ⓪クロールしてコンテンツ登録 ②⾃然⽂のまま検索 ③検索結果の情報 ④結果情報と答え⽅の指⽰と質問をプロンプトで⼊⼒ ⑤応答⽂ ⑥応答⽂ 利⽤者

Watson Discoveryの概要と役割 IBM Watson Discoveryとは AI搭載のインテリジェントな検索とテキスト分析のプラットフォームです。データのサイ ロを解消し、データ内の埋もれた情報を取得します。 このプラットフォームは、⾃然⾔語 処理を使⽤して、⽂書、Webページ、ビッグデータから有意義な洞察を明らかにします。 （公式サイト https://www.ibm.com/jp-ja/cloud/watson-discovery より抜粋） 今回のDiscoveryの役割 • 対象のWebサイトから収集したデータ（HTML、PDFなど）を登録し、 それに対する⾃然⽂条件の検索エンジンとして活⽤ • ChatGPTが知らない最新情報や対象企業の固有情報を補う !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 13

ChatGPTの役割 今回のChatGPTの役割 • Watson Discoveryから得られた検索結果のTop nから、 質問にマッチする情報を選別し組み合わせて応答⽂を作成 • その際にコンテンツ提供側の狙いも伝えて作⽂ 「営業マンとしてお客様へ回答して」 「業界知識のない⽅にもわかるように答えて」 「わからないことは問い合わせへ誘導して」 etc. ※いずれもイメージであり、プロンプトそのものではありません !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 14

やってみたらいい感じ︕ 【質問】 Cogmo Searchはどんなことができるか !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 15 【回答】 アイアクトホームページによると、Cogmo Searchは、HTML⽂書の検索精度向上や、マニュアルなどのファイ ル検索を得意とし、サイトにあるHTMLやPDFファイルを対象にしています（*1）。また、⾃然⽂での検索がで き、検索順位を最適化する学習機能を持っています（*2）。さらに、横断検索してすべてまとめて検索すること も、各サイト毎に検索することも可能です（*3）。また、IBM Watsonのチャットボット『Cogmo Attend』と 連携して、チャットボットの会話の中に検索結果を表⽰することができます（*1）。 -------------------- *1:『Cogmo Search（コグモサーチ）』 IBM WatsonでAI時代のサイト内・ファイル検索を (https://www.iact.co.jp/products/cogmo_search.html?cogmo_context_search=search) *2:AI⽂書検索のIBM Watson DiscoveryとCogmo Searchの導⼊事例と活⽤⽅法 ｜ 『Cogmo Blog(コグモ・ブログ）』〜企 業のAI導⼊・運⽤を⾏う中の⼈のホンネ〜(https://cogmo.iact.co.jp/blog/watsondiscovery_solution) *3:AI検索とは︖ サイト内検索としての活⽤について ｜ 『Cogmo Blog(コグモ・ブログ）』〜企業のAI導⼊・運⽤を⾏う中の ⼈のホンネ〜(https://cogmo.iact.co.jp/blog/ai-search?hsLang=ja-jp) 弊社サイトの情報を使って 弊社商品の質問をしてみた例 ※研究中のものでリリース版とは異なります

第２章 まとめ • 今回やったのは、ChatGPTで情報検索する際に最近流⾏りの 「embedding＆ベクトル検索」の部分のDiscoveryへの丸投げ • Discoveryの検索とChatGPTの⽂章⽣成の組み合わせで、 利⽤者側の「知りたい」と、企業側の「悩みに答えたい」 「知って欲しい」「採⽤したい」etc. の壁を越えられそう︕ しかし、リリースまでには新たな壁が…… 第３章につづく !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 16

（休憩）ちょっとだけ宣伝 今回のサービスについて、IBM Championの弊社CTOが語ります ご興味がありましたらぜひ︕ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 17 2023年6⽉8⽇（⽊） 11:00〜11:30 オンライン開催（Zoom） https://cogmo.iact.co.jp/event/20230608

第３章 リリースまでの壁 いろいろあった中からいくつかご紹介 !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 18

作っただけではリリースできない リリースに向けて⽴ちはだかった主な壁を3つご紹介します 1. UIはどうするのか 2. 品質はどうするのか 3. セキュリティはどうするのか !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 19

1. UIはどうする︖ UIはどうするのか︖ • どの企業サイトも 右上に検索窓があるのが当たり前 • ChatGPTやBing、Bardのような チャットボットでの検索に 利⽤者がすぐに慣れるのか︖ • サイト内検索を置き換えるのか︖共存するのか︖ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 20

1. UIの対応 最初のリリースでは 従来のサイト内検索を 補完する形にした 左が検索結果リストで、 右にChatGPTによる 応答を補⾜として表⽰ ※画⾯は開発中のものです。 ご導⼊先に合わせて調整できます。 !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 21

2. 品質はどうする︖ 品質⾯では⼤きく３つの課題がありました ① 検索の精度 ② 応答⽂の精度 ③ 精度の維持 !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 22

2. 品質はどうする︖ サイト内検索における情報提供側の要望 • この条件ではこのページを上位に出して︕こっちは下げて︕ • ページ数が多いカタログ・マニュアルは該当ページを出して︕ • 専⾨⽤語や弊社独⾃の略語も考慮して︕ • 画像メインのページもちゃんと検索して︕ etc… !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 23 ①検索の精度

2. 品質の対応 検索品質の対応 • Discoveryの関連性トレーニングで条件⽂とページの関連性を 学習させて、提供側の狙う検索結果の並びにチューニング • マニュアルなどはページ分割して登録しピンポイントで提⽰ • 独⾃の⽤語や略語は辞書機能で同⼀視 • クローラーの収集データにアノテーションして ページにない⽂⾔などでも検索可能に etc… !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 24 ①検索の精度

2. 品質はどうする︖ ⽣成⽂の品質の課題 • ChatGPTの限られたトークンサイズの中で 適切な情報を渡せるのか︖ • ウソを答えてしまう（hallucination）対策は どうするのか︖ • 応答が変動してしまうと チューニングが⼤変になるのでは︖ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 25 ②応答の精度

2. 品質の対応 ChatGPTへ適切な情報を渡すための対策 • ⼿前の適切な検索（＝前述の検索精度の対応） • 渡すデータの件数と1件当たりのサイズのバランス調整 ウソと変動の対策 • 提供情報に基づく回答のみを指⽰＆引⽤元の提⽰を指⽰ • ⼀貫性を⾼めるパラメーター調整（temperature、top_p） • 注意書き（AIで⽣成されているため誤りを含む可能性があります） !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 26 ②応答の精度

2. 品質の対応 検索精度や応答精度に満点はない • 利⽤者が⼊⼒する条件も検索対象のコンテンツも変動する • ChatGPTもWatsonもどんどん精度が上がり結果が変わる 定期的な精度把握とチューニングのサイクルが重要 • ログ管理機能やテスト条件セットによる⾃動テスト機能の搭載 • チューニングの伴⾛⽀援や⼀括請負サービスをラインナップ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 27 ③精度の維持

3. セキュリティはどうする︖ セキュリティ要件の厳しいお客様 • データが他の⽤途で使われるのはNG • データセンターの所在地が明確でないと契約できない • 2箇所以上に分散したい • ⽇本の法律を準拠法にして etc. !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 28

3. セキュリティの対応 セキュリティ要件の対応 • データは他の⽤途では使われないのでOK • 2023年5⽉時点のOpenAIの提供サービスでは、 データセンターの場所の指定や複数配置はできない • 同様に⽇本の法律を準拠法にできない（模様） Microsoft Azure OpenAI Servicesを採⽤してクリア︕ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 29

第３章 まとめ UIも品質もセキュリティもどんどん変わる • UIが変わることを前提とした商品企画 • 品質が変わることを前提に精度確認や調整のための機能提供と 精度維持のための運⽤⽀援や運⽤請負サービスのラインナップ • セキュリティ要件が変わることを前提とした 利⽤技術や利⽤サービスの選定、依存度合いの検討 !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 30

おわりに ChatGPTとIBM Watsonを連携させたサービスについて ご紹介いたしました。 私のお話の中に何か⼀つでも みなさんの参考になることがあれば幸いです。 貴重なお時間をいただき、ありがとうございました︕ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 31