ChatGPTとIBM Watsonで サイト内検索を進化させてみた ⾃社サービスをChatGPTと連携してリリースまで漕ぎ着けたお話 !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 1 @segavvy ※個⼈で作成したものであり、内容や意⾒は所属企業・部⾨⾒解を代表するものではありません。

はじめに IBM Watson Discoveryによるサイト内検索サービスと ChatGPTを連携させてみたらいい感じだったので、 リリースまでにやってみたことを共有します 3 章に分けて お話します !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 2

第１章 サイト内検索の現状 ネット検索との違いと検索の壁 !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 3

ネット検索とサイト内検索の違い !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 4 • ネットの情報を検索 • 検索プロバイダーが提供 • 企業の保有情報を検索 • 企業がサイト訪問客へ提供 ネット検索 サイト内検索

検索に求められるものの違い !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 5 • コンテンツ作成者は 検索されるように⾃分で⼯夫 • 検索結果に並べてもらうため お⾦を払って広告出稿 検索は雲の上の存在 嫌われたら困る • 企業はうまく検索されるよう 検索サービスへ要求 • 検索結果が好みで並ぶように 検索サービスへ要求 検索側に要求し放題 ダメなら他へ乗り換え ネット検索 サイト内検索

サイト内検索が越えられなかった壁 検索の利⽤側の想い • 知りたいことだけ教えて • 役⽴つことだけ教えて • 検索結果の⼀覧を ⾒て回るのは⾯倒でイヤ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 6 提供企業側の想い • 顧客の悩みを解決したい • 製品やサービスを ぜひ知ってもらいたい • 購⼊してもらいたい 検索でできること 検索結果の⼀覧表⽰、選ばれた結果の内容表⽰、条件の⼊⼒⽀援程度 両者の想いをつなげられていない

第１章 まとめ • サイト内検索は、設置企業のコンテンツに限定した検索 • ネット検索と異なり、提供企業側の要求に応える必要がある • これまでの検索には、利⽤側と提供側の壁がある でも、ChatGPTをフロントにしたら壁を越えられそう︕ 第２章に続く !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 7

（休憩）⾃⼰紹介 えがしら たかし 江頭 貴史 @segavvy（セガビ） 株式会社アイアクト ⼈⼯知能・コグニティブソリューション部 カスタマーサクセスチーム リーダー兼テクニカルディレクター ものづくりや仕組みづくりが⼤好き。 AIの社会実装に邁進中︕ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 8

第２章 ChatGPTでやってみた ChatGPTとWatson Discoveryの連携 !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 9

連携の流れ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 10 ChatGPT Watson Discovery サイト内 検索 サービス 対象Webサイト ①⾃然⽂で質問 ⓪クロールしてコンテンツ登録 ②⾃然⽂のまま検索 ③検索結果の情報 ④結果情報と答え⽅の指⽰と質問をプロンプトで⼊⼒ ⑤応答⽂ ⑥応答⽂ 利⽤者

Watson Discoveryの概要と役割 IBM Watson Discoveryとは AI搭載のインテリジェントな検索とテキスト分析のプラットフォームです。データのサイ ロを解消し、データ内の埋もれた情報を取得します。 このプラットフォームは、⾃然⾔語 処理を使⽤して、⽂書、Webページ、ビッグデータから有意義な洞察を明らかにします。 （公式サイト https://www.ibm.com/jp-ja/cloud/watson-discovery より抜粋） 今回のDiscoveryの役割 • 対象のWebサイトから収集したデータ（HTML、PDFなど）を登録し、 それに対する⾃然⽂条件の検索エンジンとして活⽤ • ChatGPTが知らない最新情報や対象企業の固有情報を補う !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 11

ChatGPTの役割 今回のChatGPTの役割 • Watson Discoveryから得られた検索結果のTop nから、 質問にマッチする情報を選別し組み合わせて応答⽂を作成 • その際にコンテンツ提供側の狙いも伝えて作⽂ 「営業マンとしてお客様へ回答して」 「業界知識のない⽅にもわかるように答えて」 「わからないことは問い合わせへ誘導して」 etc. ※いずれもイメージであり、プロンプトそのものではありません !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 12

やってみたらいい感じ︕ 【質問】 Cogmo Searchはどんなことができるか !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 13 【回答】 アイアクトホームページによると、Cogmo Searchは、HTML⽂書の検索精度向上や、マニュアルなどのファイ ル検索を得意とし、サイトにあるHTMLやPDFファイルを対象にしています（*1）。また、⾃然⽂での検索がで き、検索順位を最適化する学習機能を持っています（*2）。さらに、横断検索してすべてまとめて検索すること も、各サイト毎に検索することも可能です（*3）。また、IBM Watsonのチャットボット『Cogmo Attend』と 連携して、チャットボットの会話の中に検索結果を表⽰することができます（*1）。 -------------------- *1:『Cogmo Search（コグモサーチ）』 IBM WatsonでAI時代のサイト内・ファイル検索を (https://www.iact.co.jp/products/cogmo_search.html?cogmo_context_search=search) *2:AI⽂書検索のIBM Watson DiscoveryとCogmo Searchの導⼊事例と活⽤⽅法 ｜ 『Cogmo Blog(コグモ・ブログ）』〜企 業のAI導⼊・運⽤を⾏う中の⼈のホンネ〜(https://cogmo.iact.co.jp/blog/watsondiscovery_solution) *3:AI検索とは︖ サイト内検索としての活⽤について ｜ 『Cogmo Blog(コグモ・ブログ）』〜企業のAI導⼊・運⽤を⾏う中の ⼈のホンネ〜(https://cogmo.iact.co.jp/blog/ai-search?hsLang=ja-jp) 弊社サイトの情報を使って 弊社商品の質問をしてみた例 ※研究中のものでリリース版とは異なります

第２章 まとめ • 今回やったのは、ChatGPTで情報検索する際に⼀般的な 「embedding＆ベクトル検索」の部分のDiscoveryへの丸投げ • Discoveryの検索とChatGPTの⽂章⽣成の組み合わせで、 利⽤側の「知りたいことだけ教えて」と 企業側の「知ってもらいたい」の間の壁を越えられそう︕ しかし、リリースまでには新たな壁が…… 第３章につづく !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 14

（休憩）今回リリースしたサービス 今回リリースした ChatGPT＋Discoveryの 検索サービスのご案内です。 よろしければぜひ︕ https://cogmo.iact.co.jp/news/20230427 !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 15

第３章 リリースまでの壁 いろいろあった中から、UI・品質・セキュリティの3つをご紹介 !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 16

UIはどうする︖ UIはどうするのか︖ • どの企業サイトも 右上に検索窓があるのが当たり前 • ChatGPTやBing、Bardのような チャットボットでの検索に 利⽤者がすぐに慣れるのか︖ • サイト内検索を置き換えるのか︖共存するのか︖ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 17

UIはこうした 最初のリリースでは 従来のサイト内検索を 補完する形にした 左が検索結果リストで、 右にChatGPTによる 応答を補⾜として表⽰ ※画⾯は開発中のものです。 ご導⼊先に合わせて調整できます。 !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 18

品質はどうする︖（検索精度） サイト内検索における情報提供側の要望 • この条件ではこのページを上位に出して︕こっちは下げて︕ • ページ数が多いカタログ・マニュアルは該当ページを出して︕ • 専⾨⽤語や弊社独⾃の略語も考慮して︕ • 画像メインのページもちゃんと検索して︕ etc… !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 19

品質はこうした（検索精度） 検索品質の対応 • Discoveryの関連性トレーニングで条件⽂とページの関連性を 学習させて、提供側の狙う検索結果の並びにチューニング • マニュアルなどはページ分割して登録しピンポイントで提⽰ • 独⾃の⽤語や略語は辞書機能で同⼀視 • クローラーの収集データにアノテーションして ページにない⽂⾔などでも検索可能に etc… !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 20

品質はどうする︖（応答精度） ⽣成⽂の品質の課題 • ChatGPTの限られたトークンサイズの中で 適切な情報を渡せるのか︖ • ウソを答えてしまう（hallucination）対策は どうするのか︖ • 応答が変動してしまうと チューニングが⼤変になるのでは︖ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 21

品質はこうした（応答精度） ChatGPTへ適切な情報を渡すための対策 • ⼿前の適切な検索（＝前述の検索精度の対応） • 渡すデータの件数と1件当たりのサイズのバランス調整 ウソと変動の対策 • 提供情報に基づく回答のみを指⽰＆引⽤元の提⽰を指⽰ • ⼀貫性を⾼めるパラメーター調整（temperature、top_p） • 注意書き（AIで⽣成されているため誤りを含む可能性があります） !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 22

品質はこうした（全体） 検索精度や応答精度に満点はない • 利⽤者が⼊⼒する条件も検索対象のコンテンツも変動する • ChatGPTもWatsonもどんどん精度が上がり結果が変わる 定期的な精度把握とチューニングのサイクルが重要 • ログ管理機能やテスト条件セットによる⾃動テスト機能の搭載 • チューニングの伴⾛⽀援や⼀括請負サービスをラインナップ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 23

セキュリティはどうする︖ セキュリティ要件の厳しいお客様 • データが他の⽤途で使われるのはNG • データセンターの所在地が明確でないと契約できない • 2箇所以上に分散したい • ⽇本の法律を準拠法にして etc. !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 24

セキュリティはこうした セキュリティ要件の対応 • データは他の⽤途では使われないのでOK • 2023年4⽉時点のOpenAIの提供サービスでは、 データセンターの場所の指定や複数配置はできない • 同様に⽇本の法律を準拠法にできない（模様） Microsoft Azure OpenAI Servicesを採⽤してクリア︕ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 25

第３章 まとめ UIも品質もセキュリティもどんどん変わる • 変わることを前提とした商品企画 • 変わることを前提とした利⽤技術の選定や依存度合いの検討 品質に満点はない • 変わることを前提に精度確認や調整のための機能を提供 • 精度維持のための運⽤⽀援や運⽤請負サービスのラインナップ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 26

おわりに ChatGPTとIBM Watsonを連携させたサービスについて ご紹介いたしました。 私のお話の中に何か⼀つでも みなさんの参考になることがあれば幸いです。 貴重なお時間をいただき、ありがとうございました︕ !2023 segavvy 2023/04/28 ChatGPT Meetup Tokyo #0 27