サービスでLLMを採⽤したばっかりに 振り回され続けたこの⼀年のあれやこれや LLMと戦い続けたこの⼀年の振り返り 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 @segavvy ※個⼈で作成したものであり、内容や意⾒は所属企業・部⾨⾒解を代表するものではありません。

はじめに サイト内検索とChatGPTを組み合わせたRAGのサービスを リリースして1年半が経ちました 今回は変化の早いLLMを商⽤サービスに採⽤したことで 起きたいろいろを共有します 3章に分けてお話します 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 2

注意 発表内容や資料は個⼈で作成したものであり 内容や意⾒は所属企業・部⾨⾒解を代表するものではありません 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 3

第１章 対象サービスの概要 2023年4⽉にサイト内検索＋ChatGPTでRAGを実現したサービスをリリース 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 4

サイト内検索＋ChatGPTのRAGサービス 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 5 サイト内検索 企業がサイト訪問客へ 提供する検索機能 ChatGPT 質問を理解して 回答⽂を⽣成 弊社サービス サイトの 掲載情報に基づいて 質問に回答してくれる 検索サービス 2023年4⽉にリリース

イメージ 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 6 ① ② ③ ①検索条件の⼊⼒欄 ②ChatGPTの回答⽂ ③検索結果の⼀覧 ※公開可能な事例ですが、この資料は営業⽬的ではないのでお客様名を伏せています。

🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 7 サービスの仕組み（準備） お客様の管理者 弊社サービス Watson Discovery AOAI ChatGPT 対象Webサイト ①対象Webページ・ファイルの内容を取得 ②取得内容の整形、除外、分割、除去、etc. ③登録 クロール 必要に応じた調整 ①同義語登録、ランカー学習、アノテーション付与、etc. ①Webスクレイピングです。 対象サイトのリンクを芋づる 的にたどったりサイトマップ を利⽤したりすることで対象 サイトのページ・ファイルの 内容を取得します。 ②グロナビの除去、⽬ 次のようなページの除 外、PDFのページ分割、 タイトル中の定型⽂⾔ 除去、内容の重複除去 などにより整形します。 ③Watson Discoveryへ 登録します。Discovery はRAGにおける外部情 報DBの位置付けです。 調整機能はDiscoveryの機能と独⾃機能の組み合わ せです。お客様の管理者は、必要に応じて同義語 登録、セマンティックランカーの学習、アノテー ション付与などによるチューニングができます。

🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 8 サービスの仕組み（検索・質問） エンドユーザー 弊社サービス Watson Discovery AOAI ChatGPT 対象Webサイト 検索・質問 ①⼊⼒⽂で検索 結果情報 ②回答⽂の⽣成（結果情報、プロンプト） 回答⽂ ③必要に応じて該当ページ・ファイルを閲覧 回答⽂ ①よくあるRAGの形ですが、Discoveryの⾃然⽂検 索機能を利⽤することでLLMによるクエリー⽣成を 省き⾼速化しています。結果情報の抽出にも Discoveryの該当センテンスを抽出する機能を利⽤ することなどで、⼊⼒トークン数を削減しています。 ②回答⽂の⽣成はAzure OpenAIのLLMで実⾏して います。お客様のデータや 要件に応じて、プロンプト、 モデル、トークン数などを 調整しています。 ③⽣成⽂や検索結果内のリンクがクリックされたら実際のページを表⽰します。

国内のデータセンターを利⽤ • データを国内から出せない⽇本企業はまだまだ多い • Microsoft Azure OpenAIのLLMを使うことで 国内のデータセンターに限定したサービスを提供 • サイト内検索に留まらず 社内データの活⽤事例が増加 ⾃社製品のマニュアルやFAQ、顧客対応履歴に基づく顧客対応の⾃動化 社内規定や規約に関する社内問い合わせの⾃動化 過去の製品企画資料や不具合調査レポートに基づく製品企画⽀援 etc. 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 9

第１章 まとめ • サイト内検索とChatGPTを組み合わせたRAGのサービスを 2023年4⽉にリリース • ⽇本のデータセンターに限定したこともあり サイト内検索だけでなく社内データの活⽤にも好評 ビジネスは順調だったが 中は⼤変だった…… 第２章に続く 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 10

ʢٳܜʣࣗݾ঺հ 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 11 ͕͑͠Β ͔ͨ͠ ߐ಄ و࢙ !TFHBWWZʢηΨϏʣ גࣜձࣾΞΠΞΫτ ਓ޻஌ೳɾίάχςΟϒιϦϡʔγϣϯ෦ ΧελϚʔαΫηε՝ ՝௕ ΋ͷͮ͘Γ΍࢓૊Έͮ͘Γ͕େ޷͖ɻ"*ͷࣾձ࣮૷ʹᬏਐதʂ

第２章 LLMの採⽤で起きたこと いろいろあった中から5つ共有します 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 12

1. 国内リージョンのクォータがカツカツ • RAGはトークン消費が激しく 売れれば売れるほどAzure OpenAIの レート制限が気になる事態に • レート制限緩和（クォータ増加）の 申請は国内だとなかなか通らない GPT 3.5-Turboは通って少し拡⼤できた GPT-4は却下され続けてあきらめた 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 13

1. 国内リージョンのクォータがカツカツ • リソースを事前予約するプロビジョニング済みデプロイ（PTU）の 契約が2024年8⽉に⼀般利⽤可能になったが 弊社サービスは安価な提供のためにコストが⾒合わず 標準デプロイの利⽤を継続せざるを得ない • 不⾜に備えてサブスクリプションを 追加契約済みだが 管理が煩雑になるのが悩み 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 14

2. 国内モデルの終了⽇がわからない 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 15 • GPT-3.5 Turbo(0613)/GPT-4(0613)の後継モデルが国内になく※ モデルの提供終了⽇だけが迫って胃が痛い⽇々 ※前述のPTUでは使えるのだが 標準デプロイのモデルが当時はなかった • 繰り返される0613モデルの提供終了⽇の変更 Azure OpenAPIのGPT-3.5 Turbo(0613)の場合 変更履歴 提供終了⽇ 備考 当初の発表 2024年6⽉13⽇ 当初は1年間で後継に切り替わる予定だった 2024年4⽉に変更 2024年8⽉1⽇に延期 「最も早い場合の終了⽇」として発表 2024年8⽉に変更 2024年11⽉1⽇に延期 2024年9⽉に変更 2025年1⽉27⽇に延期 ここでやっと後継の0125が国内で利⽤可能に︕ 2024年11⽉に変更 2025年2⽉13⽇に延期 ←イマココ

2. 国内モデルの終了⽇がわからない 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 16 • 8⽉に「GPT-3.5 Turbo 終了」という記事※が拡散され お客様を不安にさせてしまう事態に ※ https://xtech.nikkei.com/atcl/nxt/column/18/00001/09626/ • OpenAI社とAzureとで 終了⽇が違うことも 混乱に拍⾞を • お客様への影響も考え 弊社サービスの仕様変更を決定 データ保管は国内だがLLMの推論処理は国内に限定しない形へ

3. 国内に限定しない形へと仕様変更 • Azure OpenAIの標準デプロイからグローバル標準※へ変更 ※ログ保管は国内だが 推論処理だけはグローバルに分散する⽅式 • 契約中のお客様へ個別に説明を実施して セキュリティ要件を満たせるかどうかを確認 サイト内検索で利⽤される場合は 公開データなのでほぼ抵抗なし 社内データで利⽤されるお客様は 検討に時間を要することも • 満たせないお客様は個別対応 後継モデルを国内の標準デプロイで利⽤ 場合によってはPTU利⽤を前提に費⽤⾯含めて再調整 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 17

4. モデル変わるとプロンプト調整⼤変 • 弊社サービスはお客様に内部のプロンプトを触らせない⽅針 テクニックはすぐ陳腐化するので お客様に習得を負担させないポリシー • 上位・後継モデルならまんまでOKじゃない︖とはいかず 賢いモデルには賢いモデル⽤のプロンプトが必要 後継モデルでも互換はなく正答していたものが誤答したり逆があったり 切り替え時に調整を実施しているが お客様ごとなので⼿間がかかる • RAGにおける外部情報の検索は独⽴させていたので助かった 情報検索までモデル変更が影響していたら とても⼿が回らなかった 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 18

5. コンテンツフィルターが時々じゃま • Azure OpenAIのコンテンツフィルターは超便利︕ 4カテゴリ（ヘイトと公平性、性的、暴⼒、⾃傷⾏為）に対し ⼊出⼒の内容をチェックして怪しいものを⾃動でブロック︕ プロンプト攻撃も⾃動でブロック︕ ⾃⼒でやっていた対策が不要になり精度改善にも貢献 • ただし時々じゃましてくる カテゴリごとに3段階設定できるのでお客様の状況に合わせて調整 この機能はオプトアウトできるが 申請の要件が利⽤⽅法によっては⾼め 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 19

第２章 まとめ 1. 国内リージョンのクォータがカツカツ 2. 国内モデルの終了⽇がわからない 3. 国内に限定しない形へと仕様変更 4. モデル変わるとプロンプト調整⼤変 5. コンテンツフィルターが時々じゃま いろいろあって⼤変でしたが もちろん良かったことも 第３章につづく 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 20

🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 21 ೥݄ʹ։࠵͞Εͨ "[VSF0QFO"* %FW%BZͰ͸ 3"(ͷαʔϏεఏڙʹΑΓ ಘΒΕͨ஌ݟΛ ·ͱΊ͍ͯ·͢ɻ ͝ڵຯ͕͋Γ·ͨ͠Βͥͻʂ ʢٳܜʣ͖ͪΜͱͨ͠࿩͸ͪ͜ΒΛ

第３章 LLMを採⽤してよかったこと よかったことからも3つ 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 22

1. LLMの進化が⾃社サービスの進化になる • 扱えるトークン数が爆増してRAGの精度が⼤きくあがった︕ 検索の該当箇所だけでなく周辺も含めた情報が渡せる 検索結果の中から渡せる件数も増やせる etc. • トークナイザの改良で⽇本語の精度も改善︕ 当初は1⽂字が複数トークンになったりと⽇本語の扱いはひどかった…… • 性能が上がったのにコストが下げられた︕ トークン単価が下がり お客様への提供コストも下げられた 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 23

2. 商談が発想のきっかけになる • LLMが絡むとお客様の相談範囲が広くなる たとえば検索サービスとしての商談では検索に関する話に留まりがち LLMが絡むと「こんなことができないか︖」という⾶躍が多い • PoC案件が増える お客様のニーズの理解が進む いろいろなことが実データで試せる ⾃然に次のサービス展開のヒントやアイデアが集まってくる 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 24

3. キャッチアップが習慣化する • LLMまわりはここ2年間くらいワクワクしっぱなし • おかげでキャッチアップが習慣化した キャッチアップしないとお客様とも話ができないので半強制かも︖ • コミュニティはキャッチアップに最適 参加したりLT登壇したり呑んだりで いろんな情報が⼊ってくる 最近多忙で先⽇のOpenAIの発表すら追えていないので 今⽇のMeetupで拾いにきました 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 25

第３章 まとめ 1. LLMの進化が⾃社サービスの進化になる 2. 商談が発想のきっかけになる 3. キャッチアップが習慣化する いろいろ振り回されるけど LLMいいですね 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 26

おわりに 変化の早いLLMを商⽤サービスに採⽤したことで 起きたことの共有でした 何か⼀つでも参考になることがあれば幸いです 貴重なお時間をいただき ありがとうございました︕ 🄫2024 segavvy 2024/12/19 ChatGPT Meetup Tokyo #9 27