Upgrade to Pro — share decks privately, control downloads, hide ads and more …

オンプレや閉域網のデータを活用したChatGPTベースのチャットシステムの構築方法

hccjp
December 04, 2023

 オンプレや閉域網のデータを活用したChatGPTベースのチャットシステムの構築方法

自社オンプレ環境のファイルをAzure Cognitive Searchに取り込み、RAG(Retrieval Augmented Generation)を利用することで、ハルシネーションの少ない回答を実現したChatGPTによるチャットシステムの構築方法について説明します。

hccjp

December 04, 2023
Tweet

More Decks by hccjp

Other Decks in Technology

Transcript

  1. 3 3 プロフィール 上田 英治 (ウエダ エイジ) • 日本ビジネスシステムズ株式会社 ビジネスソリューション事業本部

    先端技術部 AIソリューショングループ シニアエキスパート 【参画プロジェクト】 • セガサミーホールディングス株式会社様 :生成 AI 活用環境を Azure OpenAI Service をベースに構築しAI チャットボットを展開。アーキテクト設計や構築の全体を担当。 https://www.jbs.co.jp/case/azureopenai_segasammy • 一橋大学ICS様 :「非言語」コミュニケーションを分析、無意識を可視化。アーキテクト設計や構築の全体を担当。 htttps://customers.microsoft.com/ja-jp/story/843932-hitotsubashi-education-microsoft365-jp-Japan 【技術ブログ】 • JBSの技術ブログでAIやOpenAIの記事を執筆中 https://blog.jbs.co.jp/archive/author/jbs_eueda
  2. 5 5 ニューストピック 2022.11 2023.1 2023.3 OpenAI社が ChatGPTを公開 Microsoft社が AzureでGPTモデ

    ルを一般提供 AzureでChatGPTモデル (GPT-35Turbo)を一 般提供およびGPT-4モデル をプレビュー提供 2023.7 Azureの東日本 リージョンでAzure OpenAI Service 提供 Azureの東日本 リージョンで AzureOpenAISe rviceGPT-4提供 2023.8 Azure OpenAI on your dataをプ レビュー提供 2023.10 AzureでGPT- 3.5-turboの Fine-tuningを提 供 2023.11 AzureでGPT-4- turboをプレビュー 提供 2023.12 AzureでGPT-4- turbo With Vision提供予定 AzureでGPT-4の Fine-tuning提供 予定 2024.1Q
  3. 8 8  RAG(Retrieval Augmented Generation) 直訳すると検索拡張生成。入力プロンプトのキーワードやベクトルからDB を検索して入力プロンプトの回答を生成する。  Azure

    OpenAI Service On Your Data 基本的な仕組みはRAGだが、Azure OpenAI ServiceのAPIにAI Searchの検索やクエリのベクトル化などが含まれていてRAGに必要なプ ロンプトを書く必要がない アプローチの比較  Fine-Tuning 事前にモデルに自社のデータを学習させる。レスポ ンスは良いがコストがかかる WebApps Azure OpenAI AI Search データを参照して回答を生成する モデルに学習させる WebApps Azure OpenAI 関連文章を 検索 検索した文 章から回答 生成 事前に学習させる 関連データ
  4. 9 9 アプローチの比較 RAG On Your Data Fine-tuning 難易度 高

    自身でデータを検索したり、回答を生成する コードを書く必要がある 中 検索や回答の部分は書かなくても APIで使える 中 学習用データを作る必要があり、どのくらいの 量を作ればよいかのノウハウが必要 コスト 中 AppとAI SearchとAOAI 中 AppとAI SearchとAOAI 高 学習と学習済みモデル(インスタンス)の 稼働にかなりのコストがかかる トレーニング:¥15,259/h ホスティング:¥1,047/h ハルシネーション低減の工夫 可 プロンプトの工夫で低減できる 不可 すでにされていて個別の工夫は難しい 可 学習量次第だがかなりのコストがかかる
  5. 11 11 オンプレミスのデータを取り込むRAGアーキテクチャ Express Route On-premises Front browser Main Apps

    利用者 管理者 Front Management Cosmos DB Chat Endpoint AI Search Endpoint SQL RAG NW Azure OpenAI AI Search Entra ID Blob Key Vault Azure browser Express Route Gateway Data Crawl Function HUBNW File server or SQL Azure Data factory Azure Data Lake Storage Gen2 Plug-in Function
  6. 12 12 Chat部分 データ取込み部分 オンプレミスのデータを取り込むRAGアーキテクチャ Express Route On-premises Front browser

    Main Apps 利用者 管理者 Front Management Cosmos DB Chat Endpoint AI Search Endpoint SQL RAG NW Azure OpenAI AI Search Entra ID Blob Key Vault Azure browser Express Route Gateway Data Crawl Function HUBNW File server or SQL Azure Data factory Azure Data Lake Storage Gen2 Plug-in Function
  7. 13 13 データクロールとAI Searchの仕組み 2022年9月期決算短信〔日本基準〕.pdf AI Searchの中身 id タイトル チャンク番号

    コンテンツ ベクトル 1 2022年9月 期決算短 信〔日本基 準〕.pdf 2022年9月期 決算短信〔日 本基準〕.pdf _Chunk01 1.経営成績等の概況 文中の将来に関する事項は、当事業年度の末日現在において判断したものであります。 また、第1四半期会計期間より、「収益認識に関する会計基準」(企業会計基準第29号 2020年3月31日)等を適用 しております。詳細は、「3.財務諸表及び主な注記(5)財務諸表に関する注記事項(会計方針の変更)」に記載の とおりであります。 (1)当期の経営成績の概況 当事業年度(2021年10月1日~2022年9月30日)の国内経済は、オミクロン株による新型コロナウイルス感染症 の再拡大により、まん延防止等重点措置が再適用され、足元の経済活動が大きく制限されました。また、原油価格 や原材料価格の上昇が個人消費に与える影響、ウクライナ情勢不安の⾧期化、更に米国の金融政策引き締め等によ る急速な円安や中国国内のロックダウン等により、経済情勢は依然として先行き不透明な状況が続いております。 国内IT市場においては、引き続き「働き方改革」やDXを軸としたニューノーマルへの対応ニーズが拡大し、 生産性向上や業務効率化のみならず、ビジネスモデルの変革を目的としたシステム投資需要が高まっております。 また、各企業においてクラウドシフトが加速する中、クラウドサービスへのノウハウ獲得やITベンダーに依存し たシステム設計・開発の見直しといったニーズが増加しています。 このような環境のもと、当社は市場拡大が続くパブリッククラウド市場において、マイクロソフト社製品を中心 に、価値のデザインから構築、利活用促進までを一気通貫で担えるソリューション提供力を強みに、大手エンター プライズを中心とした取引の拡大を実現してまいりました。当社は継続的な先進デジタルサービス提供が評価され マイクロソフト ジャパン パートナー・オブ・ザ・イヤーを2022年も受賞し、10年連続の受賞となりました。マ 0.01767091, 0.00254817214, 0.00251793675, -0.0183024947, 0.0317673236, 0.0184368733, -0.0120672835 ・ ・ ・ 2 2022年9月 期決算短 信〔日本基 準〕.pdf 2022年9月期 決算短信〔日 本基準〕.pdf _Chunk02 プライズを中心とした取引の拡大を実現してまいりました。当社は継続的な先進デジタルサービス提供が評価され マイクロソフト ジャパン パートナー・オブ・ザ・イヤーを2022年も受賞し、10年連続の受賞となりました。マ イクロソフト社の有力パートナーとしてMicrosoft365(Teams、Outlookなど)を中心としたクラウドサービスの導 入と利活用支援によって、顧客の「働き方改革」を推進してまいりました。また、クラウド環境への移行を加速す る顧客のニーズに応えるべく、システム環境構築だけでなく顧客のDXの成果に繋がるよう、価値のデザインから 構築、利活用促進までを一気通貫で担えるソリューション提供力が重要となっており、ソリューション提案専任部 隊の新設や事業横断での案件推進の仕組み構築に取り組んでまいりました。2022年4月には、Microsoft Azureの 最上位パートナープログラムであるAzure Expert MSP認定を取得し、本資格を有するクラウドマネージドサービス プロバイダーとして、同認定で評価された当社の実績・ノウハウを集約した自社クラウドマネージドサービスであ るJBS Cloud Suiteの提供を開始しました。本サービスは、クラウドを用いたDXデザインから導入・保守運用、 利活用までの一貫した支援と、数多くあるクラウドサービスを購入から一元管理、コスト最適化までを実現する管 理ツールで構成されており、当社のクラウドプロフェッショナル集団が顧客の経営環境に即した形でお届けするも のです。今後も効率的かつ多様なソリューションを提供するクラウドマネージドサービスプロバイダーとしてさら なる成⾧を目指していきます。 以上の結果、当事業年度の経営成績は、売上高は86,325百万円(前期比15.2%増)、営業利益は4,052百万円 (前期比78.2%増)、経常利益は4,252百万円(前期比79.9%増)、当期純利益は2,647百万円(前期比69.7%増) となりました。 セグメント別の経営成績は次の通りであります。 (クラウドインテグレーション事業) -0.00643006153, -0.0149967577, 0.0391582, 0.0005610346, -0.00801574, 0.013619367, 0.0168780722, ・ ・ ・ 3 2022年9月 期決算短 信〔日本基 準〕.pdf 2022年9月期 決算短信〔日 本基準〕.pdf _Chunk03 (クラウドインテグレーション事業) クラウドサービスの導入を担うクラウドインテグレーション事業においては、旺盛なDX需要を背景として、案 件単価および稼働率が向上しました。特に、エンタープライズ企業のITインフラ構築案件やクラウド化に関わる インテグレーション案件が増加しました。また、ビジネスパートナーの活用拡大による受注キャパシティの増加と コスト抑制を進めたことに加え、出張費やイベント参画費用等の不要不急のコストを抑制したことにより、売上高 は18,344百万円(前期比8.2%増)、セグメント利益は2,800百万円(前期比34.2%増)となりました。 (クラウドサービス事業) クラウド利活用における保守・運用・改善を請け負うクラウドサービス事業においては、旺盛なDX需要を背景 として案件単価および稼働率が向上しました。また、大型案件の新規稼働が始まったほか、Azure Expert MSP取得 を基にしたマネージドサービスのリリースにより、売上高は13,371百万円(前期比24.4%増)、セグメント利益は 1,781百万円(前期比19.8%増)となりました。 (ライセンス&プロダクツ事業) マイクロソフトライセンス及び各種ハードウエア・ソフトウエア等の物販を担うライセンス&プロダクツ事業に おいては、半導体不足の影響による物販の販売に苦戦をしたものの、営業における各種施策により利益率が改善し ました。ライセンス販売においては、大手エンタープライズ企業を中心にマイクロソフトライセンスの販売が順調 -0.0201838072, -0.0316866972, 0.000103409264, -0.0144458013, -0.0208422672, 0.00700789364, -0.0157492831, ・ ・ ・ チ ャ ン ク オ ー バ ー ラ ッ プ
  8. 15 15 データのクロール AI Search Azure OpenAI 収集 保存 コンテンツやメタデータ(タイトルなど)を取得

    コンテンツをチャンク化 チャンク化したコンテンツをベクトル化 ベクトルを取得 メタデータ(タイトル)、チャンク化したコンテンツ およびベクトルをAI Searchへ登録 File server Azure Data factory Azure Data Lake Storage Gen2 Data Crawl Function PDF PDF
  9. 16 16 社内データからの回答生成 AI Search Azure OpenAI AI Search Endpoint

    WebApps ユーザー 2022年のJBSの売上高は? 「2022年のJBSの売上高は?」をキーワード抽出およびベクトル化 キーワード:[2022年][JBS][売上高] ベクトル:0.214544 ….. -0.345213 キーワード:[2022年][JBS][売上高] ベクトル:0.214544 ….. -0.345213 で当てはまる文章をハイブリット検索 ヒットした文章のタイトルや内容を返答 タイトル: 2022年9月期決算短信〔日本基準〕.pdf コンテンツ:・・・・以上の結果、当事業年度の経営成績は、売上高は86,325百 万円(前期比15.2%増)、営業利益は4,052百万円(前期比78.2%増)、経 常利益は4,252百万円(前期比79.9%増)、当期純利益は2,647百万円(前期 比69.7%増)となりました。セグメント別の経営成績は次の通りであります。・・・ 以下の出典から質問「2022年のJBSの売上高は?」に回答してください ###以上の結果、当事業年度の経営成績は、売上高は86,325百万円(前期比15.2%増)、営 業利益は4,052百万円(前期比78.2%増)、経常利益は4,252百万円(前期比79.9%増)、 当期純利益は2,647百万円(前期比69.7%増)となりました。セグメント別の経営成績は次の通り であります。### 2022年のJBSの売上高は86,325百万円です。 ソースは「2022年9月期決算短信〔日本基準〕.pdf」です。 引用部は --------------------------------------------------------------- 以上の結果、当事業年度の経営成績は、売上高は86,325百万円(前期比15.2%増)、 営業利益は4,052百万円(前期比78.2%増)、経常利益は4,252百万円(前期比79.9% 増)、当期純利益は2,647百万円(前期比69.7%増)となりました。セグメント別の経営成 績は次の通りであります。 2022年のJBSの売上高は86,325百万円です。 ソースは「2022年9月期決算短信〔日本基準〕.pdf」です。
  10. 17 17 社内データからの回答生成に必要なプロンプト AI Search Azure OpenAI AI Search Endpoint

    WebApps ユーザー 2022年のJBSの売上高は? 「2022年のJBSの売上高は?」をキーワード抽出およびベクトル化 キーワード:[2022年][JBS][売上高] ベクトル:0.214544 ….. -0.345213 キーワード:[2022年][JBS][売上高] ベクトル:0.214544 ….. -0.345213 で当てはまる文章をハイブリット検索 ヒットした文章のタイトルや内容を返答 タイトル: 2022年9月期決算短信〔日本基準〕.pdf コンテンツ:・・・・以上の結果、当事業年度の経営成績は、売上高は86,325百 万円(前期比15.2%増)、営業利益は4,052百万円(前期比78.2%増)、経 常利益は4,252百万円(前期比79.9%増)、当期純利益は2,647百万円(前期 比69.7%増)となりました。セグメント別の経営成績は次の通りであります。・・・ あなたは以下の出典から質問に答えます。出展にないことは回答しないでく ださい。回答に必ず出典を含めてください。 ###以上の結果、当事業年度の経営成績は、売上高は86,325百万円 (前期比15.2%増)、営業利益は4,052百万円(前期比78.2%増)、 経常利益は4,252百万円(前期比79.9%増)、当期純利益は2,647百 万円(前期比69.7%増)となりました。セグメント別の経営成績は次の通 りであります。### 質問:2022年のJBSの売上高は? 2022年のJBSの売上高は86,325百万円です。 ソースは「2022年9月期決算短信〔日本基準〕.pdf」です。 引用部は --------------------------------------------------------------- 以上の結果、当事業年度の経営成績は、売上高は86,325百万円 (前期比15.2%増)、営業利益は4,052百万円(前期比78.2% 増)、経常利益は4,252百万円(前期比79.9%増)、当期純利益 は2,647百万円(前期比69.7%増)となりました。セグメント別の経営 成績は次の通りであります。 2022年のJBSの売上高は86,325百万円です。 ソースは「2022年9月期決算短信〔日本基準〕.pdf」です。 クエリを作るシステムプロンプト ---------------- あなたは財務担当者です。会話と質問に基づいてク エリを作ってください。 [売上高][財務情報]などのキーワードを取得します 回答を作るシステムプロンプト ---------------- あなたは以下の出典から質問に答えます。出展 にないことは回答しないでください。回答に必ず出 典を含めてください。
  11. 18 18  プロンプトの修正  チャンクサイズやオーバーラップサイズの調整  日本語の句点でチャンクを区切る Azure OpenAI

    Service On Your Dataでは出来ないこと RAGを構築したほうが精度よくハルシネーションが起きにくいチャットシステムが作れる
  12. 22 22 アイプリシティチャット Powered by ChatGPT APIと 「アイプリシティチャット Powered by

    ChatGPT API」大型アップデート アイプリシティチャット Powered by ChatGPT APIのご紹介 チャット AI アシスタントサービスのロードマップ https://www.jbs.co.jp/solution/category/generativeai