ChatGPT - LLMシステム開発大全

Slide 1

Slide 1 text

1 ChatGPT - LLMシステム開発大全 ※解釈しやすいよう抽象度の高い表現をしている箇所や個人的な見解を含みます。Microsoftサービスについての正確な情報は公式ドキュメントをご参照ください。 Hirosato Gamo (Microsoft Cloud Solution Architect)

Slide 3

Slide 3 text

3 Agenda APIでのLLM利用 2 Prompt Engineering 3 LLM-GPT の全体像 1 ⚫ LLM - GPT とは何なのか～チャットAIを例にした動作イメージ～ ⚫ 大規模言語モデル(LLM)が持つ基礎能力 ⚫ デジタルツールとLLMの連携 ⚫ GPTに関するFAQ ⚫ 活用例 • 汎用作業支援ツールChatGPT (カスタムインストラクション, GPTs) • 検索との統合 Microsoft Copilot • オフィス作業支援ツールとしての応用 Microsoft Copilot for M365 • プログラム開発支援としての応用 Github Copilot ⚫ LLMに期待される用途の簡易マッピング ⚫ 各生成AIの現在の実力と将来性 ⚫ 将来的に見込まれるクロスモダリティ (マルチモーダル) の拡張 ⚫ GPT-4 with Visionによる画像・テキストのマルチモーダル処理 ⚫ 動画生成・変換AI Soraの登場 ⚫ 生成AIの未来予測 ⚫ APIから生成AIを扱うことの意義 ⚫ 生成AIが使える各社のAPI サービス ⚫ Microsoft と OpenAI ⚫ Azure OpenAI Serviceの解説 • 特長 • API利用までのイメージ • 提供可能なAIモデル一覧 • 各種パラメータの解説 • Azure OpenAI Studio • 課金単位、コスト計算方法 • 1分当たりのトークン制限(TPM) • Microsoft Entra IDによるAPIの認証の流れ • SLA ⚫ GPT のテキスト生成時の影響要素 ⚫ LLMサービスにおける裏の Prompt ⚫ Prompt の各パートの名称と役割 ⚫ Prompt の書き方の大原則 ⚫ Prompt の順序による解釈性 ⚫ System Prompt の構造化の例(Markdown記法) ⚫ プロンプトエンジニアリングの例 (英会話講師を作る) ⚫ Prompt Engineering の手法 ⚫ LLM が解釈しやすく処理する Prompt Processing ⚫ ユーザの力に依存せず優良なプロンプトに仕上げるには？ ⚫ 例示で精度を高める Few-shot Learning ⚫ 段階的な推論をさせる Chain of Thought ⚫ 思考過程パターンを複数生成する Self Consistency ⚫ GPT 自身に出力の再帰的な修正をさせる Recursively Criticizes and Improves ⚫ Grounding を考えさせ、動的にタスク実行する ReAct ⚫ Step Back Prompt ⚫ GPT の開発補助に用いられるライブラリ ⚫ GPT パイプライン設計の重要性とPrompt flowの活用 ⚫ プロンプトによる出力形式の限定の課題

Slide 4

Slide 4 text

4 Agenda LLMシステムの改善 5 RAGアーキテクチャ 4 ⚫ RAGの基本 • LLMの弱点 • LLM における Hallucination • Retrieval Augmented Generation (RAG) アーキテクチャの図式 • Fine tuningとRAGの比較 • キーワード検索とベクトル検索 • Azure AI Search のハイブリッド検索、セマンティックリランク ⚫ RAGの精度向上 • ステップごとのRAGの精度影響因子 • クエリ拡張・加工の各手法 • Embedding モデルの調整 • GPTによるドキュメントのQA化・ナレッジ化 • Classification ステップ＋フィルタリングによる検索空間の限定 • GPT-4などの高精度かつコンテキスト長の大きいモデルによるリランク • チャンク幅チューニングによるピンポイント検索 • GPT-4によるチャンク化で切れ目を判定 • ドキュメントと質問の関連性や有益さを繰り返し吟味するSelf-RAG ⚫ 速度性能確保 • LLMのAPI利用時に時間が掛かる理由 • 対策1: 出力トークン数の抑制、並列化 • 対策2: Provisioned throughput units (PTU)の利用 • 対策3: gpt-3.5-turbo への Fine tuning ⚫ LLMの評価 • LLMシステムにおけるチェック観点の例 • LLMシステム評価の大まかな手順 (RAG評価の例) • Prompt flowによる完成済み評価フローの利用 • 評価データセット作成におけるGPT-4の利用 • 「ちょっと待て」～評価役へのLLM活用～ • 評価役LLMの採点能力の検証 • 評価役LLMの採点ステップにおける注意点 • 対話履歴データのシミュレータ ⚫ LLMシステムの運用におけるその他の話題 • GPTシステムにおけるログの重要性 • プロンプトログの分析によるGPTシステム継続改善例 • LLMに対する攻撃とその対策 • Azure OpenAI におけるコンテンツフィルタリング機能 • 個人情報を意識したプロンプト・ログ管理

Slide 33

Slide 33 text

33 LLMの導入事例ベネッセ小学生親子向け自由研究生成AI相談サービスを無償提供ソフトバンク生成AIでコールセンター業務の自動化を加速ベネッセ×ソフトバンクロボティクス生成AI搭載幼児向け会話型新サービス AI「しまじろう」を共同開発弁護士ドットコム弁護士ドットコム - チャット法律相談 (α版) メルカリメルカリ、生成AI・LLMを活用してお客さまの最適な行動を促す「メルカリAIアシスト」の提供を開始 Starley 音声会話型おしゃべりAIアプリ Cotomo(コトモ）リクルート Azure OpenAI Service を活用した対話型 UI を「じゃらんnet」に試験実装 Sansan 契約DXサービス「Contact One」にGPT要約を搭載 SmartHR 「従業員サーベイ」機能にAIを利用した自由記述回答要約機能を公開楽天生命対話形式の代理店アシスト機能を生成AIで実現リクルート Azure OpenAI Service を活用した対話型 UI を「じゃらんnet」に試験実装ワークスアプリケーションズ次世代ERP 「HUE」の開発基盤へAzure OpenAI Serviceを活用 Moody's AIを活用したリスク分析ソリューションを開発アドバンスト・メディア AI音声認識AmiVoice®搭載の議事録ソリューションにGPTを活用した要約システムを連携し取手市のDXを推進 rinna 大規模言語モデルGPTを活用した日本語音声認識モデル「Nue ASR」を公開田辺三菱製薬クラウドセキュリティにおけるインシデント分析において生成AIを活用アイシン生成 AI を活用し、聞き取りに困難のある人を支援 Figure 人間と会話し動作するヒューマノイドロボットを開発メルセデスベンツ Mercedes-Benz enhances drivers’ experience with Azure OpenAI Service ※敬称略

Slide 49

Slide 49 text

50 Azure OpenAI Service の特長 APIでOpenAIモデルの機能を提供エンドポイントへのリクエストを投げるだけで生成・Fine tuningが可能。 API仕様やライブラリも基本はOpenAI社のAPIと共通化されている。 SLA・サポート付きの提供 99.9%以上の稼働率を保証するSLAを既定し、Azureのサポートサービスが利用可能 Licensing Documents (microsoft.com) コンテンツフィルタ有害な表現、LLMの乗っ取り、既存のコードやテキストの検知 Azure OpenAI Service でコンテンツフィルター (プレビュー) を使用する方法 - Azure OpenAI | Microsoft Learn Azure OpenAI Service データ＋リクエスト生成結果システムエンドポイント本番・エンタープライズレベルでOpenAIモデルの機能をAPIで提供するサービス GPT Microsoft Entra ID認証キー以外にMicrosoft Entra ID (旧Azure AD)による認証機能が使用可能 Azure AI サービスでの認証 - Azure AI services | Microsoft Learn プライベートネットワークとの統合仮想ネットワーク内に閉じた高セキュリティなリクエストの構成が可能 Azure AI サービスの仮想ネットワークを構成する - Azure AI services | Microsoft Learn OpenAIが提供するAPIと基本機能はほぼ同等マルチリージョン対応日本含む多数リージョンで利用可能。分散化による可用性確保や潤沢なRate Limitを確保 Azure OpenAI Service のクォータと制限 - Azure AI services | Microsoft Learn メトリックログ監視リクエストに関するログ監視の仕組みを備えている Azure OpenAI Service の監視 - Azure AI services | Microsoft Learn スループットの事前購入 PTUの事前購入で安定したスループットを確保プロビジョニングスループットユニット (PTU) のオンボード - Azure AI services | Microsoft Learn RAGアプリのローコードデプロイ Azure AI Searchと組み合わせたRAGの仕組みの迅速な開発やチャットUIのデプロイが可能 Azure OpenAI Service で独自のデータを使用する - Azure OpenAI | Microsoft Learn GPT-4Vの日本語の読み取り対応 Azure AI Serviceと組み合わせた拡張機能で高度なOCRやビデオ解析までが可能 GPT-4 Turbo with Vision モデルを使用する方法 - Azure OpenAI Service | Microsoft Learn 著作権コミットメント一定の使用条件を満たした場合、出力コンテンツに関連する特定の第三者の知的財産権の請求からお客様を守る。購入者の著作権侵害の義務付けに必要な軽減策 |Microsoft Learn 本番サービスで運用しやすい付加機能を充実

Slide 50

Slide 50 text

51 Azure OpenAI Service の詳細項目 Azure OpenAI Service データ取り扱い入力・出力：デフォルトでは悪用/誤用の監視目的で30日間保持され、承認されたマイクロソフト社員が不正利用時にレビューする可能性がある。監視のためのログ保存プロセスはオプトアウト申請が可能で、承認されればログは保持されない。 fine-tuning：提供されたトレーニングデータは、お客様のモデルのfine-tuning (微調整)にのみ使用され、マイクロソフトのモデルをトレーニング/改善するために使用しない(参考)。また使用したデータや学習済みモデルはAzureストレージ配置時には暗号化され学習後はユーザ判断で削除可能。 Data, privacy, and security for Azure OpenAI Service - Azure AI Services | Microsoft Learn 価格 Azure の価格体系に基づく(現時点でモデル利用価格はOpenAI社が公開しているAPIと同価格) OpenAI APIとの互換性 OpenAI と API の一定の互換性がある。(OpenAI Python Libraryなども共通して使用可能) SLA ・99.9%以上の稼働率を保証詳細(他の Azure AI Services と同じ) サポート Azure サポートプランでサポートされるセキュリティ ➢ Azureのセキュリティ基準に準拠、APIキーによる認証とMicrosoft Entra ID認証に対応 ➢ Azureのプライベートネットワークによる保護が可能 ➢ 不正利用防止のためのコンテンツフィルタリング監視ログ・メトリック監視およびAzure Monitorと連携したアラート発行などが可能リージョン米国東部、米国中南部、西ヨーロッパ、フランス中部、イギリス南部、カナダ東部、東日本、米国中北部、米国東部2、スウェーデン中部、スイス北部、オーストラリア東部など多数のリージョンが利用可能。開発ツール PlaygroundなどGUIでの挙動検証やパラメータ調整が可能(Azure OpenAI Studio - Microsoft Azure) ※ 発表時点(2024/3時点)のサマリ情報です。ご利用時は必ず公式ドキュメントをご参照ください。ご利用申請フォーム(サブスクリプションを指定して申請) https://aka.ms/oai/access リージョン拡大中

Slide 76

Slide 76 text

77 Prompt の各パートの名称と役割あなたは優秀な誤字脱字のチェッカーです。ユーザ入力のテキストを評価し、誤字脱字が無いかチェックし、下記のフォーマットに従って判定結果を出力してください “”” 誤字脱字判定結果: <「あり」 or 「なし」> 指摘: <誤字脱字抜き出し>→<修正結果> <誤字脱字抜き出し>→<修正結果> … “”” 機会学習関連の技術はとても硬度です。誤字脱字判定結果: あり修正案: 「機会学習」→「機械学習」「硬度」→「高度」指示入出力例ユーザ入力精製AIはとても難しい技術どすね。本質的にはLLMの出力をコントロールする入力の工夫を指す。 LLMシステム開発においてはSystem PromptやFew shotの設計を決めることがPrompt Engineeringにあたる。 System Prompt Few shot User Prompt LLMにどのような振る舞いをさせるかを指示するプロンプト。この設計がLLMシステムの動作で最も重要となる。多くのサービスではユーザからは見えない。主に入出力例を書く。 roleはuserとassistantで記載。ユーザが入力するプロンプト。サービスによってはSystem Prompt内でユーザがここにLLMへ指示を書くことを許している場合も。 (例えばChatGPTなど) GPTの場合、下記のようなJSONでプロンプトの種別をroleで区別し記載する。 {“role”: “system”, “content”: ‘あなたは優秀な誤字脱字のチェッカーです。~~~~'} {“role”: “user”, “content”: ‘機会学習関連の技術はとても硬度です。’} {“role”: “assistant”, “content”: ‘誤字脱字判定結果: あり'} {“role”: “user”, “content”: ‘精製AIはとても難しい技術どすね。’}

Slide 114

Slide 114 text

115 Semantic Kernel # コンポーネント説明 1 Ask ユーザからリクエストおよび目標設定。 2 Kernel カーネルは、開発者によって定義されたパイプライン/チェーンを実行することで、ユーザーの要求をオーケストレートする。チェーンが実行される間、カーネルによって共通のコンテキストが提供されるため、データを関数間で共有可能。 Langchain でいうChainに近い。 2.1 Memories 専用のプラグインを使用することで、開発者はベクトルデータベースにコンテキストを記憶・保存できる。これにより、開発者はAIアプリケーション内でメモリをシミュレート可能。 2.2 Planner 開発者が Semantic Kernel に対して、ユーザーの新しいニーズに対応するためのチェーンを自動作成するよう要求すると、 Planner は、既にカーネルにロードされているプラグインを組み合わせ実行計画を動的に生成。 2.3 Connectors 追加のデータを取得したり、自律的なアクションを実行するために、 Microsoft Graph Connector kit などの既存のプラグインを使用するか、カスタムコネクタを作成して独自のサービスにデータを提供できる。 2.4 カスタムプラグイン (旧スキル) Semantic Kernel内で実行されるカスタムプラグインを作成できる。プラグインはLLMプロンプト（意味関数）またはC#またはPythonコード（ネイティブ関数）から構成。新しい AI機能を追加し、既存アプリやサービスを Semantic Kernel に統合可能。 3 Response カーネルが完了したら、応答をユーザーに送信して処理の完了を通知可能。 Orchestrate your AI with Semantic Kernel | Microsoft Learn Microsoft が LLM をアプリ開発に統合するための OSS「Semantic Kernel」を発表 - Qiita

Slide 154

Slide 154 text

155 クエリ拡張・加工の各手法質問分解 HyDE Hypothetical Document Embeddings クエリ修正問いに対する仮想的な応答をLLMで生成。(関連用語の生成がされることを期待) その応答をEmbeddingでベクトル化して文書を検索。 LangChain でより高い vector 検索精度が期待できる HyDE 仮説をやってみるタイポの修正による精度向上が報告されている。またはクエリは質問文で投げられるため、インデックス情報に近い形式に変換することで精度向上が見込める。 Dealing with Typos for BERT-based Passage Retrieval and Ranking - ACL Anthology 単一の質問だけでは解決できない問いに対して、質問を複数に分割し、順に対応する。 Semantic Kernel の Planner に近い。 Measuring and Narrowing the Compositionality Gap in Language Models | OpenReview 抽象化詳細な質問に対して、そのままクエリを投げるのではなく、上位概念に一度変換するクエリを発行する。例えば「大谷翔平の2023/4/28の第3打席の結果」を直接検索するのではなく、「大谷翔平の2023 年の全打席結果」などと検索する。 [2310.06117] Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models (arxiv.org) 文脈追加質問に関連する知識生成やFAQ(Shot)の付与。 Fusion 複数の検索を実行し、得られた回答を基に最終回答をまとめる。検索を並走させるので回答時間を圧迫しない。 langchain/cookbook/rag_fusion.ipynb at master · langchain-ai/langchain (github.com) Retrieval-based LM (RAG system) ざっくり理解する - Speaker Deck クエリ拡張や加工は精度面での効果が見込めるが、LLM処理に時間が掛かるためユーザ返答までに時間を要する点は注意。入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答

Slide 156

Slide 156 text

157 GPTを利用したドキュメントのQA化・ナレッジ化入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答 [System] # Task User入力のドキュメントから余計な文言は排除して知識だけを纏めたFAQリストを作ろうと思います。抜け漏れが無いように質問と回答のペアを Output_formatの出力形式で作成してください。 # Output ## Format jsonl形式で出力をします。各JSONオブジェクトは下記の形式とします。 {"question":<ドキュメントを基に作成した質問>, "answer":} ## Policy - question, answerの出力はUserの入力に基づいたものとすること FAQやナレッジグラフへの変換 {"question": "Azure OpenAI Serviceで利用可能なモデルは何ですか？", "answer": "GPT-4 シリーズ (GPT-4 Turbo with Vision を含む)、GPT-3.5-Turbo シリーズ、埋め込みシリーズが利用可能です。"} {"question": "Azure OpenAI Serviceで新しく一般提供されたモデルは何ですか？", "answer": "新しい GPT-4 と GPT-3.5-Turbo モデルシリーズが一般提供になりました。"} {"question": "Azure OpenAI Serviceの機能は何ですか？", "answer": "コンテンツの生成、要約、画像の解釈、セマンティック検索、自然言語からコードへの翻訳などが可能です。"} {"question": "Azure OpenAI Serviceにアクセスする方法は何ですか？", "answer": "REST API、 Python SDK、または Azure OpenAI Studio の Web ベースのインターフェイスを介してアクセスできます。"} {"question": "Azure OpenAI Serviceの価格情報はどこで確認できますか？", "answer": "価格情報は、公式ウェブサイトで入手可能です。"} {"question": "Azure OpenAI Serviceは仮想ネットワークとプライベートリンクをサポートしていますか？", "answer": "はい、サポートしています。"} {"question": "Azure OpenAI ServiceのUIエクスペリエンスはどのようなものですか？", "answer": "Azure portal でアカウントとリソースの管理ができ、モデルの探索と微調整には Azure OpenAI Service Studio を使用します。"} {"question": "Azure OpenAI Serviceでのコンテンツフィルタリングはどのように行われますか？", "answer": "プロンプトと入力候補は、自動システムを使ってコンテンツポリシーに対して評価され、重大度の高いコンテンツはフィルターで除外されます。"} {"question": "Azure OpenAI Serviceへのアクセスは制限されていますか？", "answer": "はい、高い需要とMicrosoftの責任あるAIへのコミットメントを考慮し、制限されています。"} {"question": "Azure OpenAI ServiceとOpenAIの違いは何ですか？", "answer": "Azure OpenAI Serviceは、OpenAIのモデルをAzureのセキュリティとエンタープライズの約束と共に提供し、プライベートネットワークやリージョンの可用性、責任あるAIコンテンツのフィルタリングを提供します。"} Systemプロンプト生の文章ではなく検索時に応えやすい形式としてドキュメントを加工することで、ユーザ問い合わせに回答しやすくなることも GPTによるドキュメント加工

Slide 157

Slide 157 text

158 検索対象は必ずしもチャンクした本文ではない # 1. 機械学習 ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~ ## 1.1 教師あり学習 ~~~~~~~~~~~~~~~~~~~~~~~ { “title”: “Fig.1 XXXXXX” “diag_info”: “~~~~~~~~~~~~~~~” “image_file_path”: “~~~~~~~~” } ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ ## 1.2 教師なし学習 ~~~~~~~~~~~~~~ | # | A | B | C | | - | --- | --- | --- | | ① | ~~~ | ~~~ | ~~~ | | ② | ~~~ | ~~~ | ~~~ | | ③ | ~~~ | ~~~ | ~~~ | Table1 XXXXXX ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ チャンクした本文を検索対象にチャンクの概要＋付加情報を検索対象に通常のパターン。最も単純で低コスト。文章の情報がぶつ切りになるため重要なキーワードが含まれない場合があったり、前後関係やテーマが抜け落ちる場合がある。検索に必要をLLMによって抜き出すパターン。ドキュメントのある程度の塊を渡しておき、チャンクの概要やキーワードなどを加え検索用のテキストを作り直す。通常のチャンクで欠落している情報を加味出来る。チャンクから想定されるユーザの質問文を検索対象にユーザの入力が質問文であることを想定し、あらかじめ想定質問をチャンクからLLMで生成して、その質問文を検索対象とする。検索対象とクエリを近づけるという点で考え方はクエリ拡張のHyDEのコンセプトに似ており、検索精度が高まる場合がある。入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答検索対象をチャンクした本文にするという意識が強いが、最終的に渡すテキストと検索対象が同じである必要はない

Slide 162

Slide 162 text

163 GPT-4などの高精度かつコンテキスト長の大きいモデルによるリランクコンテキスト長が大きくそれを高精度に把握できるモデルであれば、検索結果の順序が多少悪くても全てコンテキストに詰めれば回答に必要な部分だけを抽出できる可能性がある。入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答許容コンテキスト長が小さく精度の低いモデル許容コンテキスト長が大きく精度の高いモデル初心者でも扱いやすいように、このバットは特別に軽量化されています。かなり振りやすいので初めてでも扱いやすいバットといえます。この軽量のバットは初心者にも振りやすく設計されています。初心者向けのクリニックでは、バットの正しい握り方から教えます。初心者はしばしば、バットを振る速度を誤ってしまうことがあります。 1 2 3 4 5 バットの選び方を間違えると、初心者はさらに打つのが難しくなる。野球教室の初日、初心者たちはバットの基本的な使い方を学んだ。 6 7 初心者でも、バットのグリップの感触にはすぐに慣れるものです。初心者がバットでボールを打つ練習をする際は、安全が最優先です。 8 9 リランクを施し上位のものだけコンテキストとして付与初心者でも扱いやすいように、このバットは特別に軽量化されています。かなり振りやすいので初めてでも扱いやすいバットといえます。この軽量のバットは初心者にも振りやすく設計されています。初心者向けのクリニックでは、バットの正しい握り方から教えます。初心者はしばしば、バットを振る速度を誤ってしまうことがあります。 1 2 3 4 5 バットの選び方を間違えると、初心者はさらに打つのが難しくなる。野球教室の初日、初心者たちはバットの基本的な使い方を学んだ。 6 7 初心者でも、バットのグリップの感触にはすぐに慣れるものです。初心者がバットでボールを打つ練習をする際は、安全が最優先です。 8 9

Slide 163

Slide 163 text

164 GPT-4などの高精度かつコンテキスト長の大きいモデルによるリランクコンテキスト長が大きくそれを高精度に把握できるモデルであれば、検索結果の順序が多少悪くても全てコンテキストに詰めれば回答に必要な部分だけを抽出できる可能性がある。入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答許容コンテキスト長が小さく精度の低いモデル許容コンテキスト長が大きく精度の高いモデル初心者でも扱いやすいように、このバットは特別に軽量化されています。かなり振りやすいので初めてでも扱いやすいバットといえます。この軽量のバットは初心者にも振りやすく設計されています。初心者向けのクリニックでは、バットの正しい握り方から教えます。初心者はしばしば、バットを振る速度を誤ってしまうことがあります。 1 2 3 4 5 バットの選び方を間違えると、初心者はさらに打つのが難しくなる。野球教室の初日、初心者たちはバットの基本的な使い方を学んだ。 6 7 初心者でも、バットのグリップの感触にはすぐに慣れるものです。初心者がバットでボールを打つ練習をする際は、安全が最優先です。 8 9 初心者でも扱いやすいように、このバットは特別に軽量化されています。かなり振りやすいので初めてでも扱いやすいバットといえます。この軽量のバットは初心者にも振りやすく設計されています。初心者向けのクリニックでは、バットの正しい握り方から教えます。初心者はしばしば、バットを振る速度を誤ってしまうことがあります。 1 2 3 4 5 バットの選び方を間違えると、初心者はさらに打つのが難しくなる。野球教室の初日、初心者たちはバットの基本的な使い方を学んだ。 6 7 初心者でも、バットのグリップの感触にはすぐに慣れるものです。初心者がバットでボールを打つ練習をする際は、安全が最優先です。 8 9 多めにドキュメントを丸ごと与え GPTに関連性のあるもののみ着目して回答させることが可能

Slide 167

Slide 167 text

168 GPT-4によるチャンク化で適切な切れ目を判定(前提情報も付与) # 機械学習機械学習は、コンピュータがデータから学習し、予測や意思決定を行うアルゴリズムや技術の集まりです。この分野は統計学、数学、コンピュータサイエンスの原理に基づいており、パターン認識、予測分析、データマイニングなど幅広い応用があります。機械学習のアルゴリズムは、データを分析し、そのデータに基づいて予測や決定を行います。これにより、プログラムは明示的に指示されなくてもタスクを実行できるようになります。 ## 教師あり学習教師あり学習は、入力データ（特徴）とそれに対応する出力データ（ラベル）を用いてモデルを訓練する手法です。例えば、メールが「スパム」か「非スパム」かを識別するために、既にラベル付けされたメールデータセットを使用してモデルを訓練することができます。このアプローチは、分類（ラベルがカテゴリである場合）と回帰（ラベルが連続値である場合）の二つの主要なタスクに分けられます。 ## 教師なし学習教師なし学習では、ラベルや指示が付与されていないデータからパターンや構造を発見することが目的です。このアプローチは、データの本質的な特性や関係性を理解するのに役立ちます。クラスタリング（データを自然なグループに分ける）、次元削減（データの複雑さを減らす）、および関連規則学習（アイテム間の関連を見つける）などが、教師なし学習の主要なタスクです。 ## 強化学習強化学習は、エージェントが環境との相互作用を通じて最適な行動を学習するアプローチです。エージェントは一連の行動を取り、それに応じて環境から報酬（ポジティブなフィードバック）またはペナルティ（ネガティブなフィードバック）を受け取ります。目的は、報酬を最大化するようにエージェントの行動方針を調整することです。この手法は、ゲームプレイ、自動運転車、ロボット工学などで特に注目されています。 # 機械学習機械学習は、コンピュータがデータから学習し、予測や意思決定を行うアルゴリズムや技術の集まりです。この分野は統計学、数学、コンピュータサイエンスの原理に基づいており、パターン認識、予測分析、データマイニングなど幅広い応用があります。機械学習のアルゴリズムは、データを分析し、そのデータに基づいて予測や決定を行います。これにより、プログラムは明示的に指示されなくてもタスクを実行できるようになります。 # 機械学習概要～～～～ ## 教師あり学習教師あり学習は、入力データ（特徴）とそれに対応する出力データ（ラベル）を用いてモデルを訓練する手法です。例えば、メールが「スパム」か「非スパム」かを識別するために、既にラベル付けされたメールデータセットを使用してモデルを訓練することができます。このアプローチは、分類（ラベルがカテゴリである場合）と回帰（ラベルが連続値である場合）の二つの主要なタスクに分けられます。 # 機械学習概要～～～～ ## 教師なし学習教師なし学習では、ラベルや指示が付与されていないデータからパターンや構造を発見することが目的です。このアプローチは、データの本質的な特性や関係性を理解するのに役立ちます。クラスタリング（データを自然なグループに分ける）、次元削減（データの複雑さを減らす）、および関連規則学習（アイテム間の関連を見つける）などが、教師なし学習の主要なタスクです。 # 機械学習概要～～～～ ## 強化学習教師なし学習では、ラベルや指示が付与されていないデータからパターンや構造を発見することが目的です。このアプローチは、データの本質的な特性や関係性を理解するのに役立ちます。クラスタリング（データを自然なグループに分ける）、次元削減（データの複雑さを減らす）、および関連規則学習（アイテム間の関連を見つける）などが、教師なし学習の主要なタスクです。 GPT GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog 入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答

Slide 193

Slide 193 text

195 Prompt flowによる完成済み評価フローの利用評価は手組でも可能ではあるが、GUIベース＋組み込みの評価フローが定義されているツールを使うと楽。 Evaluation Method Metrics Description question answer grounded truth context Score Value QnA GPT Similarity Evaluation GPT Similarity ユーザーが指定したGrounded truth(正解)の回答と、GPT モデルを使用してモデルの回答の類似性を測定します。 ○ ○ ○ 1 to 5 QnA Ada Similarity Evaluation Ada Similarity Grounded truth(正解)とモデルの回答の両方について、Ada embeddings API を使用してドキュメントのEmbeddingを計算し、コサイン類似度を計算します。 ○ ○ ○ [0, 1] QnA Groundedness Evaluation Groundedness モデルの回答が取得したコンテキストにどの程度基づいているかを測定します。(LLMの応答が真であっても、回答根拠がコンテキストに基づいていないとRAGが機能していないことになる。) ○ ○ ○ 1 to 5 QnA Relevance Evaluation Relevance モデルの回答が、尋ねられた質問にどの程度関連しているかを LLMで測定します。 ○ ○ ○ 1 to 5 QnA Coherence Evaluation Coherence モデルの回答に含まれるすべての文の品質と、それらが自然にどのように組み合わされているかをLLMで測定します。 ○ ○ 1 to 5 QnA Fluency Evaluation Fluency モデルの回答が文法的および言語的にどの程度正しいかをLLM で測定します。 ○ ○ 1 to 5 Classification Accuracy Evaluation Accuracy 分類システムの出力をGrounded truth(正解)と比較することで、分類システムのパフォーマンスを測定します。 ○ [0, 1] QnA F1 scores Evaluation F1 score モデルの回答とGrounded truth(正解)の間で共有される単語数の比率を測定します。 ○ ○ ○ [0, 1]

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text