ChatGPT - LLMシステム開発大全

Slide 1

Slide 1 text

1 ChatGPT - LLMシステム開発大全 Hirosato Gamo ※解釈しやすいよう抽象度の高い表現をしている箇所や個人的な見解を含みます。Microsoftサービスについての正確な情報は公式ドキュメントをご参照ください。

Slide 3

Slide 3 text

3 Agenda APIによるLLM開発 2 Prompt Engineering 3 LLM-GPT の全体像 1 ⚫ LLM - GPT とは何なのか～チャットAIを例にした動作イメージ～ ⚫ LLM(Transformer Decoder)における言語処理の大まかな流れ ⚫ 大規模言語モデル(LLM)が持つ基礎能力 ⚫ デジタルツールとLLMの連携 ⚫ GPTに関するFAQ ⚫ 活用例 • 汎用作業支援ツールChatGPT • 検索との統合 Microsoft Copilot • オフィス作業支援ツールとしての応用 • プログラム開発支援としての応用 ⚫ LLMに期待される用途の簡易マッピング ⚫ モダリティの拡張 ⚫ GPT-4 with Visionによる画像・テキストのマルチモーダル処理 ⚫ 動画生成・変換AI Soraの登場 ⚫ Voice モダリティ ⚫ 生成AIの未来予測 ⚫ LLMにおける主な課題 ⚫ APIから生成AIを扱うことの意義 ⚫ 生成AIが使える各社のAPI サービス ⚫ Microsoft Foundryの解説 • 特長 • API利用までのイメージ • 提供可能なAIモデル一覧 • 各種パラメータの解説 • Azure OpenAI Studio • 課金単位、コスト計算方法 • 1分当たりのトークン制限(TPM) • Microsoft Entra IDによるAPIの認証の流れ • SLA ⚫ GPT のテキスト生成時の影響要素 ⚫ LLMサービスにおける裏の Prompt ⚫ Prompt の各パートの名称と役割 ⚫ Prompt の書き方の大原則 ⚫ Prompt の順序による解釈性~Lost in the Middle~ ⚫ System Prompt の構造化の例(Markdown記法) ⚫ プロンプトエンジニアリングの例 (英会話講師を作る) ⚫ Prompt Engineering のポイント ⚫ LLM が解釈しやすく処理する Prompt Processing ⚫ 例示で精度を高める Few-shot Prompting ⚫ 段階的な推論をさせる Chain of Thought ⚫ 高度なreasoningを実行するo1モデルの登場 ⚫ 思考過程パターンを複数生成する Self Consistency ⚫ GPT 自身に出力の再帰的な修正をさせる Recursively Criticizes and Improves ⚫ Grounding を考えさせ、動的にタスク実行する ReAct ⚫ Step Back Prompt ⚫ GPT の開発補助に用いられるライブラリ ⚫ GPT パイプライン設計の重要性とPrompt flowの活用 ⚫ プロンプトによる出力形式の限定の課題 ⚫ Prompting Tips

Slide 4

Slide 4 text

4 Agenda AI Agent 5 RAG 4 ⚫ RAGの基本 • LLMの弱点 • LLM における Hallucination • Retrieval Augmented Generation (RAG) アーキテクチャの図式 • Fine tuningとRAGの比較 • フルテキスト検索とベクトル検索 • Azure AI Search のハイブリッド検索、セマンティックリランク ⚫ RAGの精度向上 • ステップごとのRAGの精度影響因子 • クエリ拡張・加工の各手法 • Embedding モデルの調整 • GPTによるドキュメントのQA化・ナレッジ化 • Classification ステップ＋フィルタリングによる検索空間の限定 • GPT-4などの高精度かつコンテキスト長の大きいモデルによるリランク • チャンク幅チューニングによるピンポイント検索 • GPT-4によるチャンク化で切れ目を判定 • ドキュメントと質問の関連性や有益さを繰り返し吟味するSelf-RAG ⚫ 企業における生成AIの活用トレンド ⚫ 2023~2024におけるLLMによる作業削減施策 ⚫ 汎用・リアクティブから特化型・自律AIへ ⚫ AI Agent への期待 ⚫ AI Agentとは ⚫ AI Agentにおけるタスクオーケストレーション ⚫ AI Agentによくある疑問や勘違い ⚫ 簡易なAI Agentの例 ⚫ 単純なAgentでも状態遷移が多く発生 ⚫ AIエージェントのアーキテクチャ例 ⚫ 特化型 AI Agent による開発方針の変遷 ⚫ Agent設計のポイント① ～「サービス」としてきちんと設計しよう～ ⚫ Agent設計のポイント② ～マルチ化で発生するトレードオフを認識せよ～ ⚫ Agent設計のポイント③ ～評価環境が難しいことを認識しておく～ ⚫ そのほかAI Agent開発に向けた重要な要素 ⚫ AI Agentは企業を中心に発展が予想される ⚫ 未来へ向けて我々は何を始めるべきか LLMOps, 性能改善 6 ⚫ 速度性能確保 • LLMのAPI利用時に時間が掛かる理由 • 対策1: 出力トークン数の抑制、並列化 • 対策2: PTUの利用 • 対策3: 軽量モデルへの Fine tuning ⚫ LLMOps • AI・人間の違いから見る LLMOps の必要性 • LLMOps とは (本資料の定義) • Human in the Loop を伴う LLMOps アーキテクチャ • LLMシステムにおけるチェック観点の例 • LLMシステムにおけるチューニング対象 • プロンプトの評価 • 入出力パターン別の評価方法 • RAGのチューニング対象項目 • RAGの評価 • 「ちょっと待て」～LLM as a Judgeの落とし穴～ • 評価役LLMの採点能力の検証 ⚫ LLMシステムの運用におけるその他の話題 • GPTシステムにおけるログの重要性 • LLMに対する攻撃とその対策 • Azure OpenAI におけるコンテンツフィルタリング機能 • 個人情報を意識したプロンプト・ログ管理

Slide 43

Slide 43 text

LLMの主な課題急速な発展を遂げるLLMだが、未だ未解決課題があり、今後の発展が期待される。 Instructionへの忠実度 In Context Learningによって実現できるタスクの広さと、複雑な指示でもそれを厳密に守る柔軟性が求められる。現行モデルもSystemへの指示は一定守られるが、少し複雑化すると精度が悪くなったり、トレーニングされていないようなタスクも多い Long Context 対応 Lost in the middle問題はじめ、プロンプトの肥大化や会話履歴の増大に伴い回答精度や速度性能劣化が発生する。精度の問題とは別に、そもそもの入力コンテキストサイズを広げていくことも目下の課題となる。マルチモーダル推論精度 Visionはじめ複数のモダリティが含まれる際に単一モダリティと比較し、精度低下が発生する。通常の人間であれば容易に解釈可能な指示を把握できないケースもある。https://arxiv.org/abs/2409.02813 自律的・探索的な問題解決「出力結果、調査結果を踏まえて、ダメだったら修正を施す」といった探索的な問題解決や、計画性を持って自律的にユーザの入力から情報収集し、マルチターンで徐々に答えにたどり着くようなタスクを処理する十分な能力を有していない。人間らしさ出力したテキストがAIによる生成物だと分かってしまう、文章の癖や堅さが発生する。 (人間に似すぎてしまうことは好ましくないという考え方もあるが) アラインメントプロンプトリーキングやインジェクションに対して、根本的に有効な手段が確立されていない。ファインチューニングの柔軟性新しい語彙や言語の獲得や、タスクの習得のためにファインチューニングを施す場合、学習用のデータや環境を揃えたり instruction tuningやアラインメントの再調整が必要となるケースがありハードル高い。 49

Slide 47

Slide 47 text

Microsoft Foundry Models API の特長 APIで各社AIモデルの機能を提供エンドポイントへのリクエストを投げるだけで生成・Fine tuningが可能。特にOpenAI社のAPIとは仕様やライブラリが共通化されている。 SLA・サポート付きの提供 99.9%以上の稼働率を保証するSLAを既定し、Azureのサポートサービスが利用可能 Licensing Documents (microsoft.com) コンテンツフィルタ有害な表現、LLMの乗っ取り、既存のコードやテキストの検知 Microsoft Foundry でコンテンツフィルター (プレビュー) を使用する方法 - Azure OpenAI | Microsoft Learn Azure AI Foundry データ＋リクエスト生成結果システムエンドポイント本番・エンタープライズレベルで各社AIモデルの機能をAPIで提供するサービス。 GPTやClaudeのモデルが利用可能。 GPT Microsoft Entra ID認証キー以外にMicrosoft Entra ID (旧Azure AD)による認証機能が使用可能 Azure AI サービスでの認証 - Azure AI services | Microsoft Learn プライベートネットワークとの統合仮想ネットワーク内に閉じた高セキュリティなリクエストの構成が可能 Azure AI サービスの仮想ネットワークを構成する - Azure AI services | Microsoft Learn OpenAIが提供するAPIと基本機能はほぼ同等マルチリージョン対応日本含む多数リージョンで利用可能。分散化による可用性確保や潤沢なRate Limitを確保 Microsoft Foundry のクォータと制限 - Azure AI services | Microsoft Learn メトリックログ監視リクエストに関するログ監視の仕組みを備えている Microsoft Foundry の監視 - Azure AI services | Microsoft Learn スループットの事前購入 PTUの事前購入で安定したスループットを確保プロビジョニングスループットユニット (PTU) のオンボード - Azure AI services | Microsoft Learn RAGアプリのローコードデプロイ Azure AI Searchと組み合わせたRAGの仕組みの迅速な開発やチャットUIのデプロイが可能 Microsoft Foundry で独自のデータを使用する - Azure OpenAI | Microsoft Learn 著作権コミットメント一定の使用条件を満たした場合、出力コンテンツに関連する特定の第三者の知的財産権の請求からお客様を守る。購入者の著作権侵害の義務付けに必要な軽減策 |Microsoft Learn 54

Slide 48

Slide 48 text

Microsoft Foundry の詳細項目 Microsoft Foundry データ取り扱い入力・出力：デフォルトでは悪用/誤用の監視目的で30日間保持され、承認されたマイクロソフト社員が不正利用時にレビューする可能性がある。監視のためのログ保存プロセスはオプトアウト申請が可能で、承認されればログは保持されない。 fine-tuning：提供されたトレーニングデータは、お客様のモデルのfine-tuning (微調整)にのみ使用され、マイクロソフトのモデルをトレーニング/改善するために使用しない(参考)。また使用したデータや学習済みモデルはAzureストレージ配置時には暗号化され学習後はユーザ判断で削除可能。 Data, privacy, and security for Microsoft Foundry - Azure AI Services | Microsoft Learn 価格 Azure の価格体系に基づく(現時点でモデル利用価格はOpenAI社が公開しているAPIと同価格) OpenAI APIとの互換性 OpenAI と API の一定の互換性がある。(OpenAI Python Libraryなども共通して使用可能) SLA 99.9%以上の稼働率を保証。PTUではレイテンシ保証もあり。詳細(他の Azure AI Services と同じ) サポート Azure サポートプランでサポートされるセキュリティ ➢ Azureのセキュリティ基準に準拠、APIキーによる認証とMicrosoft Entra ID認証に対応 ➢ Azureのプライベートネットワークによる保護が可能 ➢ 不正利用防止のためのコンテンツフィルタリング監視ログ・メトリック監視およびAzure Monitorと連携したアラート発行などが可能リージョン米国東部、米国中南部、西ヨーロッパ、フランス中部、イギリス南部、カナダ東部、東日本、米国中北部、米国東部2、スウェーデン中部、スイス北部、オーストラリア東部など多数のリージョンが利用可能。開発ツール PlaygroundなどGUIでの挙動検証やパラメータ調整が可能(Azure OpenAI Studio - Microsoft Azure) ※ 発表時点(2024/3時点)のサマリ情報です。ご利用時は必ず公式ドキュメントをご参照ください。ご利用申請フォーム(サブスクリプションを指定して申請) https://aka.ms/oai/access リージョン拡大中 55

Slide 67

Slide 67 text

Prompt の各パートの名称と役割あなたは優秀な誤字脱字のチェッカーです。ユーザ入力のテキストを評価し、誤字脱字が無いかチェックし、下記のフォーマットに従って判定結果を出力してください “”” 誤字脱字判定結果: <「あり」 or 「なし」> 指摘: <誤字脱字抜き出し>→<修正結果> <誤字脱字抜き出し>→<修正結果> … “”” 機会学習関連の技術はとても硬度です。誤字脱字判定結果: あり修正案: 「機会学習」→「機械学習」「硬度」→「高度」指示入出力例ユーザ入力精製AIはとても難しい技術どすね。本質的にはLLMの出力をコントロールする入力の工夫を指す。 LLMシステム開発においてはSystem PromptやFew shotの設計を決めることがPrompt Engineering(Prompting)にあたる。 System Prompt (Developer Prompt) Few shot User Prompt LLMにどのような振る舞いをさせるかを指示するプロンプト。この設計がLLMシステムの動作で最も重要となる。多くのサービスではユーザからは見えない。主に入出力例を書く。 roleはuserとassistantで記載。ユーザが入力するプロンプト。サービスによってはSystem Prompt内でユーザがここにLLMへ指示を書くことを許している場合も。 (例えばChatGPTなど) GPTの場合、下記のようなJSONでプロンプトの種別をroleで区別し記載する。 {“role”: “system”, “content”: ‘あなたは優秀な誤字脱字のチェッカーです。~~~~'} {“role”: “user”, “content”: ‘機会学習関連の技術はとても硬度です。’} {“role”: “assistant”, “content”: ‘誤字脱字判定結果: あり'} {“role”: “user”, “content”: ‘精製AIはとても難しい技術どすね。’} 86

Slide 82

Slide 82 text

GPT自身に出力の再帰的な修正をさせる Recursively Criticizes and Improves GPTにGPTの出力を吟味させ、修正を繰り返させることで精度が向上。特にプログラミングなどコンピュータ言語の生成において有効とされる。複数の異なる観点で何度か修正することも。 Language Models can Solve Computer Tasks (arxiv.org) あなたはPythonコード生成をします。ユーザからの質問の後、コードを生成してください。生成後は、生成したコードが動作するか吟味をするステップを設け、吟味の結果に基づきコードを修正してください。吟味と修正は最大3回まで可能です。回答フォーマットは下記としますが、吟味のステップで修正が無ければ最終コードを記載してください。 """ コード①: <コードを記載> 吟味①: <どんな修正が必要か述べる> コード②: <修正したコードを記載> 吟味②: <更にどんな修正が必要か述べる> コード③: <修正したコードを記載> 吟味③: <更にどんな修正が必要か述べる> 最終コード: <最終的なコードを記載> """ System Prompt 107 タイタニックのデータセットを使い、分類問題としてLightgbmをトレーニングしようと思います。下記の点に注意しコードを生成してください。・実験管理にmlflowを用いる・交差検証KFoldを用いる・学習済みモデルをmlflowを使って保存する・欠損値補完はしない・ハイパーパラメータの記録もmlflowで実施・使用する説明変数はpclass, sex, age, sibsp, parch, fare, embarked ・sex（値はmaleかfemale）、embarked（値はC, Q, Sのいずれか）はカテゴリ変数なので適切なエンコーディングをしてください。 User Prompt

Slide 120

Slide 120 text

Fine tuning と RAG の比較 ※ データやタスクにも依存するのであくまで目安です。また、GPTのAPIに限った比較であり、LLM全般に当てはまるものではありません。コスト ①GPU学習トークンに応じたコスト ②専用エンドポイントの稼働時間に応じたコスト ①検索エンジン利用料 ②インプットへの情報追加による毎リクエストのトークンコスト増 RAG Fine tuning (API経由) リソース調達 GPUが必要となるため限られたリージョンでのみ利用可能検索エンジンは多くのリージョンで利用可能であり比較的容易技術一定のニューラルネットワークの学習方法の知見、トレーニングデータの作成や品質確保のための手間や技術が必要チャンクチューニング、Vector検索、Promptingの知識が必要推奨用途 ①出力形式・トーンの調整 ②タスク精度の強化 ③トークンの節約 (フルにチューニングできれば語彙の獲得も) 知識やロジックの獲得生成速度への影響入力トークン処理量が減少するため生成速度への影響は無し検索へのアクセスやプロンプトの入力トークン増などで Fine tuningと比較するとトータルの時間を要するデータ取り込み時間データセットのサイズに依存し数分～数時間の学習時間が必要検索エンジンへのデータ取り込みが実行されれば即時反映 Fine tuningはいわゆる「学習」にあたるが、RAGは「参照」に近い。また一般的に公開されているAPI経由のファインチューニングには知識や語彙の獲得が難しい。仮に今後できるようになっても準備の手間や求められる機械学習の知見、および忘却が出来ないなどの理由から、知識の付与の第1選択肢はRAGとなっている。 150

Slide 128

Slide 128 text

精度向上のためのコンテキストエンジニアリング一覧基本的には下記の施策を適切に適用すれば精度の向上が見込めることが殆ど。施策概要備考・トレードオフ 1 インデックス作成不要なドキュメントの排除古いファイル、使用頻度の低いファイルの削除事前のアクセスログ分析が必要 2 検索対象テキスト選択チャンクに重要なキーワードが欠落しないよう前後情報の要約を足したり、そもそもの検索対象をチャンクに対する想定質問文にするなど、クエリからヒットしやすい形式にする。 LLMによる加工が入った場合、元のドキュメントから情報が欠落する可能性が0ではない。 3 図表情報の適切な抽出図表をLLMが読み取りやすい形式でテキスト化する。 LLMによる加工が入った場合、元のドキュメントから情報が欠落する可能性が0ではない。 4 Embeddingモデル・類似度関数調整専門用語に強いEmbeddingモデルに変更したり、類似度計算の学習をして想定に近い検索対象がヒットしやすいようにする。モデルの動作環境の準備や調整にやや専門性と手間が必要。 5 対話クエリ加工クエリにLLM内部の情報を追加したり、検索対象テキストに近くなるような加工を施す。リッチな加工を施すと回答までに時間が掛かりUXが悪化する。 6 ユーザからの情報収集検索に入る前に必要な情報をユーザから収集する。毎回質問を重ねられるとUXが悪いためバランス調整が難しい。 7 検索ハイブリッド検索の導入検索エンジンにおけるハイブリッド検索を使用する。フルテキスト検索の精度が悪いとベクトル検索単体より精度劣化する。 8 リランクの導入検索エンジンにおけるリランク機能を使用するか、リランクモデルを導入し検索結果を解析させる。回答までの時間が増加しUXが悪化する。 9 フィルタ検索インデックス作成時にあらかじめドキュメントのカテゴリを付与しておき、検索実行時にユーザ質問からカテゴリを推定させ、そのカテゴリ内だけのフィルタ検索を実行する。明白にジャンルが違うドキュメントが混在するケースでないと機能しにくい。 10 回答結果取り込み件数調整検索された結果の上位を何件までLLMに渡し参照させるか調整する。件数を多くし過ぎるとLLMの解釈性が低下し、回答までの時間も増加する。

Slide 137

Slide 137 text

検索対象は必ずしもチャンクした本文ではない # 1. 機械学習 ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~ ## 1.1 教師あり学習 ~~~~~~~~~~~~~~~~~~~~~~~ { “title”: “Fig.1 XXXXXX” “diag_info”: “~~~~~~~~~~~~~~~” “image_file_path”: “~~~~~~~~” } ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ ## 1.2 教師なし学習 ~~~~~~~~~~~~~~ | # | A | B | C | | - | --- | --- | --- | | ① | ~~~ | ~~~ | ~~~ | | ② | ~~~ | ~~~ | ~~~ | | ③ | ~~~ | ~~~ | ~~~ | Table1 XXXXXX ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ チャンクした本文を検索対象にチャンクの概要＋付加情報を検索対象に通常のパターン。最も単純で低コスト。文章の情報がぶつ切りになるため重要なキーワードが含まれない場合があったり、前後関係やテーマが抜け落ちる場合がある。検索に必要をLLMによって抜き出すパターン。ドキュメントのある程度の塊を渡しておき、チャンクの概要やキーワードなどを加え検索用のテキストを作り直す。通常のチャンクで欠落している情報を加味出来る。チャンクから想定されるユーザの質問文を検索対象にユーザの入力が質問文であることを想定し、あらかじめ想定質問をチャンクからLLMで生成して、その質問文を検索対象とする。検索対象とクエリを近づけるという点で考え方はクエリ拡張のHyDEのコンセプトに似ており、検索精度が高まる場合がある。入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答検索対象をチャンクした本文にするという意識が強いが、最終的に渡すテキストと検索対象が同じである必要はない 168

Slide 138

Slide 138 text

GPTを利用したドキュメントのQA化・ナレッジ化入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答 [System] # Task User入力のドキュメントから余計な文言は排除して知識だけを纏めたFAQリストを作ろうと思います。抜け漏れが無いように質問と回答のペアを Output_formatの出力形式で作成してください。 # Output ## Format jsonl形式で出力をします。各JSONオブジェクトは下記の形式とします。 {"question":<ドキュメントを基に作成した質問>, "answer":} ## Policy - question, answerの出力はUserの入力に基づいたものとすること FAQやナレッジグラフへの変換 {"question": "Microsoft Foundryで利用可能なモデルは何ですか？", "answer": "GPT-4 シリーズ (GPT-4 Turbo with Vision を含む)、gpt-5-mini シリーズ、埋め込みシリーズが利用可能です。"} {"question": "Microsoft Foundryで新しく一般提供されたモデルは何ですか？", "answer": "新しい GPT-4 と gpt-5-mini モデルシリーズが一般提供になりました。"} {"question": "Microsoft Foundryの機能は何ですか？", "answer": "コンテンツの生成、要約、画像の解釈、セマンティック検索、自然言語からコードへの翻訳などが可能です。"} {"question": "Microsoft Foundryにアクセスする方法は何ですか？", "answer": "REST API、Python SDK、または Azure OpenAI Studio の Web ベースのインターフェイスを介してアクセスできます。"} {"question": "Microsoft Foundryの価格情報はどこで確認できますか？", "answer": "価格情報は、公式ウェブサイトで入手可能です。"} {"question": "Microsoft Foundryは仮想ネットワークとプライベートリンクをサポートしていますか？", "answer": "はい、サポートしています。"} {"question": "Microsoft FoundryのUIエクスペリエンスはどのようなものですか？", "answer": "Azure portal でアカウントとリソースの管理ができ、モデルの探索と微調整には Microsoft Foundry Studio を使用します。"} {"question": "Microsoft Foundryでのコンテンツフィルタリングはどのように行われますか？", "answer": " プロンプトと入力候補は、自動システムを使ってコンテンツポリシーに対して評価され、重大度の高いコンテンツはフィルターで除外されます。"} {"question": "Microsoft Foundryへのアクセスは制限されていますか？", "answer": "はい、高い需要と Microsoftの責任あるAIへのコミットメントを考慮し、制限されています。"} {"question": "Microsoft FoundryとOpenAIの違いは何ですか？", "answer": "Microsoft Foundryは、OpenAIのモデルをAzureのセキュリティとエンタープライズの約束と共に提供し、プライベートネットワークやリージョンの可用性、責任あるAIコンテンツのフィルタリングを提供します。"} Systemプロンプト生の文章ではなく検索時に応えやすい形式としてドキュメントを加工することで、ユーザ問い合わせに回答しやすくなることも GPTによるドキュメント加工 169

Slide 142

Slide 142 text

高精度かつコンテキスト長の大きいモデルを使った検索結果取り込みの増加コンテキスト長が大きくそれを高精度に把握できるモデルであれば、検索結果の順序が多少悪くても全てコンテキストに詰めれば回答に必要な部分だけを抽出できる可能性がある。入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答許容コンテキスト長が小さく精度の低いモデル許容コンテキスト長が大きく精度の高いモデル初心者でも扱いやすいように、このバットは特別に軽量化されています。かなり振りやすいので初めてでも扱いやすいバットといえます。この軽量のバットは初心者にも振りやすく設計されています。初心者向けのクリニックでは、バットの正しい握り方から教えます。初心者はしばしば、バットを振る速度を誤ってしまうことがあります。 1 2 3 4 5 バットの選び方を間違えると、初心者はさらに打つのが難しくなる。野球教室の初日、初心者たちはバットの基本的な使い方を学んだ。 6 7 初心者でも、バットのグリップの感触にはすぐに慣れるものです。初心者がバットでボールを打つ練習をする際は、安全が最優先です。 8 9 リランクを施し上位のものだけコンテキストとして付与初心者でも扱いやすいように、このバットは特別に軽量化されています。かなり振りやすいので初めてでも扱いやすいバットといえます。この軽量のバットは初心者にも振りやすく設計されています。初心者向けのクリニックでは、バットの正しい握り方から教えます。初心者はしばしば、バットを振る速度を誤ってしまうことがあります。 1 2 3 4 5 バットの選び方を間違えると、初心者はさらに打つのが難しくなる。野球教室の初日、初心者たちはバットの基本的な使い方を学んだ。 6 7 初心者でも、バットのグリップの感触にはすぐに慣れるものです。初心者がバットでボールを打つ練習をする際は、安全が最優先です。 8 9 173

Slide 143

Slide 143 text

高精度かつコンテキスト長の大きいモデルを使った検索結果取り込みの増加コンテキスト長が大きくそれを高精度に把握できるモデルであれば、検索結果の順序が多少悪くても全てコンテキストに詰めれば回答に必要な部分だけを抽出できる可能性がある。入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答許容コンテキスト長が小さく精度の低いモデル許容コンテキスト長が大きく精度の高いモデル初心者でも扱いやすいように、このバットは特別に軽量化されています。かなり振りやすいので初めてでも扱いやすいバットといえます。この軽量のバットは初心者にも振りやすく設計されています。初心者向けのクリニックでは、バットの正しい握り方から教えます。初心者はしばしば、バットを振る速度を誤ってしまうことがあります。 1 2 3 4 5 バットの選び方を間違えると、初心者はさらに打つのが難しくなる。野球教室の初日、初心者たちはバットの基本的な使い方を学んだ。 6 7 初心者でも、バットのグリップの感触にはすぐに慣れるものです。初心者がバットでボールを打つ練習をする際は、安全が最優先です。 8 9 初心者でも扱いやすいように、このバットは特別に軽量化されています。かなり振りやすいので初めてでも扱いやすいバットといえます。この軽量のバットは初心者にも振りやすく設計されています。初心者向けのクリニックでは、バットの正しい握り方から教えます。初心者はしばしば、バットを振る速度を誤ってしまうことがあります。 1 2 3 4 5 バットの選び方を間違えると、初心者はさらに打つのが難しくなる。野球教室の初日、初心者たちはバットの基本的な使い方を学んだ。 6 7 初心者でも、バットのグリップの感触にはすぐに慣れるものです。初心者がバットでボールを打つ練習をする際は、安全が最優先です。 8 9 多めにドキュメントを丸ごと与え GPTに関連性のあるもののみ着目して回答させることが可能 174

Slide 145

Slide 145 text

GPT-4によるチャンク化で適切な切れ目を判定(前提情報も付与) # 機械学習機械学習は、コンピュータがデータから学習し、予測や意思決定を行うアルゴリズムや技術の集まりです。この分野は統計学、数学、コンピュータサイエンスの原理に基づいており、パターン認識、予測分析、データマイニングなど幅広い応用があります。機械学習のアルゴリズムは、データを分析し、そのデータに基づいて予測や決定を行います。これにより、プログラムは明示的に指示されなくてもタスクを実行できるようになります。 ## 教師あり学習教師あり学習は、入力データ（特徴）とそれに対応する出力データ（ラベル）を用いてモデルを訓練する手法です。例えば、メールが「スパム」か「非スパム」かを識別するために、既にラベル付けされたメールデータセットを使用してモデルを訓練することができます。このアプローチは、分類（ラベルがカテゴリである場合）と回帰（ラベルが連続値である場合）の二つの主要なタスクに分けられます。 ## 教師なし学習教師なし学習では、ラベルや指示が付与されていないデータからパターンや構造を発見することが目的です。このアプローチは、データの本質的な特性や関係性を理解するのに役立ちます。クラスタリング（データを自然なグループに分ける）、次元削減（データの複雑さを減らす）、および関連規則学習（アイテム間の関連を見つける）などが、教師なし学習の主要なタスクです。 ## 強化学習強化学習は、エージェントが環境との相互作用を通じて最適な行動を学習するアプローチです。エージェントは一連の行動を取り、それに応じて環境から報酬（ポジティブなフィードバック）またはペナルティ（ネガティブなフィードバック）を受け取ります。目的は、報酬を最大化するようにエージェントの行動方針を調整することです。この手法は、ゲームプレイ、自動運転車、ロボット工学などで特に注目されています。 # 機械学習機械学習は、コンピュータがデータから学習し、予測や意思決定を行うアルゴリズムや技術の集まりです。この分野は統計学、数学、コンピュータサイエンスの原理に基づいており、パターン認識、予測分析、データマイニングなど幅広い応用があります。機械学習のアルゴリズムは、データを分析し、そのデータに基づいて予測や決定を行います。これにより、プログラムは明示的に指示されなくてもタスクを実行できるようになります。 # 機械学習概要～～～～ ## 教師あり学習教師あり学習は、入力データ（特徴）とそれに対応する出力データ（ラベル）を用いてモデルを訓練する手法です。例えば、メールが「スパム」か「非スパム」かを識別するために、既にラベル付けされたメールデータセットを使用してモデルを訓練することができます。このアプローチは、分類（ラベルがカテゴリである場合）と回帰（ラベルが連続値である場合）の二つの主要なタスクに分けられます。 # 機械学習概要～～～～ ## 教師なし学習教師なし学習では、ラベルや指示が付与されていないデータからパターンや構造を発見することが目的です。このアプローチは、データの本質的な特性や関係性を理解するのに役立ちます。クラスタリング（データを自然なグループに分ける）、次元削減（データの複雑さを減らす）、および関連規則学習（アイテム間の関連を見つける）などが、教師なし学習の主要なタスクです。 # 機械学習概要～～～～ ## 強化学習教師なし学習では、ラベルや指示が付与されていないデータからパターンや構造を発見することが目的です。このアプローチは、データの本質的な特性や関係性を理解するのに役立ちます。クラスタリング（データを自然なグループに分ける）、次元削減（データの複雑さを減らす）、および関連規則学習（アイテム間の関連を見つける）などが、教師なし学習の主要なタスクです。 GPT GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog 入力情報の加工ドキュメント・クエリマッチング検索実行コンテキストベース回答 177

Slide 172

Slide 172 text

206 AI Agent における混同しやすい用語のまとめ作業自動化においてはワークフローをどう設計するかが重要で、マルチエージェントになるのかシングルエージェントになるのか単なる LLM処理になるのかは使ったパーツが何であるかの結果でしかない点に注意。用語概要別の通称などエージェント LLM自身がツール使用の順序やパラメータなどの計画を出力し、実行結果を吟味し、修正していくことで設定された目標を達成するもの。最も身近な実装はChatGPT内で使うo3などの推論モデルや Responses API経由でツールを持たせた推論モデルのイメージ。 ➢ LLM based エージェント (本来のエージェントはもっと広義であるため) ➢ シングルエージェントマルチエージェントエージェント同士が出力結果を受け取り、協調していくことでシングルエージェントよりも出力性能を高め設定された目標を達成するもの。エージェントが複数協調する段階でフロー的な遷移が発生するので、自動的に↓の2つのいずれかにも該当することが多い。それらも全て包含し、マルチエージェントと呼ばれている現実がある。 LLM ワークフローエージェントや単なるLLM処理、ロジック処理などを業務フローなど事前定義されたフローに沿って実行していくことで業務を完遂する。 LLMやエージェントが無ければRPAに近い。 ➢ マルチエージェント (エージェントが複数入った場合。協調が動的でない場合、やや定義としてはこの呼称は適切でないとする向きもある。) ➢ LLMパイプライン Agentic ワークフローエージェントや単なるLLM処理、ロジック処理などをLLM自身が動的に作業順序を決定し、実行して業務を完遂する。 ➢ マルチエージェント (エージェントが複数入った場合。) 作りたいのはワークフローによる自動化。それがマルチエージェントと呼ばれることが多いため、そちらの方がバズワード化しているが、本来エージェントは部品でしかない。

Slide 174

Slide 174 text

217 Agent × ワークフロー開発の準備汎用チャットと比較すると事前の検討項目が多い。新しい技術領域なので、なかなか事前に想定し切れないタスクが発生する。 UI/UX検討業務分析ワークフロー検証評価現行業務分析外部連携先洗い出し思考時間目標設定インターフェースデザイン Agent挙動検討プロンプト検証 RAG検証評価観点・指標整理評価手法精度検証安全性対策いわゆる「LLMが考える時間」をどれだけ与えるかなどを、UXから逆算して目標を決定。使用想定を考えながら、テキスト、音声、画面クリックなど、どれが最も最適なインターフェースとなるか検討。既存の業務がある場合には実際に人間が受け持っているタスクの洗い出し。データ参照先や更新処理などがどこで発生しているか、APIとしてコールできるかの確認。 Agentが業務を置き換える場合にあるべきフローを定義する。設計時の注意点は後述。 Agentの遷移方法やフローの流し方によってフレームワークの選択肢も変化する。プロンプトテンプレートの策定、出力形式・CoTの構成の検討。指示量が多くなるため、守らせたいルールの取捨選択、指示すべき挙動の洗い出し。検索の場合はFunction Calling設計、クエリ抽出方法検討、検索エンジン設定、参照データのインデックス化パイプライン検証など。 Agentに想定されうる攻撃の種類と対処法を確認。何の観点で評価をして、それをどのような手段で実行するか。評価用データを作ってもらう必要があるなら、事前に依頼や根回しを済ませておく。選定した評価手法が適切に精度が出るかどうか。LLM as a Judgeを信用し過ぎない。

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text