Generative AIの衝撃 第4章 -2025年6月バージョン-

企業・組織に属している方向けの ChatGPTに代表される生成AI の社会・ビジネスへの影響を考えるお話です。
人とComputerの在り方が大きく変わったこれらも交えて。それらが周囲にあふれ出すその日のために、今はしっかりと Prompt の仕方を学んでおきたいものです。そのためのサンプルも幾つか継続して提示しています

- AI Transformation その構成要素
- Generative AIへの不安
- 業務に活かすPromptの利用例
- AI Agent
- Deep Researchの業務へのインパクト
- 組織としてのAI Ready Organization - 何を準備すべきか?
- とある人のGenerative AI 業務利用の話。ただし2023年3月くらいのお話。1年以上前。
- 数理最適化問題に挑戦をしてみた。初学者なんですけどね。
- ChatGPTの技術面

そして、自分で動かすための演習。こちらが演習のコンテンツです。
https://github.com/dahatake/ChatGPT-Prompt-Sample-Japanese/

Transcript

1. 生成AI の衝撃 : 第4章 “RAG と Agent の見本 Deep Research と Analyst 爆誕” 畠山 大有 | Daiyu Hatakeyama Principal Technical Architect Microsoft Innovation Hub /dahatake @dahatake /in/dahatake /dahatake /dahatake /dahatake https://speakerdeck.com/dahatake
2. メモと 情報共有 してますか?
3. AI Transformation
4. Cloud + Smartphone Digital Transformation AI Transformation
5. ペンシルベニア大学経営学修士課程(MBA) 2023 3 14 0 26言語(専門家レベルの会話) 数学/統計学/物理学/天文学/化学/生物学/工学/建築学 デザイン学/農学/医学/政治学/法学/経済学/経営学/社会学 教育学/哲学/宗教学/言語学/人類学/考古学/地理学/文学 芸術学/心理学 司法試験合格/米国医師免許所持 GPT4
6. • 自動車の自動運転は、まだ実現していないし、 膨大なリソース (人・モノ・カネ・時間など) が必要 AIによる全自動化 場合によっては研究レベル 必要性もあり、実装に範囲のある話なので。近いうちに実現するとは思いますが DALL-E 3で作成: prompt 未来的な都市のスカイラインを背景に、シルバーとブラックの配色で、ブルーのアクセントカラーを持つモダンな自動 運転車が走行している。車の内部では、透明なディスプレイが情報を表示し、リラックスした乗客が読書を楽しん でいる。視点は正面からで、画像は3次元で表現され、アスペクト比は16:9である。
7. • OpenAI「o1」は、複雑な 問題解決能力に特化したモデル • より深く考えて結果の生成をする • 1月18,19日実施の大学入学 共通テストで、得点率は91％ • これは東大文１合格ライン以上 2025年 大学入学共通テストで 東大文１合格レベル ※https://news.yahoo.co.jp/articles/f6d0f823bd132948fa218be7c1b932a94c714453
8. 激しい性能競争の結果、知能指数は人間を超えた 100 110 120 130 140 150 90 80 70 60 50 人の平均値 ※2024年9月 Mensa Norway のＩＱテストで 120超えをマーク https://vulcanpost.com/870954/openai-new-gpt-model-o1-score-120-iq-test/ 160
9. • 成熟の真っただ中 • 「使えない」の状況が、早々に変わる可能性 生成AIモデルの実業務での成熟度 Image source: Sequoia Capital
10. 生成AIの急速な進歩 記事、詩、物語、さらには コンピューターコードを含む、 人間のようなテキストの作成 Text generation Chatbot Code Gen/Exec Automation よりコンテキストを認識し、 一貫性のある関連性のある マルチターンの会話を実現 さまざまなプログラミング言語の コードを理解して生成し、 開発者が複雑なコーディング タスクに取り組むのを支援 外部システムでアクションを トリガーできる高度な関数 またはツール呼び出しを生成し、 タスクの自動化を促進 Human level interactions 音声と視覚を使用してリアルタイムの 会話に参加し、物理世界をより 包括的に理解することで、人間の コミュニケーションにおける感情や その他の機微を理解します Text Vision Real Time Audio Larger Context Function Calling Image & Video Generation Real Time Audio Generation 様相 機能・能力
11. モデルの進化とPromptの量 従来型 # 目的 # 役割 Task Ast As # 具体例 One/Few-Shot Learning Reasoning # 処理手順 Chain-Of-Thought # 見直し Recursively Criticizes and Improves # データ RAG # 目的 # 役割 # 具体例 # 処理手順 # 見直し # データ <<Application>> Deep Research # 目的 # 役割 # 具体例 # 処理手順 # 見直し # データ GPT-4o O3-mini-high O3-mini-high むしろ逆効果 検索結果の妥当性 チェックもする Prompt re-write [プロンプトの強化] 自分の職務などは EntraID連携済み タスク明確化のための 追加質問 GitHub Copilot Agents Researcher / Analyst
13. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて Conversational UX 五感での対話。 対話の中での微調整 モデルのカスタマイズの 不確実性と多くの時間投下 Retrieval Augmented Generation その場の情報の取り込み 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 Reasoning Engine その場の状況に応じた ワークフロー 事前に全ての条件分岐や機能 を実装する必要があった Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 UX Revolution Services Revolution
14. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて Conversational UX 五感での対話。 対話の中での微調整 モデルのカスタマイズの 不確実性と多くの時間投下 Retrieval Augmented Generation その場の情報の取り込み 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 Reasoning Engine その場の状況に応じた ワークフロー 事前に全ての条件分岐や機能 を実装する必要があった Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 UX Revolution Services Revolution ニアリアルタイム より複雑なタスクへの対応 (Prompt自動生成、AutoAgent など)
15. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて モデルのカスタマイズの 不確実性と多くの時間投下 Retrieval Augmented Generation その場の情報の取り込み 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 Reasoning Engine その場の状況に応じた ワークフロー 事前に全ての条件分岐や機能 を実装する必要があった Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 UX Revolution Services Revolution より複雑なタスクへの対応 (Prompt自動生成、AutoAgent など) Streaming オフライン Device側での革新 大量・高速のインスタンス起動 Conversational UX 五感での対話。 対話の中での微調整 ニアリアルタイム
16. Conversational UX 言葉での対話。対話の中での微調整
17. ChatGPT の革新とは.. UX (Shell?) の革新 The Age of AI has begun | Bill Gates (gatesnotes.com)
18. 私… タイポ。 つまり入力ミスが多いんです…
19. それで コピペできるよう にしている
20. 『あれ? 多少入力ミスしても、だいたい動くな… 』
21. 『今の音声入力の精度でもいけるのでは? 』
22. 2つのAI を使った動きを見てみる 話す 音声認識 文章校正 + Prompt実行 音声認識ツール起動 Prompt の文字列をコピペ + ###と###の間に、フォーカス移動 dahatake/ChatGPT-Prompt-Sample-Japanese: ChatGPT の Prompt のサンプルです。 (github.com) 欲しい情報
23. Prompt Engineering は補助にすぎない! ### 指示 ### 次の文章の内容を変更せずに、 CEFRのC1レベルに添削してください。 添削した文章は英語で作成してください。 なぜ、その改善をしたのかの理由は 日本語で作成してください。 ステップバイステップで考えてください。 文章: ### I found the technical issue at our cloud services. The almost of behavior of issue looks like come from storage layer. I guess disk IO is near peak. How can I check this? ### 具体的に何をしてもらいたいのか? 何かをしてもらうための 追加のデータや情報 Prompt Engineering のテクニック: Delimiter Prompt Engineering のテクニック: Delimiter Prompt Engineering のテクニック: Chain of Thought Prompt Engineering のテクニック: Delimiter
24. Prompt に正解は無い やりたい事が出来ていれば、 それがあなたにとっての正解
25. • タイピングではなく音声で PC に入力するために音声入 力を使用する - Microsoft サポート • Word、 Outlook、 OneNote (特にスマホ経由) で文 章を作成する際に便利です Windows + H Windows での音声入力 ショートカット キー
26. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて Conversational UX 五感での対話。 対話の中での微調整 モデルのカスタマイズの 不確実性と多くの時間投下 Retrieval Augmented Generation その場の情報の取り込み 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 Reasoning Engine その場の状況に応じた ワークフロー 事前に全ての条件分岐や機能 を実装する必要があった Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 UX Revolution Services Revolution
27. Multi-Modal 超汎用モデル
28. Prompt 実は簡単じゃない問題
29. 使い方の説明は必要ですか?
30. GPT が文章を作成する仕組み 日本 の 首都 は GPT 東京 入力されたテキストからし、最も確率の高いと推論される次の文字列を生成 95 12.5 6.8 0.1 0 50 100 東京 京都 奈良 … 次の単語の出現率(%) ※ 説明のための、かなり抽象化した表現です。実際の処理とは異なります 事実関係でなく出現確率である点に注意
31. GPT が文章を作成する仕組み 日本 の 首都 は GPT 東京 入力されたテキストからし、最も確率の高いと推論される次の文字列を生成 95 12.5 6.8 0.1 0 50 100 東京 京都 奈良 … 次の単語の出現率(%) ※ 説明のための、かなり抽象化した表現です。実際の処理とは異なります 事実関係でなく出現確率である点に注意
32. GPT が文章を作成する仕組み 日本 の 首都 は GPT 東京 入力されたテキストからし、最も確率の高いと推論される次の文字列を生成 95 12.5 6.8 0.1 0 50 100 東京 京都 奈良 … 次の単語の出現率(%) ※ 説明のための、かなり抽象化した表現です。実際の処理とは異なります 事実関係でなく出現確率である点に注意 現在の
33. GPT が文章を作成する仕組み 日本 の 首都 は GPT 東京 入力されたテキストからし、最も確率の高いと推論される次の文字列を生成 95 12.5 6.8 0.1 0 50 100 東京 京都 奈良 … 次の単語の出現率(%) ※ 説明のための、かなり抽象化した表現です。実際の処理とは異なります 事実関係でなく出現確率である点に注意 現在の
34. 全てを言葉だけで説明するのは難しい DALL-E 3 で作成 - Prompt: パソコンの画面に複雑なエラーコードが表示されており、その前で困惑する人の表情を捉えた 写真風のイメージ。背景はオフィスで、青と白の配色で明るく、エラーコードには赤いアクセント カラーを使用。正面からの視点で、デジタルアートのタッチで描かれている。アスペクト比は16:9。 アプリケーションの動作不具合 目の前の絶景 DALL-E 3 で作成 - Prompt: 富士山の麓から見上げる、満開の桜と共に映る富士山の高解像度の写真風画像。メイ ンカラーは青、サブカラーは白、アクセントカラーはピンクで、3次元の16:9のアスペクト比で描 かれている。
35. Multi-Modal Model 可能性の話ではあるが… App Best of breed (Today) Speech to Text LLM (Text to Text) Text to Speech LLMの前処理 LLMの後処理 Internet Internet Internet Internet Internet Multi Modal (未来) App Speech to Text Text to Text Text to Speech Vision to Text Text to Vision Internet … パフォーマンスが劇的に向上する可能性がある Extension?
36. Multi-Modal Model 全てを言葉だけで説明するのは難しい Multi Modal (未来) App Speech Text Computer Vision Video … Extension? 現実世界| メタバース など Device マイク スピーカー カメラ スクリーン メガネ 時計 人 機械 車 デジタル化 デジタル化 デジタル化 デジタル化 デジタル化 デジタル化 センシング センシング センシング センシング センシング センシング 五感をデジタル化 多様なデジタル情報を処理 何をお手伝いし ましょうか? ChatGPTの使い 方を教えて 了解しました. …. ….
37. Multi-Modal Model 全てを言葉だけで説明するのは難しい Multi Modal (未来) App Speech Text Computer Vision Video … Extension? 現実世界| メタバース など Device マイク スピーカー カメラ スクリーン メガネ 時計 人 機械 車 デジタル化 デジタル化 デジタル化 デジタル化 デジタル化 デジタル化 センシング センシング センシング センシング センシング センシング 五感をデジタル化 多様なデジタル情報を処理 何をお手伝いし ましょうか? ChatGPTの使い 方を教えて 了解しました. …. …. 五感で伝えられる 人がストレスなく使える コンピューティングへ
39. マイク スピーカー カメラ スクリーン Microsoft Build 2024 Keynote: https://www.youtube.com/watch?v=8OviTSFqucI Smart Phone マイク スピーカー カメラ マルチモーダルによるかつてないUX 既存アプリ Copilot と画面共有 別のデバイスからでも 今 後 提 供 予 定
40. 今 後 提 供 予 定 キーボードによる入力が 一切無い!
41. 今 後 提 供 予 定 SF映画やアニメで コンピューターのエージェント (Copilot) との 対話シーンをよく目にしませんでしたか?
42. GPT-4o Real-time Audio Preview 登場! Announcing new products and features for Azure OpenAI Service including GPT-4o-Realtime-Preview with audio and speech capabilities | Microsoft Azure Blog
43. GPT-4 の私の衝撃 とうとう、「日本語」という 言語の壁がなくなりつつある! • MMLU = Massive Multitask Language Understanding • 事前学習で獲得した知識を評価する ために設計されたいベンチマーク。STEM、 人文科学、社会科学など、57のテーマ、 初級から上級プロフェッショナルレベルま での難易度があり、世界知識と問題 解決能力の両方をテストにまたがってい る。約14,000の多肢選択問題群から 構成されている
44. GPT-3 の学習データの 93% は英語 2005.14165.pdf (arxiv.org) インターネット全体をクロール Webページから抽出されたプレーンテキスト 多数の書籍 Wikipedia (英語のみ)
45. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて Conversational UX 五感での対話。 対話の中での微調整 モデルのカスタマイズの 不確実性と多くの時間投下 Retrieval Augmented Generation その場の情報の取り込み 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 Reasoning Engine その場の状況に応じた ワークフロー 事前に全ての条件分岐や機能 を実装する必要があった Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 UX Revolution Services Revolution
46. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて モデルのカスタマイズの 不確実性と多くの時間投下 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 事前に全ての条件分岐や機能 を実装する必要があった UX Revolution Services Revolution Conversational UX 五感での対話。 対話の中での微調整 ニアリアルタイム Reasoning Engine その場の状況に応じた ワークフロー Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 マルチモーダルも見据えた、 Vector Store と Search Auto Gen (マルチエージェント) Retrieval Augmented Generation その場の情報の取り込み より複雑なタスクへの対応 (Prompt自動生成、AutoAgent など)
47. Retrieval Augmented Generation その場の情報の取り込み
48. 2023年12月時点のデータで学習している Source: https://platform.openai.com/docs/models/gpt-4-turbo-and-gpt-4
49. 素のGPT-4 とて… 現在のOpenAIのChatGPTでは、Bing検索をすることが多いので、知識を問う事については、 何等か情報が返ってきます
50. 同じ GPT-4 を使っているのに Bing は出来る
51. Prometheus – Bing の Chat アプリ 独自アプリ データベース (正確にはインデックス)
52. LLM (大規模言語モデル) は データベース ではない 道具の特性が違う! データの追加・ 更新・削除 次に出力するべき 文章を推論 新しい情報 ある時点での情報
53. http://pretrain.nlpedia.ai/ ビジネスへのフィットの興味・可能性も Prompt Engineering に移りつつある
54. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて Conversational UX 五感での対話。 対話の中での微調整 モデルのカスタマイズの 不確実性と多くの時間投下 Retrieval Augmented Generation その場の情報の取り込み 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 Reasoning Engine その場の状況に応じた ワークフロー 事前に全ての条件分岐や機能 を実装する必要があった Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 UX Revolution Services Revolution
55. Reasoning Engine その場の状況に応じたワークフロー
56. Assistants API • Application と Model と2つの面がある ChatGPT機能強化の方向性 ChatGPT マルチモーダル Foundation Model Application Service Completion API Threads Tools Code Interpreter Function Calling Function Calling
57. どの関数を呼べばいいのかの分類を、Promptから分類する。 関数の実行結果を渡すことで、最終的な応答を作成する • リアルタイムの情報を取得 • 例:スポーツのスコア、株価、最新ニュースなど • ナレッジベースの情報を取得 • 例:会社のドキュメント、個人的なメモなど • ユーザーに代わってアクションを実行 • 例:フライトの予約、食べ物の注文など Function Calling
58. • いつ、どの 関数 を使うのか (Intent) は ChatGPT が選択 複数の 関数 を同時に使える!!!
59. • フローを組むのは、人 と ChatGPT のコンビネーション • その場で変更できる! • Prompt はテキスト API を紡ぐ Workflow ChatGPT Plugin Intent/Task の理解 Plugin のマッチング Plugin の呼び出し どんな時に使えるのか? Intent / Task 複数の Intent/Task ChatGPT Function Calling は神機能
60. 宿泊予約プラグイン REST API の緩やかな連携 Your Copilots 7/10から5日間シアトルに 出張するんだけど ホテルと飛行機の予約をお願い 7/10~7/15 までの旅程を作成しまし た。確認してください。 .... 解答 旅程作成: GPT-4 プラグイン, ツール /search /reserve 予約 予約検索 OpenAPI specification 宿泊予約システム endpoints /search /reserve 航空券予約プラグイン 出張申請プラグイン 帳票OCRプラグイン レストラン予約プラグイン 問い合わせ Function Calling + オ ー ケ ス ト レ ー シ ョ ン データ分析プラグイン /confirm 航空券予約システム レストラン予約システム 出張申請システム Form Recognizer /delete 予約確認 予約削除 … DB /aggregate /predict 申請 /request … /analyze 読み取り 7/14 のタクシーのレシートを添付す るから登録お願い /recommend ML models … 計算機: llm-math 問い合わせ … /search … 検索
61. Copilot Studio で作成したプラグイン Microsoft 365 Chat 外部向け Copilot 内部向け Copilot Teams やPower Apps、SharePoint などEntra ID 認証を伴うサイトへの公開 認証を伴わない公開サイトへの公開 豊富なチャネルでの公開先
62. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて Conversational UX 五感での対話。 対話の中での微調整 モデルのカスタマイズの 不確実性と多くの時間投下 Retrieval Augmented Generation その場の情報の取り込み 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 Reasoning Engine その場の状況に応じた ワークフロー 事前に全ての条件分岐や機能 を実装する必要があった Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 UX Revolution Services Revolution
63. Code Interpreter その場での プログラムコード作成・実行・エラー補正
64. • Python のコード生成 • インターネットの接続は出来ない • Python のコード実行 • 可能な範囲でのエラーの自動修正 • Tools の一つ • セッションのタイムアウトあり • ファイルのアップロードとダウンロード • 512 MB まで • 10,000個まで Code Interpreter ChatGPT plugins (openai.com)
65. データ分析実行 と PowerPoint 作成 [ChatGPT Hack] Code Interpreter で訪日外客者数のデータ分析と PowerPoint のファイルを作ってみた - Qiita ファイルアップロード と Prompt Insight と グラフ 作成 PowerPoint 作成
66. データの加工 (クレンジング、前処理) も… [ChatGPT Hack] Code Interpreter で、訪日外客者数 Excel ファイルのデータ加工 (データクレンジング・前処理)をやってみた - Qiita ファイルアップロード と Prompt 結果の基礎解析 作成したデータセット
67. タスクを手伝ってくれる優秀なチームメンバー データ分析のシナリオ例 これまで ChatGPT + Code Interpreter 仮説の 文章化 データ収集 データの理解 データ変換 可視化 (グラフ作成) 気づきを 文章化 レポート作成 仮説の 文章化 データ収集 データの理解 データ変換 可視化 (グラフ作成) 気づきを 文章化 レポート作成 データ構造は 指定した方がいい データの内容の理解は ある程度任せられる 最も退屈で大変 ChatGPT 仮説の 文章化 データ収集 データの理解 データ変換 可視化 (グラフ作成) 気づきを 文章化 レポート作成 ネタから作成 ネタから作成
68. シンプルな機械学習のモデル生成 [ChatGPT Hack] Code Interpreter で、データのファイルをアップロードしただけで、機械学習のモデル作成できた。シンプルなものだけど - Qiita ファイルアップロードとPrompt 学習用のコード生成と実行 推論用のコード生成
69. LLM による AI Transformation コンピューターに慣れない方はいる スマホ や、GUI +マウスと合わせて Conversational UX 五感での対話。 対話の中での微調整 モデルのカスタマイズの 不確実性と多くの時間投下 Retrieval Augmented Generation その場の情報の取り込み 誰でも使える 日本語対応を待つ必要があった 言語、データ型およびタスク専用のモデル選択 Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの入出力高い汎用力と高パフォーマンスの実現 機能追加時の変更作業が 高付加 Reasoning Engine その場の状況に応じた ワークフロー 事前に全ての条件分岐や機能 を実装する必要があった Code Interpreter その場での プログラムコード作成・ 実行・エラー補正 機能・情報の即時性への柔軟かつ高い対応力 UX Revolution Services Revolution
70. Multi-Modal 超汎用モデル 日本語、音声、画像、動画などの 入出力高い汎用力と 高パフォーマンスの実現 Services Revolution Multi-Modal と 専用Model Speech to Text Computer Vision: OCR Computer Vision: Image Classification Computer Vision: Object Detection タスクの範囲 専用Model シングルタスク用モデル 特定 定義が出来ない 推論の精度 Fine-Tuning/Labeling などで 調整可能 Fine-Tuning で調整可能 推論の場所 クラウド / デバイスなど 選択できることが多い クラウドのみが殆ど 料金 ? ?
71. 漠然とした不安
72. 新しいテクノロジーに対する 漠然とした不安、恐怖 新しいテクノロジーに対する 漠然とした不安、恐怖
73. • 機密情報の入力 • サービスによっては、学習に使われる可能性がある • 出力文字列の妥当性 • 何の根拠もなく正しいと判断すること • 知識としての情報を表示しているわけではない • 知財の扱い • サービスによって利用許諾や 出力データの知財などが異なる 留意事項 - 個人的な見解 - 汎化・抽象化 1次情報の確認 | 学び続ける 自社の法務担当に 相談
74. Microsoft のAIの保護 お客様のデータは お客様のもの お客様のデータはAIモデルのファインチューニングには利用されません お客様のデータとAIモデルは全ての段階で保護されます 新たな Copilot Copyright Commitment
75. インターネット 黎明期にも、様々な議論があった Security 情報の信用性 知財 全ての人に 通信経路が傍受される? 会社のネットワークとつなげていいの? 誰が書いた情報なのか 分からない 書籍など知財のコピペが 横行するのでは? 通信料とデバイスの 支払い能力のある人 ビジネスの変化 手紙・人に会う前提での打ち合わせ マスメディア 物理店舗 認証や暗号化技術の オープン化と進展 キュレーター。収斂 整備は進んでいる 大多数の方が使えるように メール・サーチ・ Web Meeting YouTube・ソーシャル EC・ネット決済など
76. 会社・組織で定義したデジタルに限定しない情報保護・管理 違いを説明できますか? ChatGPT お仕事ーーー 助けて Cloud Services ネットの検索 機械翻訳 メール・ファイル・ チャット・Web ミーティング
77. 何が違うのか? ネット ネットで検索する サイトの情報を読む 業務で使う ChatGPT Promptを入力する ChatGPTの生成物を読む 書籍・論文 書店で購入 | 図書館で借りる などなど 書籍を読む 情報の真偽 知財
78. 「Internet が繋がらない」 ストレス?
79. ネット検索する人 vs しない人 SNS 使いこなす人 vs メールのみの人 スマホを使いこなす人 vs 使えない人 ChatGPT を使いこなす人 vs 使えない人 xxx (<-今後も出てくる!) を使いこなす人 vs 使えない人
80. Large Language Model たち Model 開発主体 Note GPT-3,GPT-4 OpenAI APIのみ。モデル非公開 LLaMA, LLaMA2 Meta オープン PaLM, PaLM 2, Gemini Google AI Alpaca Stanford 学術目的のみ Vicuna UCB,CMU,USSD など 学術目的のみ Dolly-v2 Databricks オープン RWKV BlinkDL オープン StableLM Stability.ai オープン RedPajama Together 他にもあると思います ベンダーロックイン をしない
81. 相当前から今後も続く研究 今後良くなるだけ 使えるコト は (= Prompt を扱えるコト) メリット しかない
82. 生成AIは仕事を奪うのではなく「補完」する ILOは2023年8月21日、コンピュータが学習した デ ー タ を 基 に 新 し い 情 報 を 作 り 出 す 、 生 成 AI （人工知能）が雇用に与える影響についての 報告書を発表しました。 ほとんどの仕事や産業に おける自動化の影響は部分的で、 生成AIが人に 取 っ て 代 わ る と い う よ り も む し ろ 補 完 す る 可能性が高いと報告。 これらの最新技術による 最大の影響は「雇用破壊ではなく、むしろ仕事の質、 特 に 作 業 強 度 や 自 律 性 を 変 え る 可 能 性 が 高い」と述べています。 https://www.ilo.org/static/english/intserv/working-papers/wp096/index.html
83. 組織として…
84. Artificial Intelligence, Scientific Discovery, and Product Innovation* Aidan Toner-Rodgers† MIT November 6, 2024 上位 10％の生産性は 81％を超える 下位 30％は、まったくAIを活用できない 中間層の科学者は生成AIを一定程度活用し、生産性が10〜50%向上することも 中間層のトップは50%以上の成果を上げる場合もある AIの活用については、2極化
85. 5人 社員数 100人 Agent 数 25 Agent 活用度合い 10 81% 10%の人(10人) が81% 10,125 value 生み出す価値 or 生産性 = X X 8,700 value 追加の価値創造 or 生産性の向上 ※ 何の科学的根拠もない思考シミュレーションです 担当者を置けない 活用しないと 仕事が回らない 60%の人(60人) が10%
86. AIではなく AIに精通した人が 仕事を奪う AIではなく AIに精通した人が 仕事を奪う
87. Prompt を業務で使うための コツ
88. 文章生成系 分類系 生成AI で出来るコトの例 要約 小学生にも分かるように 300文字程度で要約して 感情分析 喜び/怒り/悲しみの感情を 0~5で表現して エンティティ分析 場所/人物名/組織名を 抽出して キーフレーズ抽出 次の文章の重要なフレーズ を抽出して インサイト抽出 次のレビューから商品の 改善点を考えて 校正 誤字/脱字/タイプミスを 見つけて 添削/評価 〇〇の基準で10点満点で 評価して 翻訳 次の文章をフォーマルな 日本語に翻訳して 問題作成 次の文章から4択問題を 作成して コード作成 OpenAIのAPIを実行する コードを書いて アイデア創出 人気の出るブログの 内容案を提案して 記述アシスタント このメールの日程調整をする メールを書いて 情報検索 WEBアプリの要件定義に ついて教えて 情報抽出系 文脈理解系 チェック系 翻訳系 従来からできるタスク 新しくできるタスク テキスト分類 次のニュース記事の カテゴリを教えて 思考の壁打ち 〇〇という考えで抜けている 点を指摘して
89. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? Microsoft Copilot (Bing Chat)
90. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? ChatGPT
91. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? Microsoft Copilot (Bing Chat)
92. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? ChatGPT ChatGPT
93. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? ChatGPT
94. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? ChatGPT
95. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? Microsoft Copilot (Bing Chat)
96. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? ChatGPT
97. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? Microsoft Copilot (Bing Chat)
98. そのままで意外といろいろと出来る 普段から、この作業をしている方は、出力結果の妥当性はわかりますよね? ChatGPT Microsoft Copilot (Bing Chat)
99. 実は… 2023年春だとできなかったものもあります 一度動かなかったからと言って 結論付けてしまうのは、勿体ないかも
100. 仕事で 生成AI を使うためのポイント 変換 抽出 参照情報
101. その場 (In-Context) で学習の例 日本の内閣総理大臣は誰ですか? 申し訳ありませんが、私の知識は2021年9月までで更新されておらず、その後の具体的な人物や事象 については情報を提供できません。最新の情報を知るためには、信頼できるニュースソースやウェブサイト をご確認ください。 参照情報
102. その場 (In-Context) で学習の例 日本の内閣総理大臣は誰ですか? 以下の情報を基にして教えてください。 情報:### 内閣総理大臣（ないかくそうりだいじん、英: Prime Minister[1]）は、日本の内閣の首長たる国務大 臣[2]。文民である国会議員が就任し、その地位及び権限は日本国憲法や内閣法などに規定されてい る[3]。 現任は、第101代岸田文雄（在任: 2021年〈令和3年〉11月10日 - ）。歴代の内閣総理大臣は内 閣総理大臣の一覧を参照。 ### あなたが提供した情報に基づくと、日本の内閣総理大臣は岸田文雄です。彼は2021年11月10日か らその職にあります。ただし、これは私の最新の知識更新が2021年9月までであること、そしてあなたが 提供した情報が現在（2023年6月22日）までに更新されていない可能性があることに注意してくださ い。そのため、最新の情報を確認するためには信頼性の高いニュースソースや公式ウェブサイトをチェック することをお勧めします。 Instruction と context は ### や “”“ を使って分離 context instruction 参照情報
103. その場 (In-Context) で学習の例 日本の内閣総理大臣は誰ですか? 以下の情報を基にして教えてください。 情報:### 内閣総理大臣（ないかくそうりだいじん、英: Prime Minister[1]）は、日本の内閣の首長たる国務大 臣[2]。文民である国会議員が就任し、その地位及び権限は日本国憲法や内閣法などに規定されてい る[3]。 現任は、第101代岸田文雄（在任: 2021年〈令和3年〉11月10日 - ）。歴代の内閣総理大臣は内 閣総理大臣の一覧を参照。 ### あなたが提供した情報に基づくと、日本の内閣総理大臣は岸田文雄です。彼は2021年11月10日か らその職にあります。ただし、これは私の最新の知識更新が2021年9月までであること、そしてあなたが 提供した情報が現在（2023年6月22日）までに更新されていない可能性があることに注意してくださ い。そのため、最新の情報を確認するためには信頼性の高いニュースソースや公式ウェブサイトをチェック することをお勧めします。 context instruction どこかから、 データを取ってきて 埋めてくれればいい! 参照情報
104. その場 (In-Context) で学習の例 日本の内閣総理大臣は誰ですか? 以下の情報を基にして教えてください。 情報:### 内閣総理大臣（ないかくそうりだいじん、英: Prime Minister[1]）は、日本の内閣の首長たる国務大 臣[2]。文民である国会議員が就任し、その地位及び権限は日本国憲法や内閣法などに規定されてい る[3]。 現任は、第101代岸田文雄（在任: 2021年〈令和3年〉11月10日 - ）。歴代の内閣総理大臣は内 閣総理大臣の一覧を参照。 ### あなたが提供した情報に基づくと、日本の内閣総理大臣は岸田文雄です。彼は2021年11月10日か らその職にあります。ただし、これは私の最新の知識更新が2021年9月までであること、そしてあなたが 提供した情報が現在（2023年6月22日）までに更新されていない可能性があることに注意してくださ い。そのため、最新の情報を確認するためには信頼性の高いニュースソースや公式ウェブサイトをチェック することをお勧めします。 context instruction どこかから、 データを取ってきて 埋めてくれればいい! 参照情報 RAG = Retrieval Augmented Generation
105. 仕事で 生成AI を使うためのポイント 変換 抽出 参照情報
106. 丁寧な謝罪文章の添削 変換
107. 英文の向上! 変換
108. あらゆる変換を試みてくれる 畠山さん。先日は飛行機の遅延があったとはいえ、 15分も会議に遅れてすいませんでした。今後は気を付けます カジュアルな日本語 畠山様 まず初めに、先日の会議に遅刻したことにつきまして、心より深 くお詫び申し上げます。私の不手際が原因で、貴重なお時間 を無駄にしてしまい、大変申し訳ございませんでした。 … ビジネスで通用する日本語 Dear Mr. Hatakeyama, I am writing to express my deepest apologies for arriving 15 minutes late to our meeting the other day. Despite the fact that my delay was due to an unforeseen and regrettable plane delay, I fully recognize that this is no excuse for disrupting our scheduled meeting time. ビジネスで通用する英語 Web画面 <html lang="ja"> <head> <meta charset="UTF-8"> <title>謝罪のメッセージ</title> <style> ... フォーマルに 英語で HTMLで 変換
109. 仕事で 生成AI を使うためのポイント 変換 抽出 参照情報
110. メールから案件情報を抽出 抽出
111. メールから案件情報を抽出 抽出 作成すべき ドキュメントの項目ともいえる ご自身の会社・組織の アプリケーションの 入力画面の項目ともいえる
112. データ にしておけば、 生成AI 君が、何とかしてくれる メール 会議 チャット 予定表 文書 音声 動画 コード 生成 AI Researcher 調査+ファイル生成エンジン 議事録 議事録 変換 抽出 参照情報 要約 小学生にも分かるように 300文字程度で要約して 校正 誤字/脱字/タイプミスを 見つけて コード作成 OpenAIのAPIを実行する コードを書いて 翻訳 次の文章をフォーマルな 日本語に翻訳して 参照情報 参照情報 参照情報 参照情報 成果物 .docx .xlsx .pptx .one .pbix Meeting メール/スケジュール 入力 自分のデータ チームのデータ
113. 一般的なアプリの使い分け 音声 動画 コード 文書 メール 会議 チャット 予定表 変換 抽出 インターネット Microsoft Copilot (Bing Chat) 生データ (テキスト・画像・音声 など) GitHub Copilot 無し Or 自分で追加 データベース アプリ 成果物 タスク 参照情報 Azure OpenAI Service Microsoft 365 メール スケジュール .docx .xlsx .pptx チャット Web Meeting .one .pbix ホワイト ボード 成果物は何か? そのための参照情報が、どこにあるのか? 自分のデータ チームのデータ
114. セキュリティチェック.docx 生成AIありきでのお仕事の仕方 変換 抽出 参照情報 項目1.1. 項目1.2. 生成 AI 成果物 メール 会議 チャット インターネット データベース 文書 1.成果物の項目のリストアップ 2.項目の作成の視点・観点・論点やルールのリストアップ。 不明な場合は、過去のものから、推論させる 3.項目毎に参照情報の在処のリストアップ 4.Promptの作成と試行錯誤。 生成AIに自分の上司になってもらうのがお勧め 入力 自分のデータ チームのデータ
115. Task. 1 セキュリティチェック.docx 生成AIありきでのお仕事の仕方 変換 抽出 参照情報 項目1.1. 項目1.2. 生成 AI 成果物 メール 会議 チャット インターネット データベース 文書 入力 Task. 2 品質チェック.docx 変換 抽出 参照情報 項目1.1. 項目1.2. メール 会議 チャット インターネット データベース 文書 Task. 3 報告書.docx 変換 抽出 参照情報 項目1.1. 項目1.2. メール 会議 チャット インターネット データベース 文書 自分のデータ チームのデータ 自分のデータ チームのデータ 自分のデータ チームのデータ
116. Bronze Medallion Architecture データ作成 ・収集 Silver 加工 Gold 加工:目的別 生データ置き場 会社・組織としての マスター 個別用途用 構造化データ 非構造化データ: 主にドキュメント Microsoft Fabric Microsoft Fabric Microsoft Fabric Prompt Prompt Prompt OneLake アプリでの 変換・読み込み Loop Word エクスポート Excel Loop Word Excel PowerPoint Power BI RAG RAGも RAGも
117. 成果物 = そのタスクのゴール = (情報 + ファイル形式) Promptで指示 Promptで ドラフト作成 別でもいいんじゃね?
118. 現場のタスク 管理職 => 内容確認・適切なアクション 管理職 => 自分で情報を見る 現場のタスク => 情報の作成と共有 日報・月報・週報・議事録・出張報告書・事故報告書・研修報告書・顧客対応報告書など Prompt 報告書系の作成を最小限にする 変換 抽出 生成AI 成果物 入力 Today 音声 動画 コード 文書 メール 会議 チャット 予定表 インターネット データベース 自分のデータ チームのデータ 参照情報 変換 抽出 項目1.1. 項目1.2. • 時間 • 定期的 • 代替作業者が不在 透明性 リアルタイム 誰でも
119. 現場のタスク 管理職 => 内容確認・適切なアクション 管理職 => 自分で情報を見る 現場のタスク => 情報の作成と共有 Prompt 報告書系の作成を最小限にする 変換 抽出 成果物 入力 Today 変換 抽出 • 時間 • 定期的 • 代替作業者が不在 音声 動画 コード 文書 メール 会議 チャット 予定表 インターネット データベース 自分のデータ チームのデータ 参照情報 日報・月報・週報・議事録・出張報告書・事故報告書・研修報告書・顧客対応報告書など 項目1.1. 項目1.2. 透明性 リアルタイム 誰でも 生成AI 情報管理 重要なのはファイルじゃなくて情報
120. Promptは ご自分でやってくださいね
121. Prompt と タスク
122. タスク 利用ツール Copilot -丸投げは出来ないけど マーケティング・フィールド支援 プレゼンテーション シナリオ作成 類似事例検索。リスト作成。文書作成 サーチ Bing Chat 人に相談 Yes! (Bing Chat も) アイディア整理 リスト作成 OneNote Yes! プレゼン資料作成 文書作成。図版作成。 Power Point Yes! プレゼン共有 OneDrive for Business (SpeakerDeck / SlideShare) デモアプリ開発 デモシナリオ作成 文書作成。リスト作成 OneNote Yes! 人に相談 Yes! (Bing Chat も) デモアプリ開発 コーデイング Visual Studio Code Yes! 動作環境作成 Microsoft Azure 案件相談 コミュニケーション メール 文書作成。リスト作成 Outlook Yes! チャット | 雑談 文書作成 対面 文書作成 Teams Yes! 文書作成 Slack 文書作成 ソーシャルネットワーク ドキュメント アーキテクチャ図など 図版作成 PowerPoint Yes! 概算見積もり 表計算 データ分析。グラフ作成 Excel Yes! 打ち合わせ 対面 Web Meeting 議事録作成。タスク作成 Teams Yes! タスク管理 日程調整 スケジュール管理 リスト(候補日)作成。 Outlook Yes! タスク管理 タスク作成 Microsoft To-Do データ分析 データ理解・加工・分析 Power BI Yes! 経費精算 データ入力 Dynamics 365 Yes! 申請 出張申請 メール 文書作成 Outlook Yes! 自分のタスクの棚卸のススメ Priority-1: Core Priority-2: Operations
123. 日程調整の メールの返信 社内メンバーの 空きを確認 社内メンバーから の返答を待つ 先方へ候補日 提示 1度のPromptで タスクの全てが出来るとは限らないない Prompt のデザイン 他にもあると思います…
124. Agent的に参加させると… ChatGPT にお任せできる データ連携 か Reasoning Engine + API 連携があれば… ChatGPT にお任せできる ChatGPT にお任せ タスクのどこまでを任せられるか? よくある会議 目的設定 資料準備 出席者調整 場所確保 事前準備 会議中 ファシリテー ション メモ作成 議事録作成 終了後 アクションアイテム のトラック 論点の整理 社内外から のデータ検索 データからの 資料作成 設備予約 or Web Meeting 日程調整 メール作成 日程空き状況 検索 タイムキープ トピック 要約 議事録作成 アクションアイテム 管理 参照情報
125. Agent的に参加させると… ChatGPT にお任せできる データ連携 か Reasoning Engine + API 連携があれば… ChatGPT にお任せできる ChatGPT にお任せ タスクのどこまでを任せられるか? よくある会議 事前準備 会議中 終了後 論点の整理 社内外から のデータ検索 データからの 資料作成 設備予約 or Web Meeting 日程調整 メール作成 日程空き状況 検索 タイムキープ トピック 要約 議事録作成 アクションアイテム 管理 参照情報 参照情報 目的設定 資料準備 出席者調整 場所確保 ファシリテー ション メモ作成 議事録作成 アクションアイテム のトラック
126. Agent的に参加させると… ChatGPT にお任せできる データ連携 か Reasoning Engine + API 連携があれば… ChatGPT にお任せできる ChatGPT にお任せ タスクのどこまでを任せられるか? よくある会議 事前準備 会議中 終了後 論点の整理 社内外から のデータ検索 データからの 資料作成 設備予約 or Web Meeting 日程調整 メール作成 日程空き状況 検索 タイムキープ トピック 要約 議事録作成 アクションアイテム 管理 参照情報 10分 3分 120分 5分 30分 3分 0 0 10分 1分 3分 0 1分 1分 10分 1分 5分 1分 ドラフトを多少手直しして、Go! 目的設定 資料準備 出席者調整 場所確保 ファシリテー ション メモ作成 議事録作成 アクションアイテム のトラック
127. Prompt の位置づけ よくある会議 事前準備 会議中 終了後 論点の整理 社内外から のデータ検索 データからの 資料作成 設備予約 or Web Meeting 日程調整 メール作成 日程空き状況 検索 タイムキープ トピック 要約 議事録作成 アクションアイテム 管理 参照情報 目的設定 資料準備 出席者調整 場所確保 ファシリテー ション メモ作成 議事録作成 アクションアイテム のトラック Prompt Prompt Prompt Prompt Prompt Prompt Prompt
128. Prompt の位置づけ よくある会議 事前準備 会議中 終了後 目的設定 資料準備 出席者調整 場所確保 ファシリテー ション メモ作成 議事録作成 アクションアイテム のトラック この項目さえもPromptでの出力
129. 自動化できているタスク 自動化が難しかったタスク 生成AIの業務利用では 新たに出来そうなコトも考える • 業務の全ての定義が困難なケースへの対応の可能性 • 生成結果の揺らぎに価値がある • 数値演算がとても苦手 • 業務の全ての定義が可能 • 定義通りに動作する • 数値演算処理 要約 小学生にも分かるように 300文字程度で要約して 校正 誤字/脱字/タイプミスを 見つけて コード作成 OpenAIのAPIを実行する コードを書いて 翻訳 次の文章をフォーマルな 日本語に翻訳して 参照情報 参照情報 参照情報 参照情報 業務の範囲 完全な自動化 人と協調する半自動化 生成AIを使わない方 がいい場合が多い
130. 自動化が難しかったタスク | 議事録作成 業務の範囲 議事録に必要な項目 自動化できているタスク 生成AIの業務利用では 新たに出来そうなコトも考える 要約・抽出 誰がどんな発言 をしたのか、リス トアップしてくだ さい 会議 音声 録音 トランスクリ プト作成 トランスクリプト 精度:95%? 精度:85%? 要約・抽出 アクションアイテ ムをリストアップ してください 要約・抽出 xxxについて、ど んな議論がされ ていたか要約を してください 参照情報 発言記録 発話要旨 アクション アイテム xxx議論 要約 他… 人 力 補 正 人と協調する半自動化 ドラフト ドラフト ドラフト ドラフト ある程度の精度なら、要約用の参照 情報として十二分に機能します
131. 検索とタスク
132. ツールの仕組みの違い Search ChatGPT 入力文字列を形態素解析などで トークンを抽出したり、ベクターなどに変換 変換データをインデックス化された データベース (転置DB) 内で検索 並び替える Python Hello World Python で、Hello World を出力する サンプルコードを作成してください 入力文字列の次に続く文字列を 生成 (検索結果を表示しているわけでは無い) 特定の何かを探す 特定のタスクを処理するための文字列生成
133. ユーザーの振舞いの違い 1) キーワード入力。単語のみが殆ど。 名詞は入力されるが、動詞の入力は稀 2) Search の結果から、 幾つかのサイトへ移動。 内容を読んで、咀嚼 1) 指示を入力。要約が作成され、咀嚼 名詞、動詞だけでなく、形容詞も入れや すい。出力の書式も指定できる 3) 数ページのリンクで 必要な情報が見つからなければ、 諦めるか、 キーワードを追加 2) 欲しい結果が出ない場合は、諦めるか 追加指示を入力。 Search ChatGPT
134. Python の Hello World を動かす Search 検索 情報を読み込み 実行環境へコピペ。実行
135. Python の Hello World を動かす ChatGPT OpenAI の ChatGPT Bing Chat
136. 組み合わせる Search ChatGPT 特定の分野に一定以上の知識 がある。正確に何を探したいのか を理解している 何をやりたいのかは明確。 その分野に知識が無くてもよい 動画を見たい 商品を購入したい NumPy の仕様を 知りたい ビジネスの実行に 何が必要か? 結婚記念日に どんな事をすればいいのか データの分析をしたい
137. 組み合わせる - 例: 花粉症 Search ChatGPT ChatGPT Bing Chat Task 2) 対処の薬を 販売しているサイトを知りたい Task 3) サイト内で商品を 探したい (Option) Task 4) 良い対処策 が見つかったので 知人に御礼のメールを書きたい Task 1) 考えうる症状と 対応策を知りたい Bing Chat 概要文生成 | Q&A サイト検索 サイト内検索 概要文生成 | Q&A Search 同じコンテキストで
138. Prompt 作成の コツ
139. ドラフトを作ってくれる 生成AIに完成品を作らせようとして、Promptをし直すのは止めたほうがいい Promptの改善は勿論大事
140. 言葉不足になりがち 私自身、このノウハウを知っていますが。毎回出来ていません
141. Chat は複数のターンでコトを進められる 最初のPromptに 入れる事もできた タスク遂行に必要な言語化を全て出来る人は 少ない 結果を見て気づく事も多いですし 一度のPromptで、 欲しい回答が出てくるこ とは、まず無い 前の出力結果が 参照情報として使われている
142. 1.2 ターン 5 ターン+ ※生成AIを導入したばかりの企業での会話ターン数 ※回答品質が向上するとして評価された傾向 （BlenderBot, LaMDA論文より） Chat = 会話して
143. 複数の案を作ってくれる
144. 複数の案があれば。特定の評価軸が使える
145. Prompt の5つの要素 1 役割 役職 (役割) は何か? どの様に振舞って欲しいか • Product Manager • Software Engineer • Director 2 目的 何をしてもらいたいのか? • アクションが必要なメールを作成する • プログラムの状態更新の書き込み • エグゼクティブプレゼンテーションの紹介段落を書く 3 対象 誰が受け取るのか? • 新入社員 • Microsoft Digital のすべてのフルタイム従業員 • シニアリーダーシップコミュニティ 4 パラメーター トーン、スタイル、長さ • カジュアル、楽観的、プロフェッショナル • 明確でシンプルな、小学6年生の読解レベル • 短い、1500文字、20分のプレゼンテーション 5 コンテキスト (参照情報) どのような点をカバーすべきか? • 読者に次のアクションを完了するように依頼します • この概要に従ってください(箇条書きを提供します) • これらの重要なポイントを含める (ポイントを含む) • このデータを含める (データを含める) • このドキュメントを参照してください(ドキュメントを見つ けるには/を使用します) すべてをまとめる あなたは、ソフトウェア エンジニアです。 最後の 2 つのスプリントで実行された作業の 1 つ の段落の概要を作成してください。 対象は他のチームメンバーと一部の管理職です。 トーンはプロフェッショナルですが簡潔です。 私たちはリリースコストを100万円削減し、 NSATを4%改善しました。
146. Promptの 作成 週末の予定の作成の例 より良い結果をもたらすために、 どのように構造化し、 より適切に促すことが できるかを示します [役割] あなたは東京の世界最高の地元のツアーガイドであるかのように 振る舞ってください [目的] 素晴らしい体験のための3日間の旅程を私のために デザインしてください。 [対象] 私たちは以前に何度も東京に行ったことがあり、 すべての人気観光スポットを訪れたカップルです。 私たちは、真の地元の東京と隠された宝物に出会う様な体験したいと 思っています。 [パラメーター] 出力を日ごとに表にまとめ、毎日を朝、午後、夕方、夜間に 分割します。 各推奨事項に公共交通機関のオプションを含めます。 日本語で出力してください。 [コンテキスト] 私たちは歩くのが大変好きで、東京での散歩やハイキングの 推奨事項が大好きです。私たちは風変わりな美術館や観光スポットを訪 れるのが大好きです。朝食、コーヒー、ランチ、食前酒、ディナー、 イブニングドリンクに、本格的で手頃な価格のフード&ドリンク体験の推奨 事項を含めてください。
147. ChatGPT 自身に見直しをしてもらう
148. 具体例を示す
149. 具体例を示す 例示なし
150. 具体例を示す Azure ランディング ゾーンでの Azure OpenAI チャット ベースライン アーキテクチャ - Azure Architecture Center | Microsoft Learn 例示した
151. 具体例を示す 例示後に、タスク依頼
152. マークダウン形式への変換は多くの場合、上手く動作する。一方でカラム名構成を上手く反映できないときがある。 Azure OpenAI マークダウン化の指示 列がおかしい 表部分は Markdown でなく JSON でテキスト化
153. JSONでの出力指示により、マークダウンでは表現できなかった表のカラム階層を維持してテキスト化が可能 Azure OpenAI JSON化の指示 [ { "Group": "A", "Country": "America", "Estimated Economic Size (GDP)": "Largest", "Future Prospect Assessment": "High", "Median Annual Income($)": 74580, "Subsidies": { "Income less than 3000$/month": true, "Income 3000$/month or more": false } }, … カラムをきちんと階層化出来ている 表部分は Markdown でなく JSON でテキスト化
154. それでも伝わらなかったら 英語に…
155. とは言え… 都度、このベストプラクティスやるの 大変
156. Prompt の構造 Prompt # タスク この問題を解いてください # 問題: 目標 •各スタッフが指定された勤務時間を満たすようにシフトを割り当てる •スタッフの希望や制約を考慮する •店舗の営業時間中、必要な人数を確保する 条件 •店舗は毎日8:00から22:00まで営業 •スタッフは1日最大8時間勤務 •スタッフは週に5日勤務 •各時間帯に最低3人のスタッフが必要 •スタッフA、B、C、D、Eがいる スタッフの希望・制約 •スタッフAは月曜日と水曜日は18:00以降勤務できない •スタッフBは火曜日と木曜日は休み •スタッフCは金曜日は終日勤務可能 •スタッフDは平日しか勤務できない •スタッフEは週末しか勤務できない 例題 各スタッフの希望・制約を反映して、1週間のシフトを計画してください。
158. Prompt の構造 Prompt # タスク この問題を解いてください # 問題: 目標 •各スタッフが指定された勤務時間を満たすようにシフトを割り当てる •スタッフの希望や制約を考慮する •店舗の営業時間中、必要な人数を確保する 条件 •店舗は毎日8:00から22:00まで営業 •スタッフは1日最大8時間勤務 •スタッフは週に5日勤務 •各時間帯に最低3人のスタッフが必要 •スタッフA、B、C、D、Eがいる スタッフの希望・制約 •スタッフAは月曜日と水曜日は18:00以降勤務できない •スタッフBは火曜日と木曜日は休み •スタッフCは金曜日は終日勤務可能 •スタッフDは平日しか勤務できない •スタッフEは週末しか勤務できない 例題 各スタッフの希望・制約を反映して、1週間のシフトを計画してください。 # 役割 数理最適化の先生として振舞ってください
160. 役割の効果 Linux OSに なれ!
161. ペンシルベニア大学経営学修士課程(MBA) 2023 3 14 0 26言語(専門家レベルの会話) 数学/統計学/物理学/天文学/化学/生物学/工学/建築学 デザイン学/農学/医学/政治学/法学/経済学/経営学/社会学 教育学/哲学/宗教学/言語学/人類学/考古学/地理学/文学 芸術学/心理学 司法試験合格/米国医師免許所持 GPT4
162. ペンシルベニア大学経営学修士課程(MBA) 2023 3 14 0 26言語(専門家レベルの会話) 数学/統計学/物理学/天文学/化学/生物学/工学/建築学 デザイン学/農学/医学/政治学/法学/経済学/経営学/社会学 教育学/哲学/宗教学/言語学/人類学/考古学/地理学/文学 芸術学/心理学 司法試験合格/米国医師免許所持 GPT4 数学 範囲を絞る!
163. Prompt の構造 Prompt # タスク この問題を解いてください # 問題: 目標 •各スタッフが指定された勤務時間を満たすようにシフトを割り当てる •スタッフの希望や制約を考慮する •店舗の営業時間中、必要な人数を確保する 条件 •店舗は毎日8:00から22:00まで営業 •スタッフは1日最大8時間勤務 •スタッフは週に5日勤務 •各時間帯に最低3人のスタッフが必要 •スタッフA、B、C、D、Eがいる スタッフの希望・制約 •スタッフAは月曜日と水曜日は18:00以降勤務できない •スタッフBは火曜日と木曜日は休み •スタッフCは金曜日は終日勤務可能 •スタッフDは平日しか勤務できない •スタッフEは週末しか勤務できない 例題 各スタッフの希望・制約を反映して、1週間のシフトを計画してください。 # 役割 数理最適化の先生として振舞ってください # タスクの進め方の指示 ステップバイステップで考えてください # タスクの進め方の指示 以下の手順で進めてください。 # タスクの進め方の指示 タスクを完了できない場合は、不足している情報を、質問してください。 進め方を 明示する。 より近道 # タスクの進め方の指示 深呼吸をして、一歩ずつ取り組んでください。 # タスクの進め方の指示 (SELF DISCOVERのテクニック….) 進め方を 考えてもらう もしくは
164. Reasoning Model 登場! Introducing o1: OpenAI's new reasoning model series for developers and enterprises on Azure | Microsoft Azure Blog • 推論時に強化学習を使って、複雑な問題を解く実行計画を自ら作成 • GPTシリーズとは別のモデル • 正規版は今後登場予定
165. Reasoning Model Best Practice Reasoning best practices - OpenAI API
166. 目的の説明だけでいい! Prompt # タスク この問題を解いてください # 問題: 目標 •各スタッフが指定された勤務時間を満たすようにシフトを割り当てる •スタッフの希望や制約を考慮する •店舗の営業時間中、必要な人数を確保する 条件 •店舗は毎日8:00から22:00まで営業 •スタッフは1日最大8時間勤務 •スタッフは週に5日勤務 •各時間帯に最低3人のスタッフが必要 •スタッフA、B、C、D、Eがいる スタッフの希望・制約 •スタッフAは月曜日と水曜日は18:00以降勤務できない •スタッフBは火曜日と木曜日は休み •スタッフCは金曜日は終日勤務可能 •スタッフDは平日しか勤務できない •スタッフEは週末しか勤務できない 例題 各スタッフの希望・制約を反映して、1週間のシフトを計画してください。 # 役割 数理最適化の先生として振舞ってください # タスクの進め方の指示 ステップバイステップで考えてください # タスクの進め方の指示 以下の手順で進めてください。 # タスクの進め方の指示 タスクを完了できない場合は、不足している情報を、質問してください。 # タスクの進め方の指示 深呼吸をして、一歩ずつ取り組んでください。 # タスクの進め方の指示 (SELF DISCOVERのテクニック….) AI Agent Reasoning Model File+Data API Code作成・ 実行
167. “Simple is the Best” 長文のPromptのリスク - 応答時間が遅くなる - ノイズ増加により出力データの精度が落ちる - Chat回数が減る。入力トークン数には上限がある - サービスによっては使用料金が増える
168. AI Agent
169. エージェントの世界 パーソナル エージェント 組織エージェント ビジネス・プロセス・ エージェント 組織間 エージェント
170. Promptのみ 仕事で 一番楽しい事は何ですか?
171. Promptのみ 今、仕事で 困っている事は何ですか? 仕事で 一番楽しい事は何ですか?
172. 困ったときの Microsoft Copilot での鉄板 Prompt https://copilot.microsoft.com/ 特定のExcelのファイルを開くのが凄く遅いです。 考えられる原因の詳細な説明と、その測定方法と、 詳細な解決策をリストアップしてください。 スマホのアプリのダウンロード数が少ないです。 考えられる原因の詳細な説明と、その測定方法と、 詳細な解決策をリストアップしてください。 製品の使い方: ビジネス問題の整理: ネット上の情報が必ず正しいとは限らないため、 可能な限り1次情報 (元となったWebサイト) を確認する事
173. Promptのみ 今、仕事で 困っている事は何ですか? 仕事で 一番楽しい事は何ですか?
174. largest value smallest value Histogram このグラフを読み解いてください
175. 詳しい人に 聞くのが 一番早いし確実
176. Promptのみ 今、仕事で 困っている事は何ですか? 仕事で 一番楽しい事は何ですか?
177. 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent 仕事で 一番楽しい事は何ですか? 今、仕事で 困っている事は何ですか?
178. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent 目的を伝える 現状分析 課題の特定 実行計画の策定 Copilot Sample Data Generator データ準備 データ アナリスト データ解析 分析と評価 戦略 コンサルタント 動画作成 Visual Creator Action Code Gen/Exec Code Gen/Exec API call Knowledge / Data 業務データ (構造化) Internet (非構造化)
179. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent Copilot Sample Data Generator データ アナリスト 戦略 コンサルタント Visual Creator Action Code Gen/Exec Code Gen/Exec API call 業務データ (構造化) Internet (非構造化) 本来やるべきお仕事の手順 慣れてくると 省略してしまうことも… Agent君に依頼しやすいからこそ、 抜け漏れが減るかも 目的を伝える 現状分析 課題の特定 実行計画の策定 データ準備 データ解析 分析と評価 動画作成 Knowledge / Data
180. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent 現状分析 課題の特定 Copilot Sample Data Generator データ準備 データ アナリスト データ解析 分析と評価 戦略 コンサルタント Visual Creator Code Gen/Exec Code Gen/Exec API call 業務データ (構造化) Internet (非構造化) 既存のフローは紙の登場時など、 過去の技術の活用で作られたもの 成果物に辿り着くフローは 最適化できる or 別の方法があるかもしれない 目的を伝える 実行計画の策定 動画作成 一気に行ける?
181. 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent 仕事で 一番楽しい事は何ですか? 今、仕事で 困っている事は何ですか?
182. 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent Group Chat 今、どんな能力を持った人に 手伝ってもらいたいですか? Single Agent 仕事で 一番楽しい事は何ですか? 今、仕事で 困っている事は何ですか?
183. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent 目的を伝える 現状分析 課題の特定 実行計画の策定 Copilot Sample Data Generator データ準備 データ アナリスト データ解析 分析と評価 戦略 コンサルタント 動画作成 Visual Creator Action Code Gen/Exec Code Gen/Exec API call Knowledge / Data 業務データ (構造化) Internet (非構造化)
184. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent 目的を伝える 現状分析 課題の特定 実行計画の策定 Copilot Sample Data Generator データ準備 データ アナリスト データ解析 分析と評価 戦略 コンサルタント 動画作成 Visual Creator Code Gen/Exec Code Gen/Exec API call 業務データ (構造化) Internet (非構造化) Action Knowledge Role
185. Agent の作成 Azure AI Agent Service Microsoft Copilot Knowledge API Action Role
186. • どのAPIを呼べばいいのかの分類を、Promptから分類 APIの実行結果を渡すことで、最終的な応答を作成 • フローを組むのは、人 と 生成AI のコンビネーション • その場で変更できる! Function Calling - API を紡ぐ Workflow Function Calling Intent/Task の理解 API のマッチング API の呼び出し どんな時に使えるのか? Intent / Task 複数の Intent/Task
187. よしなに… 誰にお願いするかも Code作成・実行も どこにDataあるかも… どこにAPIがあるかも… Multi Agent Next! Promptのみ 仕事で 一番楽しい事は何ですか? 今、仕事で 困っている事は何ですか?
188. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent 目的を伝える 現状分析 課題の特定 実行計画の策定 Copilot Sample Data Generator データ準備 データ アナリスト データ解析 分析と評価 戦略 コンサルタント 動画作成 Visual Creator Action Code Gen/Exec Code Gen/Exec API call Knowledge / Data 業務データ (構造化) Internet (非構造化)
189. Agent と一緒にタスクをこなす 2度目があるか? ワークフローの 確認 専門家の 抽出 必要な 情報の抽出 成果物作成 想定課題の 抽出 アプリ/API の抽出
190. • 実施の頻度は、毎日でなくてもよい Agent と一緒にタスクをこなす 2度目があるか? ワークフローの確認 専門家の抽出 必要な 情報の抽出 成果物作成 想定課題の抽出 アプリ/APIの抽出
191. • マニュアルがある場合は、 それを参照 • 無い場合は、 一般論として作成 Agent と一緒にタスクをこなす 2度目があるか? ワークフローの 確認 専門家の抽出 必要な 情報の抽出 成果物作成 想定課題の抽出 アプリ/APIの抽出
192. 課題が明確化・文章化されていれば その解決に向けて何が必要かが見えてくる
193. • ビジネスの状況を深堀 • この後の「専門家」の抽出のため Agent と一緒にタスクをこなす 2度目があるか? ワークフローの確認 専門家の抽出 必要な 情報の抽出 成果物作成 アプリ/APIの抽出 想定課題の 抽出
194. • 役割 • “Act as” • 職務の説明から抽出してもよい • Job Descriptionなど Agent と一緒にタスクをこなす 2度目があるか? ワークフローの確認 必要な 情報の抽出 成果物作成 アプリ/APIの抽出 想定課題の抽出 専門家の 抽出
195. • 参照情報。Data • マニュアルなど • 非構造化データ • アプリケーションが持っているデータや、 ログなどのデータも • 構造化データ Agent と一緒にタスクをこなす 2度目があるか? ワークフローの確認 成果物作成 アプリ/APIの抽出 想定課題の抽出 必要な 情報の抽出 専門家の抽出
196. • アクション。API など Agent と一緒にタスクをこなす 2度目があるか? ワークフローの確認 成果物作成 想定課題の抽出 専門家の抽出 アプリ/API の抽出 必要な 情報の抽出
197. Agent と一緒にタスクをこなす 2度目があるか? ワークフローの確認 想定課題の抽出 専門家の抽出 必要な 情報の抽出 成果物作成 アプリ/APIの抽出 Chat Chat Copilot Pages 素材 素材集約 ドラフト 成果物 文書 プレゼン 表計算
198. Promptのみ 今、仕事で 困っている事は何ですか?
199. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent
200. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent 目的を伝える 現状分析 課題の特定 実行計画の策定 Copilot Sample Data Generator データ準備 データ アナリスト データ解析 分析と評価 戦略 コンサルタント 動画作成 Visual Creator Function Code Gen/Exec Code Gen/Exec API call Data 業務データ (構造化) Internet (非構造化)
201. 今、仕事で 困っている事は何ですか? 今、どんな能力を持った人に 手伝ってもらいたいですか? Promptのみ Single Agent Group Chat 今、どんな能力を持った人に 手伝ってもらいたいですか? Single Agent
202. 今、仕事で 困っている事は何ですか? よしなに… 誰にお願いするかも Code作成・実行も どこにDataあるかも… どこにAPIがあるかも… Multi Agent Next! Promptのみ
203. ウェルカムメールを 送信します 人事マネージャー ITマネージャー トレーニングマネージャー 新入社員 ユーザー アカウントを 手動で設定し、 アクセスを プロビジョニング 新入社員フォームを 取得する。 追加の質問がある 質問への回答 事務処理を 完了する コンピュータの設定を 確認する 確認 ITプロセスの開始 不足しているアプ リケーションは IT チケットを送信 して入手 ライセンスを 取得するため に調達に連 絡 トレーニング プロセスを 開始 スケジュールの 競合 トレーニング スケジュールの 見直しと スケジュール変更 フィードバック調査 の送信 より多くのデータを 待ってから、 プロセス全体を 分析して最適化 トレーニングを完了 してもまだ質問が ある TODAY 既存のソリューションでは、定義できる入力と出力を持つ特定のタスクのみを自動化できる 初期インタラクション ドキュメント検証 アクセス& テクノロジー設定 トレーニング オンボーディング フィードバックループ 調査が 完了 RPA 自動化 事前定義されたルールによる完了と精度の 検証。 RPA 自動化 事前定義されたトレーニングモジュールを 割り当てるが、ユーザーのフィードバックに 基づいた調整ができない
204. • インタラクションに基づいて パーソナライズされた オンボーディングジャーニーを提供 IT Agent Training Agent New Hire TOMORROW AI Agents を使用すると、これらの手順を初めて完全にセルフサービス化 HR Agent • ドキュメントを評価し、 インタラクションから学習 • 役割、経験、学習の好みを分析して、 トレーニングを推奨します • リアルタイムのフィードバックを収集 • パターンを特定し、情報に基づいた 意思決定を行う 適応型トレーニングを提 供 • ユーザーアカウントを設定し、予期しない 問題のトラブルシューティングに適応し、 エラーから学習 フォームに記入し、 質問はありません 新入社員はトレーニング 中に質問をします。 追加のプロセスを調整します Human in the Loop, 上司そして承認者 初期インタラクション ドキュメント検証 アクセス& テクノロジー設定 トレーニング オンボーディング フィードバックループ
205. さらなる効率性、価値、優位性を約束 VALUE Yesterday Today User Chatbot 質問に答えることができる “オフィスのドレスコードは何で すか?” User Single AI Agent 行動を起こすことができる “新入社員のノートパソコンを 注文する” 上司あるいは承認者 User HR Agent 複雑なタスクを協力して解決できる “月曜日までに5人の従業員を オンボーディング” 上司あるいは承認者 IT Agent Training Agent User RPA 反復的なタスクを完了できる “新入社員情報を 人事システムに入力”
206. 自社製品への Generative AIの適用 社員の活用 Data API Security, privacy, governance, compliance, etc
207. Copilot - AI などのUser Interface Agents Copilot Studio Copilot データアクセス、ガバナンス、エージェント管理、成果測定
208. 顧客との打ち合わせ前・中・後 Agents Copilot Studio データアクセス、ガバナンス、エージェント管理、成果測定 Copilot CRM Agent メール・会議(録画済み) コミュニケーション・ ファイル 顧客商談情報 インターネット 顧客のIRなど Data Analytics Agent データ分析 営業支援 Sales Support Agent Copilot Pages 共同の Workspace
209. User Interface Agents Copilot Studio データアクセス、ガバナンス、エージェント管理、成果測定 Copilot Pages / Canvas マルチモーダル
210. Microsoft 365 のエージェント ファシリテーター エージェント 通訳 エージェント プロジェクトマネージャー エージェント 従業員 セルフサービス エージェント SharePoint エージェント
211. 話者の声色を再現しながらリアルタイム音声翻訳を実施 Interpreter agent
212. マイクロソフト社内での Copilot の効果 セールス 9.4% 売り手あたりの 収益が増加し、 成約件数が20% 増加 人事 42% 従業員の質問に 対する回答の 精度が向上 aka.ms/MSCopilotBusinessValue
213. Microsoft 365 Copilot Business Chat 既存のアプリやデータに接続 仕事のコンテキストに根ざした エンタープライズグレードの セキュリティ、プライバシー、 コンプライアンス Business Chat
214. The new UI for AI Business Chat Pages Actions
215. Business Chat の結果の作業場所 チャットを使用してPageを 更新する PageでCopilotを使用して編集 Pages 実体はMicrosoft Loop
216. 豊富なアーティファクト 1 コードブロック 2 インタラクティブチャート 3 テーブル 4 マーメイドダイアグラム Pages
217. マルチエージェント
218. Prompt の改善機能が入ってきた! System Prompt としてAgent の振舞い定義 GenerativeAI-Prompt-Sample-Japanese/Prompt Generation/README.md at main · dahatake/GenerativeAI-Prompt-Sample-Japanese Microsoft 365 Chat
219. 今、仕事で 困っている事は何ですか? よしなに… 誰にお願いするかも Code作成・実行も どこにDataあるかも… どこにAPIがあるかも… Multi Agent Next! Promptのみ
220. 主な技術的要素 人間レベルの推論能力 批判的思考、再計画を可能にし、 解決戦略を確立し、ループに人を 組み込むことができる より大きなコンテキストウィンドウ 実行履歴を推論して、複数のエージェント からのフィードバックを再計画 + 統合できる 専門エージェント向けのSLM 迅速な実行を可能にして、人をループに 巻き込み続け、費用対効果の高い 解決を可能にする マルチモーダルのサポート ユースケースの範囲を広げ、エージェントAI システムへのアクセスを容易にする document summary prompt answer question data query prompt + data docs エージェント不要: Simple Prompt 非常に狭いワンショットタスク。 例: ログからJSONへの変換 Single Agent 非常に明確にスコープされた反復タスク 例: 複雑な質問に対する裏付けとなる 証拠を含む回答を提供する Multi-Agent System 多様なスキルを必要とする広範囲にわたる複 雑なユースケース 例: 前四半期の売上高の最近の上位2つのト レンドを活用して、メーリングリストの ユーザーベースを強化し、各キャンペーンの 影響を予測するアセットを含む2つの Instagramマーケティングキャンペーンを提案させ る conversation data query data docker databases docs history of work output input Agent への進化
222. キーとなる技術要素 System Prompt RAG Function Calling User Prompt / Multi- Modal 人とのコラボレーション マルチモーダルによる可能な限り省力化 Application / Agent の挙動の制御 (ある程度) Dataから、動的に返答情報の生成 最適なAPIの判断と、API処理結果を踏まえ た動的な返答情報の生成の補助 Coordinator / Orchestrator 目的達成のための実行計画の作成と複数の エージェント連携のための管理 docs
223. • 高いレベルの自律性 (完全では ない) と可能な限りの推論を備えた 複雑な目標を達成するように設計 • マルチモーダルを使用して 人をタスク完了のループに効果的に 組み込む選択肢をもつ Autonomy: 最小限の人の介入で目標指向の 行動を取る Reasoning: 与えられたコンテキストに基づいての判断 やトレードオフの考慮 Adaptable Planning: 変化する条件に基づいて タスクの実行計画を動的に調整し、効率的に完了させる Context Understanding: 自然言語やその他の モダリティを理解し、それに従う Action Enabled: 必要に応じてスキルを提供するAPIな どのWebサービスなどへのアクセスを通じて行動を起こす 権限も付与される Coordinator / Orchestrator
224. マルチエージェント コラボレーション arXivでgpt-4oに関する最新の論 文を見つけ、その潜在的なソフト ウェアアプリケーションを探してくださ い。 私はarXivでGPT-4oに関するいくつかの最近の 論文を見つけました。ここに、ソフトウェアにおけ る潜在的な応用とともに、最も関連性の高い ものを示します: プロダクト マネージャー エンジニア (2)コード出力 ❹ 回答を生成 ユーザープロキシ チャット マネージャー コード 質問 最終的な答え 私はGPT-4oに関連するarXivの最新 の論文を収集します。これを行うための コードは次のとおりです：```Python code``` • 専門分野 • 特定のタスクに対して異なるエージェントが構成されています。彼らは複雑な問題のさまざまな側面に取り組むことができます。 • 単一エージェントの力を倍増させます。 • よりモジュール化し、開発者にとってより簡単に • システムの保守とコンポーネントの追加または削除を容易にします。 • 異なるチームの Copilot 間のコラボレーションの増加。 利用 者
225. • 「目標」情報を使用して、モデルベースの エージェントの機能をさらに拡張 • 目標は、望ましい状況を表す • エージェントは、複数の可能性の中から 選択する方法を提供し、目標に到達するものを選択 • 検索と計画は、エージェントの目標を達成する アクションシーケンスを見つけることに 専念するAIの一機能として位置づけられる 目標ベースのエージェント
226. 一般的なデザインパターン RAG Agent Code Gen/Exec Agent Multi-Agent System Multi-Domain Agent System
227. Retrieval Augmented Generation Agent Search Tools discussion D Intelligent RAG Agent Plan Query Observe Update plan Compile answer Knowledge Graph 人間がループ内で質問を調査問題などに変換し、そのドメインの範囲内で複雑な質問に対する高品質の回答を生成 question final answer
228. Session and memory management Dynamic context look-up Planning & tracking Toolsets & coding interface Human interaction Coordinator Multi-turn reasoning and action (ReAct) Code Gen/Exec Agent 自然言語の要件に基づいてコードを生成し、既存のコードベース、テンプレート、ガイドライン、ライブラリを活用してポリシーと ベストプラクティスに一致させながら、人間と対話して意図したとおりに機能を明確に、検証、提供します Code Executor Constraints Existing Codebase Coding Guidelines (docs) Internal SDKs Dev Task (spec / bug / feature) Code w/ Tests, Doc, DevOps code, etc
229. MS #3 MS #2 MS #1 Multi-Agent System 複雑な問題は、より小さく管理可能な部分に分解され、それぞれが専門のエージェントによって対処され、事実上 マイクロサービス(MS)になる。これらのエージェントは、ワークフロー内で協調して連携し、問題全体を効率的に解決します。 conversation data query docker Coding Guidelines history of work 重要な設計要素 既存の厳密にスコープされたスキル (エージェント) の範囲内での適応計画 曖昧さを人間と議論し、調整することで対 処します プランの複雑で長時間実行される実行を 処理するメモリ 効果的なエージェント間コミュニケーション 各Agentが依存することなく、テスト、監視、 リリース、保守できるようにすることで、品質 と安全性の問題を迅速に処理
230. Multi-Domain Agents System 複数のドメイン固有のエージェントは、Agent Runner によってオーケストレーションされ、ユーザーには 1 つのエージェント として表示されながら、複数のドメインにまたがって拡張されます。 Agent pool Agent Runner Active Agent Agent 1 Revaluate agent assignment Run Transfer Run + Back-off Role/goals + skills Agent 2 Run + Back-off Role/goals + skills Agent n Run + Back-off Role/goals + skills Shared context memory 重要な設計要素 エージェント自身の機能の明文化 数十から数百のエージェントを 管理できるスケーラブルなエージェント ランナー 適切なメモリ管理でドメインの 切り替えを管理する機能 個々のエージェントがユーザーとの 直接のコミュニケーションを維持し、 必要に応じて引き継ぐことで、 単一のインターセプターの問題を回避
231. どちらのアーキテクチャがより効果的か? • Single 長所 • シンプルさ: 実装と管理が簡単 • 予測可能性: 行動は予測と制御が容易 • 複雑さの軽減: 管理するコンポーネントと インタラクションが軽減 短所 • スケーラビリティ: 1 つのエージェントがすべての タスクを処理する必要があるため、 スケーラビリティは限定 • パフォーマンスのボトルネック: 1 つの エージェントが過負荷になると、パフォーマンス が低下する可能性が高まる • 冗長性の欠如: 1 つのエージェントに障害が 発生した場合のフォールバックが難しい アプリケーション: パーソナルバーチャル アシスタント(Siriなど)、シングルプレイヤーゲーム、 スタンドアロンロボット工学など、 コラボレーションや調整は不要 • Multiple 長所 • スケーラビリティ: 複雑で大規模な問題に適して いる • 堅牢性:1つのエージェントに障害が発生しても、 システム全体が機能不全に陥ることはほぼ無い • 柔軟性:変化するニーズに適応するために簡単に 追加または削除できます。 短所 • 複雑さ: 複数のエンティティが相互作用するため、 設計、開発、管理がより複雑に • 通信のオーバーヘッド: 効果的な通信と 調整のメカニズムが必要 • 同期の問題: すべてのエージェントが調和して 連携していることを確認するのは 難しい場合がある Application: スウォームロボティクス、 マルチプレイヤーゲーム、自律走行車フリート、 分散型センサーネットワークなどの複雑なタスク、 分散タスク、またはコラボレーションタスク
232. Muti-Agent の一つの姿? [2412.14135] Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective The Rise and Potential of Large Language Model Based Agents: A Survey
233. AI Agent: Brain + Perception + Action • Perception (Eyes, ears) • Perceives and processes multimodal info from external • Brain (Control center) • Memorizing, thinking, knowledge, & decision making • Action (Limbs) • Carry out execution using tools and influences surroundings The Rise and Potential of Large Language Model Based Agents: A Survey
234. Typology of the Brain Module
235. Typology of Perception Module
236. Typology of Action Module
237. Agent AI Towards a Holistic Intelligence Position Paper: Agent AI Towards a Holistic Intelligence, by MSR and Stanford
238. AI Agent: LLM + Planning + Memory + Tool Use LLM Powered Autonomous Agents | Lil'Log (lilianweng.github.io)
239. Microsoftのエージェントフレームワーク Semantic Kernel AutoGen TaskWeaver 簡単にAIエージェントを構築するために設計さ れた完全なSDKで、単一エージェントに最適で あり、AutoGenとの統合によりマルチエージェン トに拡張可能です 拡張可能で、LLMまたはSLMのモデルと互換 性があります MicrosoftのCopilotシステムで使用されるの と同様のAIオーケストレーションパターンを活用 したい開発者に最適です メッセージ生成を超えたフレームワークを提供し、 既存のコードを呼び出して生産的なタスクを実 行できるようにします 複雑なエージェントシステムを処理するための 事前構築済みの会話オーケストレーションパ ターンを備えた強力なマルチエージェントフレーム ワーク 拡張可能で、LLMまたはSLMのモデルと互換 性があります Studioは、エージェントを設計するためのノー コード、ローコードアプローチを提供します 抽象化レイヤーにより、経験豊富な開発者が 実績のあるパターンを使用して複雑なエージェ ントシステムを構築しやすくなります 実験ツール - 製品ではなくサポート対象外 豊富なデータ構造を処理できるエージェントの 作成に優れています 拡張可能で、LLMまたはSLMのモデルと互換 性があります。 永続的でカスタマイズ可能なステートフルプラン ナー セキュリティで保護され、サンドボックス環境で コードを実行します 実験ツール -製品ではなくサポート対象外
240. 全てについて IT担当者が準備する 必要があるのか?
241. エンドユーザー向け エージェント ビルダー Copilot Studio メーカー向け 全てのエージェント構築のステージで対応 開発者向け Copilot Studio + Visual Studio/GitHub 自然 言語 コードファース ト Powered by Azure AI Agent Service
242. System Prompt 作成の例 召喚したい人の定義 System Prompt の 生成 動作検証
243. IT リテラシーが低い方を支援したい 召喚したい人の定義 あなたはITリテラシーが低く、業務について極めて保守的な従業員に対して、 懇切丁寧にコンピューターやデジタル活用について教えることを専門とする コンピューター教室の先生です。
244. System Prompt のドラフトも作成してもらう あなたはPromptの専門家です。私のコーチとして振舞ってください。 私は、ChatGPTを使って、エージェントとしての振舞いをするための System Promptの作成をするエンジニアです。 ユーザーが職業や職種とその特性について入力をします。その振舞い相応しい詳細かつ具体的なSystem Promptを作成してください。 エージェントが誰に対して、どんなサービスの提供をすべきかに深く配慮してください。 エージェントが、すべき事と絶対にしてはいけない事を明確にしてリストアップしてください。 深呼吸をして、この問題に一歩ずつ取り組んでください。 System Prompt の生成 System Prompt 生成 Promptの設定 GenerativeAI-Prompt-Sample-Japanese/Agent/System Prompt生成.md at main · dahatake/GenerativeAI-Prompt-Sample-Japanese
245. 生成されたSystem Prompt を試す 動作検証 System Prompt 設定
246. Microsoft Copilot にも投入してみる 動作検証 数分
247. Visual Studio Copilot Studio GitHubの Azure AI Foundry SDK Azure AI Foundry モデルカタログ オープンソースモデル 基盤モデル タスクモデル 業界モデル Azure AI Content Safety Azure AI Search Azure AI Agent Service Azure OpenAI Service オブザーバビリティ カスタマイズ 評価 ガバナンス モニタリング
248. Azure AI Foundry Agent Service 安全にAIエージェントを設計し、展開し、スケールを容易に実現する ツール 企業向けの充実したツール接続 (ナレッジソースとアクション) ナレッジソース アクション Logic Apps Azure Functions Open API MCP モデルの選択 モデルカタログを活用した 柔軟性のあるモデルの選択 Azure OpenAI Service o3-mini, o1, GPT-4o, GPT-4o mini Models-as-a-Service Llama 3.1-405B-Instruct Mistral Large, Small Cohere-Command DeepSeek v3 環境の制御 顧客によるデータ, ネットワーク およびセキュリティの制御 BYO ファイルストレージ BYO 検索インデックス BYO 仮想ネットワーク BYO 対話履歴ストレージ トレース/モニタリング エージェント評価 Azure AI Foundry SDK/Portal, VS Code Extension Generally Available BRK148
249. マルチエージェントオーケストレーション Connected agents (接続されたエージェント) マルチエージェントワークフロー セマンティックカーネルを搭載 1つのエージェントに複数のエージェントを接続することで エージェントが自律的に取得できる知識や実行アクションを拡張 宣言的に複数エージェントを連携しあるようにフローを構築し あらかじめ定められた目的を実現させる Human-in-the-loop も実現可能
250. 課題（Challenge） タスクに最適なLLM（大規模言語モデル）を選ぶのは難しい。 ユーザーは特定のユースケースに対して単一のLLMを使い続ける 傾向がある。 Opportunity スマートなルーティングにより、コストを最適化しながら品質を維持できる。最適なモ デルを動的に選択することで、ユーザー体験を損なうことなく費用を削減できる。 Router endpoint “How is the weather in Paris in May?” <Simple query> “Plan a 5-day itinerary from Paris to Venice for a vegan family of 10” <Complex query> Router (AI model) gpt-4.1- mini gpt-4.1- nano … a b Dynamic intelligent routing Optimal Response <output> a b Step 1 ユーザーはChat Completionsまたは Responses APIを使ってエンドポイントを 呼び出す。 Step 2 ルーター（AIモデル）が入力（プロンプトやツール使用 など）を評価し、最適なモデルへ動的にルーティングする。 Step 3 エンドポイントが選ばれたモデルのレスポン スを返す。 モデルルーター
251. 異なる柔軟性とコントロールレベルを提供 ツール呼び出しのオーケストレーション Full control Choose your AI model Fully-managed 会話スレッドの保存 Custom storage BYO-storage Cosmos DB Fully-managed 価格 Per token + compute Per token Per message 開発環境 VS / VS Code + GitHub VS / VS Code +GitHub + Foundry portal Copilot Studio Semantic Kernel Agent framework Azure AI Foundry Agent Service Copilot Studio Agents コントロール・可視性・カスタマイズ
252. Deep Research
253. 可能性のあるユースケース ビジネス&戦略プランニング - Market & Competitor Analysis: 市場動向、競合他社の インサイト、業界レポートを Word でまとめ、ビジネス戦略の指針とする - 製品開発と発売:市場のニーズ、競合他社の製品、顧客からの フィードバックに関する調査をWord文書に統合し、戦略的な意思決定 に役立てる 科学・医学研究 - 文献レビュー: 研究プロジェクト、出版物、臨床試験をサポートする ために、Word で科学論文やレポートを収集して構造化 - データ分析とレポーティング:大規模なデータセットと規制ガイドラインから 得られた知見をWordで文書化し、科学的または医学的な意思決定に 役立てる 法律および政策分析 - Legal & Policy Research: 判例法、新たなトレンド、規制文書を 調査し、法的準備書面やレポート用に Word で証拠をまとめる - 労働者災害補償: 事実の分析や適用される判例法の発見など、 労働者災害補償に関連する請求の調査 クリエイティブコンテンツ開発 - コンテンツ戦略と開発: 業界のトレンド、検索データ、AI が生成した インサイトを調査し、メディアリリースやマーケティング計画のために Word で 調査結果を構造化 テクニカル&エンジニアリングプロジェクト - 競合他社の分析: 競合他社のソフトウェアコンポーネントの実装について学 び、主要な機能、設計パターン、パフォーマンス、および動作を理解して、独 自の実装を導く - 技術文書と入札: 技術仕様、機器標準、および業界ガイドラインを Word にまとめ、プロジェクト提案とエンジニアリング レポートを作成 学術研究 - Research Papers & Theses: 複数の情報源を収集して分析し、洞察、 裏付けとなる証拠、引用を含む適切に構造化されたWord文書をまとめる - カリキュラムデザイン:教材、教科書、学術論文を調査し、その結果を Word文書に整理して授業計画に取り組む
254. Deep Research が来た! Introducing Researcher and Analyst in Microsoft 365 Copilot | Microsoft 365 Blog • 社内とインターネットが情報源 • Reasoning Modelベース • Agent用にサーチ最小限 • ファイルのチャンク化不要 • 検証最小限 • システムのシンプル化 • 更新頻度によっては 人のメンテナンスの価値高し
255. 社内 システム • 多くの社内業務シナリオの成果物作成をカバー • 初回Prompt後に、ゴール達成のための 詳細を確認してくれる Researcher 降臨! 調査 検討 プラン立案 報告書 参照情報 (Retrieve) メール 会議 チャット インターネット 文書 データベース Researcher Export 技術Q&A, 事例調査、RFI 複数メーカーの製品比較検討 営業戦略 人事考課用の業務成果, 商談レポート 会議させる Private Preview 自分のデータ チームのデータ
256. 社内 システム Analyst から Researcher の最強タッグ 参照情報 (Retrieve) メール 会議 チャット インターネット 文書 データベース Researcher • データソースから、必要なデータだけエクスポート • Analyst にて解析・分析して、Wordなどの文書に • Researcher の参照情報に Analyst Export Upload Private Preview 自分のデータ チームのデータ 分析・解析 Code Gen/Exec
257. End of Service になった 私の業務を支えてくれた Agent 君たち
258. 現役最強 Researcher 手間だったPrompt作業の量を減らしと質を劇的に向上 会議(ディスカッション)をさせる 議論のたたき台作成と、議論自身と、その議事録や検討結果の作成 GenerativeAI-Prompt-Sample-Japanese/会議/ディスカッションをさせる.md at main · dahatake/GenerativeAI-Prompt-Sample-Japanese Private Preview
259. 現役最強 Researcher 私作成のAgentに圧勝 戦略ビジネスコンサルタント 情報の収集と整理と解析とプラン作成と…. Private Preview
260. 現役最強 Researcher 私作成のAgentに圧勝 サービス・システムの比較評価エージェント 所謂〇×表作成 Private Preview
261. 現役最強 Researcher 私作成のAgentに圧勝 国内外事例収集エージェント 「やっているところはどこ?」 Private Preview
262. 現役最強 Researcher 手間だったPrompt作業の量を減らしと質を劇的に向上 RFI 情報の収集と整理と解析とプラン作成と…. RFI(Request for Information)の結果の詳細なドキュメントを作成してく ださい。 {業務背景}を基にして、{要求定義}を定義しました。 {要求定義}から、詳細かつ具体的かつ明瞭な、機能要件と非機能要件 を作成してください。 機能要件と非機能要件の各項目を実装できるツールをリストアップしてく ださい。 ツールの種類には、アプリケーション、クラウドサービスなどがあります。入手 経路もオープンソースだったり、企業が提供している場合もあります。 ドキュメントには{項目}の詳細な情報を含めてください。 # 業務背景 - ユーザーが迷わないように、膨大な商品情報から、その都度のユーザーの 知りたい事に合わせた情報を提供したい。 - MVPの最初のフェーズは、外部ベンダーに発注するのではなく、自分たち で開発する - 自社の開発環境: AzureもしくはAWS。C#とJava。Web開発可能。 データベースはSQL/NoSQLのどちらでも良い # 要求定義 - チャットで、都度ユーザーのやりたい事の言語化を手伝う - そのやりたい事を、商品情報から要約した文章を作成する - 個人ユーザー向けにはECサイトとLINEに対応する - 分析機能は、最小限でいい。具体的には、利用状況・不正な入力(威 圧的なコメントなど)状況・応答速度のみ # 対象範囲 - 既存のECサイトは除く - 市場は日本市場。日本語のみ - 多言語対応は必須ではないが、出来ればよい # 項目 ### A. 会社情報 - 会社名・所在地 - 設立年・従業員数 - 主要取引先・業界実績 - 財務状況（直近3年の売上・利益など） ### B. 製品・サービス情報 - 提供可能な製品・サービスの概要 - 特徴・競合優位性 - カスタマイズの可否 - サポート体制（対応時間、言語、拠点） ### C. 技術仕様・要件 - システム構成図（あれば） - 対応OS・ブラウザ・デバイス - セキュリティ対策（認証、暗号化、監査ログなど） - インテグレーション実績（API、他システム連携） ### D. 導入・運用 - 導入実績（業界・規模別） - 導入プロセスと期間 - トレーニング・マニュアルの提供有無 - 保守・運用体制 ###E. コスト情報（概算） - 初期費用（ライセンス、導入支援など） - 月額・年額費用（サブスクリプション型の場合） - オプション費用（追加機能、サポートなど） 次に、{ツール}の比較評価を、以下の{比較評価の項目}で1-5で評価をし てランク付けしてください。 総合点も算出してください。 評価結果は表形式で作成してください。 # 比較評価の項目 - 将来性: 提供企業の財務状況や、そのツールの分野(セキュリティ、イン フラ、AIなど)への投資状況 - 信頼性: 提供企業は情報管理やサポートの対応など信頼が出来るの か? - 時間: どれだけカスタマイズなどせずに、早期に導入ができるのか? - コスト: 金額としての費用 - 開発環境: 自社プロダクトマネージャーとソフトウェアエンジニアが使い慣 れた環境なのか?新しく学ぶことは歓迎だが、時間がかかりすぎるのは避け たい 最後に、それらの根拠を裏付ける補足情報や総合的な分析・解析の情 報も作成してください。分析・解析はSWOT分析とRisk分析など適切な 分析手法を考えて選択して実行してください。 Prompt Private Preview
263. 現役最強 Researcher 手間だったPrompt作業の量を減らしと質を劇的に向上 RFI 情報の収集と整理と解析とプラン作成と…. Private Preview
264. “Generative AI” Ready Organization
265. APIと Data
266. Agents Copilot Studio Copilot データアクセス、ガバナンス、エージェント管理、成果測定 Agents API Data Code Gen/Exec
267. Generative AI Ready Application もしくは Enterprise Architecture Physical Data Location Data as an Asset Management Function UX On-premise Data Factory Data Lake (Other Cloud) Data Lake (Microsoft Azure) Data Catalog Operational Database Bronze Silver Gold API GUI | Multi-Modal (Voice, etc) Persona API Catalog Customer Partner Employee ML Model Copilot Foundation Model File Search Engine “AI Agent” Security, Privacy, Compliance, Governance, Monitoring etc… API API File File Data Data Connector API API Operational Database Operational Database
268. アプリは、API コールで 出来ていますよね?
269. Generative AI Ready Application もしくは Enterprise Architecture Physical Data Location Data as an Asset Management Application Function UX On-premise Data Mesh Data Lake (Other Cloud) Data Lake (Microsoft Azure) Data Catalog Application Data Database Bronze Silver Gold API Application GUI | new Multi-Modal UX Persona API Catalog Customer Partner Employee Model API ML Model Factory Copilot Foundation Model File Search API “AI Agent” Security, Privacy, Compliance, Governance, Monitoring etc… Database API Database API File File Application API
270. 宿泊予約プラグイン Enterprise AI Transformation のロードマップ 7/10から5日間シアトルに 出張するんだけど ホテルと飛行機の予約をお願い 7/10~7/15 までの旅程を作成しまし た。確認してください。 .... 解答 旅程作成: エージェント プラグイン /search /reserve 予約 予約検索 宿泊予約システム endpoints /search /reserve 航空券予約プラグイン 出張申請プラグイン 帳票OCRプラグイン レストラン予約プラグイン 問い合わせ Function Calling + オ ー ケ ス ト レ ー シ ョ ン データ分析プラグイン /confirm 航空券予約システム レストラン予約システム 出張申請システム /delete 予約確認 予約削除 … DB /aggregate /predict 申請 /request … /analyze 読み取り 7/14 のタクシーのレシートを添付す るから登録お願い /recommend ML models … 問い合わせ … /search … 検索 API 既存システム/データ Your Copilots Your Copilots Your Copilots Your Copilots Phase 1 Phase 3 アプリケーションのモダナイゼーション Phase の数字は例です 社内汎用Chatアプリ Your Copilots Phase 2 API呼び出しの定義 出張規定のWordファイル
271. 宿泊予約プラグイン Enterprise AI Transformation のロードマップ 7/10から5日間シアトルに 出張するんだけど ホテルと飛行機の予約をお願い 7/10~7/15 までの旅程を作成しまし た。確認してください。 .... 解答 プラグイン /search /reserve 予約 予約検索 宿泊予約システム endpoints /search /reserve 航空券予約プラグイン 出張申請プラグイン 帳票OCRプラグイン レストラン予約プラグイン 問い合わせ Function Calling + オ ー ケ ス ト レ ー シ ョ ン データ分析プラグイン /confirm 航空券予約システム レストラン予約システム 出張申請システム /delete 予約確認 予約削除 … DB /aggregate /predict 申請 /request … /analyze 読み取り 7/14 のタクシーのレシートを添付す るから登録お願い /recommend ML models … 問い合わせ … /search … 検索 API 既存システム/データ Your Copilots Your Copilots Your Copilots Your Copilots Phase 1 Phase 3 アプリケーションのモダナイゼーション Phase の数字は例です 社内汎用Chatアプリ Your Copilots API呼び出しの定義 旅程作成: エージェント 出張規定のWordファイル Phase 2 「エージェント」は、会社の出張規定のドキュメントの ルールとワークフローを順守するように動く。 その実装は、ドキュメントを読み込むのみ
272. Enterprise AI Transformation のロードマップ 7/10から5日間シアトルに 出張するんだけど ホテルと飛行機の予約をお願い 7/10~7/15 までの旅程を作成しまし た。確認してください。 .... 解答 旅程作成: エージェント プラグイン /search /reserve 宿泊予約システム 問い合わせ 航空券予約システム レストラン予約システム 出張申請システム DB 7/14 のタクシーのレシートを添付す るから登録お願い ML models … 問い合わせ … API 既存システム/データ Your Copilots Your Copilots Your Copilots Your Copilots Phase 1 Phase 3 アプリケーションのモダナイゼーション Phase の数字は例です 社内汎用Chatアプリ Your Copilots API呼び出しの定義 出張規定のWordファイル 宿泊予約プラグイン 航空券予約プラグイン 出張申請プラグイン 帳票OCRプラグイン レストラン予約プラグイン Function Calling + オ ー ケ ス ト レ ー シ ョ ン データ分析プラグイン Phase 2 なぜ、この場で、どの関数を使うのが最適なのか? その際の引数は何が必要なのか?という判断を行う 関数の実行結果を含めた、応答を作成する 予約 endpoints /reserve /confirm /delete 予約確認 予約削除 … /aggregate /predict 申請 /request … /analyze 読み取り /recommend /search … 検索 /search 予約検索
273. 宿泊予約プラグイン Enterprise AI Transformation のロードマップ 7/10から5日間シアトルに 出張するんだけど ホテルと飛行機の予約をお願い 7/10~7/15 までの旅程を作成しまし た。確認してください。 .... 解答 旅程作成: エージェント プラグイン /search /reserve 予約 予約検索 endpoints 航空券予約プラグイン 出張申請プラグイン 帳票OCRプラグイン レストラン予約プラグイン 問い合わせ Function Calling + オ ー ケ ス ト レ ー シ ョ ン データ分析プラグイン 予約確認 予約削除 … 申請 … 読み取り 7/14 のタクシーのレシートを添付す るから登録お願い … 問い合わせ … … 検索 API 既存システム/データ Your Copilots Your Copilots Your Copilots Your Copilots Phase 1 Phase の数字は例です 社内汎用Chatアプリ Your Copilots Phase 2 API呼び出しの定義 出張規定のWordファイル 宿泊予約システム /search /reserve /confirm 航空券予約システム レストラン予約システム 出張申請システム /delete /aggregate /predict /request /analyze /recommend /search Phase 3 アプリケーションのモダナイゼーション モダナイゼーションの検討 サーバー側はAPI化されているか? 既存システムでも、オーケストレーションでも 使える SOA や Microservice Architecture を 意識した Enterprise Architecture の実現 Service Catalog, Data Catalog, Model Catalog (Model as a Service) DB ML models
274. RAG = Retrieval Augmented Generation
275. ファイルは あちこちにある
276. Generative AI Ready Application もしくは Enterprise Architecture Physical Data Location Data as an Asset Management Application Function UX On-premise Data Mesh Data Lake (Other Cloud) Data Lake (Microsoft Azure) Data Catalog Application Data Database Bronze Silver Gold API Application GUI | new Multi-Modal UX Persona API Catalog Customer Partner Employee Model API ML Model Factory Copilot Foundation Model File Search API “AI Agent” Security, Privacy, Compliance, Governance, Monitoring etc… Database API Database API File File 非構造化データ
277. ファイルは あちこちにある
278. Generative AI Ready Application もしくは Enterprise Architecture Physical Data Location Data as an Asset Management Function UX On-premise Data Factory Data Lake (Other Cloud) Data Lake (Microsoft Azure) Data Catalog Operational Database Bronze Silver Gold API GUI | Multi-Modal (Voice, etc) Persona API Catalog Customer Partner Employee ML Model Copilot Foundation Model File Search Engine “AI Agent” Security, Privacy, Compliance, Governance, Monitoring etc… API API File File Data Data Connector API API Operational Database Operational Database 非構造化データ
279. Oracle DB2 Postgres S3 Box Google Drive MySQL SQL DB File Server OneDrive Structured Non Structured Azure AI Search Index Pointer Pointer Pointer Pointer マルチデータソースの横断検索
280. Generative AI Ready Application もしくは Enterprise Architecture Physical Data Location Data as an Asset Management Function UX On-premise Data Factory Data Lake (Other Cloud) Data Lake (Microsoft Azure) Data Catalog Operational Database Bronze Silver Gold API GUI | Multi-Modal (Voice, etc) Persona API Catalog Customer Partner Employee ML Model Copilot Foundation Model File Search Engine “AI Agent” Security, Privacy, Compliance, Governance, Monitoring etc… API API File File Data Data Connector API API Operational Database Operational Database 構造化データ
281. Supercomputer 的なもの が Copilot 君から使える!!! 独自Agent Copilot データアクセス、ガバナンス、エージェント管理、成果測定 Code Gen/Exec Data Analytics Agent データ分析 Code Interpreter 日常業務Pythonが 動く程度 Compute Power 無限のスケールアウト キュレーション済みのデータ
282. Copilot でのデータ分析の可能性 Agents Copilot Studio データアクセス、ガバナンス、エージェント管理、成果測定 Snowflake Copilot Pages OneLake PostgreSQL Oracle Excel, CSV Big Data から必要なものだけ 人が扱いやすいデータ量 異なる データの融合 Copilot 異なる データの融合 構造化/ 非構造化 データの融合 Microsoft Fabric 共同の Workspace
283. マルチデータソース • 透過的に • 全て同じAPIでアクセスが出来る! • SQL, Python • だから、JOINも出来る! • アクセス制御 • SSO データアクセス、ガバナンス、エージェント管理、成果測定
284. Mirroring for Snowflake Mirroring for Cosmos DB Mirrored Azure Databricks Catalog Mirroring for Azure SQL DB Mirroring for Azure SQL MI データを OneLake に自動的に反映する Fabric でのデータベース ミラーリング Mirroring for SQL Server Mirroring for Oracle Mirroring for Azure PostgreSQL Mirroring for SQL Server 2025 プライベートプレビュー
285. Microsoft FabricからAzure AI Agent Serviceへ Fabricのデータエージェントは、OneLakeの データに対して推論・統合 Azure AI Agent Service のエージェントに Fabric のデータ知識を統合することで、 AIエージェントをよりスマートに拡張。 現在は パブリックプレビュー セキュリティ権限 (RLS: 行レベルセキュリティ / CLS: 列レベルセキュリティ) にも対応しており、 エンタープライズ利用に対応
286. お客様自身のデータにカスタムの生成 AI エクスペリエンスを適用するための AI プラグインを作成する Fabric で自身のデータに カスタム Q&A を可能にする 組織に固有のカスタム ビジネス セマンティクスとグラウンディングを 定義する ビジネス チャットで Copilot と シームレスに連携するようにプラグインを 展開する 近日公開予定 AI Plug-ins for your data
287. Data は業務で作成したままで 使い物になるのか?
288. Generative AI Ready Application もしくは Enterprise Architecture Physical Data Location Data as an Asset Management Function UX On-premise Data Factory Data Lake (Other Cloud) Data Lake (Microsoft Azure) Data Catalog Operational Database Bronze Silver Gold API GUI | Multi-Modal (Voice, etc) Persona API Catalog Customer Partner Employee ML Model Copilot Foundation Model File Search Engine “AI Agent” Security, Privacy, Compliance, Governance, Monitoring etc… API API File File Data Data Connector API API Operational Database Operational Database 構造化データ
289. Data中心の世界では 目的に合わせて Data 作成する 分析 機械学習 生成AIの参照用 生データ Data source App クリーニング 用途毎の構造 Data Lake <<構造化>> 正規化 <<非構造化>> 正規化 非正規化 スタースキーマ 非正規化 学習用 データセット 生成AI 参照用 データセット Copy
290. データ加工・活用 - Medallion Architecture コーポレートBI データ解析や AIモデル開発 データ資産の検索 生データ （Bronze/Raw） 目的に沿ったデータ加工 （Gold/Curated） 最低限の クレンジング クレンジング済み データ加工 （Silver/Standardized） クエリで扱いやすくDWH内に永続化 もしくはViewとして定義 セルフサービスBI セルフサービス データ加工 セルフサービス データ加工 データが活用されるまでの流れ 事業部門 5. 活用できそうなデータ資産の検索 6. 新しい業務ニーズに応じた実験的、 アドホックなデータ探索や、データ加工 7. セルフサービスでのデータ活用（BIレポー ティング、データ解析、モデル開発） 8. 確立した分析モデルは基盤に引き渡し データ管理部門 1. データを活用するために大前提として行うべき抽出やクレンジング 2. 全社横断的に求められる基本的なデータ加工ロジックの実装 3. 全社横断的に求められるBIレポートの作成 4. Bronze〜Gold、DWHのデータ品質維持 シームレス 利用 現場での活用モデル （Gold）が固まったら 基盤側に引き渡し 現場でのモデル 試行錯誤
291. RAG のためのデータは作ったほうが良い
292. RAG のためのデータは作ったほうが良い [2408.09017] Meta Knowledge for Retrieval Augmented Large Language Models (arxiv.org) 1つの例としての PR3 (Prepare-Rewrite-Retrieve-Read) アプローチ RAGでの課題 1.チャンクによる情報分断・ 全体像の喪失 2.クエリと文書のミスマッチ 1) 元文書からメタデータと 質問&回答セットを作って index 化 2) メタ知識要約 (MK Summary)を生成 3) クエリの拡張生成と検索
293. # Task User入力のドキュメントから余計な文言は排除し て知識だけを纏めたFAQリストを作ろうと思います。 抜け漏れが無いように質問と回答のペアを Output_formatの出力形式で作成してください。 # Output ## Format jsonl形式で出力をします。各JSONオブジェクトは 下記の形式とします。 {"question":<ドキュメントを基に作成した質問>, "answer":<questionに対する応答>} ## Policy - question, answerの出力はUserの入力に基づ いたものとすること FAQやナレッジグラフへの変換 {"question": "Azure OpenAI Serviceで利用可能なモデルは何ですか？", "answer": "GPT-4 シリーズ (GPT-4 Turbo with Vision を含む)、GPT-3.5-Turbo シリーズ、埋め込みシリーズが利用可能です。"} {"question": "Azure OpenAI Serviceで新しく一般提供されたモデルは何ですか？", "answer": "新しい GPT-4 と GPT-3.5-Turbo モデルシリーズが一般提供になりました。"} {"question": "Azure OpenAI Serviceの機能は何ですか？", "answer": "コンテンツの生成、要約、画 像の解釈、セマンティック検索、自然言語からコードへの翻訳などが可能です。"} {"question": "Azure OpenAI Serviceにアクセスする方法は何ですか？", "answer": "REST API、 Python SDK、または Azure OpenAI Studio の Web ベースのインターフェイスを介してアクセスできます。"} {"question": "Azure OpenAI Serviceの価格情報はどこで確認できますか？", "answer": "価格情報は 、公式ウェブサイトで入手可能です。"} {"question": "Azure OpenAI Serviceは仮想ネットワークとプライベートリンクをサポートしていますか？", "answer": "はい、サポートしています。"} {"question": "Azure OpenAI ServiceのUIエクスペリエンスはどのようなものですか？", "answer": "Azure portal でアカウントとリソースの管理ができ、モデルの探索と微調整には Azure OpenAI Service Studio を使用します。"} {"question": "Azure OpenAI Serviceでのコンテンツフィルタリングはどのように行われますか？", "answer": "プロンプトと入力候補は、自動システムを使ってコンテンツ ポリシーに対して評価され、重大度 の高いコンテンツはフィルターで除外されます。"} {"question": "Azure OpenAI Serviceへのアクセスは制限されていますか？", "answer": "はい、高い需 要とMicrosoftの責任あるAIへのコミットメントを考慮し、制限されています。"} {"question": "Azure OpenAI ServiceとOpenAIの違いは何ですか？", "answer": "Azure OpenAI Serviceは、OpenAIのモデルをAzureのセキュリティとエンタープライズの約束と共に提供し、プライベートネッ トワークやリージョンの可用性、責任あるAIコンテンツのフィルタリングを提供します。"} プロンプト 生の文章ではなく検索時に応えやすい形式としてドキュメントを加工することで、ユーザ問い合わせに回答しやすくなることも GPTによる ドキュメント加工 元文書からメタデータと質問&回答セットを作って Index 化
294. • RAG用だけではない • Agent用にサーチ最小限 • ファイルのチャンク化不要 • 検証最小限 • システムのシンプル化 • 更新頻度によっては 人のメンテナンスの価値高し 検索させない インター ネット Deep Research / Deep Search “データの分析とそのレポートの作成という業務を行う上で、マルチエージェントの システムを使う場合と、Reasoning Modelを使う場合の違いは何ですか? それぞれの特性を調査して、ユースケースも含めたレポートを作成してください。” Retrieve Analyze Generate Review レポートの 流用 Store 社内
295. Deep Research Introducing Researcher and Analyst in Microsoft 365 Copilot | Microsoft 365 Blog • 社内情報とインターネットが 情報源 • RAG用だけではない • Agent用にサーチ最小限 • ファイルのチャンク化不要 • 検証最小限 • システムのシンプル化 • 更新頻度によっては 人のメンテナンスの価値高し
296. microservices x Big Data for Agile Web / Mobile IoT Device Search Application の世界 Big Data の世界 Streaming Operational Store Operational Store Operational Store Operational Store Operational Store Operational Store Search Web / Mobile Web / Mobile Web / Mobile Web / Mobile Web / Mobile Web / Mobile Web / Mobile Web / Mobile IoT Device Streaming IoT Device Streaming Operational Store Data Lake Data Warehouse API Visualize (Graph表現など) Build ML Model Data Catalog Data Warehouse Data Warehouse Reference for 生成AI 非構造化 半構造化 データ データの管理者・意味 などのメタデータ なるべくサイズを 小さく 構造化データ
297. 革新と出会った日 Part. 1 Microsoft Copilot (Bing Chat)
298. Software Engineer であり メンドクサイ事が大嫌いな @dahatake の 日常は 既に 変わった 過去形
299. 無料 の Bing Chat が、既に dahatake 程度の仕事の一部は出来る 弊社営業からの 社内問い合わせ 返信の文面を作成 網羅的に全てを即座に 答えられるわけではない 公式ドキュメントや サンプルコードの読み込み 場合によっては自分で 動かす 根拠となる情報の URLなどを添付する 1h – 1Day 1分程度 高い網羅性 公式ドキュメントが ソース ビジネスメールの 文面としての完成度 内容の妥当性 (私はこのサービス はある程度詳しい)
300. 弊社営業からの 社内問い合わせ 返信の文面を作成 網羅的に全てを即座に 答えられるわけではない 公式ドキュメントや サンプルコードの読み込み 場合によっては自分で 動かす 根拠となる情報の URLなどを添付する 1h – 1Day 15秒程度 高い網羅性 公式ドキュメントが ソース ビジネスメールの 文面としての完成度 内容の妥当性 (私はこのサービス はある程度詳しい) ChatGPT + Database の破壊力 文面作成 要約 Internet as a Database
301. 弊社営業からの 社内問い合わせ 返信の文面を作成 網羅的に全てを即座に 答えられるわけではない 公式ドキュメントや サンプルコードの読み込み 場合によっては自分で 動かす 根拠となる情報の URLなどを添付する 1h – 1Day 15秒程度 高い網羅性 公式ドキュメントが ソース ビジネスメールの 文面としての完成度 内容の妥当性 (私はこのサービス はある程度詳しい) 作業時間 < 10倍 やる気 爆上がり! (やりたくない仕事) 会社の資産 再利用! (ネットに情報出している)
302. 挫折を知った日 Part. 1.1 Runway, DALL-E 3
303. ChatGPT だけじゃない!
304. How-to = Prompt に何か入れれば、 文章などが生成されるは知っている Runway Gen-2 : Text to Video ChatGPT : Text to Text
305. 「何を Prompt したら いいか、全くわからん 」 Runway Gen-2 : Text to Video Aerial drone footage of a mountain range Best Prompts for Runway Gen-2 (AI Video Generation Techniques) - AiTuts 全く出てこない! ネットで検索
306. Prompt Engineering には 精通しているつもりだった 知ったかぶりになっていた!
307. @dahatake の今の限界を知る Prompt Application Runtime | Cloud | DB | etc… BI | DWH | Spark etc アプリ 操作方法の一つ アプリの 操作方法の一つ 何をしたいのか? ✓ 動画を作りたい データの分析をしたい アプリ開発をしたい Edius | Premier | Media Composor etc.… C# | Java | Python | SQL | Azure CLI etc.… SQL文 | Python ? Aerial drone footage of a mountain range Prompt Engineering を極めても、 仕事の生産性があがったり、クリエイティブが生まれるわけじゃない 同じ コト
308. 挫折への挑戦
309. DALL·E 3 (openai.com)
310. GAP を如何にして埋めていくのか? 白樺を背景にして、 夕焼けの雪の中で、 犬が犬ぞりを引いている。 高品質のアート DALL-E 3 どんなシーンで効果的な 描写なのか? ChatGPT による素案作成 LLM 活用 ChatGPT
311. いきなり Prompt を 思いつかないからこそ… どんなシーンで効果的な描写なのか? ChatGPT-Prompt-Sample-Japanese/DALL-E/DALL-E 3用のPrompt作成.md at main · dahatake/ChatGPT-Prompt-Sample-Japanese (github.com)
312. 最終系に至る道筋 雪の中で犬ぞりに 乗っている 夕焼けの雪の中で、 犬ぞりに乗っている 白樺を背景にして、 夕焼けの雪の中で、 犬ぞりに乗っている。 水彩画調 白樺を背景にして、 夕焼けの雪の中で、 犬が犬ぞりを引いている。 高品質のアート
313. 「白樺を背景にして、夕焼けの雪の中で、犬が犬ぞりを引いている。 ピクサー風のかわいい3Dイラスト」
314. 新たなスキルを 獲得する道程 DALL-E 3 を学んだ過程のログから。新技術を習得するためのシラバ ス的な進め方 with ChatGPT as Copilot #ChatGPT - Qiita
315. 数理最適化への取り組み [Math] 巡回セールスマン問題 (chatgpt.com)
316. • 各種 数理最適化の手法は、比較的一般論が多い • 実際の計算処理は複雑なものが多く、プログラムコード を実行すると長時間要するものも出てくる • プログラムの実行が、ChatGPTの中で可能であれば、それを利用 • 出来ない場合は、自分のPCやクラウド環境などを適時利用 戦略
317. • この思考レベルになると、Prompt Engineering のテク ニックが必須 • それでも、正解に辿り着かない事は多々ある 真実
318. “巡回セールスマン問題” [Math] 巡回セールスマン問題 (chatgpt.com)
319. 「問題」 解答 最短距離の順回路: (1,0) → (0,0) → (2,2) → (2,1) → (2,0) → (1,0) 総距離: 4+2√2 ≒ 6.83
321. プログラムコードの方が最適と判断 Pythonのコード生成
322. Pythonのコード 実行 Code Interpreterによる 正解
323. “シフトスケジュール問題” [Math] シフトスケジュール問題
324. 問題も作ってもらいました [Math] シフトスケジューリング課題
325. Prompt 投入 Prompt 参考: [2402.03620] Self-Discover: Large Language Models Self-Compose Reasoning Structures (arxiv.org)
326. 実行プランの作成 (1)
327. 実行プランの作成 (2)
328. 数理モデルの実装と実行 (1) コードの実行と 実行時エラーの解析
329. 数理モデルの実装と実行 (2)
330. 自分のPCでの実行手順書の作成
331. コード実行
332. 実行結果の妥当性確認
333. 改善策の自己立案 (1)
334. 改善策の自己立案 (2)
335. 実行結果の妥当性確認 (2回目)
336. 実行結果の妥当性確認 (2回目)
337. 数理モデルは いろいろある
338. 現在のアルゴリズムの確認
339. 他に効果がありそうなアルゴリズム一覧作成
340. モデル(コード)作成 (1)
341. モデル(コード)作成 (2)
342. モデル(コード)作成 (3)
343. モデル(コード)作成 (4) : 遺伝的アルゴリズム
344. モデル(コード)作成 (5) : 遺伝的アルゴリズム
345. 問題の作成から 初期モデル作成 そして、複数モデル作成 45分 注:プログラミングの環境作成と実行に慣れた人の例です。私の例
346. 言語モデルの進化により 今後 より 複雑な問題が解ける可能性
347. 問題解決の方法の助けになりうる 計算 解答 計算式の 定義 解決策の 体系化・ 論理化 問題の定義 問題 観察 解決案の作成 とリストアップ 評価と選択 情報収集 一例として提示しているでのみで、全てを網羅できているわけではありません データ入力あるいは プログラミング作成 計算処理 あるいは プログラミング実行 似た問題の創作 生成AIがサポート できる可能性が高い 生成AI無しで困難だったコト 相談相手 サンプルデータ 作成
348. ChatGPT Technical
349. • OpenAIが2022年11月に プロトタイプと して公開 • 幅広い分野の質問に詳細な回答を生成できることから注目を 集めた • ChatGPTのリリース後、OpenAIの評価額は290億米ドルと なり、2021年時の140億ドルと比べて2倍以上増加 • 出来る事 ≒ GPT3.5, GPT-4 の出来る事 • 文章生成 • 文章の変換: サマリー作成、翻訳、フォーマット変換 など • 特徴 • チャットベースのインターフェース: ユーザーが途中介入できる • 初歩的なガードレール: 差別や偏見などの検知 • コンテキスト: 以前のコンテントを記憶できる ChatGPT https://arxiv.org/abs/2303.08774 https://openai.com/research/gpt-4
350. GPT-3 Family Price & Performance Inferencing Time Fine-Tune Transfer Learning (Supervised Learning) Gradient Update Domain Data Custom Fine-Tuned Domain Model InstructGPT DaVinci-002 Conversation Text InstructGPT DaVinci-003 OpenAI Labeler Feedback Loop Reward Model ChatGPT Public Reinforcement Learning Interface GPT 3.5 Model Ecosystem Ada Babbage Currie DaVinci ChatGPT 175B Parameters 1.5B Parameters Reinforcement Learning と 人の共同作業 GPT-3.5がベース。さらに厳しいガードレールの中で動作し、多くのルールを遵守させることで AIと人間の価値観を一致させるという初期のプロトタイプ ChatGPT – Technical Overview https://openai.com/blog/chatgpt
351. GPT-3 Family Price & Performance Inferencing Time Fine-Tune Transfer Learning (Supervised Learning) Gradient Update Domain Data Custom Fine-Tuned Domain Model InstructGPT DaVinci-002 Conversation Text InstructGPT DaVinci-003 OpenAI Labeler Feedback Loop Reward Model ChatGPT Public Reinforcement Learning Interface GPT 3.5 Model Ecosystem Ada Babbage Currie DaVinci ChatGPT 175B Parameters 1.5B Parameters Reinforcement Learning と 人の共同作業 GPT-3.5がベース。さらに厳しいガードレールの中で動作し、多くのルールを遵守させることで AIと人間の価値観を一致させるという初期のプロトタイプ ChatGPT – Technical Overview GPT (2020年5月) 生成 分類 変換 Q&A Chat Completion 単一のモデルでの対応力が抜群に高い InstructGPT (2022年5月) 1. 教師ありのFine Turning 2. Reward Model の学習 3. RLHF に基づくモデル学習 ヒトの介入による 望ましい結果への対応 ChatGPT (2022年11月) InstructGPT と ほぼ同じ Chat に特化 Alignment Chat UX https://openai.com/blog/chatgpt Foundation Models AI Orchestration
352. InstructGPT での Labeling 作業の一端 [2203.02155] Training language models to follow instructions with human feedback (arxiv.org)
353. GPT-3 Family Price & Performance Inferencing Time Fine-Tune Transfer Learning (Supervised Learning) Gradient Update Domain Data Custom Fine-Tuned Domain Model InstructGPT DaVinci-002 Conversation Text InstructGPT DaVinci-003 OpenAI Labeler Feedback Loop Reward Model ChatGPT Public Reinforcement Learning Interface GPT 3.5 Model Ecosystem Ada Babbage Currie DaVinci ChatGPT 175B Parameters 1.5B Parameters Reinforcement Learning と 人の共同作業 GPT-3.5がベース。さらに厳しいガードレールの中で動作し、多くのルールを遵守させることで AIと人間の価値観を一致させるという初期のプロトタイプ ChatGPT – Technical Overview GPT (2020年5月) 生成 分類 変換 Q&A Chat Completion 単一のモデルでの対応力が抜群に高い InstructGPT (2022年5月) 1. 教師ありのFine Turning 2. Reward Model の学習 3. RLHF に基づくモデル学習 ヒトの介入による 望ましい結果への対応 ChatGPT (2022年11月) InstructGPT と ほぼ同じ Chat に特化 Alignment Chat UX https://openai.com/blog/chatgpt Foundation Models AI Orchestration
354. GPT-4 がベース。Web 検索に特化している Bing Chat GPT 生成 分類 変換 Q&A Chat Completion 単一のモデルでの対応力 が抜群に高い InstructGPT 1. 教師ありのFine Turning 2. Reward Model の学習 3. RLHF に基づくモデル学習 ヒトの介入による 望ましい結果への対応 ChatGPT InstructGPT と ほぼ同じ Chat に特化 Alignment Chat UX Bing Chat Web Search 結果から Prompt 作成と結果取得 インターネット上のコンテンツを データとして加えて In-Context Learning Web Search Foundation Models AI Orchestration App
355. • 学習用のハードウェア • 10,000程度のGPUと、285,000個程度の CPU 搭載のスーパーコンピューター的なシステム基盤 • Microsoft announces new supercomputer, lays out vision for future AI work – Source • エンジニアリング リソース • 世界最高峰の博士号をもつデータサイエンティストが欲しい。Open AI では、2016年に Chief Scientist の Ilya Sutskever に190万 USD を支払って、現在は 1,000名程度のチームを率いていると言われている。 • A.I. Researchers Are Making More Than $1 Million, Even at a Nonprofit - The New York Times (nytimes.com) • 時間 • EleutherAI (GPT-3 相当のモデル作成を試みている団体) は、The Pile (巨大なデータセット) 利用のための法的な合意形成や収集、 クリーニング、それらの準備に12-18か月の時間をかけていると言われている。The Pile が 400Bトークン以下しかない場合は、DeepMind が 効果の出る基準とみなしている 1,400Bトークンを満たすために、The Pile と同じ品質のデータセットを 4つ見つける必要がある • 学習用の時間 • モデルの学習には、9-12か月かかると言われている。それは、全てが1度でうまくいった場合。 • [2005.14165] Language Models are Few-Shot Learners (arxiv.org) • metaseq/OPT175B_Logbook.pdf at main · facebookresearch/metaseq (github.com) • 推論環境 • 24 x 365 稼働のための高性能なコンピューターと開発用のソフトウェアエンジニアが必要 ChatGPT の構築に必要だと言われているリソース
356. ChatGPT training
357. ChatGPT training (Step 1): 教師あり学習 • Task: still next word prediction • New: training data is now produced by a human in the context of a dialogue User: Explain reinforcement learning to a 6 year old. Teacher: We give treats and punishments to teach […] - プロンプトとそれに対する適切な回答のペアを アノテーター（人間）が考案し、データセットを作成する - このデータセットを用いてGPT-3.5モデルをファインチューニングする
358. User: Explain reinforcement learning to a 6 year old. ChatGPT A: We give treats and punishments to teach a computer what want it to do ChatGPT B: The policy gradient method … Labeler: A > B ChatGPT training (Step 2): 報酬モデルの学習 - プロンプトに対するstep1で学習させたモデルの回答を 複数パターン用意し、 アノテーターにその中で良いものはどれかの 順位付けをしてもらう - 順位付けデータセットを用いて報酬モデルを学習させる - 回答の順位付けを予測するタスクを解かせる
359. • Task: Learn to produce best output according to model from Step 2 • Data: samples from current model with rewards User: Explain reinforcement learning to a 6 year old. ChatGPT: We give treats and punishments to teach a computer what want it to do (reward: +1) ChatGPT training (Step 3): 強化学習 - Step1/2で学習させたGPT-3.5モデルと報酬モデルを用いて、 強化学習を実施する - 報酬が最大になるような方策を探索し、最適な回答を生成 する
360. InstructGPT での Labeling [2203.02155] Training language models to follow instructions with human feedback (arxiv.org)
361. 会話形式で対話する ChatGPT と呼ばれるモデルをトレーニングした。対話形式により、ChatGPTはフォローアップの 質問に答え、間違いを認め、誤った前提に異議を唱え、不適切な要求を拒否することができる。ChatGPTは InstructGPTの兄弟モデルであり、プロンプトの指示に従い、詳細な応答を提供するように訓練されている 'UX’ 人の介入よる その場での学習 + ChatGPT で何が変わったのか?
362. GPT: よりよいアプリ開発 ChatGPT: 更に生産性を高める オンデマンドでの言語処理を API経由で利用する 特定のタスクの処理を チャットベースで途中介入しながら進める 利用シナリオ: セマンティックなテキストの理解 社内検索や情報抽出 Copilot の様なアプリケーション開発 ChatGPT よりも多様なシナリオのサポート コンテント作成などののアイディア出し 一般的な Q&A コード作成などのアシスタント GPT と ChatGPT
363. 違い 1) セッションの有無 GPT-3 ChatGPT セッションとしての 継続性
364. 違い 2) 会話特化の表現
365. Sequence Tagging Text Generation Language Model Text Classification Textual prompt Textual prompt Textual prompt Task specific supervised learning Pre-train (supervised +unsupervised) + fine tune Pre-train + prompt + predict 2017 to 2019 2021 to ~ By selecting appropriate prompts, we can manipulate the model behavior so the pre-trained LM can be used to predict desired output Sequence Tagging Text Generation Language Model Text Classification 300+ GPT-3 Examples, Demos, Apps, Showcase, and NLP Use-cases | GPT-3 Demo (GPT3demo.com) Building tasks through prompt engineering
366. さいごに
367. 道半ば でも、確実に楽しい未来に 向けて 進んでいる
368. 脳は 変化を嫌がるように出来ているらしい 新しい事を学ぶあるいは始める (所謂、チャレンジ) ためには、 新たに神経細胞をつなぐ作業が必要で、 相当のエネルギーを使うらしい 結果、「 現状維持」を求めがち 明確な Source を探せておらず…
369. Bing Chat や ChatGPT って 嫌な事を全く言わなくて こっちの聞く事に ずっと付き合ってくれるよ 24時間365日、文句を言わず、座席は不要、 福利厚生不要、傷病リスクゼロ、 コンプライアンスリスクゼロ
370. いつPromptする? そのタスクの着手が {躊躇う or 5分間考えても妙案が思いつかない}
371. AIが 当たり前の 2030年
372. ネットが 当たり前の 2025年
373. “Prompt” 所詮は、 言葉
374. • 人の指示をComputerに伝える 手段 • GPT-4 に代表される機械学習で 作成された自然言語のモデル • 文字列生成として プログラム言語のコードを生成 • その自動実行・エラー修正の プロジェクトが複数走っている • Microsoft Copilot • Auto-GPT • Code Interpreter CPU Machine Language Assembly “Programming Language” Operating System LLM Java C# JavaScript Python SQL HTML yaml … Excel Word Teams Fabric Windows … Bing GitHub 生成・実行 操作 LLM Apps (Copilot) Next Generation Computer Language タスク・やりたい事 など
375. Prompt> Tools
376. これまで以上に メモと 情報共有 してね
377. Prompt のサンプル dahatake - Qiita dahatake/GenerativeAI-Prompt-Sample-Japanese: ChatGPTや Copilotなど各種生成AI用の「日本語]の Prompt のサンプル https://github.com/dahatake/GenerativeAI-Prompt-Sample-Japanese https://qiita.com/dahatake
378. デジタル庁公開の Prompt サンプルなど 2023年度 デジタル庁・行政における生成AIの適切な利活用に向けた技術検証を実 施しました(最終更新日:)
379. © Copyright Microsoft Corporation. All rights reserved. Invent with purpose.