#JapanM365CC2024 Nov, 28. -30. 2024 生成AIから考えるMicrosoft 365 Copilot ～イケコパ、がっかりコパが発生した理由～ ぺぺ（堤 裕一） 日本ビジネスシステムズ株式会社 A03

#JapanM365CC2024 pepe｜ぺぺ（Yuichi Tsutsumi ｜ 堤 裕一 ） ▪ 日本ビジネスシステムズ株式会社 （JBS） ▪ 今年4月からCopilot/Azure OpenAI Service周り担当 • Copilot積極的に触ってたら異動できました • 元々はExchangeがメイン ▪ なんでもCopilot運営 隔週水曜20時~ https://nandemo.connpass.com/ Japan Microsoft 365 コミュニティ カンファレンス 2024 2

#JapanM365CC2024 本日の内容 Japan Microsoft 365 コミュニティ カンファレンス 2024 3 生成AIとは？ 01 イケコパ、がっかりコパ 02 生成AIの仕組みを理解し、イケコパ、がっかりコパが生まれた理由を 考えてみる 左の式を考える前提を理解する M365 Copilot使いこなすために何考える？ 03 M365 Copilotを使うために考えるべきことを考えてみる X ⇒ Y 01 X+R ⇒ Y 02 X+Z ⇒ Y 03

#JapanM365CC2024 生成AIとは？ 下の式を考える前提を理解する X ⇒ Y 01 X+R ⇒ Y 02 X+Z ⇒ Y 03

#JapanM365CC2024 AIの分類と特徴 Japan Microsoft 365 コミュニティ カンファレンス 2024 5

#JapanM365CC2024 生成AIとは Japan Microsoft 365 コミュニティ カンファレンス 2024 6 識別 生成 生成AI以前のAI 生成AI ミニチュアシュナウザーの絵を描いて どちらが犬の画像？ 画像や言語が生成できるようになった

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティ カンファレンス 2024 7 入力 X 出力 Y ニューラルネットワーク（人間の脳を模したもの） ミニチュアシュナウザー の絵を描いて 入力に対して関係があるものが点灯するイメージ。 その経路に応じて出力内容が異なる

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティ カンファレンス 2024 8 入力 X 出力 Y ニューラルネットワーク（人間の脳を模したもの） シンガプーラの絵を描いて 学習＝線を太くする ⇒ある入力Xに対して出力Yの経路を再び通りやすくなる 線の太さ、数＝パラメータ数

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティ カンファレンス 2024 9 入力 X 出力 Y 文章の場合 XからYの生成を繰り返すことで言語を生成している。 Yは確率的に高いものを出力する。 Microsoft Coilot は生成AIである。 Microsoft Coilot は生成AI Microsoft Coilot は X Y X Y X Y

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティ カンファレンス 2024 10 より確率の高い用語を選ぶ Temperatureとは Microsoft Coilotのメーカーは X Y 95％ 2.5 ％ レドモンド本社 Coilotのメーカーは サティア・ナデラ Coilotのメーカーは Amazonである。 Coilotのメーカーは Googleである。 Coilotのメーカーは 2.5 ％ 0 ％ 0 ％ Microsoft Coilotのメーカーは X Y 34％ 33％ レドモンド本社 Coilotのメーカーは サティア・ナデラ Coilotのメーカーは Amazonである。 Coilotのメーカーは Googleである。 Coilotのメーカーは 33％ 0 ％ 0 ％ Temperature=0 Temperature=1 より確率の低い用語にも可能性を与える(重みづけ） オレンジ枠の用語の可能性を高める ⇒本来確率が低いものも選択肢になる ※Temperatureの用語自体を覚えることにあまり意味はありません。概念さえ理解できればOK

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティ カンファレンス 2024 11 Temperature=0 Temperature=1 確実性 柔軟性 95％ 2.5 ％ 2.5 ％ 0 ％ 0 ％ 34％ 33％ 33％ 0 ％ 0 ％ Microsoft Copilotに当てはめると クリエイティブ 1. ブレインストーミング 2. 物語 3. 創作 4. 革新的 5. コーディング バランス 1. 学習 2. 要約 3. 疑問解明 4. 詳細説明 5. ガイド 厳密 1. 研究 2. 学問的 3. 定義 4. 事実確認 5. 最適化

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティ カンファレンス 2024 12 Generative Pre-trained Transformer ミニチュアシュナウザー の絵を描いて 入力 X 出力 Y 生成可能な 事前学習済みの 変換器

#JapanM365CC2024 GPTってなんだっけ？ Japan Microsoft 365 コミュニティ カンファレンス 2024 13 生成AI 自然言語生成AI 画像生成AI DALL-E など 音声生成AI VALL-E など 音楽生成AI Jukebox など 大規模言語モデル（LargeLanguageModel） GPT：LLMの一種。他にはBardなど 今までの説明はどちらかというとLLMの説明をしていましたが、そこの正確な正しさよりもわかりやすさを優先してGPTを元に説明。ここからもLLM＝GPTとして説明します

#JapanM365CC2024 生成AIで変わったこと Japan Microsoft 365 コミュニティ カンファレンス 2024 14 生成AI以前 生成AI以後 検索用AI 要約用AI 対話用AI それぞれのモデルを個別に 開発していた 検索用AI 要約用AI 対話用AI 汎用LLM ChatGPT Microsoft Copilot データ 事前学習 微調整 汎用LLMを利用して ファインチューニング（微調整）する ※特定のタスクに特化させたり、データセット に適応させること イメージ：プロサッカー選手として育てる/ 野球選手として育てるなど イメージ：原っぱを走らせて基礎能力を上げ てから少しサッカーをやらせてプロ選手にする GPT-3.5 GPT-4 GPT-4o

#JapanM365CC2024 生成AIで変わったこと Japan Microsoft 365 コミュニティ カンファレンス 2024 15 生成AI以後 検索用AI 要約用AI 対話用AI 汎用LLM Microsoft Copilot データ 事前学習 微調整 LLMが進化すれば性能が上がる ⇒LLMの性能を前提とした製品になっている Microsoft Copilotの利用 ユーザの入力 による再学習 再学習がないため、動作はLLMの 性能と開発次第となる Microsoftの開発次第 GPT-3.5 GPT-4 GPT-4o

#JapanM365CC2024 RAG(Retrieval Augmented Generation)について Japan Microsoft 365 コミュニティ カンファレンス 2024 16 検索用AI 要約用AI 対話用AI 汎用LLM GPT-3.5 GPT-4 GPT-4o Microsoft Copilot データ 事前学習 微調整 事前学習していないことを答えるのは無理である。 そのため、最新の情報を取り込む仕組みとして RAGがある。 Microsoft Copilot（Web用Copilot） Azure AI Search 組織内情報 組織外情報 情報取得

#JapanM365CC2024 LLMが得意なところ Japan Microsoft 365 コミュニティ カンファレンス 2024 17 検索用AI 要約用AI 対話用AI 汎用LLM GPT-3.5 GPT-4 GPT-4o Microsoft Copilot データ 事前学習 微調整 Microsoft Copilot（Web用Copilot） Azure AI Search 組織内情報 組織外情報 情報取得 入力 X 出力 Y 検索(RAG) R アプリ独自機能 Z X Y ⇒ R Z LLMはX⇒Yは大得意 つまりはテキストの生成、要約であり、問合せ対応などが得意。ついで検索 ※PowerPointなどもここに当たる

#JapanM365CC2024 Copilotで考える3つの式 Japan Microsoft 365 コミュニティ カンファレンス 2024 X ⇒ Y 01 X+R ⇒ Y 02 X+Z ⇒ Y 03 式 用途 生成 要約 生成 要約 検索 生成 要約 アプリ独自機能 例 1. Teams会議の要約 2. Streamのビデオ要約 3. Microsoft Copilotによる文章生成 1. Microsoft Copilotによるインターネット検索 2. Biz Chatによる企業情報検索 1. Excelによるデータ分析 2. PowerPointによるスライド作成 プロンプトによりどの式の作業をしてもらうか指示。単純な入力・出力 による生成や要約は得意。 検索は対象次第で、アプリ独自機能については 現状ではうまく動いていないものが多い。 ◎ ○ △ 入力 X 出力 Y 検索(RAG) R アプリ独自機能 Z

#JapanM365CC2024 イケコパ、がっかりコパ 生成AIを理解したうえで、M365 Copilotの いけてるコパ＝イケコパ がっかりコパ を見てみる

#JapanM365CC2024 イケコパ、がっかりコパ Japan Microsoft 365 コミュニティ カンファレンス 2024 イケコパ がっかりコパ

#JapanM365CC2024 イケコパ代表（Teams） Japan Microsoft 365 コミュニティ カンファレンス 2024 21 X ⇒ Y 式 用途 要約

#JapanM365CC2024 X+Z⇒Yの“Z”のイメージ Japan Microsoft 365 コミュニティ カンファレンス 2024 22 PythonでのPPTスライド作成コード例 ただし、実際はPowerPointのAPIを利用した作成になる。 その作成がうまくいっていないと思われる X（プロンプト）＋Z（PowerPoint操作）⇒Y（スライド） ⇒つまり、“Z”のMicrosoftの改善待ち Z

#JapanM365CC2024 X+Z⇒Yの“Z”の改善 Japan Microsoft 365 コミュニティ カンファレンス 2024 23 初期 wave2以降 チャット チャット ナラティブビルダー 章立ての入替可能 おまかせ作成 おまかせ作成

#JapanM365CC2024 M365 Copilot 使いこなすために 何考える？ 何を考えて利活用をしていくかを整理する

#JapanM365CC2024 今の流れ Japan Microsoft 365 コミュニティ カンファレンス 2024 25 音声 画像 テキスト 汎用LLM 音声 画像 テキスト 汎用LLM 汎用LLM シングルモーダル GPT-3.5 DALL-E など 音声 画像 テキスト 汎用LLM 音声 画像 テキスト マルチモーダル GPT-4 GPT-4V ※Vision（画像） GPT-4o ※Omni（オムニ=動画、画像、音声、テキストなどを一つで扱う） LLMで対応できるXの種類が増えた

#JapanM365CC2024 これからの流れ（エージェントの世界） Japan Microsoft 365 コミュニティ カンファレンス 2024 26 エージェント 翻訳エージェント ファシリテーターエージェント Introducing new agents in Microsoft 365 | Microsoft Community Hub

#JapanM365CC2024 これからの流れ（プロンプト） Japan Microsoft 365 コミュニティ カンファレンス 2024 27 デフォコパ カスタムコパ バックグラウンドコパ Copilot Actions 楽コパ がんばるコパ プロンプトレベル 0 1 2 ～ 100 これまで これから 定期的な反復的タスク実行 Ex: トリガー ：毎日 アクション ：重要なメール教えて テンプレプロンプト の社内共有（人任せ） プロンプト エンジニアリング プロンプト エンジニアリング Copilot Prompt Gallery テンプレプロンプト の社内共有（仕組み） 楽コパがCopilotが目指している世界。全員への展開はここを使う サンプルプロンプト 各アプリのCopilotが サンプルプロンプトの提案

#JapanM365CC2024 Copilot Actionsについて Japan Microsoft 365 コミュニティ カンファレンス 2024 28 Copilot Actions 定期的にメールを要約して などをテンプレートから作成可能 Introducing Microsoft Copilot actions, new agents, and tools to empower IT| Microsoft 365 Blog

#JapanM365CC2024 何を考えるべき？ Japan Microsoft 365 コミュニティ カンファレンス 2024 29 何を解決したいのか ⚫ 新しい手法も色々出てくるが、何を解決できるのか、 何を解決したいのか。 どうやって解決するか ⚫ 生成AIを利用して解決する方法を考える。 横展開 ⚫ うまく使えたものは横展開 ⚫ 教育コストも考えた展開をする 新しいこともする ⚫ 業務効率化だけでなく価値創造も考える ※効率化だけならエージェントが代替する世界 生成AI ユースケース 業務課題 マッチング

#JapanM365CC2024 何を考えるべき？ Japan Microsoft 365 コミュニティ カンファレンス 2024 30 何を解決したいのか ⚫ 新しい手法も色々出てくるが、何を解決できるのか、 何を解決したいのか。 どうやって解決するか ⚫ 生成AIを利用して解決する方法を考える。 引用： イノベーター理論をわかりやすく解説！【事例あり】 | コラム | 東大IPC−東京大学協創プラットフォーム開発株式会社 すごい人⇒みんなへ ※すごい人をしっかり評価することを忘れずに 横展開 ⚫ うまく使えたものは横展開 ⚫ 教育コストも考えた展開をする 新しいこともする ⚫ 業務効率化だけでなく価値創造も考える ※効率化だけならエージェントが代替する世界

#JapanM365CC2024 何を考えるべき？ Japan Microsoft 365 コミュニティ カンファレンス 2024 31 何を解決したいのか ⚫ 新しい手法も色々出てくるが、何を解決できるのか、 何を解決したいのか。 どうやって解決するか ⚫ 生成AIを利用して解決する方法を考える。 横展開 ⚫ うまく使えたものは横展開 ⚫ 教育コストも考えた展開をする 新しいこともする ⚫ 業務効率化だけでなく価値創造も考える ※効率化だけならエージェントが代替する世界 楽コパ を使った横展開

#JapanM365CC2024 何を考えるべき？ Japan Microsoft 365 コミュニティ カンファレンス 2024 32 何を解決したいのか ⚫ 新しい手法も色々出てくるが、何を解決できるのか、 何を解決したいのか。 どうやって解決するか ⚫ 生成AIを利用して解決する方法を考える。 業務効率化 01 Before After 時間 価値創造 02 After Before 価値 業務時間の短縮化 今までに無い価値を創造 横展開 ⚫ うまく使えたものは横展開 ⚫ 教育コストも考えた展開をする 新しいこともする ⚫ 業務効率化だけでなく価値創造も考える ※効率化だけならエージェントが代替する世界

#JapanM365CC2024 考え方まとめ Japan Microsoft 365 コミュニティ カンファレンス 2024 33 イケコパ がっかりコパ 業務効率化 価値創造 ①X⇒Y Teams要約・オンコパ Steremによるイベント視聴など ※1 ②楽コパ Copilot Actions ③X⇒Y オンコパ ※2 散歩・お風呂等で生まれる新しいアイデアを 生成AI使ってまとめる BizChat/Word：複数ファイルをもとにした ファイル生成 ⑤X+Z⇒Y PPTスライド作成など ⑥X+Z⇒Y Excel分析など ④X+R⇒Y BizChatファイル検索など まずここ。 楽でイケてるコパ ①、②など展開しやすいところから展開 ③のシナリオを考え ④、⑤、⑥などはMSへフィードバック+待ち ※1 次回なんでもCopilot(12/4)では、Streamを使いつつIgniteをみんなで見てみます。 ※2 オンコパは以下イベントで紹介 なんでもCopilot#10「音声入力とDynamics 365(CRM)のCopilot」 - connpass

#JapanM365CC2024 宣伝 Japan Microsoft 365 コミュニティ カンファレンス 2024 34 なんでもCopilot 第12回 12/4(水)20:00~21:30 Igniteをみんなで見てみよう 運営者 みかんさん ：11/29 11:00~11:50登壇 もくだいさん：11/29 15:00~15:50登壇 ぺぺ なんでもCopilot#12「最新コパ情報をIgniteから振り返ろう」 - connpass

#JapanM365CC2024 宣伝 Japan Microsoft 365 コミュニティ カンファレンス 2024 35 なんでもCopilot 第13回 12/18(水)17:00~21:00 オフライン会 8歳のCopilot研究とCopilot+PC オフラインなんでもCopilot#13「8歳のCopilot研究とCopilot+PC」 - connpass 17:00~19:00 イベント 19:00~21:00 懇親会 @虎ノ門 JBSオフィス

#JapanM365CC2024 宣伝 Japan Microsoft 365 コミュニティ カンファレンス 2024 36 なんでもCopilot Advent Calendar なんでもCopilot Advent Calendar 2024 - Adventar

#JapanM365CC2024 37 フィードバックにご協力ください ご視聴をありがとうございました! 運営チームメンバー、登壇者、サポートメンバーに対する 暖かいフィードバックをお待ちしております。 次回の開催は未定ですが、フィードバックの内容によっては次回の開催も検討いたします。 イベント全体に対するアンケート 本セッションついて参考になった点や 感銘を受けた点、もっと知りたかったことなどをお寄せください。 本セッションに対するアンケート