生成AIから考える Microsoft 365 Copilot～イケコパ、がっかりコパが発生した理由～

#JapanM365CC2024 Nov, 28. -30. 2024 生成AIから考えるMicrosoft 365 Copilot ～イケコパ、がっかりコパが発生した理由～ぺぺ（堤
裕一）日本ビジネスシステムズ株式会社 A03

#JapanM365CC2024 pepe｜ぺぺ（Yuichi Tsutsumi ｜堤裕一） ▪ 日本ビジネスシステムズ株式会社（JBS）
▪ 今年4月からCopilot/Azure OpenAI Service周り担当 • Copilot積極的に触ってたら異動できました • 元々はExchangeがメイン ▪ なんでもCopilot運営隔週水曜20時~ https://nandemo.connpass.com/ Japan Microsoft 365 コミュニティカンファレンス 2024 2

#JapanM365CC2024 本日の内容 Japan Microsoft 365 コミュニティカンファレンス 2024 3 生成AIとは？
01 イケコパ、がっかりコパ 02 生成AIの仕組みを理解し、イケコパ、がっかりコパが生まれた理由を考えてみる左の式を考える前提を理解する M365 Copilot使いこなすために何考える？ 03 M365 Copilotを使うために考えるべきことを考えてみる X ⇒ Y 01 X+R ⇒ Y 02 X+Z ⇒ Y 03

#JapanM365CC2024 生成AIとは？下の式を考える前提を理解する X ⇒ Y 01 X+R ⇒ Y
02 X+Z ⇒ Y 03

#JapanM365CC2024 AIの分類と特徴 Japan Microsoft 365 コミュニティカンファレンス 2024 5

#JapanM365CC2024 生成AIとは Japan Microsoft 365 コミュニティカンファレンス 2024 6 識別
生成生成AI以前のAI 生成AI ミニチュアシュナウザーの絵を描いてどちらが犬の画像？画像や言語が生成できるようになった

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティカンファレンス 2024 7 入力
X 出力 Y ニューラルネットワーク（人間の脳を模したもの）ミニチュアシュナウザーの絵を描いて入力に対して関係があるものが点灯するイメージ。その経路に応じて出力内容が異なる

X 出力 Y ニューラルネットワーク（人間の脳を模したもの）シンガプーラの絵を描いて学習＝線を太くする ⇒ある入力Xに対して出力Yの経路を再び通りやすくなる線の太さ、数＝パラメータ数

X 出力 Y 文章の場合 XからYの生成を繰り返すことで言語を生成している。 Yは確率的に高いものを出力する。 Microsoft Coilot は生成AIである。 Microsoft Coilot は生成AI Microsoft Coilot は X Y X Y X Y

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティカンファレンス 2024 10 より確率の高い用語を選ぶ
Temperatureとは Microsoft Coilotのメーカーは X Y 95％ 2.5 ％レドモンド本社 Coilotのメーカーはサティア・ナデラ Coilotのメーカーは Amazonである。 Coilotのメーカーは Googleである。 Coilotのメーカーは 2.5 ％ 0 ％ 0 ％ Microsoft Coilotのメーカーは X Y 34％ 33％レドモンド本社 Coilotのメーカーはサティア・ナデラ Coilotのメーカーは Amazonである。 Coilotのメーカーは Googleである。 Coilotのメーカーは 33％ 0 ％ 0 ％ Temperature=0 Temperature=1 より確率の低い用語にも可能性を与える(重みづけ）オレンジ枠の用語の可能性を高める ⇒本来確率が低いものも選択肢になる ※Temperatureの用語自体を覚えることにあまり意味はありません。概念さえ理解できればOK

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティカンファレンス 2024 11 Temperature=0
Temperature=1 確実性柔軟性 95％ 2.5 ％ 2.5 ％ 0 ％ 0 ％ 34％ 33％ 33％ 0 ％ 0 ％ Microsoft Copilotに当てはめるとクリエイティブ 1. ブレインストーミング 2. 物語 3. 創作 4. 革新的 5. コーディングバランス 1. 学習 2. 要約 3. 疑問解明 4. 詳細説明 5. ガイド厳密 1. 研究 2. 学問的 3. 定義 4. 事実確認 5. 最適化

#JapanM365CC2024 ニューラルネットワークから考える生成の仕組み Japan Microsoft 365 コミュニティカンファレンス 2024 12 Generative
Pre-trained Transformer ミニチュアシュナウザーの絵を描いて入力 X 出力 Y 生成可能な事前学習済みの変換器

#JapanM365CC2024 GPTってなんだっけ？ Japan Microsoft 365 コミュニティカンファレンス 2024 13 生成AI
自然言語生成AI 画像生成AI DALL-E など音声生成AI VALL-E など音楽生成AI Jukebox など大規模言語モデル（LargeLanguageModel） GPT：LLMの一種。他にはBardなど今までの説明はどちらかというとLLMの説明をしていましたが、そこの正確な正しさよりもわかりやすさを優先してGPTを元に説明。ここからもLLM＝GPTとして説明します

#JapanM365CC2024 生成AIで変わったこと Japan Microsoft 365 コミュニティカンファレンス 2024 14 生成AI以前
生成AI以後検索用AI 要約用AI 対話用AI それぞれのモデルを個別に開発していた検索用AI 要約用AI 対話用AI 汎用LLM ChatGPT Microsoft Copilot データ事前学習微調整汎用LLMを利用してファインチューニング（微調整）する ※特定のタスクに特化させたり、データセットに適応させることイメージ：プロサッカー選手として育てる/ 野球選手として育てるなどイメージ：原っぱを走らせて基礎能力を上げてから少しサッカーをやらせてプロ選手にする GPT-3.5 GPT-4 GPT-4o

#JapanM365CC2024 生成AIで変わったこと Japan Microsoft 365 コミュニティカンファレンス 2024 15 生成AI以後
検索用AI 要約用AI 対話用AI 汎用LLM Microsoft Copilot データ事前学習微調整 LLMが進化すれば性能が上がる ⇒LLMの性能を前提とした製品になっている Microsoft Copilotの利用ユーザの入力による再学習再学習がないため、動作はLLMの性能と開発次第となる Microsoftの開発次第 GPT-3.5 GPT-4 GPT-4o

#JapanM365CC2024 RAG(Retrieval Augmented Generation)について Japan Microsoft 365 コミュニティカンファレンス 2024
16 検索用AI 要約用AI 対話用AI 汎用LLM GPT-3.5 GPT-4 GPT-4o Microsoft Copilot データ事前学習微調整事前学習していないことを答えるのは無理である。そのため、最新の情報を取り込む仕組みとして RAGがある。 Microsoft Copilot（Web用Copilot） Azure AI Search 組織内情報組織外情報情報取得

#JapanM365CC2024 LLMが得意なところ Japan Microsoft 365 コミュニティカンファレンス 2024 17 検索用AI
要約用AI 対話用AI 汎用LLM GPT-3.5 GPT-4 GPT-4o Microsoft Copilot データ事前学習微調整 Microsoft Copilot（Web用Copilot） Azure AI Search 組織内情報組織外情報情報取得入力 X 出力 Y 検索(RAG) R アプリ独自機能 Z X Y ⇒ R Z LLMはX⇒Yは大得意つまりはテキストの生成、要約であり、問合せ対応などが得意。ついで検索 ※PowerPointなどもここに当たる

#JapanM365CC2024 Copilotで考える3つの式 Japan Microsoft 365 コミュニティカンファレンス 2024 X ⇒
Y 01 X+R ⇒ Y 02 X+Z ⇒ Y 03 式用途生成要約生成要約検索生成要約アプリ独自機能例 1. Teams会議の要約 2. Streamのビデオ要約 3. Microsoft Copilotによる文章生成 1. Microsoft Copilotによるインターネット検索 2. Biz Chatによる企業情報検索 1. Excelによるデータ分析 2. PowerPointによるスライド作成プロンプトによりどの式の作業をしてもらうか指示。単純な入力・出力による生成や要約は得意。検索は対象次第で、アプリ独自機能については現状ではうまく動いていないものが多い。 ◎ ◦ △ 入力 X 出力 Y 検索(RAG) R アプリ独自機能 Z

#JapanM365CC2024 イケコパ、がっかりコパ生成AIを理解したうえで、M365 Copilotのいけてるコパ＝イケコパがっかりコパを見てみる

#JapanM365CC2024 イケコパ、がっかりコパ Japan Microsoft 365 コミュニティカンファレンス 2024 イケコパがっかりコパ

#JapanM365CC2024 イケコパ代表（Teams） Japan Microsoft 365 コミュニティカンファレンス 2024 21 X
⇒ Y 式用途要約

#JapanM365CC2024 X+Z⇒Yの“Z”のイメージ Japan Microsoft 365 コミュニティカンファレンス 2024 22 PythonでのPPTスライド作成コード例
ただし、実際はPowerPointのAPIを利用した作成になる。その作成がうまくいっていないと思われる X（プロンプト）＋Z（PowerPoint操作）⇒Y（スライド） ⇒つまり、“Z”のMicrosoftの改善待ち Z

#JapanM365CC2024 X+Z⇒Yの“Z”の改善 Japan Microsoft 365 コミュニティカンファレンス 2024 23 初期
wave2以降チャットチャットナラティブビルダー章立ての入替可能おまかせ作成おまかせ作成

#JapanM365CC2024 M365 Copilot 使いこなすために何考える？何を考えて利活用をしていくかを整理する

#JapanM365CC2024 今の流れ Japan Microsoft 365 コミュニティカンファレンス 2024 25 音声
画像テキスト汎用LLM 音声画像テキスト汎用LLM 汎用LLM シングルモーダル GPT-3.5 DALL-E など音声画像テキスト汎用LLM 音声画像テキストマルチモーダル GPT-4 GPT-4V ※Vision（画像） GPT-4o ※Omni（オムニ=動画、画像、音声、テキストなどを一つで扱う） LLMで対応できるXの種類が増えた

#JapanM365CC2024 これからの流れ（エージェントの世界） Japan Microsoft 365 コミュニティカンファレンス 2024 26 エージェント
翻訳エージェントファシリテーターエージェント Introducing new agents in Microsoft 365 | Microsoft Community Hub

#JapanM365CC2024 これからの流れ（プロンプト） Japan Microsoft 365 コミュニティカンファレンス 2024 27 デフォコパ
カスタムコパバックグラウンドコパ Copilot Actions 楽コパがんばるコパプロンプトレベル 0 1 2 ～ 100 これまでこれから定期的な反復的タスク実行 Ex: トリガー：毎日アクション：重要なメール教えてテンプレプロンプトの社内共有（人任せ）プロンプトエンジニアリングプロンプトエンジニアリング Copilot Prompt Gallery テンプレプロンプトの社内共有（仕組み）楽コパがCopilotが目指している世界。全員への展開はここを使うサンプルプロンプト各アプリのCopilotがサンプルプロンプトの提案

#JapanM365CC2024 Copilot Actionsについて Japan Microsoft 365 コミュニティカンファレンス 2024 28
Copilot Actions 定期的にメールを要約してなどをテンプレートから作成可能 Introducing Microsoft Copilot actions, new agents, and tools to empower IT| Microsoft 365 Blog

#JapanM365CC2024 何を考えるべき？ Japan Microsoft 365 コミュニティカンファレンス 2024 29 何を解決したいのか
⚫ 新しい手法も色々出てくるが、何を解決できるのか、何を解決したいのか。どうやって解決するか ⚫ 生成AIを利用して解決する方法を考える。横展開 ⚫ うまく使えたものは横展開 ⚫ 教育コストも考えた展開をする新しいこともする ⚫ 業務効率化だけでなく価値創造も考える ※効率化だけならエージェントが代替する世界生成AI ユースケース業務課題マッチング

⚫ 新しい手法も色々出てくるが、何を解決できるのか、何を解決したいのか。どうやって解決するか ⚫ 生成AIを利用して解決する方法を考える。引用：イノベーター理論をわかりやすく解説！【事例あり】 | コラム | 東大IPC−東京大学協創プラットフォーム開発株式会社すごい人⇒みんなへ ※すごい人をしっかり評価することを忘れずに横展開 ⚫ うまく使えたものは横展開 ⚫ 教育コストも考えた展開をする新しいこともする ⚫ 業務効率化だけでなく価値創造も考える ※効率化だけならエージェントが代替する世界

⚫ 新しい手法も色々出てくるが、何を解決できるのか、何を解決したいのか。どうやって解決するか ⚫ 生成AIを利用して解決する方法を考える。横展開 ⚫ うまく使えたものは横展開 ⚫ 教育コストも考えた展開をする新しいこともする ⚫ 業務効率化だけでなく価値創造も考える ※効率化だけならエージェントが代替する世界楽コパを使った横展開

⚫ 新しい手法も色々出てくるが、何を解決できるのか、何を解決したいのか。どうやって解決するか ⚫ 生成AIを利用して解決する方法を考える。業務効率化 01 Before After 時間価値創造 02 After Before 価値業務時間の短縮化今までに無い価値を創造横展開 ⚫ うまく使えたものは横展開 ⚫ 教育コストも考えた展開をする新しいこともする ⚫ 業務効率化だけでなく価値創造も考える ※効率化だけならエージェントが代替する世界

#JapanM365CC2024 考え方まとめ Japan Microsoft 365 コミュニティカンファレンス 2024 33 イケコパ
がっかりコパ業務効率化価値創造 ①X⇒Y Teams要約・オンコパ Steremによるイベント視聴など ※1 ②楽コパ Copilot Actions ③X⇒Y オンコパ ※2 散歩・お風呂等で生まれる新しいアイデアを生成AI使ってまとめる BizChat/Word：複数ファイルをもとにしたファイル生成 ⑤X+Z⇒Y PPTスライド作成など ⑥X+Z⇒Y Excel分析など ④X+R⇒Y BizChatファイル検索などまずここ。楽でイケてるコパ ①、②など展開しやすいところから展開 ③のシナリオを考え ④、⑤、⑥などはMSへフィードバック+待ち ※1 次回なんでもCopilot(12/4)では、Streamを使いつつIgniteをみんなで見てみます。 ※2 オンコパは以下イベントで紹介なんでもCopilot#10「音声入力とDynamics 365(CRM)のCopilot」 - connpass

#JapanM365CC2024 宣伝 Japan Microsoft 365 コミュニティカンファレンス 2024 34 なんでもCopilot
第12回 12/4(水)20:00~21:30 Igniteをみんなで見てみよう運営者みかんさん：11/29 11:00~11:50登壇もくだいさん：11/29 15:00~15:50登壇ぺぺなんでもCopilot#12「最新コパ情報をIgniteから振り返ろう」 - connpass

第13回 12/18(水)17:00~21:00 オフライン会 8歳のCopilot研究とCopilot+PC オフラインなんでもCopilot#13「8歳のCopilot研究とCopilot+PC」 - connpass 17:00~19:00 イベント 19:00~21:00 懇親会 @虎ノ門 JBSオフィス

Advent Calendar なんでもCopilot Advent Calendar 2024 - Adventar

#JapanM365CC2024 37 フィードバックにご協力くださいご視聴をありがとうございました! 運営チームメンバー、登壇者、サポートメンバーに対する暖かいフィードバックをお待ちしております。次回の開催は未定ですが、フィードバックの内容によっては次回の開催も検討いたします。イベント全体に対するアンケート本セッションついて参考になった点や感銘を受けた点、もっと知りたかったことなどをお寄せください。
本セッションに対するアンケート

生成AIから考える Microsoft 365 Copilot～イケコパ、がっかりコパが発生し...

生成AIから考える Microsoft 365 Copilot～イケコパ、がっかりコパが発生した理由～

More Decks by ぺぺ

Featured

Transcript