【Microsoft社員が振り返る】Microsoft Ignite

2023/11/30 Azure OpenAI Service 生成AI実践知 にて発表

Transcript

1. 【社員が振り返る】Microsoft Ignite Recap 日本マイクロソフト株式会社 パートナー事業部 クラウドパートナー開拓本部 山口裕土 Yuto (@YutoY3629) / X (twitter.com)
2. Microsoft Ignite 2023 Book of News 全ての発表内容はここにのっています！ https://news.microsoft.com/ignite-2023-book-of-news/ja/
3. 100+ new updates New Copilot in Dynami New features and enhancements in Microsoft Teams Microsoft’s Security Service Edge expands Internet Access and Private Access preview Bringing Copilot to everyone New updates for integration of applications, data and processes in Azure Microsoft 365 data in Fabric with native OneLake integration New auditing capabilities with New features for Microsoft Communication Compliance Introducing Windows AI Studio and new features for Dev Home and WSL tium Framework in preview Security Copilot will deliver unified solutions across services, data Azure Functions announces support for .NET 8 and new hosting plan Azure Machine Learning updates streamline and operationalize AI The new Microsoft Planner brings together to-dos, tasks, plans and projects Microsoft Entra Per New features coming to Windows 365 and Azure Virtual Desktop New manageability and security features for SQL Server enabled by Azure Arc ure OpenAI Service New capabilities in Purview Da New experiences for Copilot in Power Automate New capabilities for developers to build generative AI solutions safely, responsibly
4. “Microsoft is the Copilot Company” - Satya Nadella
5. 2023 年 11 月 Microsoft Ignite 2023 ： Azure関連の発表情報 Azure Data Amazon S3のショートカットが一般提供 OneLakeネイティブ統合によるFabricのM365データ Amazon S3ショートカットが一般的に利用可能になったこと で、企業はAmazon S3にあるデータとOneLakeにあるデータ を統合することが可能に Microsoft 365 のデータが、データ分析に最適な Delta Parquet 形式で OneLake にネイティブに統合 Azure Cosmos DBの新機能 Azure Cosmos DB Data Explorerのクエリエディタで、自然 言語による質問をAzure Cosmos DB NoSQLクエリに変換 Azure AI AIプラットフォーム「Azure AI Studio」を発表 Azure Machine LearningのアップデートでAIを効率化・運用化 プロンプトフローとモデルカタログの一 般提供、Microsoft Fabricの OneLakeとの統合プレビューなど、新 たな機能強化によりユーザーエクスペ リエンスの向上 Microsoft Fabricが一般提供 Fabricは企業全体を対象として、役割に合わせたツール やMicrosoft 365、Teams、AI Copilot との深い統合に より、アナリティクス機能を加速 Azure Infrastructure AMDベースの新しいAzure仮想マシンがプレビュー 第4世代AMD EPYC™ Genoaプロセッサーで構築された最 新のAMDベースの仮想マシン（VM）を導入 Oracle Database@Azureの一般提供を発表 Oracle Database@Azureは、2023年12月から米国のEast Azureリージョンで利用可能となり、2024年第1四半期以降に 追加リージョンでの拡張が予定 AIソリューションをシームレスに探索、構築、テスト、展開するための ワンストップソリューションを組織に提供。 開発者は、すぐに使えるカスタマイズ可能なツールやモデルを使用し て、コパイロット体験を含む生成的なAIアプリケーションを構築可能 Azure OpenAI ServiceにマルチモーダルAIの新機能が登場 安全かつ責任を持って生成AIソリューションを構築するための新機能 Azure AI Visionは、画像タグ付け、 OCRによるテキスト抽出、顔認識に より、画像を分析し、テキストを読み 取り、顔を検出するための革新的な コンピュータビジョン機能を開発者に 提供 DALL-E 3と GPT-4 Turbo for Vision、16Kトークンのプロンプト長を 持つGPT-3.5 TurboとGPT-4 Turboが利用可能になり、GPT-4へ のアップデートとともに、適応性と効率 の向上が可能 Azure AI Visionの新機能 Azure OpenAI Serviceを利用する 顧客にCCCを拡大することを発表 Azure OpenAI Serviceの顧客が侵 害コンテンツのリスクを軽減するため の技術的対策を実施するのに役立 つ新しい文書を公開 Azure AIの新しい要約・翻訳機能 大規模言語モデル（GPT-3.5- Turbo、GPT-4、Z-Code++など） を活用した、Azure AI Languageの 新しい タスク最適化要約機能。 英語での翻訳を仲介することなく、あ る言語から別の言語への翻訳が可 能な新しい機械翻訳モデル 2つの新しいチップ Microsoft Azure Maiaと Microsoft Azure Cobaltの2つの 新しいチップは、性能と価格を最適 化するために、ハードウェアとソフトウェ アシステムを総合的に考慮して構築
6. イマーシブスペース、Meshは1月から一般利用可能 Teams 会議の [表示] メニューから、イマーシブ スペース オプションを選択します。クリックするだけで、2次元(2D) の会議を3Dのイマーシブ体験に変える Teamsミーティングの後、Loopワークスペースが作成され、 ミーティングの関連ドキュメントやメモが自動的に入力 Microsoft Loop のアップデートと一般提供開始 新しい Microsoft Planner は、ToDo、タスク、計画、プロジェクトを統合します。 Microsoft To Do、 Microsoft Planner、 Microsoft Project（ウェブ版）を、Microsoft Plannerという単一の統一されたエクスペリエンスに統合 新しいPlannerは、共同タスク管理から堅牢なプロジェクト管理まで簡単に拡張でき、情報ワーカーか ら現場ワーカー、プロジェクト・マネジャーまで、すべての人が一箇所で仕事を管理し、AI対応機能でビ ジネス成果を加速 Microsoft 365管理センターのCopilot ユーザー、グループ、ライセンスに関する情報の表示、管理セ ンター内の特定の設定やコントロールの経路検索、ガイダン スの提供、トラブルシューティングを支援 Copilot をすべての人に Bing ChatとBing Chat Enterpriseは、Copilotに変わ ります。Microsoft Entraのお客様には、Bing、Edge、 WindowsのCopilotに商用データ保護機能が追加されます。 Microsoft Copilot for Azure クラウド インフラストラクチャとサービスの設計、運用、最適 化、トラブルシューティングを支援 Copilot Dynamics 365 GuidesのCopilot 作業者は、「このろ過ユニットを分解する手順を教えてくださ い」や「モーターを外しましたが、次は何ですか?」など、段階 的な会話をすることが可能 Microsoft Copilot Studio の紹介 Microsoft Teams ユーザーはプラグインをインストールすることで、日常的に使用 している社内アプリケーションやサードパーティアプリケーション を使用して、Copilot for Microsoft 365の機能を拡張 発表内容全体は BOOK OF NEWS をご覧ください マイクロソフト Ignite 2023 ニュースブック (microsoft.com) Microsoft SharePoint Premium のご紹介 コンテンツのエクスペリエンス、処理、ガバナンスに AI、自 動化、セキュリティを強化し、最も重要なコンテンツを管理 および保護するための新しい方法を提供 M365 Apps & Services Microsoft Clipchamp と Microsoft Designer 用アプリの統合が可能に 新機能がTeamsエクスペリエンスのIT管理を合理化 Microsoft Copilot for Microsoft 365 をプラグイン とコネクタで拡張 ユーザーに関連性の高いデータを動的に作成したり、経費管 理、人事オンボーディング、ITサービスなど、既知の回答や ワークフローを必要とするシナリオに適したチャットボットをGUI を使ってカスタマイズ シンプルで直感的なユーザー エクスペリエンスとAI によって、スキルや経験に関係なく、誰でも自信を持っ てビデオや画像の力を仕事に活用可能に 2023 年 11 月 Microsoft Ignite 2023 ： Copilot・M365関連の発表情報 Teamsの管理者は、コラボレーションを促進し、 外部コラボレーションの潜在的なリスクを軽減 することが可能に
7. 個人的な注目トピック3つ
8. ①Copilot Studio の発表と Copilot Ecosystemの拡張 ユーザーがローコードでカスタム Copilot を構築できる「Microsoft Copilot Studio」発表しました。 Microsoft 365 用の Microsoft Copilot をカスタマイズするように設計されたローコード ツールです。Copilot Studio はコネクタ、プラグイン、GPT と 連携し、IT チームが特定のクエリに最適なデータ ソースに Copilot を誘導できるようにします。 • 独自のエンタープライズ シナリオに合わせて Copilot for Microsoft 365 を簡単にカスタマイズできます。 • スタンドアロンのコパイロットとカスタム GPT を迅速に構築、テスト、公 開します。 • 適切なアクセス、データ、ユーザー コントロール、分析を使用して、カスタ マイズとスタンドアロンのコパイロットを管理および保護します。 関連情報：https://www.microsoft.com/en-us/microsoft-365/blog/2023/11/15/announcing-microsoft-copilot-studio-customize-copilot-for-microsoft-365-and-build-your-own-standalone-copilots/ 組み込みの分析ダッシュボードを使用してライフサイクル全体を完全に可視化し、制御できます。また、管理者 は、作成者とユーザーのアクセスを制御し、企業固有のポリシーを使用してデータを保護し、環境をすべて管理 センター内で管理できます。
9. Classified as Microsoft Confidential ①Copilot Studio の発表と Copilot Ecosystemの拡張 人を探す ドキュメントを 探す 予定表 スケジュール 資料作成 メール チーム コラボレーション チャット ビデオ会議 コンテンツ管理 ワークフロー アプリケーション 連携 働き方分析 ウェルビーイング ラーニング 名前で検索 組織を表示 名前で検索 日付で検索 内容で検索 形式で検索 カレンダー表示 複数カレンダー表示 予定空き時間表示 共同作業 コメント タブ表示 メール表示 メール作成 機密度設定 @, / 機能 チーム作成 チーム管理 テキスト コンテンツ 動画 アプリ追加 背景効果 ライブキャプション 自動翻訳 コンテンツ共有 発表者モード ノイズ抑制 レコーディング 発言の検索 ファイル検索 バージョン管理 レコーディング会議の管理 Teamsアンケート Teams承認 Power Automate RPA MyAnalytics Vivaインサイト Vivaラーニング リスキリング コンプライアンス教育 Microsoft 365 Copilot + Your Data!
10. ①Copilot Studio の発表と Copilot Ecosystemの拡張 Microsoft Copilot for Microsoft 365 をプラグインとコネクタで拡張することが容易になりました。 ユーザーはプラグインをインストールすることで、日常的に使用している社内アプリケーションやサードパーティアプリケーションを使用して、Copilot for Microsoft 365 の 機能を拡張することができます。 Microsoft Graph コネクタを導入し、ユーザーのプロンプトに応じて Copilotがデータをセマンティックに表示できるようになる。ユーザーは、Microsoft 365 テナントのデー タガバナンスの境界内で管理されている関連データを、セマンティックに迅速に検索できるようになります。 関連情報：https://techcommunity.microsoft.com/t5/microsoft-teams-blog/extending-microsoft-copilot-for-microsoft-365-a-guide-for/ba-p/3980781 動画：https://youtu.be/2OftQrc7PPQ
11. ②初期ユーザーから学ぶ Copilot 活用の定量的な成果 Copilotの初期ユーザー（297名）の調査結果 ユーザーの70%が、 生産性が向上した と回答 70% 検索、文書作成、要約な どの作業にかかる時間 が29%高速化 欠席した会議の遅れ を挽回する速度が 約4倍高速化 約 4倍 ユーザーの77%が、 Copilotを手放したく ないと回答 29% 77% Work Trend Index スペシャルレポート Copilot の初期ユーザーから学ぶ、生成 AI の職場での可能性 - News Center Japan (microsoft.com) 主な時間削減シナリオ
12. Copilot に は 無 料 ラ ン チ 以上の価値がありますか？ どちらを選ぶか尋ねたところ、Copilot を選択するユーザーが圧倒的多数に 月 1 回 の ランチ 2週間に 1回のランチ 週1回の ランチ 調査の質問内容：「会社で月1回、または2週間に1回、または週1回の無料ランチと、Copilotへのアクセス権 のいずれかが提供されるとしたら、どちらを選びますか？（月1回の無料ランチは1ヶ月あたり10ドル、2週 間に1回の無料ランチは1ヶ月あたり20ドル、週1回の無料ランチは1ヶ月あたり40ドルを想定）」 回 答 し た 人 の 割 合 ②初期ユーザーから学ぶ Copilot 活用の定量的な成果
13. ③エンプラの本番環境に最適化された Azure OpenAI Service/ AI Service の拡充。 ▪GPT-3.5 / GPT-4 Turbo/ GPT-4Turbowith Vision / DALLE3 16K トークン プロンプト長の GPT-3.5 Turbo モデルが一般提供され、 128K の GPT-4 Turbo は2023年11月末にパブリック プレビューされる予定です。GPT-4 Turbo with Visionは（年 内）プレビューが開始され、 DALL · E 3 はパブリック プレビューで利用できるようになりました。 また、 Azure AI Visionサービスと併用すると、GPT-4 Turbo with Vision はビデオを理解して テキスト出力を生成し、人間の創造性をさらに高めます。 ▪Azure AI Studio Public Previewの発表 プロンプト エンジニアリング、ベクトル検索エンジン、検索拡張生成 (RAG) パターン、および Azure OpenAI Service との統合の複雑さを解消します。OpenAI、Nvidia、Hugging Face、Meta などの最先端のモデルを活用して、生成 AI アプリケーション開発を簡素化する ように設計された最先端のプラットフォームです。VS Code、GitHub Codespaces、セマ ンティック カーネル、LangChain の統合により、コード中心のエクスペリエンスが実現 します。 ▪Azure AI Content Safety 一般提供を開始しました。有害なコンテンツを検出して軽減することができ、Azure AI Content Safety を、Azure OpenAI Service 内の組み込み安全システムとして、オープン ソース モデルの Azure Machine Learning でのプロンプト エンジニアリングの一部として、ま たはスタンドアロン API サービスとして使用できます。 ▪Azure AI Searchのアップデート Azure Cognitive Search のベクトル検索が GA となり、ブランド名が「Azure AI Search」 となることが発表されました。Azure AI Search は AI を活用した情報検索プラットフォーム として位置づけられます。 Azure AI Studio との連携もネイティブに対応し、どなたでもマル チモーダルな RAG アーキテクチャを簡単に実装できます。また、リランキング処理を行うアド オン機能 Semantic RankerもGA。
14. Classified as Microsoft Confidential 生成AIの事業化を Microsoft が支援 最大 $15万 の Azure環境提供 メンタープログラム や技術サポート Marketplace による 販路拡大の支援 Founders Hub スタートアップ向け ISV Success ベンチャー/Mature向け
15. Classified as Microsoft Confidential Startup な Microsoft MVP 求む。 Community Organizer コミュニティイ ベント主催 Microsoft MVP について | Microsoft MVP 制度についてのまとめ (chomado.github.io) Content Creator ブログ、動作製 作、ライブ配 信、書籍執筆 Influencer ソーシャルメディ アでの積極的な 情報発信 Public Speaker ローカル/グローバ ルイベントでの登 壇 OpenSource Supporter オープンソース開 発やプロジェクト のメンテナンス
16. Appendix
17. Microsoft Ignite 2023 – Update ～ Azure AI ～ その他盛りだくさん！！
18. Copilot：Microsoft Copilot for Azure 現在プレビュー中 の Microsoft Copilot for Azure は、クラウドからエッジまでのアプリケーションとインフラストラクチャの設計、運用、最適化、トラブルシューティング を簡素化する AI コンパニオンです。 Copilot for Azure により、顧客はワークロードに関する新たな洞察を得て、未開拓の Azure 機能を解放し、クラウドとエッジの両方でタスクをオーケストレーションで きるようになる。Copilot は、大規模言語モデル（LLM）、Azure コントロールプレーン、ユーザーの Azure および Arc 対応資産に関する洞察を活用します。これらは すべて、顧客のデータのセキュリティとプライバシーを守るというAzureの揺るぎないコミットメントの枠組みの中で実行されます。 関連情報：https://techcommunity.microsoft.com/t5/azure-infrastructure-blog/simplify-it-management-with-microsoft-copilot-for-azure-save/ba-p/3981106 Copilot は Azure portal で利用でき、将来的には Azure モバイル アプリと CLI からも利用できるようになる予定です。Copilot for Azure は、Azure Resource Manager (ARM)、Azure Resource Graph (ARG)、コストと使用 状況のデータ、ドキュメント、サポート、ベスト プラクティス ガイダンスなどを推論、 分析、解釈するために構築されています。 Copilot for Azure は次のことに役立ちます。 • 設計: 組織のポリシーに合わせて必要なサービスを作成および構成します。 • 操作: 質問に答え、複雑なコマンドを作成し、リソースを管理します • トラブルシューティング: Azure サービス全体を調整して洞察を得ることで、問 題を要約し、原因を特定し、解決策を提案します • 最適化: 環境に合わせた推奨事項を通じて、コスト、拡張性、信頼性を向 上させます。
19. Copilot：Microsoft Copilot for Azure 主な機能 クラウド環境を理解する 環境に関する質問に答えるだけでなく、Azure Resource Graph 内で使用する Kusto Query Language (KQL) クエリの構築も容易にします。 関連情報：https://techcommunity.microsoft.com/t5/azure-infrastructure-blog/simplify-it-management-with-microsoft-copilot-for-azure-save/ba-p/3981106 コストとパフォーマンスの最適化 請求書、支出パターン、変更、外れ値の理解を支援し、クラウドのコストをより適切に分 析、見積もり、最適化するのに役立ちます。 メトリクスベースの洞察 リソース利用可能なメトリクス検出、結果を視覚化して要約、深い調査を可能にし、異 常検出で予期せぬ変更を分析し、問題対処の推奨j事項を提供 サポートとトラブルシューティング Azure ドキュメントと組み込みのサービス固有のトラブルシューティング ツールから生成された トラブルシューティングの洞察を提供 この他にも、Azure Arc 対応ワークロードの設計、運用、最適化、トラブルシューティングにも使用でき、Application Insights コード最適化の高度な AI アルゴリズムと統合されており、コード レベ ルで CPU とメモリ使用量のパフォーマンスの問題を検出し、それらを修正する方法に関する推奨事項を提供します。
20. マイクロソフトは、AIの安全かつ責任ある利用において業界をリードしています。同社は、Copilot Copyright Commitment（CCC）によって、著作 権侵害の訴訟から商用顧客を防御し、補償するという業界をリードするコミットメントで標準を設定しています。マイクロソフトは、Azure OpenAI Serviceを利用する顧客にCCCを拡大することを発表し、コミットメントを一歩前進させます。 Copilot の著作権への取り組みを拡大 この新しい特典は、Customer Copyright Commitment と呼ばれます。この拡張の一環として、マイクロソフトは、Azure OpenAI Serviceの顧客が 侵害コンテンツのリスクを軽減するための技術的対策を実施するのに役立つ新しい文書を公開しました。お客様は、この特典を利用するために、ドキュメ ントを遵守する必要があります。 この特典は 2023 年 12 月 1 日から利用可能になります。 この拡張の一環として、Azure OpenAI Service のお客様がコンテンツ侵害のリスクを軽減するための技術的対策やその他のベスト プラクティスを実装 するのに役立つ新しいドキュメントを公開しました。 Customer Copyright Commitment Required Mitigations：https://learn.microsoft.com/ja-jp/legal/cognitive-services/openai/customer-copyright-commitment Azure OpenAI サービスのユースケースごとに必要な追加の緩和策 Azure OpenAI サービスから出力コンテンツを配信するサービスの CCC 適用範囲を維持する には、お客様が制限付きアクセス フォームで要求したユース ケースに応じて、追加の必要な緩 和策が必要です。 コンテンツタイプ 使用事例 カテゴリー 必要な緩和策 発効日 コード生成 コード生成または変換シナリオ、またはそ の他のオープン コード生成シナリオ コンテンツフィルター 保護されたマテリアル コード モデルは、注釈モードま たはフィルター モードで設定する必要があります。注 釈モードの使用を選択した場合、お客様は、請求 の対象である出力コンテンツに対して提供されてい る引用ライセンスに従う必要があります。 脱獄モデルはフィルター モードで構成する必要があ ります。 2023年12月1日 テキストの生成 ジャーナリズム コンテンツ、執筆支援、また はその他のオープン テキスト生成シナリオ コンテンツフィルター 保護されたマテリアルテキストモデルはフィルターモー ドで設定する必要があります。脱獄モデルはフィル ター モードで構成する必要があります。 2023年12月1日
21. Azure AI Vision は、画像タグ付け、光学式文字認識（OCR）によるテキスト抽出、および責任ある顔認識により、画像を分析し、テキストを読み取 り、顔を検出するための革新的なコンピュータビジョン機能を開発者に提供します。 画像タグ付け、OCRによるテキスト抽出、顔認識により、画像を分析し、テキストを読み取り、顔を検出するための革新的なコンピュータビジョン機能を 開発者に提供します。 Azure AI Vision と新機能：Computer Vision 機能の統合サービス Azure AI Vision 公式サイト：https://azure.microsoft.com/ja-jp/products/ai-services/ai-vision 画像分析 10,000 以上の概念とオブジェクトから、 検出、分類、キャプション付け、分析 情報の生成を行います。 空間分析 物理的な領域内の人々の存在と動き をリアルタイムで把握できます。 光学式文字認識 (OCR)画像から印 刷されたテキストや手書きのテキストを 抽出します。言語や書き方が混在して いてもかまいません。 顔認識 人間の身元を認識して検証するインテ リジェントなアプリケーションの作成に役 立ちます。 Liveness functionality and Vision SDK： Liveness機能は、顔認識なりすまし攻撃の防止に役立ち、ISO 30107-3 PAD Level 2に準拠しています。Vision SDK for Face は、開発者がモバイルアプリケーションに顔認識とライブネスを簡 単に追加できるようにします。両機能はプレビュー版です。 Image Analysis 4.0：（GA） この API は、画像キャプション、OCR、オブジェクト検出などを含 む最先端の画像解析モデルを導入しており、すべて単一の同期 API エンドポイントからアクセスできます。特に、強化された OCR モデルは、画像内のタイプされたテキストと手書きテキストの両方 の精度が向上しています。 Florence foundation mode：（GA） 何十億ものテキストと画像のペアで訓練され、Azure AI Vision のコスト効率の良い、生産可能なコンピュータビジョンサービスとし て統合されたこの改良された機能により、開発者は様々な業界 において、最先端の、市場に対応した、責任あるコンピュータビ ジョンアプリケーションを作成することができます。
22. Azure Machine Learningは、プロンプトフローとモデルカタログの一般提供、Microsoft FabricのOneLakeとの統合プレビューなど、新たな機能強化に よりユーザーエクスペリエンスの向上を続けており、開発者や機械学習の専門家がAI搭載アプリケーションの開発を効率化し、ジェネレーティブAI開発ライ フサイクルの全段階にわたって責任あるジェネレーティブAIソリューションを運用できるようにします。 Azure Machine Learning の更新：AIを効率化・運用化 Charting the Future with Innovative AI and ML：https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/ignite-2023-what-s-new-in-azure-ai-platforms-charting-the-future/ba-p/3980465 プロンプトフロー 大規模言語モデルを利用したアプリケーションの 開発ライフサイクル全体を効率化します。 モデルカタログ Hugging Face、Meta、OpenAIのような有名 なプロバイダーから基盤モデルを発見、評価、微 調整、配備する力をユーザーに与え、開発者が 特定のユースケースに最適な基盤モデルを選択 することを容易にします。 推論APIとホストされたファインチューニン グを通じたModel-as-a-Service 開発者や機械学習の専門家は、Metaの Llama 2、Mistralの今後のプレミアムモデル、 G42のJaisなどの基盤モデルをAPIエンドポイント としてアプリケーションに簡単に統合します。 OneLakeとの統合 データエンジニアはFabricで開発された機械学 習対応のデータ資産を共有し、機械学習の専 門家がAzure Machine Learningのモデルト レーニングに直接利用できるようになります。
23. DALL-E 3と GPT-4 Turbo for Vision、16Kトークンのプロンプト長を持つ GPT-3.5 Turbo と GPT-4 Turbo が利用可能になり、GPT-4 へのアップ デートとともに、適応性と効率の向上が可能になります。 マルチモーダル AI の新機能 GPT-4 Turbo with Vision on Azure OpenAI Service：https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/gpt-4-turbo-with-vision-on-azure-openai-service/ba-p/3979933 DALL-E 3：Preview提供中 テキストの説明から画像を生成できるAIモデルで、ユーザーが画 像を記述すると、DALL-E 3がそれを生成 16kトークンのプロンプト長を持つGPT-3.5 Turboモデル とGPT-4 Turbo：11月末までにPreview開始 Azure Open AI 最新モデルにより、プロンプトの長さが拡張し、 生成AIアプリの制御と効率が向上 GPT3.5 Turbo：16Kトークン GPT-4 Turbo：128Kトークン GPT-4 Turbo with Vision：12月末まにPreview開始 テキストと一緒に画像や動画を含めることを可能にし、ビデオ解析 のような Azure AI Vision を強化 GPT-4 updates：Preview提供中 GPT-4 微調整モデルの提供により、ファインチューニングで、組織 はAIモデルをカスタマイズして、特定のニーズにより適合可能
24. Azure OpenAI Service 上の Vision を備えた GPT-4 Turbo は、エンタープライズ グレードのセキュリティと責任ある AI ガバナンスとともに、最先端の AI 機能を提供します。さらに、Azure AI Services に合わせた機能強化への排他的アクセスも提供します。 Azure AI Services と組み合わせると、次のような一連の高度な機能が導入され、エクスペリエンスが向上します。 マルチモーダル AI の新機能：Video Prompt Video Retrieval: GPT-4 Turbo with Vision Integrates with Azure to Redefine Video Understanding：https://aka.ms/AIVision_video_retrieval Video Prompt： Azure AI Vision Video Retrieval のネイティブ統合を通じて、開発者が Vision を使用した GPT-4 Turbo の入力としてビデオを使用できるようにしています。ビデオ入力 をアプリケーションに組み込むプロセスが簡素化され、複雑なビデオ処理コードが不要になります。 視覚と音声の高度なマルチモーダル ベクトル インデックス作成によるビデオ プロンプトのコンテキストの取得が可能になり、ビデオ コンテンツに関する概要と回答の生成が可 能になります。 デモ動画：https://www.microsoft.com/en-us/videoplayer/embed/RW1eHRf Video Retrieval を備えた Azure OpenAI Service 上の GPT-4 Turbo with Vision によって作成されたビデオの詳細な概要により、 Satalia の AI ツールが ビデオ コンテンツ の影響を予測し、視聴者の期待やプラットフォームの仕様に合わせた改善を提案できるよ うになります。この AI と人間の創造性の融合により、コンテンツは視覚的に魅力的である だけでなく、 感情的にも共鳴するものになります。 私たちは過去 2 年間、さまざまな画像からテキストへのツールやビデオからテキストへのツールを実 験してきました。これにより、これまで不可能だった方法でビデオをデコードすることで、より効果 的なクリエイティブ アセットを分析および作成できる機能を AI ソリューションに提供できるようにな りました。 Azure OpenAI Service 上の Vision を備えた GPT-4 Turbo は、ビジュアル コンテンツとコンテキストの 両方を完璧に認識できるため、これまでに使用した中で最も優れたツールであると断言できます。 ダニエル・ハルム氏、WPP 企業サタリア CEO
25. マルチモーダル AI の新機能：画像を含むデータ上の Azure OpenAI Azure OpenAI Service を使用して画像を生成する： https://learn.microsoft.com/ja-jp/azure/ai-services/openai/dall-e-quickstart?tabs=dalle3%2Ccommand-line&pivots=programming-language-studio 画像を含むデータ上の Azure OpenAI： GPT-4 Turbo と Vision、Azure AI Search、および Azure AI Vision を組み合わせることで、情報検索を変革しています。 画像をテキスト データに追加し、ベクトル検索を利用してデータと接続するソリューションを開発できるようになり、チャット エクスペリエンスが向上します。 このマルチモーダル サポートは、テキストベース モデルの既存のデータの持ち込み機能に基づいて構築されています。 デモ動画： https://www.microsoft.com/en-us/videoplayer/embed/RW1ePyV 独自データを学習モデルの拡張コンテキストに容易に接続できる “On Your Data” に直接画像を入れることが可能
26. マルチモーダル AI の新機能：オブジェクト グラウンディング オブジェクト グラウンディング： Azure AI Vision は、オブジェクト グラウンディングによる Vision のテキスト応答で GPT-4 Turbo を補完し、入力画像内の顕著なオブジェクトの輪郭を示します。 この統合により、処理される画像内の重要な要素を視覚的に区別して強調表示できるため、データ分析とユーザー インタラクションに新しいレイヤーがもたらされます。 Azure AI Vision で物体検出した結果を、GPT-4Vが補完してテキスト応答の精度が向上
27. マルチモーダル AI の新機能：OCR OCR： Azure AI Vision は、高品質の OCR 結果を補足情報としてモデルに提供することで、GPT-4 Turbo with Vision を補完します。 これにより、モデルは高密度のテキスト、変換された画像、数値を多く含む財務文書に対して高品質の応答を生成できるようになり、OCR 言語の対応範囲が広がります。 Azure AI Vision で検出した結果を GPT-4Vが補完することで、OCR の精度が飛躍的に向上
28. 新しい “要約” と “翻訳機能”： task-optimization summarization capability Azure AIのいくつかの新機能は、開発者がアプリを使用するために言語を要約し、翻訳する際に役立ちます。 現在プレビュー中のアップデートは以下の通りです。 task-optimization summarization capability（タスク最適化要約機能） 大規模言語モデル（GPT-3.5-Turbo、GPT-4、Z-Code++など）を活用した、Azure AI Language の新しい要約機能です。 主な以下の機能は、パブリックプレビューとして、” api-version 2023-11-15-preview” で利用可能です。 • 既存の機能 (ナラティブ、章タイトル、問題、解決策) に加えて、すぐに使える会話要約機能 (会議の要約やフォローアップ タスクなど) が追加されました。「要約」の側 面では、長い会議や会話を簡潔な 1 段落の要約に凝縮して概要を簡単に示します。「フォローアップ タスク」の側面では、会議中に発生するアクション アイテムやタス クを要約します。 • 現在利用可能な一般的な要約ではなく、特定の関心のある点について記事とレポートを要約します。たとえば、Microsoft と Activision Blizzard の合併に関するこ のニュースの対象を絞った概要を取得するには、「Activision Blizzard」や「早期和解日」などのクエリを関心事項として指定できます。生成される概要は、一般的な概 要ではなく、これらの重要な点に焦点を当てたものになります。 タスクに最適化された新しい要約機能の導入：https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/introducing-new-task-optimized-summarization-capabilities/ba-p/3983822 会話の要約 (事前プロンプトエンジニアリング、6 つの側面、9 言語、125,000 文字、約 3 時間、コンテナー内)
29. 新しい “要約” と “翻訳機能”：New machine translation model New machine translation model（新しい機械翻訳） 英語での翻訳を仲介することなく、ある言語から別の言語への翻訳が可能な新しい機械翻訳モデルを提供します。 さらに、顧客データを使用してカスタマイズすることができ、業界のコンテキストに翻訳をより合わせることができます。 これまでは、1 つの言語を英語にする必要があるというモデルを作成してきましたがこれからは変わります。 カスタム翻訳モデルを構築して、ある英語以外の言語から別の非英語言語にドキュメントを翻訳できるようになり、翻訳の精度が向上し、翻訳における文化的配慮が維持 されるだけでなく、ソース言語のニュアンスや慣用的な表現をより深く理解できるようになります。 直接カスタム翻訳エンジンは、追加の編集や校正の必要性を排除することで時間とリソースを節約し、より効率的でコスト効率の高い翻訳プロセスを実現します。 Azure AI Translator を使用して直接カスタム モデルをトレーニングして公開する方法： https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/how-to-train-and-publish-direct-custom-model-using-azure-ai/ba-p/3978636
30. 新しい “要約” と “翻訳機能”：Named entity recognition Named entity recognition（名前付きエンティティ認識） コンテナ内での名前付きエンティティ認識、文書翻訳、要約により、政府機関や、金融サービスやヘルスケアなど、データレジデンシー要件が厳しい業界は、独自のインフラで AIサービスを実行できるようになります。 10 月にAzure AI 言語 要約コンテナーが利用可能になることを発表しましたが、コンテナ内で事前に構築された Named Entity Recognition (NER) 機能も提供も提供 を開始しました。 顧客は文書テキストから主要なエンティティを識別して抽出できます。この新しいコンテナ オプションにより、お客様は現在のクラウド サービスでカバーされている範囲を超えた 地域や国で NER モデルを呼び出すことができます。 固有表現認識コンテナーをインストールして実行する： https://learn.microsoft.com/en-us/azure/ai-services/language-service/named-entity-recognition/how-to/use-containers
31. 新しい “要約” と “翻訳機能”：Personal Voice Personal Voice（パーソナル・ボイス） 企業がユーザー向けに60秒間の音声サンプルでカスタムニューラルボイスを作成できる新しい機能です。 企業は自社のブランドに合わせて、より自然な独自の音声エクスペリエンスを構築できます。 ユーザーは 1 分間の音声サンプルを音声プロンプトとして提供することで AI に自分の声を数秒で複製させ、それを使用してサポートされている 100 言語のいずれかで音声を 生成できます。 パーソナル・ボイスはアクセス制限機能(Limited Access)です。 Azure AI Speech launches Personal Voice in preview： https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/azure-ai-speech-launches-personal-voice-in-preview/ba-p/3982957 サンプルを試す 音声プロンプトとして短いサンプルを使用して、音声がどのように聞こえるかを確認 するには、以下のサンプルをチェックしてください。 https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/azure-ai- speech-launches-personal-voice-in-preview/ba-p/3982957 自分のデータでを試す Speech Studio で、「Personal Voice」カードをクリックします。 自分の声を録音し、さまざまな言語での音声出力サンプルを試すことができます。 デモについては以下のビデオをご覧ください。 デモ動画：https://youtu.be/Aj_Jb2moFNQ
32. 新しい “要約” と “翻訳機能”：Text-to-speech avatar Text-to-speech avatar（音声合成アバター） 入力されたテキストと実際の人物が話しているビデオデータに基づいて、リアルな人物の似顔絵を生成する新しい音声合成機能です。 テキスト読み上げアバター システムは、 ビジョン機能を備えたテキスト読み上げ機能であり、これにより顧客は 2D フォトリアリスティックなアバターが話す合成ビデオを作成で きます。ニューラルテキスト読み上げアバター モデルは、人間のビデオ録画サンプルに基づいてディープ ニューラル ネットワークによってトレーニングされ、アバターの音声はテキスト 読み上げ音声モデルによって提供されます 。 音声合成アバターはアクセス制限機能(Limited Access)です。 Azure AI Speech announces public preview of text to speech avatar： https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/azure-ai-speech-announces-public-preview-of-text-to-speech/ba-p/3981448 デモ動画： https://youtu.be/OM-RqXkjo2s 次のビデオは、カスタムのテキスト読み上げアバターを使用して左記のワークフローを使 用して生成されました。
33. プロンプト エンジニアリング、ベクトル検索エンジン、検索拡張生成 (RAG) パターン、および Azure OpenAI Service との統合の複雑さを解消するため、 Azure AI Studio の Public Previewを発表しました。GPT4 などの OpenAI モデルと他のさまざまな最先端のモデルを活用して、生成 AI アプリケー ション開発を簡素化するように設計された最先端のプラットフォームです。 AIプラットフォーム「Azure AI Studio」を発表 Azure AI Studio の特徴は次のとおりです。 1. 集中アクセス: 検索拡張生成 (RAG) アプリケーションを強化するための高度なハイブリッドおよびセマンティック検 索を含む、当社の最先端の AI ツールおよびモデルのスイートを探索してください。さらに、Azure AI Studio は、 Azure OpenAI Serviceに間もなく提供されるVision を備えた GPT-4 Turboなどの最新のマルチモーダル モデル や、Falcon、Stable Diffusion、Llama 2 マネージド APIなどのオープン モデルを含む、包括的なモデル カタログを 提供します。 2. 優れたツール: 開発者は、 Microsoft Fabricを使用して、エンタープライズ データに基づいてモデルを構築し、構 造化データ、非構造化データ、およびリアルタイム データをシームレスに統合できます。さらに、開発者は独自のカスタ ム モデルを構築してトレーニングすることができます。アプリケーションが大規模に動作することを確認するために、開 発者はプロンプト フローなどのプロンプト エンジニアリング ツールを使用してモデルの応答をテスト、検証、調整できま す。VS Code、GitHub Codespaces、セマンティック カーネル、LangChain の統合により、コード中心のエクスペリ エンスが実現します。 3. 責任あるAI: Azure AI Studio は、開発者が責任ある AI の原則を開発プロセスに統合し、AI アプリケーション の品質と安全性を評価するのに役立ちます。また、Azure AI Content Safetyを使用してコンテンツを分類し、ジェ イルブレイク リスクを検出し、運用中のアプリケーションを監視して、高い基準に継続的に準拠しているかどうかを確 認することもできます。 4. 繁栄するパートナー エコシステム: Azure AI Studio を通じて利用できる、OpenAI、Nvidia、Hugging Face、 Meta などの業界リーダーの最新モデルのメリットを活用できます。
34. Azure AI Studio は、生成 AI 開発の新時代の到来をもたらし、開発者は AI イノベーションを大規模に探索、構築、テスト、展開できるようになり、ア イデアから効果までより迅速に移行できるようになります。Custom Copilot の作成、検索の強化、コールセンター ソリューションの提供、ボットやオーダー メイドのアプリケーションの開発、またはこれらの組み合わせのいずれであっても、Azure AI Studio は必要なサポートを提供します。 AIプラットフォーム「Azure AI Studio」概要とデモ YouTube動画：https://youtu.be/FOXDyRLT6so YouTube動画：https://youtu.be/zsG7lpGWJWY Azure AI Studio Demo Azure AI Studio で独自の Copilot を構築する Azure AI Studio は、業界固有のプロンプト サンプルのギャラリーを活用し、さまざまなアプリケー ションに合わせたコパイロットを作成できます。エンタープライズ チャット ソリューションの開発、マル チモーダル エクスペリエンスによる顧客インタラクションの強化、音声分析の掘り下げなど、Azure AI Studio は必要なツールを提供します。 統合プラットフォームは、AI 開発者が事前に構築されたサービスとモデル、迅速なオーケストレー ションと評価、コンテンツの安全性、プライバシー、セキュリティ、コンプライアンスのための責任ある AI ツールを統合できるようにカスタマイズされており、開発者が生成 AI の複雑さを自信を持って 操作できるように支援します。
35. Microsoft Ignite 2023 – Update ～ Azure Infrastructure ～
36. Azure Platform の強化：AI ワークロード Ignite では業界パートナーからの AI に最適化された最新のシリコンや Microsoft が設計した 2 つの新しいチップなど、データセンター フリート全体にわたる 新しいイノベーションを発表しました。 Microsoft Azure Maia ～ OpenAI モデル、Bing、GitHub Copilot、ChatGPT などの AI ワークロードのクラウドベースのトレーニングと推論を実行するように設計された AI アクセラレータ チップ ～ LLM のトレーニングや推論などのクラウド AI ワークロードを実行するように設計された、初の完全カスタムの社内 AI アクセラレータである Azure Maiaも発表しまし た。 このチップは5ナノメートルプロセスで製造され、1,050億個のトランジスタを搭載しており、現在の技術で製造できる最大のチップの1つとなっており、Microsoft Azure上の大規模な内部AIワークロードを強化します。 それはチップにとどまりません。 AI用のエンドツーエンドの Maia ラックを設計しました。AI のパワー需要には、他のクラウドとは大きく異なるインフラストラクチャが必要です。コンピューティング ワークロー ドには、より多くの冷却とネットワーク密度が必要です。 また、チップの熱プロファイルに合わせて冷却ユニットを設計し、効率を高めるためにラックレベルの閉ループ液体冷却を追加しました。 関連情報：https://news.microsoft.com/source/features/ai/in-house-chips-silicon-to-service-to-meet-ai-demand/
37. Azure Platform の強化：クラウド全体 Microsoft Azure Cobalt ～ 汎用ワークロードのパフォーマンス、電力効率、コスト効率を最適化する Arm アーキテクチャに基づくクラウドネイティブ チップ ～ ハイパースケーラーとして、私たちはワークロードを確認し、そこから学び、エネルギー消費からシリコンまでスタック全体を最適化して、パフォーマンスと効率を最大化する機 会を得ます。 このフィードバック サイクルのおかげで、Cobalt 100 を皮切りに、Microsoft 初のカスタム インハウス CPU シリーズである Azure Cobalt を導入できることを嬉しく思います。 Cobaltプロセッサの第一世代の製品「Cobalt 100」は既に Microsoft Azure に採用されている Arm Ampere よりも最大40％高性能です。 Cobaltは、Microsoft Cloud 専用に設計された最初のCPUです。この 64 ビット 128 コア ARM ベースのチップは、どのクラウドプロバイダーよりも高速です。すでに Microsoft Teams、Azure Communications Services、Azure SQL の一部を強化しています。 関連情報：https://news.microsoft.com/source/features/ai/in-house-chips-silicon-to-service-to-meet-ai-demand/
38. Azure Platform：強力で優れたパフォーマンス 優れたパフォーマンス 先週、Azure は MLPerfBenchmarking Consortium への最大の提出物であ り、以前の記録の 3 倍にあたる 10,000 個の H100 GPU を搭載し、他のどの クラウドよりも優れたパフォーマンスを提供しました。 最も強力なパブリッククラウド 世界のスーパーコンピューターのトップ 500 リストでは、Azure がパブリック クラウド で最も強力なスーパーコンピューターであり、3位はすべて上位にランクインしてい ます。 これらのチップは2024年初頭にAzureデータセンターに導入され、Microsoft Copilot シリーズや Azure OpenAI Service の強化に貢献する予定 です。
39. Azure Platform：AMDベースの新しいAzure仮想マシン 第4世代AMD EPYC™ Genoaプロセッサーで構築された最新のAMDベースの仮想マシン（VM）を導入します。現在、D、E、FファミリーのVM向けにプレビューが開始されて いるこれらの新しいVMは、第3世代AMD EPYC™ Milanプロセッサーをベースとした従来のAMD v5 VMよりもさらに優れたパフォーマンスと信頼性を導入しています。 Dav6 VMシリーズはメモリ対コア比のバランスが良く、Dalv6シリーズはより少ないメモリを必要とするアプリケーションによりコスト効率の良いオプションを提供することを目的と しています。 これらの新しいVMは、AMDの顧客が利用可能なVMの選択肢を大幅に拡大し、さまざまなメモリサイズと予算で多数の一般的なVMシリーズにまたがります。 New AMD-based VMs with Increased Performance, Azure Boost, and NVMe Support： https://techcommunity.microsoft.com/t5/azure-compute-blog/public-preview-new-amd-based-vms-with-increased-performance/ba-p/3981351 すべての新しい Dalsv6、Dasv6、Easv6、および Fasv6 仮想マシン スイートが Azure Boost を利用していることを発表しました。 Azure Boost は、現在運用中の何百万もの既存の Azure VM に、卓越したリ モート ストレージ パフォーマンスの実現やネットワーク スループットと遅延の大幅な改 善などのメリットをもたらしています。 最新の Azure Boost インフラストラクチャのイノベーションは、新しい AMD ベースの VM と組み合わせることで、パフォーマンス、セキュリティ、信頼性の加速的な向上へ の道を切り開きます。 Azure Boost の詳細については、 ブログをご覧ください。 シリーズ vCPU メモリ (GiB) 最大ローカル NVMe ディス ク (GiB) ローカル ディスクの最大 IOPS マネージド ディスクの キャッシュされていな い最大ディスク IOPS 管理対象ディスクの最 大スループット (MBps) 2-96 4-192 該当なし 該当なし 4 - 172K 90 – 4,320 Daldsv6 2-96 4-192 1x75 - 6x600 1.8M 4 - 172K 90 – 4,320 Dasv6 2-96 8-384 該当なし 該当なし 4 - 172K 90 – 4,320 Dadsv6 2-96 8-384 1x75 - 6x600 1.8M 4 - 172K 90 – 4,320 一例）汎用ワークロードのリスト
40. Microsoft Ignite 2023 – Update ～ Copilot ～
41. Copilot：Microsoft Copilot for Azure 現在プレビュー中 の Microsoft Copilot for Azure は、クラウドからエッジまでのアプリケーションとインフラストラクチャの設計、運用、最適化、トラブルシューティング を簡素化する AI コンパニオンです。 Copilot for Azure により、顧客はワークロードに関する新たな洞察を得て、未開拓の Azure 機能を解放し、クラウドとエッジの両方でタスクをオーケストレーションで きるようになる。Copilot は、大規模言語モデル（LLM）、Azure コントロールプレーン、ユーザーの Azure および Arc 対応資産に関する洞察を活用します。これらは すべて、顧客のデータのセキュリティとプライバシーを守るというAzureの揺るぎないコミットメントの枠組みの中で実行されます。 関連情報：https://techcommunity.microsoft.com/t5/azure-infrastructure-blog/simplify-it-management-with-microsoft-copilot-for-azure-save/ba-p/3981106 Copilot は Azure portal で利用でき、将来的には Azure モバイル アプリと CLI からも利用できるようになる予定です。Copilot for Azure は、Azure Resource Manager (ARM)、Azure Resource Graph (ARG)、コストと使用 状況のデータ、ドキュメント、サポート、ベスト プラクティス ガイダンスなどを推論、 分析、解釈するために構築されています。 Copilot for Azure は次のことに役立ちます。 • 設計: 組織のポリシーに合わせて必要なサービスを作成および構成します。 • 操作: 質問に答え、複雑なコマンドを作成し、リソースを管理します • トラブルシューティング: Azure サービス全体を調整して洞察を得ることで、問 題を要約し、原因を特定し、解決策を提案します • 最適化: 環境に合わせた推奨事項を通じて、コスト、拡張性、信頼性を向 上させます。
42. Copilot：Microsoft Copilot for Azure 主な機能 クラウド環境を理解する 環境に関する質問に答えるだけでなく、Azure Resource Graph 内で使用する Kusto Query Language (KQL) クエリの構築も容易にします。 関連情報：https://techcommunity.microsoft.com/t5/azure-infrastructure-blog/simplify-it-management-with-microsoft-copilot-for-azure-save/ba-p/3981106 コストとパフォーマンスの最適化 請求書、支出パターン、変更、外れ値の理解を支援し、クラウドのコストをより適切に分 析、見積もり、最適化するのに役立ちます。 メトリクスベースの洞察 リソース利用可能なメトリクス検出、結果を視覚化して要約、深い調査を可能にし、異 常検出で予期せぬ変更を分析し、問題対処の推奨j事項を提供 サポートとトラブルシューティング Azure ドキュメントと組み込みのサービス固有のトラブルシューティング ツールから生成された トラブルシューティングの洞察を提供 この他にも、Azure Arc 対応ワークロードの設計、運用、最適化、トラブルシューティングにも使用でき、Application Insights コード最適化の高度な AI アルゴリズムと統合されており、コード レベ ルで CPU とメモリ使用量のパフォーマンスの問題を検出し、それらを修正する方法に関する推奨事項を提供します。