すきやねん Azure !! Azure OpenAI Service 最新事例

"すきやねん Azure!!"コミュニティから最新のお客様事例を紹介します。

①デンソー様とマイクロソフトで協働開発した AOAI 搭載のアーム型の人協業ロボットのデモと、本件で実装されているアーキテクチャ、Azure PaaS 活用での機能拡張、GitHub Copilot による生成 AI 活用開発についてご紹介します。

②NTT Communications 様コールセンターでの AOAI を活用した効率化ソリューションのデモとアーキテクチャ概要、次のステップを見据えた Azure Communication Service と AOAI を組み合わせた今後の取り組みの一部をご紹介します。

Transcript

2. すきやねん Azure !! Azure OpenAI Service 最新事例 Hiroaki Obayashi, Data＆AI Specialist Kousuke Miyasaka, Azure App Innovation Specialist Yasuki Takami, Azure Apps Cloud Solution Architect
3. Agenda  コミュニティからのご挨拶  デンソー様 事例紹介  NTT Communications様 事例紹介  クロージング
4. Hiroaki Obayashi Data & AI Specialist Expertise • Oracle Database • SQL Server • Linux/Unix • SQL 言語 • Microsoft Azure • 阪神タイガース
5. 今年はスポーツも関西が盛り上がりました！
6. すきやねん Azure ! コミュニティ ◼ 活動指針 ✓ 関西のエンジニアの方々に役立つ情報を発信 ✓ Azure の技術情報だけでなく関連する情報も提供 ✓ “すきやねん Azure” と言ってほしい！！ ◼ 過去のイベント ✓ Azure AI のエンタープライズ活用事例紹介（feat. 外部講師） ✓ Azure AI の教育現場での活用事例紹介／ハンズオン（feat. 外部講師） ✓ スタートアップ企業でのクラウドネイティブ設計、Go-Live（feat. スタートアップ企業様） aka.ms/SukiyanenAzure
7. 次回のすきやねん Azure !! の告知 新年から始めるAIとデータ分析基盤の最新トレンド： Microsoft Ignite 2023 で発表された注目の技術をデモで交えてお届けします！ 開催日時：2024年1月26日 開催場所：日本マイクロソフト 関西支社（Breeze Tower 29F） 定員：24名 参加登録：https://aka.ms/SukiyanenAzure202401
8. Kousuke Miyasaka Microsoft Japan Cloud and AI Solution Div. Azure App Innovation Specialist Expertise  Solution Specialist Azure App  DevOps Acceleration  Generative AI  Microsoft Azure  野球 (阪神おめでとう！)
9. Keitaro Minami 株式会社デンソー クラウドサービス開発部 Expertise  Software Development  Microsoft Azure  Python  Go
10. 生成AI搭載のシステム開発スタック Azure OpenAI Service Azure OpenAI Service リファレンスアーキテクチャ (microsoft.com) Azure Container Apps App Service Azure Kubernetes Service Azure Functions GitHub Copilot OpenAI 社が開発・学習させた大規模言語モデル GPT-4, GPT-3, ChatGPT, Codex, DALL·E などを Microsoft Azure のマネージドサービスとして利用可能 アプリケーションの開発と運用をシンプルかつ効率的にするクラウドプラッ トフォーム。コーディングに集中し、スケーラビリティやセキュリティを自動化。 GitHub Developer Visual Studio Code IDEや自動デプロイ機能を利用可能 コーディング中にオートコンプリートの提案を提供する AI コーディング 機 能。 コードを入力するか、自然言語で記述して提案 ChatGPTを活用するシステム開発をするためには、GPTを呼びだすコードを記述したAPIをホストする環境が必要。さらにそのコードを開発する環境や、 コードを素早く構築するツールも必要。Microsoftはそれらをフルスタックで提供している。 PaaS 開発環境 生成AI Copilot
13. 多様なシーンに対応して状況判断・予測し、ロボットを制御 Generative-AI × Robot Internet 音声認識 画像認識 Robot-Skill Action Generative Engine Robot-Role & Personality Arm-Robot Application AMR Personal Assistant
14. OpenAI Service GPT-4 Cognitive Search その他サードパーティAPIなど OpenAI Service Whisper (Preview) 音声認識 自然言語処理 カフェ情報検索 WEB アプリ Container Apps コーヒーロボ 配送ロボ 検索 Cognitive Service Text to speech Service Bus Queues その他API カフェの 情報 推論部 関数実行部 コーヒーロボ 配送ロボ ロボットカフェ • セキュアかつ高可用な生成AIサービスの利用 • モジュール化による多様なシーンへの対応 • アドホックな検証環境 ② ① ③ ④ ④ ⑤ ⑤ サービス構成
15. セキュアかつ高可用な生成AIサービスの利用 非機能要件に応じた過不足ない構成で迅速に構築 • クォータ制限の厳しいサービスの安定した利用 • パブリックアクセス制限 Region 1 Private Endpoint OpenAI Container Apps API Management Region 2 Private Endpoint OpenAI
16. Service Bus Queues 関数実行部 Arm-Robot AMR API endpoint 関数名 引数 推論部 Container Apps と Service Bus により関数実行部を推論部から分離 • 各ロボットに依存した関数部の実装のみで利用可能 • 関数実行部を自由に配置可能 • 推論と関数実行の並列化による高速化 モジュール化による多様なシーンへの対応
17. アドホックな検証環境 関数実装前に、ユースケース実現のためのアセット検証が可能なPlayground
19. デンソーとMicrosoftで描く未来 Arm-Robot AMR Personal Assistant Generative-AI × Robot で新しい未来を創造していく DENSO-Generative-AI Robot-Service Microsoft AI & Cloud Service Action Generative Engine Microsoft Engineer DENSO Developer App Service Azure Functions Azure OpenAI Service Azure Container Apps Azure Kubernetes Service GitHub Copilot GitHub Copilot
20. すきやねん Azure !! Azure OpenAI Service 最新事例 Hiroaki Obayashi, Data＆AI Specialist Kousuke Miyasaka, Azure App Innovation Specialist Yasuki Takami, Azure Apps Cloud Solution Architect
21. Yasuki Takami Cloud Solution Architect Expertise  Software Development  Service Development  DevOps Acceleration  Datacenter Network  Dynamics 365／Power Platform  Microsoft 365  Microsoft Azure  JavaScript  C#
22. Azure AI を活用した サポートセンターの業務効率化事例 After 顧客対応ナレッジの画一化 サポートナレッジをデータベース化、検索のみではなくコミュニケー ションもサポートする Azure AI Service を組み合わせる事で、 ナレッジの画一化と対応品質の向上を実現 Before 顧客対応品質に偏り 対応メンバーによって発生するナレッジ量の差が対応品質 に影響し、顧客対応品質の画一化に課題があった なんて検索すればいいんだろ う・・・？ お客様、何て仰ってたっ け・・・？ 対応履歴に残す内容はこれ で正しいのかな・・・？ 発話内容に基づいて適切な 回答候補を提示！ 会話記録は文字起こしで 保管！ 会話記録のサマリーも 自動で作ります！
23. Masao Dendo NTT コミュニケーションズ株式会社 コミュニケーション&アプリケーションサービス部 Expertise • Solutions Architect • Network • Active Directory • RDS/Citrix • Hyper-V • SCVMM • SCCM • Microsoft 365 • Microsoft Azure
24. サポートセンターでの業務効率化概要 Call Operators 音声応答 Customer メールが送れない。 承知しました。 それはいつ・・・ 昨日から送れません。 ◦◦月◦◦日からメール の送信ができない。 以下を確認した。 • PC再起動 メールが送信できない場合 の対処方法は以下が考え られます。 • ◦ ◦ ◦ ◦
25. NTT Communications 様での取り組み事例 Power Apps Power Automate Azure OpenAI Service Azure AI Search Azure Language Service Azure Speech Service Audio data Structured data Call Operators Real-time call Support • 文字起こし（Speech） • 回答候補自動生成（AOAI） Post-call Analysis • 文脈抽出／感情分析（Language） • やり取り要約（AOAI）
26. 課題と技術アプローチ 技術アプローチ 課題 プロトタイプを短期間で開発 社内でのPoCを早急に開始する Power Platformによるローコード開発 →初期プロトタイプは開発期間3日 利用ユーザの制限 外部からアクセスできないセキュリティ保護 Entra IDのユーザ管理で制御 Power PlatformとAzure間接続 運用保守コストを最小限に抑える Power Platformと AzureのSaaS,Managedサービスで構成 回答精度の向上 Azure Managedサービスを活用した データエンジニアリング データ流出、過剰利用への対策 インジェクション対策、フィルター 利用回数制限
27. 回答精度向上への対応 Azure AI Search Azure Language Service 回答精度を向上させるには、地道にデータエンジニアリングすることが重要 クラウドサービスを活用して効率的に実施 • Azure OpenAI Serviceによる回答文章の成型とサジェストの生成 • Azure AI Search スコアの精査 • Azure Language Serviceによる質問文章の抽出 Azure OpenAI Service Power Automate
28. ドコモビジネス 生成AIへの取り組み LLMs 付加価値領域 活用領域 ④信頼性・安全性確保 ①利便性向上 信頼性・安全性 企業内情報連携 ②セキュリティ確保 法人向け事業展開 NTTグループ社内利用 社内機微情報 の 送信防止 GUI API・Web 連携 各社固有情報 法人ソリューション 公共サービス 共創によるユースケース創出 お 客 さ ま … ③API連携 Open AI GPT-3/3.5 Codex DALL-E GPT-4.0 ChatGPT 文書生成 コード生成 画像生成 社内利用にユースケース創出 業務DX 社 員 /特化型 （NTT版LLM） 軽量・低消費電力 その他LLM PaLM(Google) LLaMA(Meta) Bedrock(amazon) など API連携 API連携 API連携 ✓生成AI機能に利便性/セキュリティなどNTT独自の価値を付加し、ソリューションを提供 ドコモビジネスのコミュニケーションAI 「COTOHA」 2017 2016 2019 2018 2021 2020 2022 CX コンタクトセンター改⾰ EX 働き⽅改⾰ COTOH Aシリーズ 対話、翻訳、⾳声認識、感情分析 シリーズ合計 約800社でご利⽤ 2023〜 COTOH A＋⽣成AI 各種業務の補完・ 完全代替・超越 専⾨性の拡張 (多様な専⽤知識＋汎⽤知識) コミュニケーション⼒の深化 (感情認識、パーソナライズ) ドコモビジネスのコミュニケーションAI 「COTOH A」 ✓ドコモグループのサービスへの組み込みを含むユースケース提供により、課題解決に貢献
29. Demo Azure Communication Service Call Automation + Azure AI Services によるサポートセンター自動化
30. Azure Communication Services Voice & Video Calling E-mail Telephony SMS ＆ Chat
31. Voice & Video Calling E-mail Telephony SMS ＆ Chat ＋ Azure AI Services Azure Communication Services
32. Call Automation + Azure AI Services Users’ mobile device Azure Communication Service Event Grid Subscription Server-side Application Azure OpenAI Service Make a Call (WebRTC, PSTN, SIP) Subscription Trigger ❷ Webhook /api/IncomingCall /api/recordingFileStatus ❸ ❶ Azure AI Service Speech to Text 感情分析 ❹ Returning Answer ❽ APIs Querying Answer ❺ Function Calling ❻ Text to Speech ❼
33. Call Automation + Azure AI Services Azure Communication Service Call Automation Azure OpenAI Service Function Calling (Public Preview) 概要 音声／ビデオ通話にワークフロー（通話の誘導、コントロール）を追加可能なサーバーサイドアプリケーションサ ポート機能 利用シーン Post-Call 分析の為の通話録音 自動対話シナリオへの Teams ユーザーの追加、等 概要 事前定義した JSON スキーマに応じて GPT がプロンプトを元に JSON オブジェクトを自動生成する機能 利用シーン 外部 API へ連携し出力された応答を自然言語でユーザーに応答
34. Call Automation + Azure AI Services ① Function Calling パブリック API にアクセスし、リアルタ イムデータをユーザーに応答 ② Function Calling Graph API にアクセスし、社内データ を元にユーザーへ応答 ③ Call Automation 感情分析結果を元にエージェントに 転送、通話ワークフローを構築
35. Call Automation + Azure AI Services ① Function Calling パブリック API にアクセスし、リアルタイム データをユーザーに応答
36. Call Automation + Azure AI Services ② Function Calling Graph API にアクセスし、社内データを元 にユーザーへ応答
37. Call Automation + Azure AI Services ③ Call Automation 感情分析結果を元にエージェントに転送 通話ワークフローを構築
38. Call Automation + Azure AI Services ⚫ Azure Speech Service によるリアルタイム文字起こし ⚫ Azure Language Service による感情分析 （スコア低：ネガティブ／高：ポジティブ） ⚫ 文脈／感情分析スコアから “エージェントとの会話が必要”と GPT が判断
39. Feedback Loop • TK3214-MS/POC-Ignite2023-CallAutomation: Ignite Japan 2023 でデモを行った Azure Communication Service Call Automation と Azure OpenAI を連携させた POC シナリオです。 (github.com) Follow Issue aka.ms/IgniteM8Demo
40. Ignite Updates Azure Communication Services 自社アプリ Azure OpenAI Service Azure AI Service Virtual Agents Live Agents ローコード開発 Power Platform Azure Logic Apps Azure EventGrid • ビデオ／音声通話 (WebRTC, PSTN) • メッセージング (SMS, Chat, Email) アドバンスメッ セージング (WhatsApp – プレビュー) Azure AI Search Teams経由で Teams ユーザーを呼び出し セルフサービス通話ワークフローを構築 ジョブルーター - GA Azure AI Speech w/ call automation - GA 応答、サマリー生成 ユーザー New capability announced at Ignite
41. Keys to Success NTT Communications ローコード ファースト ビジネス課題クリアを 最優先に定義 リファクト前提で まずカタチに Microsoft SaaS プラットフォーム 高速なサービスライフサイクル サービス化された AI、開発アプローチ ＋ ⚫ モダンアーキテクチャをビジネスに取り入れ、最速最短 でビジネスソリューションをカタチに。 ⚫ 機能拡張／追加を高速で継続し、ビジネス価値を最 大化。 ⚫ Microsoft テクノロジーに留まらず、お客様ビジネスを 理解、最適なソリューションアイデアをディスカッション。 ⚫ コンセプトに留まらず、高速で POC を行う事により納 得が伴う伴走支援。
42. Microsoft の技術サポート Unified Support 1. リアクティブサービス 予期せぬ問題発生を 迅速に解決する 製品サポートエンジニア 2. プロアクティブサービス 問題発生を未然防止し 運用を最適化する クラウドソリューション アーキテクト 3. サービス実施管理 サービスの効果を 最大化する カスタマーサクセス アカウントマネージャー インシデントマネージャー ✓ サポートへの問い合わせ時間/件 数は必要な時にいつでも利用可 能 ✓ 算出金額の一定金額のエンジニア 技術支援 ✓ [オンデマンド評価サービス]や、[サー ビス更新情報提供サービス]なども 必要な時いつでも利用可能 ✓ 担当CSAMがお客様取り組みを 理解し、適切なサービス実施を 管理
43. To go fast, go alone. To go far, go together.
44. すきやねん！ Azure！！
45. © Copyright Microsoft Corporation. All rights reserved.