生成AI と Microsoft Power Apps を活用したとにかく早く PoC を回す環境の検討

このセッションでは、生成AI と Microsoft Power Apps の組み合わせによる、迅速な PoC（Proof of Concept）の実施方法について試してみた結果を解説します。
PoC は、製品やサービスの有効性を検証するために行われますが、PoC の準備にもある程度リソースや時間がかかる課題があります。しかし、Microsoft Power Apps によって検証用のアプリを素早く開発、修正をしたり、生成AI も活用することで、短時間で高品質なテストデータを自動生成するような事も実現出来ます。
前回の Softbank TechNight #12 でお話しした「Azure OpenAI を活用してエンタープライズ向けのデータ活用基盤を作ってみる」の続編としてお話しします。

向山 裕一朗
ソフトバンク株式会社

SoftBank Tech Night #13 SoftBank World Special
https://sbtechnight.connpass.com/event/295591/
2023/10/04(水) 18:10 〜 20:10
ザ・プリンスパークタワー東京 SoftBank World 2023の会場内
で講演した資料です

Transcript

1. 2023-7-28 SoftBank Tech Night #12 からの続き ⽣成 AI と Microsoft Power Apps を活⽤した とにかく早く PoC を回す環境の検討 ソフトバンク 株式会社 向⼭ 裕⼀朗
2. Agenda 131 1. 取り組んだ背景と思惑 2. Power Apps とは 3. Power Apps × ⽣成 AI の使い⽅ 4. 完成物 5. 今後考えている事
3. 向⼭ 裕⼀朗 m u k a i y a m a y u i c h i r o ⾃⼰紹介 132 元々は法⼈向けの 営業職 取 引 先 の エ ン ジ ニ ア さ ん に ⾊ 々 教 え て 貰 う （ 感 謝 ） 副業制度 週末エンジニア W e b / ス マ ー ト フ ォ ン ア プ リ ケ ー シ ョ ン や ブ ロ ッ ク チ ェ ー ン e t c … 挙⼿制異動制度 仕事もエンジニア ソリューションアーキテクト + W e b ア プ リ ケ ー シ ョ ン 6年 +3年 2年
4. 133 取り組んだ背景と思惑
5. 今年 7 ⽉の発表時と⽐較して、まだまだ勢いは衰えない 取り組んだ理由と背景 134 2023年 7⽉ 28⽇ SoftBank Tech Night #12 での私のスライドより https://sbtechnight.connpass.com/event/288701/ Generative AI の進歩・新規ユースケースの登場が早すぎて ユースケース毎に開発していると間に合わない アイデア は社内、社外から どんどん⾶んでくる どんどん試したい 対応・開発相談が沢⼭⼊る どんどん追いつかなくなる 基盤の負荷も上がる サーバ負荷 必要な 開発リソース
6. 今こそ ローコード の出番？ 135 + ⽣成 AI ローコード？ RPA？ or
7. 今こそローコードの出番？ 136 + ⽣成 AI ローコード？ RPA？ or 今回
8. • 多くの アイデア ・ 要望 ・ 提案 が⽇々⼊る • しかし ⽣成 AI 活⽤は まだまだ⼿探り • 使いものになるか？ 適切か？ トライ ＆ エラー を回すべき 今回 ローコード を使うモチベーション 137 もっと早く動くものを作りたい 展開は楽にやりたい
9. ユースケース毎の Azure OpenAPI 互換の Plugin を構築 7 ⽉当⽅発表時の内容より ‒ 現状 138 2023年 7月 28日 SoftBank Tech Night #12 での私のスライドより https://sbtechnight.connpass.com/event/288701/ User Chat UI 使いたい機能を選ぶと 対象の APIに接続されるもの Custom FAQ Plugin ユースケース A のテンプレートアプリケーション 画像解析系 Plugin ユースケース B のテンプレートアプリケーション 素の Azure OpenAI GPT3.5 SaaS 連携 Custom FAQ Plugin Box, Google Drive
10. 実験や検証に適⽤し さらに ⾼サイクル で回したい 期待する姿 139 素の Azure OpenAI Custom Plugin A Custom Plugin B Custom Plugin C Power Apps Power Automate 実験 1 基本 Power Apps Power Automate 実験 2
11. 140 Power Apps とは 今回利⽤する
12. 今回使うものは 2 つ 141 ⽤意されている パーツ を連結すると ほぼ ノーコード で データ を処理、連携 できる ⽤意されているパーツを組みあわせて 任意の UI を開発 することができる Power Automate Power Apps
13. 142 Power Apps × ⽣成 AI の使い⽅
14. Power Apps での選択肢 143 A: Power Virtual Agents との連携 インテリジェントな会話型ボットを開発可能な Power Virtual Agents と連携 Power Apps 組み込みの チャットボットパーツで簡単実装 B: Power Automate 組み込みの “HTTP” パーツ での連携 Power Automate で 構築済みの API と連携 API からの返り値をもとに ローコード で柔軟に UI 開発
15. 接続フローはシンプル 144 Power Automate Power Apps Azure OpenAI or 互換 AI API ① ユーザの⼊⼒値を渡す ② API へリクエスト ④ レスポンスを加⼯して返却 ③ レスポンス
16. Label テキストの表⽰ Input ⼊⼒フォーム Button 送信/リセットボタン Gallery チャット表⽰⽤テーブル 利⽤した Power Apps のパーツ 145
17. ステップから HTTP 選択 Power Automate の実装部分 146 リクエスト情報を作成
18. Power Automate の実装部分 147 JSON 解析 à 値部分を抽出 値を UI 側へ返却 “作成”部分で設定する値 variables(‘RESPONSE’)[0].message.content “JSON の解析” のスキーマは 実際のレスポンスを張り付けて「サンプルから作成」
19. 148 完成物
20. 完成物（サンプル） 149
21. 150 今後考えている事
22. プラグイン を ユーザ が理解して 使いこなす必要が出てくる プラグイン ごとに適切な プロンプト を 意識する必要が出てくる 活⽤する プラグイン が増える à UX は落ちる？ 151
23. これまで作ってきた 互換 API のプラグインを活⽤ à AI が AI を⾃動的に活⽤ Semantic Kernel 等の活⽤ 152 素の Azure OpenAI Custom Plugin A Custom Plugin B Custom Plugin C Power Apps Power Automate 実験 1 基本 Power Apps Power Automate 実験 2 ! " # $ % & " ' " https://github.com/microsoft/semantic-kernel