Upgrade to Pro — share decks privately, control downloads, hide ads and more …

生成AI と Microsoft Power Apps を活用したとにかく早く PoC を回す環境の検討

生成AI と Microsoft Power Apps を活用したとにかく早く PoC を回す環境の検討

このセッションでは、生成AI と Microsoft Power Apps の組み合わせによる、迅速な PoC(Proof of Concept)の実施方法について試してみた結果を解説します。
PoC は、製品やサービスの有効性を検証するために行われますが、PoC の準備にもある程度リソースや時間がかかる課題があります。しかし、Microsoft Power Apps によって検証用のアプリを素早く開発、修正をしたり、生成AI も活用することで、短時間で高品質なテストデータを自動生成するような事も実現出来ます。
前回の Softbank TechNight #12 でお話しした「Azure OpenAI を活用してエンタープライズ向けのデータ活用基盤を作ってみる」の続編としてお話しします。

向山 裕一朗
ソフトバンク株式会社

SoftBank Tech Night #13 SoftBank World Special
https://sbtechnight.connpass.com/event/295591/
2023/10/04(水) 18:10 〜 20:10
ザ・プリンスパークタワー東京 SoftBank World 2023の会場内
で講演した資料です

SoftBank Tech Night

October 17, 2023
Tweet

More Decks by SoftBank Tech Night

Other Decks in Technology

Transcript

  1. 2023-7-28 SoftBank Tech Night #12 からの続き
    ⽣成 AI と Microsoft Power Apps を活⽤した
    とにかく早く PoC を回す環境の検討
    ソフトバンク 株式会社
    向⼭ 裕⼀朗

    View full-size slide

  2. Agenda
    131
    1. 取り組んだ背景と思惑
    2. Power Apps とは
    3. Power Apps × ⽣成 AI の使い⽅
    4. 完成物
    5. 今後考えている事

    View full-size slide

  3. 向⼭ 裕⼀朗
    m u k a i y a m a y u i c h i r o
    ⾃⼰紹介
    132
    元々は法⼈向けの
    営業職
    取 引 先 の エ ン ジ ニ ア さ ん に
    ⾊ 々 教 え て 貰 う ( 感 謝 )
    副業制度
    週末エンジニア
    W e b / ス マ ー ト フ ォ ン
    ア プ リ ケ ー シ ョ ン や
    ブ ロ ッ ク チ ェ ー ン e t c …
    挙⼿制異動制度
    仕事もエンジニア
    ソリューションアーキテクト
    + W e b ア プ リ ケ ー シ ョ ン
    6年 +3年 2年

    View full-size slide

  4. 133
    取り組んだ背景と思惑

    View full-size slide

  5. 今年 7 ⽉の発表時と⽐較して、まだまだ勢いは衰えない
    取り組んだ理由と背景
    134
    2023年 7⽉ 28⽇ SoftBank Tech Night #12 での私のスライドより https://sbtechnight.connpass.com/event/288701/
    Generative AI の進歩・新規ユースケースの登場が早すぎて
    ユースケース毎に開発していると間に合わない
    アイデア は社内、社外から
    どんどん⾶んでくる
    どんどん試したい
    対応・開発相談が沢⼭⼊る
    どんどん追いつかなくなる
    基盤の負荷も上がる
    サーバ負荷
    必要な
    開発リソース

    View full-size slide

  6. 今こそ ローコード の出番?
    135
    +
    ⽣成 AI ローコード? RPA?
    or

    View full-size slide

  7. 今こそローコードの出番?
    136
    +
    ⽣成 AI ローコード? RPA?
    or
    今回

    View full-size slide

  8. • 多くの アイデア ・ 要望 ・ 提案 が⽇々⼊る
    • しかし ⽣成 AI 活⽤は まだまだ⼿探り
    • 使いものになるか? 適切か? トライ & エラー を回すべき
    今回 ローコード を使うモチベーション
    137
    もっと早く動くものを作りたい
    展開は楽にやりたい

    View full-size slide

  9. ユースケース毎の Azure OpenAPI 互換の Plugin を構築
    7 ⽉当⽅発表時の内容より ‒ 現状
    138
    2023年 7月 28日 SoftBank Tech Night #12 での私のスライドより https://sbtechnight.connpass.com/event/288701/
    User
    Chat UI
    使いたい機能を選ぶと
    対象の APIに接続されるもの
    Custom FAQ Plugin
    ユースケース A のテンプレートアプリケーション
    画像解析系 Plugin
    ユースケース B のテンプレートアプリケーション
    素の Azure OpenAI
    GPT3.5
    SaaS 連携 Custom FAQ Plugin
    Box, Google Drive

    View full-size slide

  10. 実験や検証に適⽤し さらに ⾼サイクル で回したい
    期待する姿
    139
    素の Azure OpenAI
    Custom Plugin A
    Custom Plugin B
    Custom Plugin C
    Power Apps Power
    Automate
    実験 1
    基本
    Power Apps Power
    Automate
    実験 2

    View full-size slide

  11. 140
    Power Apps とは
    今回利⽤する

    View full-size slide

  12. 今回使うものは 2 つ
    141
    ⽤意されている パーツ を連結すると
    ほぼ ノーコード で データ を処理、連携 できる
    ⽤意されているパーツを組みあわせて
    任意の UI を開発 することができる
    Power Automate
    Power Apps

    View full-size slide

  13. 142
    Power Apps × ⽣成 AI の使い⽅

    View full-size slide

  14. Power Apps での選択肢
    143
    A: Power Virtual Agents との連携
    インテリジェントな会話型ボットを開発可能な Power Virtual Agents と連携
    Power Apps 組み込みの チャットボットパーツで簡単実装
    B: Power Automate 組み込みの “HTTP” パーツ での連携
    Power Automate で 構築済みの API と連携
    API からの返り値をもとに ローコード で柔軟に UI 開発

    View full-size slide

  15. 接続フローはシンプル
    144
    Power
    Automate
    Power
    Apps
    Azure OpenAI
    or
    互換 AI API
    ① ユーザの⼊⼒値を渡す ② API へリクエスト
    ④ レスポンスを加⼯して返却 ③ レスポンス

    View full-size slide

  16. Label
    テキストの表⽰
    Input
    ⼊⼒フォーム
    Button
    送信/リセットボタン
    Gallery
    チャット表⽰⽤テーブル
    利⽤した Power Apps のパーツ
    145

    View full-size slide

  17. ステップから HTTP 選択
    Power Automate の実装部分
    146
    リクエスト情報を作成

    View full-size slide

  18. Power Automate の実装部分
    147
    JSON 解析 à 値部分を抽出 値を UI 側へ返却
    “作成”部分で設定する値
    variables(‘RESPONSE’)[0].message.content
    “JSON の解析” のスキーマは
    実際のレスポンスを張り付けて「サンプルから作成」

    View full-size slide

  19. 148
    完成物

    View full-size slide

  20. 完成物(サンプル)
    149

    View full-size slide

  21. 150
    今後考えている事

    View full-size slide

  22. プラグイン を ユーザ が理解して
    使いこなす必要が出てくる
    プラグイン ごとに適切な プロンプト を
    意識する必要が出てくる
    活⽤する プラグイン が増える à UX は落ちる?
    151

    View full-size slide

  23. これまで作ってきた
    互換 API のプラグインを活⽤ à AI が AI を⾃動的に活⽤
    Semantic Kernel 等の活⽤
    152
    素の Azure OpenAI
    Custom Plugin A
    Custom Plugin B
    Custom Plugin C
    Power Apps Power
    Automate
    実験 1
    基本
    Power Apps Power
    Automate
    実験 2
    !
    "
    #
    $
    %
    &
    "
    '
    "
    https://github.com/microsoft/semantic-kernel

    View full-size slide