Slide 1

Slide 1 text

© LayerX Inc. Ai Workforceを支える技術 2024/08/06 篠塚 史弥 LayerX AI-UX Night「次世代のユーザー体験と現在地」

Slide 2

Slide 2 text

2 Confidential © 2024 LayerX Inc. 篠塚 史弥 LayerX AI・LLM事業部プロダクト開発チームEM プロダクト開発のリード、開発チームのマネジメントを行う傍ら、 LLM PoCプロジェクトのPMや顧客へのプロダクト導入の推進を担う 元FiNC Technologies, CTO X: @shinofumijp

Slide 3

Slide 3 text

© LayerX Inc. 3 今日話すこと Ai Workforceの実装について話します!

Slide 4

Slide 4 text

© LayerX Inc. 4 Ai Workforceの概要 AIワークフロー構築 AIワークフロー実行 AIワークフロー結果 レビュー・修正 AIワークフロー改善

Slide 5

Slide 5 text

AI-UXを支える技術

Slide 6

Slide 6 text

© LayerX Inc. 6 インフラ構成 (全体) ● Azure上にアプリケーションを構築 ● SPA+APIサーバー+非同期処理 Workerの標準的なWebアプリケーショ ン構成 ● APIサーバーと非同期処理Workerの間 のコミュニケーションはAzure Queue Storageを利用 ● AIソリューションにはAzure OpenAI Service, Azure AI Document Intelligence, Azure AI Searchを 利用 Azure Container Apps Azure Container Apps Azure Application Gateway Azure Cosmos DB Azure OpenAI Service Azure AI Document Intelligence Azure AI Search Azure Blob Storage Azure Queue Storage SPA APIサーバー 非同期処理Worker App Service

Slide 7

Slide 7 text

© LayerX Inc. 7 Azure Container Apps App Service Azure Container Apps Azure Application Gateway Azure Cosmos DB Azure OpenAI Service Azure AI Document Intelligence Azure AI Search Azure Blob Storage Azure Queue Storage SPA APIサーバー アプリケーションワークロード と利用技術 ● フロントエンドはApp Service、APIサー バー・非同期処理Workerのワークロードは Azure Container Apps ● フロントエンドはTypeScript(React)、 APIサーバーはPython(FastAPI)、非同期 処理WorkerはPython ○ ワークフローエンジンは自前実装 ● Azure OpenAI Service, Azure AI Document Intelligenceなど時間がかか る処理はWorkerを介して非同期的に実行 非同期処理Worker

Slide 8

Slide 8 text

AI-UXを支える機能事例の紹介

Slide 9

Slide 9 text

© LayerX Inc. 9 AIワークフロー結果のレビュー・修正機能 レビュー機能はAI-UXの根幹 - LLM処理の精度は100%にはならない - 人間が業務を遂行する上で「間違いがない」出力を得たい - 人間の手によって精度の不足を補完する必要がある 人間がAIの間違いをすぐに見つけられ 容易に修正できる体験が重要

Slide 10

Slide 10 text

© LayerX Inc. 10 抽出元のページ をクリック 参照元をハイライト ※出典) 3M. (2024). 3M 2023 Annual Report. U.S. Securities and Exchange Commission. https://www.sec.gov/Archives/edgar/data/66740/000130817924000309/mmm4298631-ars.pdf

Slide 11

Slide 11 text

© LayerX Inc. 11 参照元ハイライト機能の実装 ①Azure AI Document IntelligenceでOCR 処理をして、テキストの座標を取得 ②LLM処理で参照元となるテキスト情報を取得 ③①と②の結果からLougeスコアでマッチするもの を判定 LLM処理結果に参照元の座標情報を付与する ④フロントで座標情報に基づきハイライト Azure AI Document Intelligence Azure OpenAI Service フロントApp ドキュメント ① ② ③ ④

Slide 12

Slide 12 text

© LayerX Inc. 12 AI-UXはデザインとソフトウェアの総合格闘技戦 AI-UXは「AI精度」「プロダクト体験」「ソフトウェアエンジニアリング」によって支えられる - AI精度とプロダクト機能は不可分 - AI精度もタスク設計に合わせた評価指標が重要 - AI精度を補うためのプロダクトデザインとそれを実現するためのエンジニアリング

Slide 13

Slide 13 text

© LayerX Inc. 13 AI-UX向上のための今後の展望 ①LLMネイティブな体験・UIの追求 ②AI精度の継続的な改善のための監視基盤の構築 ③AI精度とプロダクト体験をより統合したソフトウェア開発