AWS Step Functions と Amazon Bedrock で構築する 可用性の高いAIサービス / Awarefy-AI-AWS-Bedrock-Step-Functions

2024年7月10日に開催された「ヘルスケアスタートアップの最新生成 AI 活用事例祭り【HCLS Startup Day #6 ウェビナー】」の登壇で利用したスライドです。

https://aws-startup-lofts.com/apj/loft/tokyo/event/047593b1-16f5-44ce-8289-c2e365a7d8b2

Transcript

1. AWS Step Functions と Amazon Bedrock で構築する 可用性の高いAIサービス 株式会社Awarefy 取締役CTO 池内 孝啓 〜 ヘルスケアスタートアップのAIに対する付加価値との向き合いかた 〜 AWS Startup Loft Tokyo
2. Agenda アウェアファイについて - 自社・自己紹介 1. AI x AWS・Amazon Bedrock 活用事例 2. AI x Amazon Aurora PostgreSQL a. AI x AWS Step Functions b. 生成AIを活用して事業価値を生みだすには 3.
3. 今回お話しすること AWS を活用して実装した2つのAI機能の裏側についてお話しします AIレコメンド メンタルヘルスや生活のお悩みに対する提案を行う推薦システム 採用サービス Amazon Aurora PostgreSQL 要素技術 : Embedding, RAG, pgvector AIコーチング 用意されたシナリオに基づいて進行するワンランク上の対話システム 採用サービス : Bedrock, AWS Step Functions 要素技術 : メタプロンプト
4. 今回取り扱わないこと LLM、RAG、Embedding といった要素技術についての解説は割愛いたします。 AWSの各種サービスの基本的な機能紹介については割愛いたします。
5. アウェアファイについて 01
6. 心の領域 AI は、 × の インパクト・スタートアップです
11. 池内 孝啓 ITベンチャー数社を経て、2011年3月に株式会社ALBERTへ入社。 2015年に執行役員として東証マザーズへのIPOを経験。 Takahiro Ikeuchi 取締役CTO 2019年より現職。AIメンタルパートナー「アウェアファイ」の開 発・事業責任者として、2020年5月にプロダクトをローンチ。2023 年4月、 「アウェアファイAI構想」を立ち上げ。 AWS利用歴13年。好きなサービスは Amazon Aurora。 @iktakahiro
12. AI x AWS・Amazon Bedrock 活用事例 02
13. 単一のAPIをつうじてさまざまな生成AIモデルを利用可能になるサービス アウェアファイでは、Bedrock 上の Anthropic 社のモデルを利用 Claude 3 Opus, Sonnet / Claude 3.5 Sonnet Amazon Bedrock アウェアファイでは Anthropic 社のモデルを利用 https://aws.amazon.com/jp/bedrock/
14. ネットワークが AWS 内で完結。セキュリティや可用性の面での要件を満たす。 なぜ Bedrock か
15. Amazon Bedrock 利用コード例（Go）
16. AI x Amazon Aurora PostgreSQL ー Vector サーチを利用した推薦システム ー
17. AIレコメンドとは ユーザーのお悩み（自由記述・定性情報）を元に、 アプリに搭載されている機能を推薦するシステム
18. AIレコメンドの狙い 検索性に対する課題 アウェアファイにはアプリ内に 300種類以上の機能・コンテンツを搭載している ユーザーがすべての機能やコンテンツを把握することはできない ユーザーが検索ワードを知っているとは限らない 自分にあった機能なのか、なぜこのコンテンツがいいのか分からない 信頼性に対する課題
19. AIレコメンドの課題と解決策 検索性に対する課題 信頼性に対する課題 Embedding x Vector 検索 LLM+RAGによる推薦文生成
20. AIレコメンド構成図（簡略図）
22. AIレコメンドで工夫した点 独自データベースの構築 マッチングに利用する推薦DBは完全独自のデータベース 社内の専門化による悩みの類型化とマッチング対象の機能選定を実施 悩みと機能のマッチングの他、推薦文を作成するためのRAGのデータソースとしても利用 Vector マッチングには、PostgreSQL 拡張の pgvector を利用 これにより、サービスのメインDBである Aurora PostgreSQL をそのまま利用可能とした Aurora PostgreSQLの活用
23. AI x AWS Step Functions ー 管理可能・高可用性のあるAIエージェント構築 ー
24. AIコーチングとは コーチングフレームワークに沿った対話シナリオを 実行することで円滑なコーチングを実現
25. AIコーチングの狙い 従来型AIチャットに対する課題 コーチングは、テーマ設定 → ありたい姿の確認 → 現状の把握 → ... のように、会話の深度によってステップが 進行していく LLMに対する単純なプロンプト指示では、このステップを管理しながら対話を進行することは難しい 生成AIの実行には数秒〜十数秒かかることも 前処理や後処理など、ステップが多段階に渡る 状態の途中保存やリトライ性を考慮しながら、システムを構築、運用する必要がある AI機能の可用性に対する課題
26. AIコーチングの課題と解決策 従来型AIチャットに対する課題 AI機能の可用性に対する課題 メタプロンプト （AIエージェント） AWS Step Functions
27. Step Functions を利用したAIサービス構成図（簡略図）
28. State Machine 図 天候情報を取得（外部API） 1. プライマリ 生成AIによるコメント生成 2. 失敗した場合、セカンダリ生成AIに処理を委譲 a. DB に結果を書き込み・ユーザーに成功を伝える 3. 失敗した場合、ユーザーに失敗を伝える a. ※ AIコーチングについてはより複雑なフローを構築しているため 別の機能（AI Daily Insights）の構成で説明しています。
29. 生成AIの冗長化はなぜ必要か 生成AIは、サービスの可用性について以下の点を考慮する必要がある 1回の処理に数秒〜十数秒の時間がかかる レートリミットに「トークン」の概念が加わっているのが、非生成AI系サービスとの違い RPM (requests per minute) TPM (tokens per minute) など Fail Soft の考えを持ち込む サービスレベルにより、グレードの低いAIで処理を続行できるようにしておく 例）Claude 3 Opus → 処理できない場合 Claude 3 Sonnet を利用 マルチクラウドならぬ マルチ生成AI 体制を構成しておく 例）Bedrock Claude 3 Opus → 処理できない場合 Anthropic Claude 3 Opus を利用
30. AIコーチングで工夫した点 メタプロンプトシステム（≒ AIエージェント）の実装 マッチングに利用する推薦DBは完全独自のデータベース 社内の専門化による悩みの類型化とマッチング対象の機能選定を実施 悩みと機能のマッチングの他、推薦文を作成するためのRAGのデータソースとしても利用 アウェアファイのAI機能は、すべて Step Functions 上のワークフローとして動作している LangChain、Dify などのフレームワークを利用せず、独自実装 AWS Step Functions の活用
32. 生成AIを活用して事業価値を生みだすには 03
33. LLM活用サービスの優位性や独自性について 一般に公開されているLLMを使うことに競争優位性はあるのか？ LLMの単純なプロンプトから成り立つ機能・サービスの場合、模倣可能性は非常に高い LLMサービスの周辺機能を追加したラッパーツール・サービスの場合、本家に追い越される可能性が高い
34. コアとなる独自のユーザー体験（UVP）と 独自のデータ活用のみが優位性を生みだす
35. AIで事業価値を 生みだす 強化するには UVP（Unique Value Proposition）から逃げない ユーザーは何に対して価値を感じ、料金を支払っているのか？ それは、解決するべき課題なのか？ ここにしかない独自のデータを活用できているか？ 独自のデータが継続的に蓄積するユーザー体験を提供できているか？ 生成AIの出力データではなく入力データを重視する
37. すべての心の問題に、 アウェアファイを