Tweet
Tweet

Slide 1

Slide 1 text

AWS Step Functions と Amazon Bedrock で構築する 可用性の高いAIサービス 株式会社Awarefy 取締役CTO 池内 孝啓 〜 ヘルスケアスタートアップのAIに対する付加価値との向き合いかた 〜 AWS Startup Loft Tokyo

Slide 2

Slide 2 text

Agenda アウェアファイについて - 自社・自己紹介 1. AI x AWS・Amazon Bedrock 活用事例 2. AI x Amazon Aurora PostgreSQL a. AI x AWS Step Functions b. 生成AIを活用して事業価値を生みだすには 3.

Slide 3

Slide 3 text

今回お話しすること AWS を活用して実装した2つのAI機能の裏側についてお話しします AIレコメンド メンタルヘルスや生活のお悩みに対する提案を行う推薦システム 採用サービス Amazon Aurora PostgreSQL 要素技術 : Embedding, RAG, pgvector AIコーチング 用意されたシナリオに基づいて進行するワンランク上の対話システム 採用サービス : Bedrock, AWS Step Functions 要素技術 : メタプロンプト

Slide 4

Slide 4 text

今回取り扱わないこと LLM、RAG、Embedding といった要素技術についての解説は割愛いたします。 AWSの各種サービスの基本的な機能紹介については割愛いたします。

Slide 5

Slide 5 text

アウェアファイについて 01

Slide 6

Slide 6 text

心の領域 AI は、 × の インパクト・スタートアップです

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

No content

Slide 10

Slide 10 text

No content

Slide 11

Slide 11 text

池内 孝啓 ITベンチャー数社を経て、2011年3月に株式会社ALBERTへ入社。 2015年に執行役員として東証マザーズへのIPOを経験。 Takahiro Ikeuchi 取締役CTO 2019年より現職。AIメンタルパートナー「アウェアファイ」の開 発・事業責任者として、2020年5月にプロダクトをローンチ。2023 年4月、 「アウェアファイAI構想」を立ち上げ。 AWS利用歴13年。好きなサービスは Amazon Aurora。 @iktakahiro

Slide 12

Slide 12 text

AI x AWS・Amazon Bedrock 活用事例 02

Slide 13

Slide 13 text

単一のAPIをつうじてさまざまな生成AIモデルを利用可能になるサービス アウェアファイでは、Bedrock 上の Anthropic 社のモデルを利用 Claude 3 Opus, Sonnet / Claude 3.5 Sonnet Amazon Bedrock アウェアファイでは Anthropic 社のモデルを利用 https://aws.amazon.com/jp/bedrock/

Slide 14

Slide 14 text

ネットワークが AWS 内で完結。セキュリティや可用性の面での要件を満たす。 なぜ Bedrock か

Slide 15

Slide 15 text

Amazon Bedrock 利用コード例（Go）

Slide 16

Slide 16 text

AI x Amazon Aurora PostgreSQL ー Vector サーチを利用した推薦システム ー

Slide 17

Slide 17 text

AIレコメンドとは ユーザーのお悩み（自由記述・定性情報）を元に、 アプリに搭載されている機能を推薦するシステム

Slide 18

Slide 18 text

AIレコメンドの狙い 検索性に対する課題 アウェアファイにはアプリ内に 300種類以上の機能・コンテンツを搭載している ユーザーがすべての機能やコンテンツを把握することはできない ユーザーが検索ワードを知っているとは限らない 自分にあった機能なのか、なぜこのコンテンツがいいのか分からない 信頼性に対する課題

Slide 19

Slide 19 text

AIレコメンドの課題と解決策 検索性に対する課題 信頼性に対する課題 Embedding x Vector 検索 LLM+RAGによる推薦文生成

Slide 20

Slide 20 text

AIレコメンド構成図（簡略図）

Slide 21

Slide 21 text

No content

Slide 22

Slide 22 text

AIレコメンドで工夫した点 独自データベースの構築 マッチングに利用する推薦DBは完全独自のデータベース 社内の専門化による悩みの類型化とマッチング対象の機能選定を実施 悩みと機能のマッチングの他、推薦文を作成するためのRAGのデータソースとしても利用 Vector マッチングには、PostgreSQL 拡張の pgvector を利用 これにより、サービスのメインDBである Aurora PostgreSQL をそのまま利用可能とした Aurora PostgreSQLの活用

Slide 23

Slide 23 text

AI x AWS Step Functions ー 管理可能・高可用性のあるAIエージェント構築 ー

Slide 24

Slide 24 text

AIコーチングとは コーチングフレームワークに沿った対話シナリオを 実行することで円滑なコーチングを実現

Slide 25

Slide 25 text

AIコーチングの狙い 従来型AIチャットに対する課題 コーチングは、テーマ設定 → ありたい姿の確認 → 現状の把握 → ... のように、会話の深度によってステップが 進行していく LLMに対する単純なプロンプト指示では、このステップを管理しながら対話を進行することは難しい 生成AIの実行には数秒〜十数秒かかることも 前処理や後処理など、ステップが多段階に渡る 状態の途中保存やリトライ性を考慮しながら、システムを構築、運用する必要がある AI機能の可用性に対する課題

Slide 26

Slide 26 text

AIコーチングの課題と解決策 従来型AIチャットに対する課題 AI機能の可用性に対する課題 メタプロンプト （AIエージェント） AWS Step Functions

Slide 27

Slide 27 text

Step Functions を利用したAIサービス構成図（簡略図）

Slide 28

Slide 28 text

State Machine 図 天候情報を取得（外部API） 1. プライマリ 生成AIによるコメント生成 2. 失敗した場合、セカンダリ生成AIに処理を委譲 a. DB に結果を書き込み・ユーザーに成功を伝える 3. 失敗した場合、ユーザーに失敗を伝える a. ※ AIコーチングについてはより複雑なフローを構築しているため 別の機能（AI Daily Insights）の構成で説明しています。

Slide 29

Slide 29 text

生成AIの冗長化はなぜ必要か 生成AIは、サービスの可用性について以下の点を考慮する必要がある 1回の処理に数秒〜十数秒の時間がかかる レートリミットに「トークン」の概念が加わっているのが、非生成AI系サービスとの違い RPM (requests per minute) TPM (tokens per minute) など Fail Soft の考えを持ち込む サービスレベルにより、グレードの低いAIで処理を続行できるようにしておく 例）Claude 3 Opus → 処理できない場合 Claude 3 Sonnet を利用 マルチクラウドならぬ マルチ生成AI 体制を構成しておく 例）Bedrock Claude 3 Opus → 処理できない場合 Anthropic Claude 3 Opus を利用

Slide 30

Slide 30 text

AIコーチングで工夫した点 メタプロンプトシステム（≒ AIエージェント）の実装 マッチングに利用する推薦DBは完全独自のデータベース 社内の専門化による悩みの類型化とマッチング対象の機能選定を実施 悩みと機能のマッチングの他、推薦文を作成するためのRAGのデータソースとしても利用 アウェアファイのAI機能は、すべて Step Functions 上のワークフローとして動作している LangChain、Dify などのフレームワークを利用せず、独自実装 AWS Step Functions の活用

Slide 31

Slide 31 text

No content

Slide 32

Slide 32 text

生成AIを活用して事業価値を生みだすには 03

Slide 33

Slide 33 text

LLM活用サービスの優位性や独自性について 一般に公開されているLLMを使うことに競争優位性はあるのか？ LLMの単純なプロンプトから成り立つ機能・サービスの場合、模倣可能性は非常に高い LLMサービスの周辺機能を追加したラッパーツール・サービスの場合、本家に追い越される可能性が高い

Slide 34

Slide 34 text

コアとなる独自のユーザー体験（UVP）と 独自のデータ活用のみが優位性を生みだす

Slide 35

Slide 35 text

AIで事業価値を 生みだす 強化するには UVP（Unique Value Proposition）から逃げない ユーザーは何に対して価値を感じ、料金を支払っているのか？ それは、解決するべき課題なのか？ ここにしかない独自のデータを活用できているか？ 独自のデータが継続的に蓄積するユーザー体験を提供できているか？ 生成AIの出力データではなく入力データを重視する

Slide 36

Slide 36 text

No content

Slide 37

Slide 37 text

すべての心の問題に、 アウェアファイを