Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI長期記憶システム構築のための LLMマルチエージェントの取り組み / Awarefy-LL...

AI長期記憶システム構築のための LLMマルチエージェントの取り組み / Awarefy-LLM-Multi-Agent

株式会社Awarefyの開発する AIメンタルパートナー「アウェアファイ」は、認知行動療法やマインドフルネスなど、科学的に根拠のある心理学の理論とAI技術をかけ合わせ、心の健康と成長をサポートするさまざまな機能を提供するスマートフォンアプリです。2023年からAI/LLMによるサービスをプロダクトに本格的に導入して以来、AIの活用の幅を広げてきました。アウェアファイAIは、心理の専門家とともにチューニングを行っていることで独自の価値を創出していますが、フロー構築やモニタリング、ロードバランシングなどの実現にフレームワークを用いず、独自実装していることも特徴です。今回、2024年8月に搭載した「AIの長期記憶」のプロジェクトにおいて構築した、AIエージェントの仕組みを軸に、アウェアファイAIの取り組みを紹介します。

Takahiro Ikeuchi

November 05, 2024
Tweet

More Decks by Takahiro Ikeuchi

Other Decks in Technology

Transcript

  1. アウェアファイのAIを支える技術 AI x 心の専門家 アウェアファイの事業ドメインは「メンタルヘルス」 。信頼性や安全性が求められる領域です。 開発チームに心の専門家(公認心理師、臨床心理士)が在籍し、開発チームとともにAIの振る舞いの設計や定性 評価、チューニングを実施しています。 AI x

    高可用性 アウェアファイのAIは、ユーザーのみなさまの心の健康と成長を支えるためのAIです。必要なときに、素早く、 安定してサービスを提供することが強く求められています。 アウェアファイでは、高可用性を保つための工夫を行い、サービスの安定供給を実現しています。
  2. 天候情報を取得(外部API) 1. プライマリ 生成AIによるコメント生成 2. 失敗した場合、セカンダリ生成AIに処理を委譲 a. DB に結果を書き込み・ユーザーに成功を伝える 3.

    失敗した場合、ユーザーに失敗を伝える a. ※ AI長期記憶についてはより複雑なフローを構築しているため 同サービス内の別の機能の構成で説明しています。 高可用性への取り組み AWS Step Functions を活用し構築
  3. チャット内容の要約 チャットの応答 AIメモリーの生成 速度重視 品質重視 タスク分割+LLM適材適所+HA構成の例 構造安定性重視 OpenAI API GPT-4o

    mini OpenAI API GPT-4o OpenAI API GPT-4o プライマリモデル セカンダリモデル 複数サービス x 複数モデルで フェールソフト 複数サービス x 同一モデルで ロードバランシング LLMごとの特性を活かす (Structured Outputモードを利用) Azure OpenAI Service GPT-4o mini Amazon Bedrock Claude 3.5 Sonnet Azure OpenAI Service GPT-4o
  4. LLMの冗長化 1回の処理に数秒〜十数秒の時間がかかる RPM (requests per minute) TPM (tokens per minute)

    の Limit の考慮 AI機能部分が単一障害点(SPOF)になりがち 例)OpenAI API の 90 days uptime は 99.87 %(11月5日時点) Fail Soft の構成をとるパターン サービスレベルにより、グレードの低いAIで処理を続行できるようにしておく 例)Claude 3 Opus → 処理できない場合 Claude 3 Sonnet を利用 同モデルの冗長化体制をとるパターン 例)Azure OpenAI Service →(処理できない場合)→ OpenAI 公式API を利用 AIが重要な位置を占めるほど、運用課題が大きくなる
  5. Appendix - 1 開発フレームワーク LangChain Dify LangFlow モニタリング・オブザーバビリティ LangSmith Langfuse

    API抽象化・統合 LiteLLM 評価・テスト LangSmith Evaluation Langfuse LLMOpsを支えるツール・サービスたち