AWSでの Difyのアーキテクチャを考えてみた

2025/06/14 JAWS-UGくまもと #16

Transcript

1. 2025/06/14 JAWS-UGくまもと #16 森⽥⼒ AWSでの Difyアーキテクチャを考えてみた
2. ⾃⼰紹介 2 • 名前 ◦ 森⽥ ⼒ • 所属 ◦ クラスメソッド株式会社 ▪ 福岡オフィス所属 ◦ クラウド事業本部 コンサルティング部 • 好きなAWSサービス ◦ AWS Lambda ◦ Amazon Bedrock
3. Difyとは
4. Difyとは 4 • LLMを使ったアプリケーションをローコード/ノーコードで使える オープンソースプラットフォーム → 前提知識なしで利⽤できるため、⽣成AIの業務利⽤を促進できる
5. Difyとは • Amazon Bedrockをはじめ、各種モデルプロバイダーにも対応 5
6. Difyとは • エージェントやナレッジベース機能も搭載 6
7. Difyとは • 作ったアプリケーションは、Webサイト埋め込みやAPIアクセス可能 ◦ MCPサーバとしても利⽤可能 7
8. 触ってみてください 本⽇のイベント情報を与えたアプリケーション 8
9. Difyをはじめるには ⼿軽に試す場合は、SaaS版 https://dify.ai/ • SANDBOX環境であれば無料で利⽤可能 9
10. Difyをはじめるには OSSであるため、 サーバを構築してホスティングすることも可能 構成を気にしないなら docker compose でEC2構築 ワークショップもあります 10
11. Dify のアーキテクチャ
12. Dify のアーキテクチャ 12
13. Dify のアーキテクチャ 13 これをAWSで構成するなら？
14. Dify のアーキテクチャ 14 コンポーネント 詳細 AWSサービス候補 nginx リバースプロキシ パスベースルーティング等を実施 ALB web Next.js アプリケーション コンピュートサービス api Flask アプリケーション Celeryでタスクをキューに登録する コンピュートサービス work apiと同じFlask アプリケーション キューに登録されたタスクを非同期実行 コンピュートサービス sanbox Go 言語 Dify上で記載したコードを安全に実行させる環境 コンピュートサービス plugin deamon Go 言語 v1から登場したカスタム処理を実行させる環境 実行するカスタム処理は保存する必要がある コンピュートサービス cache Redis キャッシュ＆Celeryメッセージブローカー ElastiCache SQS weaviate ベクトルDB Dify上のRAG用途 RDS OpenSearch db PostgreSQL メタデータ管理 RDS
15. コンピュートサービス 15 Lambda vs ECS • Lambda ◦ 実⾏時間の制限やコールドスタートから不採⽤ • ECS ◦ 柔軟な実⾏環境 ◦ 複数コンテナとの連携も容易
16. Dify のアーキテクチャ 16
17. Dify のアーキテクチャ 17 aws sampleで構成例も公開 • CDKで⼀撃で構築可能 • パラメータ指定 ◦ 最⼩構成 ：$50~ ▪ Aurora ACU0 ▪ Fargate Spot ◦ 外部ナレッジベースAPI ▪ Bedrock Knowledge Bases
18. Dify のアーキテクチャ 18 aws sampleで構成例も公開 実運⽤する際に課題あり
19. 課題 19 • ナレッジ作成等の重い処理によりリソース枯渇 ◦ アプリの利⽤ができない • 意図せずアプリがパブリックに公開されてしまう ◦ 情報漏洩のリスク ◦ レピュテーションの低下 これらを極⼒コードの改変なしで実現したい
20. 課題 20 • ナレッジ作成等の重い処理によりリソース枯渇 ◦ アプリの利⽤ができない • 意図せずアプリがパブリックに公開されてしまう ◦ 情報漏洩のリスク ◦ レピュテーションの低下
21. ナレッジ作成等の重い処理によりリソース枯渇 21 • 利⽤パターンごとでリソースを分離 ◦ DBは共通化 • 具体的には ◦ アプリケーション管理者 ◦ アプリケーション利⽤者
22. ナレッジ作成等の重い処理によりリソース枯渇 22 ALBのパスベースルーティングで実現
23. 課題 23 • ナレッジ作成等の重い処理によりリソース枯渇 ◦ アプリの利⽤ができない • 意図せずアプリがパブリックに公開されてしまう ◦ 情報漏洩のリスク ◦ レピュテーションの低下
24. 意図せずアプリがパブリックに公開されてしまう 24 • ALB認証を設定する ◦ Dify全体 or にIdPを設定 Login Logout
25. 意図せずアプリがパブリックに公開されてしまう 25 • WAFで公開アプリのパスを制御する ⼀律で公開アプリをブロックする 特定アプリのみ許可
26. まとめ
27. まとめ 27 • 実際に運⽤していく場合、アプリ‧⽣成AI起因の問題は他にもあります ◦ テナント ◦ ガードレール ◦ 監視 ◦ 認可など • Dify利⽤するなら、まずは、AWSマネージドサービスを検討 ◦ コード‧インフラのメンテナンスから解放 ◦ 最新の⽣成AIを素早く安全にビジネス活⽤