Dify で AWS を使い倒す！

Bedrock Night オンライン
〜AWSで生成AIアプリ開発！ 最新ナレッジ共有〜

Transcript

1. Bedrock Night オンライン 〜AWSで⽣成AIアプリ開発！ 最新ナレッジ共有〜 森⽥⼒ Dify で AWS を使い倒す！
2. ⾃⼰紹介 2 • 名前 ◦ 森⽥ ⼒ • 所属 ◦ クラスメソッド株式会社 ▪ 福岡オフィス所属 ◦ クラウド事業本部 コンサルティング部 • 好きなAWSサービス ◦ Amazon Bedrock！ ◦ AWS Lambda re:Invent 初参加してきました！
3. 本⽇のテーマ：Dify
4. Difyとは 4 ⽣成AIアプリケーションを開発するプラットフォーム • ノーコードで作成 ◦ アプリケーション ◦ ワークフロー ◦ APIとしての呼び出しも可能 • OSS • 様々なLLMの利⽤（Amazon Bedrock, Azure, Google Cloud） • 先⽇ v1.0.0 をリリース 🎉🎉
5. DifyをAWSで使い倒すまで
6. 使い倒すまでの道のり🚶 6 1. ホスティング 2. 機能拡張 3. ガバナンス
7. ホスティング
8. Difyを使うための選択肢 8 • Dify Cloud • Self Host
9. Dify Cloud 9 メリット • すぐにDifyの利⽤可能 • ホスティングと⽐較して安価 デメリット • ベクトルDB等の制限あり • API呼び出し時のタイムアウト60秒 • セキュリティ等のカスタマイズ不可
10. Self Host 10 Self Hostするため、カスタマイズが可能 • ベクトルDB • セキュリティ, タイムアウトなど
11. Self Host 11 Self Hostするため、カスタマイズが可能 • ベクトルDB • セキュリティ, タイムアウトなど → AWSで Self Host するなら...？
12. AWSでのSelf Host 12 1. EC2 • Docker Compose で容易に構築可能 • ベクトルDB等もEC2内 デメリット • インスタンスの管理が必要 • 負荷によって、⾼性能のインスタンスが必要なるケースもある
13. ワークショップもあります 13 Dify での生成 AI アプリケーション構築ワークショップ
14. 公式AMIの利⽤ 14 • カスタムブランディング ◦ ⾃社サービスとして展開可能
15. AWSでのSelf Host 15 2. EKS, Aurora, ElastiCache 構成 • AWSマネージドサービスの利⽤ • ⽐較的⼤規模なトラフィックでも捌ける • DBサービスのコスト最適化 ◦ ElastiCache for Valkey ◦ Aurora Serverless 0ACU • CDKの提供 ◦ aws-sample ◦ Dify公式 引⽤: solution-for-deploying-dify-on-aws
16. AWSでのSelf Host 16 3. ECS, Aurora, ElastiCache 構成 • AWSマネージドサービスの利⽤ • ECSのため学習コストやメンテナンスコストが⼩ • CDKの提供 ◦ aws-sample 引⽤：dify-self-hosted-on-aws
17. ここまでのまとめ 17 Dify Cloud EC2 EKS ECS 学習コスト 無 小 大 中 メンテナンス 無 大 中 小 最低利用費 極小 小 大 中 カスタマイズ ❌ ✅ ✅ ✅
18. 機能拡張
19. 機能拡張 〜ナレッジベース〜 19 Dify標準ナレッジベースの課題 • チャンキング戦略不可 ◦ 識別⼦での分割のみ • PDF内の図表からデータを読み取り不可 ◦ 事前にMermaid変換などが必要
20. 機能拡張 〜ナレッジベース〜 20 Bedrock Knowledge Bases を利⽤する • ⾼度なチャンキング戦略 ◦ 階層的チャンキング ◦ セマンティックチャンキング • PDF内の図表からデータを読み取り • 他にも ◦ 構造化データ取得 ◦ GraphRAG（GA!!）
21. 機能拡張 〜ナレッジベース〜 21 外部ナレッジベース追加するためエンドポイントが必要 → dify-self-hosted-on-aws でIaC化👏👏 https://dev.classmethod.jp/articles/dify-bedrock-knowledge-bases/
22. 機能拡張 〜LLM〜 22 ⾃社独⾃のLLMを使いたい • ソースコードに記載することで追加可能 ◦ xinference.yaml ◦ xinference.llm.llm.py
23. 機能拡張 〜LLM〜 23 SageMaker AI 連携により容易にモデル追加可能 • AWS で SageMaker Endpointの作成 • SageMaker Endpoint を⼊⼒する
24. ガバナンス
25. ガバナンス 25 簡単に⽣成AIを使えるからこそガバナンスは重要 • Guardrails • ログ記録
26. Guardrails 26 Bedrock Guardrailsのツールを利⽤する • LLM処理の前後に配置可能
27. ログ記録 27 マネジメントコンソールでBedrockログ記録の有効化 • Dify標準でLangfuse利⽤可能 ◦ アプリ利⽤のみでしかロギングされない
28. 以上、 DifyでAWSを使い倒していきましょう！！