Difyで立ち向かう！ 画像で分岐するワークフロー

Transcript

1. 1 Difyで⽴ち向かう！ 画像で分岐するワークフロー
2. 自己紹介 2 所属： 株式会社エーピーコミュニケーションズ 名前： 鈴木 健太 普段の仕事： 生成AIアプリ/ワークフロー開発 趣味： ストリートファイター6 (豪鬼使い) 　
3. お客様からよく受ける相談 「生成AIに画像を入れて使えるんでしょ？ 　うちでもやってみたいんだよね。」 「テキストじゃなくて、画像・図面・グラフ でRAGやりたいんだけど、方法ってある？」 今日の話題
4. お客様からよく受ける相談 「生成AIに画像を入れて使えるんでしょ？ 　うちでもやってみたいんだよね。」 「テキストじゃなくて、画像・図面・グラフ でRAGやりたいんだけど、方法ってある？」 今日の話題 Difyで立ち向かいました
5. アジェンダ １．Difyってなに？ ２．なんでDify？ ３．作ったきっかけ ４．課題となったポイント ５．Difyで立ち向かう ６．まとめ
6. Difyってなに？ 6 LangGenius, Inc.によって開発されたノーコードでLLMアプリを開発できる 生成AIプラットフォーム。 プログラミングの知識がなくてもAIアプリを簡単に作成でき、テキスト、 画像、音声など多様なデータ形式にも対応、複数のAIモデルを組み合わせて 利用できる。 オープンソースで提供されており、Freeプランなら無料で使えるため誰でも 使いやすいのが特徴。
7. なんで Dify？ 7
8. なんで Dify？ 8 最初に使ってたけど少し 分かりづらい、、、
9. なんで Dify？ 9 簡単！分かりやすい！
10. 作ったきっかけ お客様からよく受ける相談 「生成AIに画像を入れて使えるんでしょ？ 　うちでもやってみたいんだよね。」 「テキストじゃなくて、画像・図面・グラフ でRAGやりたいんだけど、方法ってある？」
11. 作った時のポイント（課題） 11 ・入力場所は１つにすること ・写真、図面、グラフなど複数の種類に対応 　すること
12. 実際に処理したもの 12
13. Difyで立ち向かう - 今回作ったもの - 13
14. Difyで立ち向かう - 処理フローの概要 - 14 １．画像とプロンプトを⼊⼒ ２．画像の種類を分類 ３．分岐を設定 ４．分岐に応じた回答を⽣成
15. Difyで立ち向かう - 処理フローの概要 - １．画像とプロンプトを⼊⼒ ２．画像の種類を分類 ３．分岐を設定 ４．分岐に応じた回答を⽣成
16. Difyで立ち向かう –１．画像とプロンプトを入力 - ファイルアップロード 機能で画像を入力
17. 17 １．画像とプロンプトを⼊⼒ ２．画像の種類を分類 ３．分岐を設定 ４．分岐に応じた回答を⽣成 Difyで立ち向かう - 処理フローの概要 -
18. Difyで立ち向かう –２．画像の種類を分類 - LLMを画像分類器と して利用
19. Difyで立ち向かう - 処理フローの概要 - 19 １．画像とプロンプトを⼊⼒ ２．画像の種類を分類 ３．分岐を設定 ４．分岐に応じた回答を⽣成
20. Difyで立ち向かう -３．分岐を設定 - 条件一致で分岐を設定
21. 21 １．画像とプロンプトを⼊⼒ ２．画像の種類を分類 ３．分岐を設定 ４．分岐に応じた回答を⽣成 Difyで立ち向かう - 処理フローの概要 -
22. Difyで立ち向かう -４．分岐に応じた回答を生成 - 「グラフ」専用 のLLMを用意
23. Difyで立ち向かう - 今回作ったもの (再掲) - 23
24. Difyで立ち向かう - 実際の動作 (1/3) -
25. Difyで立ち向かう - 実際の動作 (2/3) -
26. Difyで立ち向かう - 実際の動作 (3/3) -
27. まとめ 27 ‧思った以上に柔軟に使えて⽤途が広い ‧使いやすく、技術者でないお客様にも喜ばれる ‧中国出⾝の⽅が開発者にいるサービスのためセキュア  に厳しいお客様への導⼊提案はなかなか難しい   現在は jinbaflow などにも挑戦してます！