Difyで立ち向かう！画像で分岐するワークフロー

by APC_鈴木健太

Embed

Start on current slide

Slide 1

Slide 1 text

1 Difyで⽴ち向かう！画像で分岐するワークフロー

Slide 2

Slide 2 text

自己紹介 2 所属：株式会社エーピーコミュニケーションズ名前：鈴木健太普段の仕事：生成AIアプリ/ワークフロー開発趣味：ストリートファイター6 (豪鬼使い) 　

Slide 3

Slide 3 text

お客様からよく受ける相談「生成AIに画像を入れて使えるんでしょ？　うちでもやってみたいんだよね。」「テキストじゃなくて、画像・図面・グラフでRAGやりたいんだけど、方法ってある？」今日の話題

Slide 4

Slide 4 text

お客様からよく受ける相談「生成AIに画像を入れて使えるんでしょ？　うちでもやってみたいんだよね。」「テキストじゃなくて、画像・図面・グラフでRAGやりたいんだけど、方法ってある？」今日の話題 Difyで立ち向かいました

Slide 5

Slide 5 text

アジェンダ１．Difyってなに？２．なんでDify？３．作ったきっかけ４．課題となったポイント５．Difyで立ち向かう６．まとめ

Slide 6

Slide 6 text

Difyってなに？ 6 LangGenius, Inc.によって開発されたノーコードでLLMアプリを開発できる生成AIプラットフォーム。プログラミングの知識がなくてもAIアプリを簡単に作成でき、テキスト、画像、音声など多様なデータ形式にも対応、複数のAIモデルを組み合わせて利用できる。オープンソースで提供されており、Freeプランなら無料で使えるため誰でも使いやすいのが特徴。

Slide 7

Slide 7 text

なんで Dify？ 7

Slide 8

Slide 8 text

なんで Dify？ 8 最初に使ってたけど少し分かりづらい、、、

Slide 9

Slide 9 text

なんで Dify？ 9 簡単！分かりやすい！

Slide 10

Slide 10 text

作ったきっかけお客様からよく受ける相談「生成AIに画像を入れて使えるんでしょ？　うちでもやってみたいんだよね。」「テキストじゃなくて、画像・図面・グラフでRAGやりたいんだけど、方法ってある？」

Slide 11

Slide 11 text

作った時のポイント（課題） 11 ・入力場所は１つにすること・写真、図面、グラフなど複数の種類に対応　すること

Slide 12

Slide 12 text

実際に処理したもの 12

Slide 13

Slide 13 text

Difyで立ち向かう - 今回作ったもの - 13

Slide 14

Slide 14 text

Difyで立ち向かう - 処理フローの概要 - 14 １．画像とプロンプトを⼊⼒２．画像の種類を分類３．分岐を設定４．分岐に応じた回答を⽣成

Slide 15

Slide 15 text

Difyで立ち向かう - 処理フローの概要 - １．画像とプロンプトを⼊⼒２．画像の種類を分類３．分岐を設定４．分岐に応じた回答を⽣成

Slide 16

Slide 16 text

Difyで立ち向かう –１．画像とプロンプトを入力 - ファイルアップロード機能で画像を入力

Slide 17

Slide 17 text

17 １．画像とプロンプトを⼊⼒２．画像の種類を分類３．分岐を設定４．分岐に応じた回答を⽣成 Difyで立ち向かう - 処理フローの概要 -

Slide 18

Slide 18 text

Difyで立ち向かう –２．画像の種類を分類 - LLMを画像分類器として利用

Slide 19

Slide 19 text

Difyで立ち向かう - 処理フローの概要 - 19 １．画像とプロンプトを⼊⼒２．画像の種類を分類３．分岐を設定４．分岐に応じた回答を⽣成

Slide 20

Slide 20 text

Difyで立ち向かう -３．分岐を設定 - 条件一致で分岐を設定

Slide 21

Slide 21 text

21 １．画像とプロンプトを⼊⼒２．画像の種類を分類３．分岐を設定４．分岐に応じた回答を⽣成 Difyで立ち向かう - 処理フローの概要 -

Slide 22

Slide 22 text

Difyで立ち向かう -４．分岐に応じた回答を生成 - 「グラフ」専用のLLMを用意

Slide 23

Slide 23 text

Difyで立ち向かう - 今回作ったもの (再掲) - 23

Slide 24

Slide 24 text

Difyで立ち向かう - 実際の動作 (1/3) -

Slide 25

Slide 25 text

Difyで立ち向かう - 実際の動作 (2/3) -

Slide 26

Slide 26 text

Difyで立ち向かう - 実際の動作 (3/3) -

Slide 27

Slide 27 text

まとめ 27 ‧思った以上に柔軟に使えて⽤途が広い ‧使いやすく、技術者でないお客様にも喜ばれる ‧中国出⾝の⽅が開発者にいるサービスのためセキュアに厳しいお客様への導⼊提案はなかなか難しい現在は jinbaﬂow などにも挑戦してます！