Difyを使って5分で資格対策Botを作る

Difyを使って5分で資格対策Botを作る虎の穴ラボ株式会社　吉田一貴

よしだ 𝕏：@da_yoshi_k 使っている技術現職：Ruby, Ruby on Rails, React, Google Cloud
前職：Java, RPA(UiPath) 経歴 2023年5月〜　虎の穴ラボ株式会社 2018年4月〜　SI系のSES(PjM半分・開発半分)

ある日の輪読会にて知人(右)「ソフトウェアテストについて知りたいとのでJSTQBのシラバス読みません？」自分(左)「いいっすね！」「(まー基本情報持ってるし、SES時代にテストやったことはあるし楽勝やろ)」　　　　　　　　　↓ 「テストウェア？故障/エラー/欠陥？意外と言葉がややこしいな」きっかけ:特定の分野の言葉って難しい

シラバスの用語をAIが覚えて質問に答えてくれたら楽なのに！ →そんなお悩みに効く、RAGがサクッと使える　Difyというライブラリがあるらしい！＜ハーイ

RAG(Retrieval Augmented Generation)とは？ • LLMに質問する際に信頼できる知識を参照させる手法 • トレーニングされていない最新の情報・社内の情報をベースに回答を生成することができる。 • サポートデスクや製品のFAQなどの分野で期待されている。
https://python.langchain.com/docs/tutorials/rag/

Dify(Dify.AI)とは • 直感的かつ手軽に生成AIを使ったチャットボット/AIエージェント/ワークフローが作成可能なプラットフォーム。 • プログラミングなしでアプリケーション作成が可能。 • 数百のLLMのモデルに対応している。 • RAG(検索拡張生成)も手軽に実行可能。
• クラウドSaaS/セルフホストのコミュニティ版の二種で提供。中身はNext.js＋FastAPIの構成。公式HP→https://dify.ai/jp

実機デモ利用するワークフロー語彙などの一般的な質問に回答するパターン練習問題の生成と解答・解説を教えるナレッジから検索するステップどんな質問かで
分岐させる

実機デモ一般的な質問練習問題と解答・解説

• 資格試験のような特定のドメイン・用語が求められるものに対し、用語を使って生成AIに回答してもらえるRAGは有効。 • Difyを利用すると、単純なチャットボットを5分もあれば構築可能。まとめ

Thanks!! 今後も資格やDifyの勉強を続けます会社HPも最近リニューアルしたので見てね https://toranoana-lab.co.jp/

以降は予備スライド

Difyのメリット（語り切れなかったもの） • 作ったAPIとしても利用でき、認証・ログ・監視がデフォルトで提供され細かいところに手が届く。 • ツールとして提供されているもの ◦ Webクローリング,検索,翻訳,ニュース,画像生成,コミュニティツール,ユーティリティ •
商用利用のハードルも緩め。ただし複数社に展開するようなマルチテナントの時は注意が必要（参考note） • プロンプトの自動生成機能もあるので、考える手間が少ない。

Difyのデメリット • ワークフロー自体の管理はバージョン管理されていないのでエクスポート・インポートする必要がある。 • バージョンアップが早く、たまに壊れることがある。 • セルフホストする場合は自身でデプロイする知識が求められ、最新機能を利用したい場合はバージョンを追従する必要あり。 •
ワークフロー自体のテスト・評価は単体だと厳しく他と連携が必要。 • ナレッジ(参照するドキュメント)の登録・管理は課題。

セルフホストDify＋ローカルLLM • 割と取り組んでいる人が多いのがDify(プラットホーム)とローカルLLMのセルフホスト。外部に機密情報を出すことがなく、自社でコスト管理も可能。 • Tanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築 https://zenn.dev/mkj/articles/93dbd6c9d94c58 • Terraform
+ Cloud Runを使ったDifyの環境構築と運用 https://tech.explaza.jp/entry/2024/09/12/183827

RAGをいろんな組織が挑んでいるが、一定成果も出ているものの過度な期待・幻滅期に差しかかっている所。 RAGについて過度な期待に差しかかっている所 https://xtech.nikkei.com/atcl/nxt/news/24/01338/

Difyを使って5分で資格対策Botを作る

Difyを使って5分で資格対策Botを作る

da-yoshi-k

More Decks by da-yoshi-k

Featured

Transcript