Difyを使って5分で資格対策Botを作る

Difyを使って資格対策をしようという試みです

Transcript

1. Difyを使って5分で資格対策Botを作る 虎の穴ラボ株式会社　吉田一貴
2. よしだ 𝕏：@da_yoshi_k 使っている技術 現職：Ruby, Ruby on Rails, React, Google Cloud 前職：Java, RPA(UiPath) 経歴 2023年5月〜　虎の穴ラボ株式会社 2018年4月〜　SI系のSES(PjM半分・開発半分)
3. ある日の輪読会にて 知人(右)「ソフトウェアテストについて知り たいとのでJSTQBのシラバス読みません？」 自分(左)「いいっすね！」 「(まー基本情報持ってるし、SES時代にテス トやったことはあるし楽勝やろ)」 　　　　　　　　　↓ 「テストウェア？故障/エラー/欠陥？意外と 言葉がややこしいな」 きっかけ:特定の分野の言葉って難しい
4. シラバスの用語をAIが覚えて質問に 答えてくれたら楽なのに！ →そんなお悩みに効く、RAGがサクッと使える 　Difyというライブラリがあるらしい！ ＜ハーイ
5. RAG(Retrieval Augmented Generation)とは？ • LLMに質問する際に信頼できる知識を参照させる手法 • トレーニングされていない最新の情報・社内の情報をベースに回答 を生成することができる。 • サポートデスクや製品のFAQなどの分野で期待されている。 https://python.langchain.com/docs/tutorials/rag/
6. Dify(Dify.AI)とは • 直感的かつ手軽に生成AIを使ったチャットボット/AIエージェン ト/ワークフローが作成可能なプラットフォーム。 • プログラミングなしでアプリケーション作成が可能。 • 数百のLLMのモデルに対応している。 • RAG(検索拡張生成)も手軽に実行可能。 • クラウドSaaS/セルフホストのコミュニティ版の二種で提供。 中身はNext.js＋FastAPIの構成。 公式HP→https://dify.ai/jp
7. 実機デモ 利用するワークフロー 語彙などの一般的 な質問に回答する パターン 練習問題の生成と 解答・解説を教える ナレッジから検索 するステップ どんな質問かで 分岐させる
8. 実機デモ 一般的な質問 練習問題と解答・解説
9. • 資格試験のような特定のドメイン・用語が求められるものに対し、用語を 使って生成AIに回答してもらえるRAGは有効。 • Difyを利用すると、単純なチャットボットを5分もあれば構築可能。 まとめ
10. Thanks!! 今後も資格やDifyの勉強を続けます 会社HPも最近リニューアルしたので見てね https://toranoana-lab.co.jp/
11. 以降は予備スライド
12. Difyのメリット（語り切れなかったもの） • 作ったAPIとしても利用でき、認証・ログ・監視がデフォルトで提供さ れ細かいところに手が届く。 • ツールとして提供されているもの ◦ Webクローリング,検索,翻訳,ニュース,画像生成,コミュニ ティツール,ユーティリティ • 商用利用のハードルも緩め。ただし複数社に展開するようなマ ルチテナントの時は注意が必要（参考note） • プロンプトの自動生成機能もあるので、考える手間が少ない。
13. Difyのデメリット • ワークフロー自体の管理はバージョン管理されていないのでエ クスポート・インポートする必要がある。 • バージョンアップが早く、たまに壊れることがある。 • セルフホストする場合は自身でデプロイする知識が求められ、 最新機能を利用したい場合はバージョンを追従する必要あり。 • ワークフロー自体のテスト・評価は単体だと厳しく他と連携が 必要。 • ナレッジ(参照するドキュメント)の登録・管理は課題。
14. セルフホストDify＋ローカルLLM • 割と取り組んでいる人が多いのがDify(プラットホーム)とロー カルLLMのセルフホスト。外部に機密情報を出すことがなく、 自社でコスト管理も可能。 • Tanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築 https://zenn.dev/mkj/articles/93dbd6c9d94c58 • Terraform + Cloud Runを使ったDifyの環境構築と運用 https://tech.explaza.jp/entry/2024/09/12/183827
15. RAGをいろんな組織が挑んでいるが、 一定成果も出ているものの過度な期待・ 幻滅期に差しかかっている所。 RAGについて 過度な期待に差し かかっている所 https://xtech.nikkei.com/atcl/nxt/news/24/01338/