Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Difyを使って5分で資格対策Botを作る
Search
da-yoshi-k
September 25, 2024
0
7
Difyを使って5分で資格対策Botを作る
Difyを使って資格対策をしようという試みです
da-yoshi-k
September 25, 2024
Tweet
Share
More Decks by da-yoshi-k
See All by da-yoshi-k
『Googleのソフトウェアエンジニアリング』から学んだソースコードレビュー
dayoshik
0
110
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
65
9.8k
Optimising Largest Contentful Paint
csswizardry
31
2.8k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
36
1.7k
Become a Pro
speakerdeck
PRO
22
4.9k
A Tale of Four Properties
chriscoyier
155
22k
Creatively Recalculating Your Daily Design Routine
revolveconf
215
12k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
109
6.9k
Navigating Team Friction
lara
183
13k
Raft: Consensus for Rubyists
vanstee
136
6.6k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.8k
We Have a Design System, Now What?
morganepeng
48
7.1k
Transcript
Difyを使って5分で資格対策Botを作る 虎の穴ラボ株式会社 吉田一貴
よしだ 𝕏:@da_yoshi_k 使っている技術 現職:Ruby, Ruby on Rails, React, Google Cloud
前職:Java, RPA(UiPath) 経歴 2023年5月〜 虎の穴ラボ株式会社 2018年4月〜 SI系のSES(PjM半分・開発半分)
ある日の輪読会にて 知人(右)「ソフトウェアテストについて知り たいとのでJSTQBのシラバス読みません?」 自分(左)「いいっすね!」 「(まー基本情報持ってるし、SES時代にテス トやったことはあるし楽勝やろ)」 ↓ 「テストウェア?故障/エラー/欠陥?意外と 言葉がややこしいな」 きっかけ:特定の分野の言葉って難しい
シラバスの用語をAIが覚えて質問に 答えてくれたら楽なのに! →そんなお悩みに効く、RAGがサクッと使える Difyというライブラリがあるらしい! <ハーイ
RAG(Retrieval Augmented Generation)とは? • LLMに質問する際に信頼できる知識を参照させる手法 • トレーニングされていない最新の情報・社内の情報をベースに回答 を生成することができる。 • サポートデスクや製品のFAQなどの分野で期待されている。
https://python.langchain.com/docs/tutorials/rag/
Dify(Dify.AI)とは • 直感的かつ手軽に生成AIを使ったチャットボット/AIエージェン ト/ワークフローが作成可能なプラットフォーム。 • プログラミングなしでアプリケーション作成が可能。 • 数百のLLMのモデルに対応している。 • RAG(検索拡張生成)も手軽に実行可能。
• クラウドSaaS/セルフホストのコミュニティ版の二種で提供。 中身はNext.js+FastAPIの構成。 公式HP→https://dify.ai/jp
実機デモ 利用するワークフロー 語彙などの一般的 な質問に回答する パターン 練習問題の生成と 解答・解説を教える ナレッジから検索 するステップ どんな質問かで
分岐させる
実機デモ 一般的な質問 練習問題と解答・解説
• 資格試験のような特定のドメイン・用語が求められるものに対し、用語を 使って生成AIに回答してもらえるRAGは有効。 • Difyを利用すると、単純なチャットボットを5分もあれば構築可能。 まとめ
Thanks!! 今後も資格やDifyの勉強を続けます 会社HPも最近リニューアルしたので見てね https://toranoana-lab.co.jp/
以降は予備スライド
Difyのメリット(語り切れなかったもの) • 作ったAPIとしても利用でき、認証・ログ・監視がデフォルトで提供さ れ細かいところに手が届く。 • ツールとして提供されているもの ◦ Webクローリング,検索,翻訳,ニュース,画像生成,コミュニ ティツール,ユーティリティ •
商用利用のハードルも緩め。ただし複数社に展開するようなマ ルチテナントの時は注意が必要(参考note) • プロンプトの自動生成機能もあるので、考える手間が少ない。
Difyのデメリット • ワークフロー自体の管理はバージョン管理されていないのでエ クスポート・インポートする必要がある。 • バージョンアップが早く、たまに壊れることがある。 • セルフホストする場合は自身でデプロイする知識が求められ、 最新機能を利用したい場合はバージョンを追従する必要あり。 •
ワークフロー自体のテスト・評価は単体だと厳しく他と連携が 必要。 • ナレッジ(参照するドキュメント)の登録・管理は課題。
セルフホストDify+ローカルLLM • 割と取り組んでいる人が多いのがDify(プラットホーム)とロー カルLLMのセルフホスト。外部に機密情報を出すことがなく、 自社でコスト管理も可能。 • Tanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築 https://zenn.dev/mkj/articles/93dbd6c9d94c58 • Terraform
+ Cloud Runを使ったDifyの環境構築と運用 https://tech.explaza.jp/entry/2024/09/12/183827
RAGをいろんな組織が挑んでいるが、 一定成果も出ているものの過度な期待・ 幻滅期に差しかかっている所。 RAGについて 過度な期待に差し かかっている所 https://xtech.nikkei.com/atcl/nxt/news/24/01338/