Using GPTs from Local by Dify

エンジニア達の「完全に理解した」Talk　#53 で登壇したときのスライドです。
https://easy2.connpass.com/event/317931/

1. Dify完全に理解した さしみもち 2024/5/28 【オンライン】エンジニア達の「完全に理解した」Talk #53 ローカルで GPTs ができちゃう！？
2. 自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、検索エンジンとLLMの連携 でなんかおもしろいことができない か日夜研究しています。
3. 自分だけのChatGPTが作れるノーコードツール「GPTs」 3 https://openai.com/index/introducing-gpts/ • 2023年11月7日に開催されたOpenAI社の カンファレンス「OpenAI DevDay」にて 発表されたChatGPTの新機能 • 特定の目的に合わせてGPTをカスタマイズ できる機能 • GPTと会話しながらノーコードで ChatGPT搭載のシステムが開発できる • 他人が作ったGPTを利用することもできる https://devday.openai.com/
4. GPTs の特徴 4 • 基本ノーコードで作れる • 一般に公開できる • 外部APIと連携できる • 基本無料 • 課金ユーザーが作成できる • 規約に則ったセキュリティ • 収益化できる
5. GPTs の特徴 5 • 基本ノーコードで作れる • 一般に公開できる • 外部APIと連携できる • 基本無料 • 課金ユーザーが作成できる • 規約に則ったセキュリティ • 収益化できる 一般に公開されているAPIに対して連携可能 1分間に600回、1日に100,000回が上限 作成にはChatGPT Plus以上のプラン契約が必 要、利用は無料プランでも可能 オプトアウトしていなければ、入力データ は学習に利用される可能性あり only me, only people with a link, public から選べる 1Q中と言われているが時期未定 外部API連携など高度な機能利用には プログラミングスキルが必要
6. GPTs に類似したサービスはたくさんあるが... 6 etc.
7. たくさんありすぎて正直違いがよくわからん! 7 「GPTsじゃダメなの？」に応えられないんだよなあ...
9. Dify(ディファイ)とは？ 9 https://dify.ai/ • LMMアプリ開発プラットフォーム • LangChainよりも本番運用に適している • RAGエンジンを使用して、簡単なチャットボットから 複雑なワークフローまでGUIで構築できる • 2023年5月にローンチし、開発・運営は LangGenius社 (米国デラウェア州に本社) • クラウドサービスとして利用でき、 日本語にも対応 https://dify.ai/blog/open-source-llmops-platform-define-your-ai-native-apps https://dify.ai/blog/dify-ai-workflow
10. これOSSとして公開 されているんです！ 10 なんと！！
11. OSS として使えるということは...!? 11 • セルフホストできる • ライセンス数を考えなくていい • 社内で使うなら社外秘のドキュメントやAPIと連携できる • ローカルLLMを使える https://github.com/langgenius/dify ※ライセンスは Apache License 2.0にいくつか 条件を足したもの
12. たったの3ステップで始められる 12
13. シンプルで見やすいホーム画面 13 バッチリ日本語対応
14. 豊富なテンプレートですぐに始められる 14
15. 多種多様なモデルに対応！ 15
16. 外部ツールとの連携も充実 16 → ツールは自作も可能！！
17. 一目でわかるUI 17
18. 作成したアプリはURLで共有できる！ 18 ※ローカルホストなので、 勝手にパブリックに公開 されることはありません
19. RAGのような複雑なワークフローだって組めちゃう 19
20. メトリクスやトレースだって取得できちゃう 20
21. 詳細は本になりました！！ 21 https://techbookfest.org/product/ehw1DzL9T4wn03C Td13VTA?productVariantID=8KicahJwJsrpQXgsnUmQz1 前回＋今回の詳細な内容は 現在開催中の技術書典16に て絶賛頒布中です！
22. • GPTs（のようなサービス）がローカルでも動かせる • モデルもデータソースも豊富な連携先がある • メトリクスやトレースだって取得できちゃう まとめ 22 これでセキュリティやお金はLLM組み込みシステムを開発 しない理由ではますますならなくなりましたね 😁
23. APPENDIX 23
24. 参考文献 24 • Create ◦ https://www.create.xyz/ ◦ https://qiita.com/ot12/items/5665f73f4d90d2600000 • Langflow ◦ https://www.langflow.org/ ◦ https://github.com/logspace-ai/langflow ◦ https://qiita.com/zakuzakuzaki/items/df36c4babddfd82a8a67 • Copilot Studio ◦ https://www.microsoft.com/ja-jp/microsoft-copilot/microsoft-copilot-studio ◦ https://www.rpa-roboffice.jp/column/copilot_studio/ • Azure OpenAI Studio ◦ https://oai.azure.com/ ◦ https://zenn.dev/t_kakei/books/ed4777b70e24df/viewer/aoai-studio-about ◦ https://liginc.co.jp/642466
25. 参考文献 25 • Dataiku ◦ https://www.dataiku.com/ja/%E8%A3%BD%E5%93%81/%E3%81%AE%E4%B 8%BB%E8%A6%81%E6%A9%9F%E8%83%BD/dataiku-answers/ ◦ https://qiita.com/yukinaka_data/items/8270e1a559e8fc3c047d • LINEボットメーカー ◦ https://gpt-bot.userlocal.jp/ ◦ https://www.userlocal.jp/press/20230719lg/ • Coze ◦ https://www.coze.com/ ◦ https://romptn.com/article/43983 • miibo ◦ https://mebo.work/ ◦ https://zenn.dev/yuko6891/articles/88b6cd0276dbea
26. 参考文献 26 • Amazon Lex ◦ https://aws.amazon.com/jp/lex/ ◦ https://dev.classmethod.jp/articles/amazon-lex-conversational-faq-preview/ • Dialogflow CX ◦ https://cloud.google.com/dialogflow/cx/docs?hl=ja ◦ https://qiita.com/ralios/items/d203c87db0279b0ee0e0 • GPTsのセキュリティ ◦ https://note.com/it_lawyer/n/nded3dc9cb229 ◦ https://note.com/it_lawyer/n/n1b8cb58e70db • LangGenius社について ◦ https://scrapbox.io/evergreens/LangGenius
27. 素材集 27 • ぱくたそ ◦ https://www.pakutaso.com/