LLM勉強会のためにアプリを作ろうか悩んだけど Difyが解決してくれた話

@hudebakonosoto 2020年 Slerに新卒で入社 2022年から株式会社QunaSysでソフトウェアエンジニア コーヒーのアプリ作るぐらいにはコーヒーが好き。 今回LT会は初登壇

No content

弊社、材料開発向けにLLM勉強会やってます。

弊社、材料開発向けにLLM勉強会やってます。 今日はハンズオンで、どんなツールを使ったか を話します。

ハンズオンの目的は？ https://speakerdeck.com/qunasys/cai-liao-kai-fa-llmmian-qiang-hui-goan-nei?slide=3

ハンズオンの目的は？ https://speakerdeck.com/qunasys/cai-liao-kai-fa-llmmian-qiang-hui-goan-nei?slide=3 eI 材料開発のためのLLMアプリを構築 G VI 材料開発視点のユースケースを発見する。

勉強会のハンズオンでのツール選定要件 要件 目的 ChatGPTのAPIキーはこちらで用意 できる？ 参加する会社によってはAPIキーが用意できない可能性がある APIキーのレートリミットの管理が できる？ 多くの人が一気にAPIキーを使うので、Embbedingとかはrate limit errorでそう。チャットは問題にはならないかも？ ユーザーがアノテーションでき る？ ²± 本当に正しい答えをこちらでデータとして貯めたい ¥± データ評価まで実践してもらう機会を作りたい。 勉強会以外でも使ってもらえる？ 参加者にユースケースを思いついてもらいたいので、常に使って もらえる環境を用意したい。 文献を集めることができる？ みんなの知見を集めて、RAGに使えるようにしたい。 プロンプト集めることができる？ 同上

案１. LangChain＋LangServe＋LangSmith+Google Colab QunaSysがホスティングし ているどこか クライアント 勉強会参加者

案１. LangChain＋LangServe＋LangSmith+Google Colab ️ ︎ ・・・できる！ ・・・できない。運用もしくは別サービスでカバー可能な場合 も含む 要件 満たす？ APIキーはこちらで用意できる？ レートリミットの管理ができる？ (実行タイミングずらす とかなら... ユーザーがアノテーションできる？ LangSmithをいい感じに 運用すればできるかも... 勉強会以外でも使ってもらえる？ 文献を集めることができる？ GoogleDriveに入れてと かなら...？... プロンプト集めることができる？

案2. じゃあアプリ作る？ レートリミット対策でキューを作る？ RAGを構築できるアプリを作る？ RAGありなしで画面を分けるだけだと、 RAGのイメージをつきずらいよなあ... ２ヶ月ぐらいで作り切れる？

案2. じゃあアプリ作る？ レートリミット対策でキューを作る？ RAGを構築できるようなフローを作る？ 画面分けるだけだと、RAGのイメージをつ きずらいよなあ... ２ヶ月ぐらいで作り切れる？ 本番で使えるものを ２ヶ月で作り切る自信がない

Difyとの出会い

CRAGをDifyで構築す るとこんな感じ Difyとは？ v GUIで簡単にRAGや、AIエージェント作成 (LLMもいろいろ使える7 v セルフホスティングできる@ v APIの公開とかも可能。 LLMアプリをローコードで作成できるOSSプラットフォーム

Difyがすべてを解決する 要件 満たす？ APIキーはこちらで用意できる？ レートリミットの管理ができる？ ️ Embeddingの処理はキューを作ってくれてるし、API キーのロードバランサーもある。 ユーザーがアノテーションできる？ 勉強会以外でも使ってもらえる？ 文献を集めることができる？ ️ナレッジ使える プロンプト集めることができる？ ️ログとってくれる

Difyがすべてを解決する(+α) ローコードなのでコードの書き方にとらわれない。 ユースケースを考えてもらうという点では 本質的な部分にフォーカスできてより良いんじゃね？ と私は思うのです...

(補足)Difyをセルフホスティングする。 GCP上にホスティング 使用した主なサービス` Q CloudRun(マルチコンテナg Q CloudSQL(PostgreSQLv Q pgvectorを有効にして ベクトルDBとしても使 p Q Memorystore(Redisg Q CloudStorage

Difyで何でもできるじゃん！！

Difyで何でもできるじゃん！！ Difyでもできないこと あります！

Difyにもできないことある |~ While文のような反復処理や、前サイクルの出力の再利G ˜~ 具体的には、SelfRAGみたいなSelf-Reflective RAGなやつとかはできないなV g~ 利用可能なPythonライブラリが限定的であるu ˜~ 最近dify-sandboxがオープンになったのでやりようが出てきましたu Y~ 精度評価 • Difyプラットフォーム上での直接評価が不可@ ˜~ LangSmithやLangfuseが連携できるようになったのでそっちでやろうz (~ バージョン管理機能(個人的にこれが辛い ˜~ DSLインポートとエクスポートできるので手動でGitHub登録してtag管理とか？ etc.... https://qiita.com/hudebakononaka/ items/4881657730d38a250ab8

Difyを細かい用途にまで使うならAPI経由で！ DifyはAPI経由で色々とできるので、 Difyができないことは別でコード書いて補うなどをするのがいいでしょう！ (前ページの１〜３まではDifyAPI＋コードで解決できる。) ＋ etc....

Difyを細かい用途にまで使うならAPI経由で！(例) https://qiita.com/hudebakononaka/ items/1d3665223b0715e54890 https://qiita.com/hudebakononaka/items/ f96e18d477f0aaaed82f

勉強会でわかったDifyのLLMアプリへの使い所 … 初期はDifyを使うのがいいんじゃないかと思っていƒ … どれぐらい使われるかわからない状況で、OpenAIのAPIキーをロードバランサーやレートリ ミット管理を作るのは大変です。ここをなんとかしてくれてるのは結構嬉しい(これ管理す るの意外と辛いので … 正直Difyにまだできないことが、複雑なことやろうとした時はDifyAPI＋コードを書くこと でDifyの不得意なところは補うのがいx … ドメインエキスパートと一緒にやりたい or ドメインエキスパートの方に管理してもらった 方がいいところはDifyに切り出6 … ただバージョン管理は煩雑になりそう(これから改善されるんじゃないかと思っている)

No content

Difyの効果これだけじゃないです。

Difyは生成AIアプリ開発の民主化ツール LLM活用を浸透させるにはすごく良かった。 営業 and リサーチャーの人がDifyでのRAG構築の楽さを実感で以下の効果を実感 r LLMに関連する提案の解像度UPで自信持って提案できm r LLMに関する提案＋α で提案が思いつ r 社内でのユースケースも増えてきた！ LLMに関する解像度 が上がって自信持っ て提案！ これ社内で使った ら、めっちゃ効率化 するなあ！