大幅アップデートされたRagas v0.2をキャッチアップ

イベントページ：https://studyco.connpass.com/event/337603/

Transcript

1. 2024/12/12 #StudyCo 大幅アップデートされた Ragas v0.2をキャッチアップ
2. 自己紹介 大嶋勇樹（おおしまゆうき） https://x.com/oshima_123 株式会社ジェネラティブエージェンツ取締役CTO/Co-founder 大規模言語モデルを組み込んだアプリケーションやAIエージェントの開発を実施 個人ではエンジニア向けの勉強会開催やUdemy講座の作成など 勉強会コミュニティStudyCo運営 「ChatGPT/LangChainによるチャットシステム構築［実践］入門」（共著） 「LangChainとLangGraphによるRAG・AIエージェント［実践］入門」（共著）
3. 会社名 株式会社ジェネラティブエージェンツ （英文：Generative Agents, Inc.） 所在地 東京都港区 ※ 全社員リモート勤務 役員構成 CEO 西見 公宏 COO 吉田 真吾 CTO 大嶋 勇樹 設立年月 2024年3月14日 事業内容 AIエージェント技術を軸とした生成 AIアプリケーション開発 支援、コンサルティング、教育・研修サービスの提供 生成AIアプリケーション開発支援 「LangChain」の公式エキスパートとして、生成AIを活用したソフトウェア開発を支 援します。生成AIを活用した課題解決、新規事業に向けたコンサルティングサー ビス、チームの開発力を上げる教育・研修サービスを提供します。 ノーコードツール「 Dify」のプロサポート Difyとはチャットボット、文章要約やコンテンツ生成など、多彩なワークフローを 現場の社員自ら構築できるツールです。当社はDifyを提供するLangGenius社の 公式パートナーとして、自社内のDifyインフラ構築、導入支援・オンボーディン グ、活用定着支援、アプリ開発研修などニーズに応じたプロフェッショナルサ ポートを提供します。 株式会社ジェネラティブエージェンツ - 会社概要 AIエージェントが「ハブ」となり 人間とAIエージェントの協働が 当たり前になる世界を実現する
4. 代表取締役CEO / Founder 西見 公宏 Masahiro Nishimi 事業会社の顧問CTOとして活動するソフトウェア開発のスペシャリス ト。AIエージェントを経営に導入することにより、あらゆる業種業態の 生産性を高めるための活動に尽力している。 「その仕事、AIエージェントがやっておきました。――ChatGPTの次に 来る自律型AI革命」（技術評論社）単著、Software Design「実践LLMア プリケーション開発」（技術評論社）連載。 主な著書 『その仕事、AIエージェントがやっておきました』 取締役COO / Co-founder 吉田 真吾 Shingo Yoshida AWS Serverless Heroとして日本におけるサーバーレスの普及を促進。 「ChatGPT/LangChainによるチャットシステム構築［実践］入門」（技 術評論社）共著、「Azure OpenAI ServiceではじめるChatGPT/LLMシス テム構築入門」（技術評論社）共著、「AWSによるサーバーレスアーキ テクチャ」（翔泳社）監修、「サーバーレスシングルページアプリケー ション」（オライリー）監訳、「AWSエキスパート養成読本」（技術評 論社）共著。ChatGPT Community（JP）主催 主な著書 『ChatGPT/LangChainによるチャットシステム構築［実践］入門』 『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門 　エンジニア選書』 取締役CTO / Co-founder 大嶋 勇樹 Yuki Oshima 大規模言語モデルを組み込んだアプリケーションやAIエージェントの開 発を実施。 個人ではエンジニア向けの勉強会開催や教材作成など。オンラインコー スUdemyではベストセラー講座多数。 「ChatGPT/LangChainによるチャットシステム構築［実践］入門」（技 術評論社）共著。勉強会コミュニティStudyCo運営。 主な著書 『ChatGPT/LangChainによるチャットシステム構築 ［実践］入門』 運営メンバー
5. 11/9に書籍を出しました！ 『LangChainとLangGraphによるRAG・AIエージェント［実践］入門』（技術評論社） LangChain公式エキスパート 株式会社ジェネラティブエージェンツ 西見公宏、吉田真吾、大嶋勇樹 [著] • OpenAIのチャットAPI　プロンプトエンジニアリング　LangChainの基礎 • 検索クエリの工夫　リランクモデル　ハイブリッド検索 • LangSmithを使ったRAGアプリケーション評価 • LLMを活用したAIエージェントの起源と変遷 • LangChain/LangGraphによるエージェントデザインパターンの実装 LLMを組み込んだアプリケーションの開発について、 初心者の方も経験者の方もぜひ手に取ってください！
6. 2024/12/12 #StudyCo 大幅アップデートされた Ragas 0.2をキャッチアップ
7. Ragasとは Ragasは、GitHubでOSSとして公開されているLLMアプリケーションの評価フレームワークです GitHub：https://github.com/explodinggradients/ragas 論文：https://arxiv.org/abs/2309.15217 Ragasはとても活発にアップデートされており、2024年10月にv0.2がリリースされました もともとRAGの評価を扱うフレームワークでしたが、現在はRAG以外のLLMアプリにも適用可能です
8. RagasとLangSmithを活用して、たとえば以下の構成でRAGのオフライン評価を実施できます AIエージェント実践本より）LangSmithとRagasを使ったオフライン評価の構成例 Ragasによる 合成テストデータの生成 Ragasによる オフライン評価の実行 保存 LangSmith Dataset 評価結果 保存 読み込み
9. Ragas v0.2のアップデート Ragas v0.2の大きなアップデートとして、以下の2つを紹介します 1. 多様なメトリクスのサポート 2. 合成テストデータ生成処理の刷新 ※v0.2.0より後のアップデートの内容を含みます
10. 多様なメトリクスのサポート Ragas v0.2では、RAG以外のメトリクスも多数追加されています https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/ • AgentやTool useのメトリクス • 自然言語における、事実的な正確性、意味的類似性、その他のメトリクス • 表データの等価性、SQLの等価性 • カスタマイズして使用する汎用メトリクス • 要約のスコア
11. AgentやTool useのメトリクスの紹介 TopicAdherenceScore • AIシステムが想定するトピックのみに回答し、他のトピックに回答しないことの評価 ToolCallAccuracy • ツールの呼び出しが期待通りであることの評価 AgentGoalAccuracyWithReference • 期待されるユーザーの目標をエージェントが達成したかの評価 これらのメトリクスはマルチターンの会話に対して使用できます 参考：https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/agents/
12. 合成テストデータ生成処理の刷新 Ragas v0.2の合成テストデータ生成機能では、RAGのデータソースのドキュメントから ナレッジグラフを作成してRAGのテストデータを生成します https://docs.ragas.io/en/stable/concepts/test_data_generation/rag/#knowledge-graph-creation
13. 合成テストデータ生成時のペルソナの生成 ナレッジグラフを構築したあと合成テストデータ生成する際には、ペルソナを生成（or設定）し、 そのペルソナを使ってRAGのテストデータを生成します https://docs.ragas.io/en/stable/concepts/test_data_generation/rag/#scenario-generation
14. LangChainのドキュメントから生成した合成テストデータの例（gpt-4o-miniを使用）
15. まとめ Ragas v0.2での大きなアップデートを紹介しました 1. 多様なメトリクスのサポート RAG以外にもTool useなどの多くのメトリクスが追加されました 2. 合成テストデータ生成処理の刷新 内部でナレッジグラフの構築・ペルソナの生成といった処理が行われるようになりました
16. ご清聴ありがとうございました