LangChain Framework 與 RAG 實做教學

Outline
● LangChain Introduction
● Stage of the LLM Application Lifecycle
● LangChain Compoments
● LangChain 優缺點分析
● 透過 LangChain 實做 RAG

Transcript

1. LangChain Framework LangChain RAG 實做 sj@toright.com https://blog.toright.com
2. Outline • LangChain Introduction • Stage of the LLM Application Lifecycle • LangChain Compoments • LangChain 優缺點分析 • 透過 LangChain 實做 RAG
3. LangChain Introduction
4. 什麼是 LangChain？ • 2014 年發布的 Open Source Project (開源) 使用 MIT License • LangChain 是一種大型語言應用開發的框架，集中介面整合既有的語言模型與 API，加速透過 LLM 開發 AI Application 的時間 • 應用於 LLM RAG 的開發上更為適合，可以快速整合並實現應用服務 • 開發語言支援 Python 與 JavaScript • 支援佈署 REST API • 支援測試、評估和追蹤工具，提供 AI 開發者完整的解決方案 • 提供 LCEL 語法快速組合問題資料流程
5. LangChain Stage of the LLM Application Lifecycle Development Stage 提供 Building blocks, Components, and Third-party integrations 透過 LangGraph 組合 成為應用 Productionization Stage 提供 LangSmith 進行除錯、測試、監控等等工 具 Deployment Stage 提供 LangServe 轉變為 REST API 接口與透過 LangGraph Cloud 進行產品的佈署
6. LangChain 7 大元件 • Model 元件 ◦ LLMs 語言模型：負責文字生成，給予一段文字然後自動補充 ◦ ChatModel 聊天模型：用於對話 • Prompt Template 元件 ◦ 讓使用者建立標準的對話樣板 • Output Parser 元件 ◦ 針對輸出的資料可以進行格式化，例如 JSON, Text, CSV, XML 等等格式 • Chain 元件 ◦ 串接流程的設計概念，可以將資料流進行串接來組合適合的應用 • Memory 元件 ◦ 在聊天助理或對話中用來「記憶」過程，可以將資料紀錄在 SQL-Lite 或檔案中 • Agent 元件 ◦ 一種內部交互的機制，可以透過重複的對話詢問 LLM 來獲得最正確的答案 • Retrieve 元件 ◦ 由於 LLM 學習的資料有限，每次都把大量文件作為輸入不是好方法，透過這個元件可以實現 RAG，直接檢索已 經事先向量化完成的資料
7. LangChain Model I/O LangChain Model I/O 將語言模型的使用介面抽象化，透過一致的 I/O 介面來串接不 同的實做，讓我們可以快速搭建自己需要的應用邏輯。
8. LangChain 優缺點分析 不可否認 LangChain 的出現大大降低了開發 LLM 應用的難度，使開發者能夠透過 LangChain Framework 更快速地構建 智能對話系統、自動化智能助理、知識檢索系統等。然而，它也存在一些挑戰和限制： 優勢 • ✅ 模組化設計：提供了靈活的組件，讓開發者可以自由組合不同功能。 • ✅ 強大的擴展性：支持與向量數據庫（如 FAISS、Weaviate）和各種 API 整合，提升 LLM 的能力。 • ✅ 社群活躍：開發者社群非常活躍，官方也在不斷更新新功能，適合前沿 AI 應用開發。 • ✅ 支援多種模型：不僅支持 OpenAI，還支持 Hugging Face、Anthropic、Mistral 等多種 LLM，增加靈活性。 挑戰與缺點 • ❌ 學習曲線較陡：對於新手來說，LangChain 的概念較多（Chains、Agents、Memory 等），需要一些時間來理解和 掌握。 • ❌ 性能開銷：如果不合理使用 Chains 和 Agents，可能會帶來額外的 API 請求成本和延遲。 • ❌ API 變動較快：LangChain 的更新頻繁，可能常會出現像 ConversationChain 這樣的棄用警告，開發者需要經常 適應新版本的變化。
9. 透過 LangChain 實做 RAG
10. 實做「聊天話術大師」代理人 使用資源 • Documents 來源是「聊天话术终极指南 - 浪迹团队.pdf」 • LLM 使用 ChatGPT API • Web Search API 使用 Tavily • 向量資料庫使用 Chroma 函式庫 • Example Source Code (GitHub)
11. RAG 實做流程 • 綠色圓圈代表流 程中使用到的工 具節點 • 藍色圓圈代表 LLM 節點 • 橘色菱形則代表 Route 模組
12. Reference • 深入淺出RAG經典論文 • 利用 Langchain 實作系列 RAG 進階流程：Query Analysis & Self-reflection • Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity • Retrieval-Augmented Generation for Large Language Models: A Survey • 利用 LangChain 實作多模態模型的 RAG：除了讀文章也能看圖答題 • CRAG: 革命性AI技術如何讓機器回答更精準？ • SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION • Building adaptive RAG from scratch with Command-R
13. Thanks SJ Chou sj@toright.com https://blog.toright.com