[LangChainKR 2024Q2]Native RAG to Advanced RAG 톺아보기

Transcript

1. NativeRAG부터 Advanced RAG 톺아보기 백 혜 림 리미에오 랭체인코리아 2024 Q2
2. 리미에오 연사소개 LinkedIn : https://www.linkedin.com/in/rimiyeyo TechBlog : https://rimiyeyo.tistory.com E-mail : rimiyeyo@gmail.com 이전에는 Audio AI 엔지니어였다가, 콘텐츠 크리에이터로 활동했다가, 여러 AI관련 교육을 진행하고 최근 LLM관련 부트캠프 강사로 활동했다가. 가끔 개발도 합니다.
3. OverView Basic LLM Native RAG Advanced RAG ETC Colab 예제
4. RAG(Retrieval-Augmented Generation)
5. LLM RAG가 없는 LLM의 생성 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 목록알려줘 Question
6. LLM RAG가 없는 LLM의 생성 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 목록알려줘 Prompt Question 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 조회할거야! 발표자 이름만 뽑아줘 Question {question} Answer {answer}
7. LLM RAG가 없는 LLM의 생성 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 목록알려줘 Prompt Question 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 조회할거야! 발표자 이름만 뽑아줘 Question {question} Answer {answer} 김태영 김태영
8. Hallucination LLM의 한계
9. Hallucination ** 부정확한 정보를 생성하는 현상 LLM의 한계
10. Hallucination ** 부정확한 정보를 생성하는 현상 1. LLM을 Fine tuning하자! 2. RAG기법을 활용해보자! LLM의 한계
11. RAG(Retrieval-Augmented Generation) 검색, 증강, 생성
12. 실습예제 다운받기 QR
13. 13 Native RAG
14. RAG를 추가해봅시다 LLM Prompt 외부지식 검색 Retrieval Question 백혜림 이경록 김태영 2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘
15. RAG를 추가해봅시다 (더 자세히) 외부지식 PDF Website CSV SQL JSON Markdown Loader & Splitter
16. RAG를 추가해봅시다 (더 자세히 : chunk size의 비밀) 외부지식 PDF Website CSV SQL JSON Markdown Loader & Splitter Chunk Size=3 Chunk Size=4 Chunk Size=5 Chunk Size=6 https://chunkviz.up.railway.app/
17. RAG를 추가해봅시다 (더 자세히) LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Embedding 백혜림 이경록 김태영 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘 Question과 관련있는 상위 k개의 문서들
18. 2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘 RAG를 추가해봅시다 (더 자세히) LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Embedding 백혜림 이경록 김태영 Question과 관련있는 상위 k개의 문서들 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Indexing
19. 2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘 RAG를 추가해봅시다 (더 자세히) LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Embedding 백혜림 이경록 김태영 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Retrieval Question과 관련있는 상위 k개의 문서 출력
20. RAG를 추가해봅시다 (더 자세히) LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Embedding 백혜림 이경록 김태영 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Generation 2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘 Question과 관련있는 상위 k개의 문서 출력
21. 21 Advanced RAG
22. RAG를 좀더 확장해봅시다! Generation Indexing Retrieval
23. RAG를 좀더 확장해봅시다! Generation Indexing Retrieval Pre- Retrieval Retrieval Post- Retrieval Generation Indexing Query Manipulation Data Modification Re-Ranking Filtering Enhancing Customization Search Ranking Indexing with elasticserarch, Faiss, Hybrid Search FT Embedding
24. Hybrid Search LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Vector Search 백혜림 이경록 김태영 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Question과 관련있는 상위 k개의 문서들 Keyword Search Embedding TF-IDF BM25
25. Long context ReOrder LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter A B C D Reorder A C D B similarity_top=4 관련성이 낮은 문서 가운데에 배치 Embedding 관련성 이 제일 높은 A
26. Re-Ranking LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter A B C D Re-ranking B C D A similarity_top=4 top_n=2 Embedding
27. 그외 다양한 전략 출처 : LangChain-ai
28. 28 MultiQueryRetriever
29. Query Translation - MultiQueryRetriever LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 랭체인 연사자는 누구인가요? Retrieval1 Retrieval2 Retrieval3
30. Query Translation - MultiQueryRetriever LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Q1 랭체인 연사자의 신분은 무엇인가요? PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Q2 랭체인 연사자의 역할은 무엇인가요? Q3 랭체인 연사자의 업무 내용은 무엇인가요? 랭체인 연사자는 누구인가요? Retrieval1 Retrieval2 Retrieval3 Paraphrasin g
31. 31 Decomposition
32. Query Translation - Decomposition LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 랭체인 에이전트와 랭그래프 사이 차이점은 무엇인가요? Retrieval1 Retrieval2 Retrieval3
33. Query Translation - Decomposition LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 랭체인 에이전트와 랭그래프 사이 차이점은 무엇인가요? Retrieval1 Retrieval2 Retrieval3 1 2 Decomposition
34. Query Translation - Decomposition LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Q1 랭체인이란 무엇인가요? PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Q2 랭그래프는 어떤 기술이며 어떻게 작동하나요? Q3 랭체인과 랭그래프의 차이점은 무엇인가요? Retrieval1 Retrieval2 Retrieval3 sub-query sub-query sub-query 랭체인 에이전트와 랭그래프 사이 차이점은 무엇인가요? 1 2 Decomposition
35. 35 RAG-Fusion
36. Query Translation - RAG-Fusion LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Q1 랭체인 연사자를 누가 제공하나요? PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Q2 랭체인 주최가 어디인가요? Q3 랭체인이 무엇인가요? 랭체인 연사자는 누구인가요? Retrieval1 Retrieval2 Retrieval3 Reciprocal Rank Fusion (Topk)
37. Reciprocal Rank Fusion (RRF) LLM Retrieval1 Retrieval2 Retrieval3 Reciprocal Rank Fusion (Topk)
38. 38 Self-Query
39. Query Translation - Self Query LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 2024년에 발표한 랭체인 발표주제는 무엇인가요? Retrieval
40. Query Translation - Self Query LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 2024년에 발표한 랭체인 발표주제는 무엇인가요? Retrieval 의미론적 단어
41. Query Translation - Self Query LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 2024년에 발표한 랭체인 발표주제는 무엇인가요? Retrieval 의미론적 단어 metadata에서 참조할 대상
42. Query Translation - Self Query LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 2024년에 발표한 랭체인 발표주제는 무엇인가요? Retrieval 의미론적 단어 metadata에서 참조할 대상 Query : “랭체인 발표주제” Filter : year ==2024
43. Advan RAG 정리! 출처 : https://www.linkedin.com/posts/ashishkhareiitr_genai-ai-generativeai-activity-7186611988561620993-RM3I?utm_source=share&utm_medium=member_desktop
44. Advanced RAG를 넘어선 Modular RAG 출처 : LangChain-ai
45. 1 2 3 들어주셔서 감사합니다 :)