[LangChainKR 2024Q2]Native RAG to Advanced RAG 톺아보기

Slide 1

Slide 1 text

NativeRAG부터 Advanced RAG 톺아보기 백 혜 림 리미에오 랭체인코리아 2024 Q2

Slide 2

Slide 2 text

리미에오 연사소개 LinkedIn : https://www.linkedin.com/in/rimiyeyo TechBlog : https://rimiyeyo.tistory.com E-mail : rimiyeyo@gmail.com 이전에는 Audio AI 엔지니어였다가, 콘텐츠 크리에이터로 활동했다가, 여러 AI관련 교육을 진행하고 최근 LLM관련 부트캠프 강사로 활동했다가. 가끔 개발도 합니다.

Slide 3

Slide 3 text

OverView Basic LLM Native RAG Advanced RAG ETC Colab 예제

Slide 4

Slide 4 text

RAG(Retrieval-Augmented Generation)

Slide 5

Slide 5 text

LLM RAG가 없는 LLM의 생성 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 목록알려줘 Question

Slide 6

Slide 6 text

LLM RAG가 없는 LLM의 생성 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 목록알려줘 Prompt Question 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 조회할거야! 발표자 이름만 뽑아줘 Question {question} Answer {answer}

Slide 7

Slide 7 text

LLM RAG가 없는 LLM의 생성 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 목록알려줘 Prompt Question 2024년 LangChain kr 밋업Q2에서 발표하는 연사자 조회할거야! 발표자 이름만 뽑아줘 Question {question} Answer {answer} 김태영 김태영

Slide 8

Slide 8 text

Hallucination LLM의 한계

Slide 9

Slide 9 text

Hallucination ** 부정확한 정보를 생성하는 현상 LLM의 한계

Slide 10

Slide 10 text

Hallucination ** 부정확한 정보를 생성하는 현상 1. LLM을 Fine tuning하자! 2. RAG기법을 활용해보자! LLM의 한계

Slide 11

Slide 11 text

RAG(Retrieval-Augmented Generation) 검색, 증강, 생성

Slide 12

Slide 12 text

실습예제 다운받기 QR

Slide 13

Slide 13 text

13 Native RAG

Slide 14

Slide 14 text

RAG를 추가해봅시다 LLM Prompt 외부지식 검색 Retrieval Question 백혜림 이경록 김태영 2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘

Slide 15

Slide 15 text

RAG를 추가해봅시다 (더 자세히) 외부지식 PDF Website CSV SQL JSON Markdown Loader & Splitter

Slide 16

Slide 16 text

RAG를 추가해봅시다 (더 자세히 : chunk size의 비밀) 외부지식 PDF Website CSV SQL JSON Markdown Loader & Splitter Chunk Size=3 Chunk Size=4 Chunk Size=5 Chunk Size=6 https://chunkviz.up.railway.app/

Slide 17

Slide 17 text

RAG를 추가해봅시다 (더 자세히) LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Embedding 백혜림 이경록 김태영 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘 Question과 관련있는 상위 k개의 문서들

Slide 18

Slide 18 text

2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘 RAG를 추가해봅시다 (더 자세히) LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Embedding 백혜림 이경록 김태영 Question과 관련있는 상위 k개의 문서들 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Indexing

Slide 19

Slide 19 text

2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘 RAG를 추가해봅시다 (더 자세히) LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Embedding 백혜림 이경록 김태영 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Retrieval Question과 관련있는 상위 k개의 문서 출력

Slide 20

Slide 20 text

RAG를 추가해봅시다 (더 자세히) LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Embedding 백혜림 이경록 김태영 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Generation 2024년 LangChainkr 밋업Q2에서 발표하는 연사자 목록알려줘 Question과 관련있는 상위 k개의 문서 출력

Slide 21

Slide 21 text

21 Advanced RAG

Slide 22

Slide 22 text

RAG를 좀더 확장해봅시다! Generation Indexing Retrieval

Slide 23

Slide 23 text

RAG를 좀더 확장해봅시다! Generation Indexing Retrieval Pre- Retrieval Retrieval Post- Retrieval Generation Indexing Query Manipulation Data Modification Re-Ranking Filtering Enhancing Customization Search Ranking Indexing with elasticserarch, Faiss, Hybrid Search FT Embedding

Slide 24

Slide 24 text

Hybrid Search LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Vector Search 백혜림 이경록 김태영 PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Question과 관련있는 상위 k개의 문서들 Keyword Search Embedding TF-IDF BM25

Slide 25

Slide 25 text

Long context ReOrder LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter A B C D Reorder A C D B similarity_top=4 관련성이 낮은 문서 가운데에 배치 Embedding 관련성 이 제일 높은 A

Slide 26

Slide 26 text

Re-Ranking LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter A B C D Re-ranking B C D A similarity_top=4 top_n=2 Embedding

Slide 27

Slide 27 text

그외 다양한 전략 출처 : LangChain-ai

Slide 28

Slide 28 text

28 MultiQueryRetriever

Slide 29

Slide 29 text

Query Translation - MultiQueryRetriever LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 랭체인 연사자는 누구인가요? Retrieval1 Retrieval2 Retrieval3

Slide 30

Slide 30 text

Query Translation - MultiQueryRetriever LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Q1 랭체인 연사자의 신분은 무엇인가요? PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Q2 랭체인 연사자의 역할은 무엇인가요? Q3 랭체인 연사자의 업무 내용은 무엇인가요? 랭체인 연사자는 누구인가요? Retrieval1 Retrieval2 Retrieval3 Paraphrasin g

Slide 31

Slide 31 text

31 Decomposition

Slide 32

Slide 32 text

Query Translation - Decomposition LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 랭체인 에이전트와 랭그래프 사이 차이점은 무엇인가요? Retrieval1 Retrieval2 Retrieval3

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Query Translation - Decomposition LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Q1 랭체인이란 무엇인가요? PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Q2 랭그래프는 어떤 기술이며 어떻게 작동하나요? Q3 랭체인과 랭그래프의 차이점은 무엇인가요? Retrieval1 Retrieval2 Retrieval3 sub-query sub-query sub-query 랭체인 에이전트와 랭그래프 사이 차이점은 무엇인가요? 1 2 Decomposition

Slide 35

Slide 35 text

35 RAG-Fusion

Slide 36

Slide 36 text

Query Translation - RAG-Fusion LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB Q1 랭체인 연사자를 누가 제공하나요? PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter Q2 랭체인 주최가 어디인가요? Q3 랭체인이 무엇인가요? 랭체인 연사자는 누구인가요? Retrieval1 Retrieval2 Retrieval3 Reciprocal Rank Fusion (Topk)

Slide 37

Slide 37 text

Reciprocal Rank Fusion (RRF) LLM Retrieval1 Retrieval2 Retrieval3 Reciprocal Rank Fusion (Topk)

Slide 38

Slide 38 text

38 Self-Query

Slide 39

Slide 39 text

Query Translation - Self Query LLM Question 외부지식 [ 0.87, 0.98, 0.76, 0.77 … ] [ 0.93, 0.78, 0.34, 0.56 … ] [ 0.84, 0.67, 0.45, 0.67 … ] [ 0.67, 0.89, 0.67, 0.57 … ] VectorDB PDF Website CSV SQL JSON Markdown Embedding Loader & Splitter 2024년에 발표한 랭체인 발표주제는 무엇인가요? Retrieval

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Advan RAG 정리! 출처 : https://www.linkedin.com/posts/ashishkhareiitr_genai-ai-generativeai-activity-7186611988561620993-RM3I?utm_source=share&utm_medium=member_desktop