신뢰할 수 있는 AI 검색 엔진을 만들기 위한 Liner의 여정

by Hoon Heo

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

허 훈 (Technical Lead @Liner) 신뢰할 수 있는 AI 검색 엔진을 만들기 위한 Liner의 여정

Slide 3

Slide 3 text

세계에서 두 번째로 많이 사용되는 AI 검색 엔진이자, 세계 9위 GenAI 제품 (a16z 연속 Top 10)

Slide 4

Slide 4 text

신뢰할 수 있는 문서와 답변을 찾는 대학생 이상 사용자 타겟

Slide 5

Slide 5 text

San Francisco와 서울 중심으로 조직 구성

Slide 6

Slide 6 text

목차 AI 검색이란? AI 검색 핵심 컴포넌트 현재 AI 검색의 기술적 한계 Liner가 도전하고 있는 영역

Slide 7

Slide 7 text

AI 검색이란?

Slide 8

Slide 8 text

AI 검색이란? 검색 과정 및 경험의 재개편

Slide 9

Slide 9 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색

Slide 10

Slide 10 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색

Slide 11

Slide 11 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색

Slide 12

Slide 12 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색

Slide 13

Slide 13 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색

Slide 14

Slide 14 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색 🙂↔

Slide 15

Slide 15 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색

Slide 16

Slide 16 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색 🙂↔

Slide 17

Slide 17 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색

Slide 18

Slide 18 text

AI 검색이란?: 전통 검색 검색 선별 열람 탐색 🫠

Slide 19

Slide 19 text

AI 검색이란?: AI 검색 검색 선별 열람 탐색

Slide 20

Slide 20 text

AI 검색이란?: AI 검색 검색 선별 열람 탐색

Slide 21

Slide 21 text

AI 검색이란?: AI 검색 검색 선별 열람 탐색

Slide 22

Slide 22 text

AI 검색이란?: AI 검색 검색 선별 열람 탐색 선별 및 열람

Slide 23

Slide 23 text

AI 검색이란?: AI 검색 검색 선별 열람 탐색 탐색

Slide 24

Slide 24 text

AI 검색이란? 전통 검색: 검색어를 떠올리는 것부터 문서 선별, 문서 내 유관 정보 탐색 까지 사람이 모두 수행하는 기술

Slide 25

Slide 25 text

AI 검색이란? 전통 검색: 검색어를 떠올리는 것부터 문서 선별, 문서 내 유관 정보 탐색 까지 사람이 모두 수행하는 기술 AI 검색: 사람은 의도만 전달하고, 좋은 검색어 생성부터 문서 선별 그리고 문서 내 유관 정보 탐색까지 모두 기계가 대신 수행해주는 기술

Slide 26

Slide 26 text

AI 검색 핵심 컴포넌트

Slide 27

Slide 27 text

AI 검색 핵심 컴포넌트

Slide 28

Slide 28 text

AI 검색 핵심 컴포넌트: 에이전트 시스템

Slide 29

Slide 29 text

AI 검색 핵심 컴포넌트: 에이전트 시스템

Slide 30

Slide 30 text

AI 검색 핵심 컴포넌트: 에이전트 시스템 사용자 질의가 들어왔을 때 난이도 파악 (i.e. 한 번에 해결할 수 있는 질의인지)

Slide 31

Slide 31 text

AI 검색 핵심 컴포넌트: 에이전트 시스템

Slide 32

Slide 32 text

AI 검색 핵심 컴포넌트: 에이전트 시스템 한 번에 해결하기 어려운 질의인 경우, 보다 작은 단위 질의로 분할하여 해결

Slide 33

Slide 33 text

AI 검색 핵심 컴포넌트: 에이전트 시스템

Slide 34

Slide 34 text

AI 검색 핵심 컴포넌트: 에이전트 시스템 질의 해결을 위해 가장 적합한 검색어 생성

Slide 35

Slide 35 text

AI 검색 핵심 컴포넌트: 에이전트 시스템

Slide 36

Slide 36 text

AI 검색 핵심 컴포넌트: 에이전트 시스템 검색 시스템 결과 참조하여 신뢰할 수 있는 답변 및 근거 생성

Slide 37

Slide 37 text

AI 검색 핵심 컴포넌트: 검색 시스템

Slide 38

Slide 38 text

AI 검색 핵심 컴포넌트: 검색 시스템

Slide 39

Slide 39 text

AI 검색 핵심 컴포넌트: 검색 시스템 생성된 검색어에 기반하여 검색 엔진으로부터 문서 검색

Slide 40

Slide 40 text

AI 검색 핵심 컴포넌트: 검색 시스템

Slide 41

Slide 41 text

AI 검색 핵심 컴포넌트: 검색 시스템 검색어 ↔ 문서, 문서 ↔ 문서 간 유사도 및 관련성 파악해 불필요한 문서 제거 (Shallow) ✂

Slide 42

Slide 42 text

AI 검색 핵심 컴포넌트: 검색 시스템

Slide 43

Slide 43 text

AI 검색 핵심 컴포넌트: 검색 시스템 검색어 ↔ 문서 간 유사도 및 관련성 파악해 최종적으로 문서 줄세우기 (Deep) 🔢

Slide 44

Slide 44 text

현재 AI 검색의 기술적 한계

Slide 45

Slide 45 text

현재 AI 검색의 기술적 한계: 검색 엔진

Slide 46

Slide 46 text

현재 AI 검색의 기술적 한계: 검색 엔진 💩 💩 💩 💩 💩

Slide 47

Slide 47 text

현재 AI 검색의 기술적 한계: 검색 엔진 검색 에이전트에 있어 LLM의 주된 역할은 추론과 답변 생성

Slide 48

Slide 48 text

현재 AI 검색의 기술적 한계: 검색 엔진 검색 에이전트에 있어 LLM의 주된 역할은 추론과 답변 생성 환각과 성능 상 병목을 만드는 가장 큰 영역은 검색 엔진

Slide 49

Slide 49 text

현재 AI 검색의 기술적 한계: 검색 엔진 검색 에이전트에 있어 LLM의 주된 역할은 추론과 답변 생성 환각과 성능 상 병목을 만드는 가장 큰 영역은 검색 엔진 따라서 검색 엔진의 성능에 따라 Upper-limit이 설정되게 됨

Slide 50

Slide 50 text

현재 AI 검색의 기술적 한계: 평가 여러 추론 정보와 문서 등을 활용해 생성된 답변

Slide 51

Slide 51 text

현재 AI 검색의 기술적 한계: 평가 신뢰할 수 있는 답변이라는 것을 어떻게 알 수 있을까? 🧐

Slide 52

Slide 52 text

현재 AI 검색의 기술적 한계: 평가 생성의 시대이자 비정형의 시대로 넘어오며 전통적인 측정이 불가능해짐 🙅

Slide 53

Slide 53 text

현재 AI 검색의 기술적 한계: 비용 최적화 지난 1년 반 동안 LLM 비용 측면에서 많은 절감이 이루어졌음

Slide 54

Slide 54 text

현재 AI 검색의 기술적 한계: 비용 최적화 그럼에도 스케일이 커질수록 여전히 비싼 가격으로 인해 비즈니스 마진을 키우기 어려움

Slide 55

Slide 55 text

Liner가 도전하고 있는 영역

Slide 56

Slide 56 text

Liner가 도전하고 있는 영역 Optimization Evaluation Passage Ranking Search Engine

Slide 57

Slide 57 text

Liner가 도전하고 있는 영역: Search Engine Optimization Evaluation Passage Ranking Search Engine

Slide 58

Slide 58 text

Liner가 도전하고 있는 영역: Search Engine XXX 에이전트에서 중요한 기술은 에이전트가 아니라 XXX

Slide 59

Slide 59 text

Liner가 도전하고 있는 영역: Search Engine 검색 에이전트를 개발하는 Liner에게 가장 중요한 기술은 “검색 시스템”

Slide 60

Slide 60 text

Liner가 도전하고 있는 영역: Search Engine 검색에는 크게 네 가지 유형이 존재

Slide 61

Slide 61 text

Liner가 도전하고 있는 영역: Search Engine Informational 특정 주제 관련 정보를 찾고자 하는 검색

Slide 62

Slide 62 text

Liner가 도전하고 있는 영역: Search Engine Informational Commercial 특정 주제 관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색

Slide 63

Slide 63 text

Liner가 도전하고 있는 영역: Search Engine Informational Commercial Transactional 특정 주제 관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색 상품을 정하고 구매하기 위한 검색

Slide 64

Slide 64 text

Liner가 도전하고 있는 영역: Search Engine Informational Commercial Transactional Navigational 특정 주제 관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색 특정 사이트로 이동하기 위한 검색 상품을 정하고 구매하기 위한 검색

Slide 65

Slide 65 text

Liner가 도전하고 있는 영역: Search Engine Liner가 집중하고자 하는 검색은

Slide 66

Slide 66 text

Liner가 도전하고 있는 영역: Search Engine Liner가 집중하고자 하는 검색은 Informational 특정 주제 관련 정보를 찾고자 하는 검색

Slide 67

Slide 67 text

Liner가 도전하고 있는 영역: Search Engine 제품 목적 달성을 위해서는 범용적으로 사용되는 검색 엔진에서부터 벗어나야 함 🙅

Slide 68

Slide 68 text

Liner가 도전하고 있는 영역: Search Engine 보다 Knowledge-intensive 한 질의를 다룰 수 있는 지식 특화 검색 엔진 개발 중 🙅 🙆

Slide 69

Slide 69 text

Liner가 도전하고 있는 영역: Passage Ranking Optimization Evaluation Passage Ranking Search Engine

Slide 70

Slide 70 text

Liner가 도전하고 있는 영역: Passage Ranking 신뢰할 수 있는 문서, 근거 그리고 답변 생성을 위해서는 검색 엔진을 넘어 검색 시스템 구축 필요

Slide 71

Slide 71 text

Liner가 도전하고 있는 영역: Passage Ranking 사용자 질의를 해결하는데 가장 필요한 문서를 선별하는 Ranking 모델 자체 학습 및 활용 (참조)

Slide 72

Slide 72 text

Liner가 도전하고 있는 영역: Passage Ranking 문서 단위 넘어 답변 생성에 가장 필요한 문단 단위 Ranking 학습 통해 근거 인용 능력 강화 “LLM Evaluation” 🔢

Slide 73

Slide 73 text

Liner가 도전하고 있는 영역: Evaluation Optimization Evaluation Passage Ranking Search Engine

Slide 74

Slide 74 text

Liner가 도전하고 있는 영역: Evaluation “신뢰할 수 있다”라는 개념은 어떻게 측정할 수 있을까?

Slide 75

Slide 75 text

Liner가 도전하고 있는 영역: Evaluation 사용자 질의 의도에 따라 평가가 달리 되어야 함

Slide 76

Slide 76 text

Liner가 도전하고 있는 영역: Evaluation 사용자 질의 의도에 따라 평가가 달리 되어야 함 검색어, 문서 그리고 근거 등에 대해 다각도로 평가되어야 함

Slide 77

Slide 77 text

Liner가 도전하고 있는 영역: Evaluation 사용자 질의 의도에 따라 평가가 달리 되어야 함 검색어, 문서 그리고 근거 등에 대해 다각도로 평가되어야 함 실험 기반 개선 위해 벤치마크 데이터셋을 구축해야 함

Slide 78

Slide 78 text

Liner가 도전하고 있는 영역: Evaluation Natural Language Inference 기반 Evidence <> Claim 간 Factuality 분석 모델링

Slide 79

Slide 79 text

Liner가 도전하고 있는 영역: Evaluation LLM 평가 관련 뛰어난 연구 진행 중인 KAIST KIXLAB과의 벤치마크 연구

Slide 80

Slide 80 text

Liner가 도전하고 있는 영역: Optimization Optimization Evaluation Passage Ranking Search Engine

Slide 81

Slide 81 text

Liner가 도전하고 있는 영역: Optimization Phase 1 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 PEFT

Slide 82

Slide 82 text

Liner가 도전하고 있는 영역: Optimization Phase 1 Phase 2 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 Fireworks AI, Together AI 등 모델 학습 및 서빙 플랫폼 활용 PEFT PEFT

Slide 83

Slide 83 text

Liner가 도전하고 있는 영역: Optimization Phase 1 Phase 2 Phase 3 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 Fireworks AI, Together AI 등 모델 학습 및 서빙 플랫폼 활용 GPU 클러스터 확보해 직접 모델 학습 및 서빙 최적화 PEFT PEFT PEFT Full-parameter tuning Post-training

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Liner가 도전하고 있는 영역: Optimization Fine-tuning 통해 외부 모델 대비 비용 및 속도 경쟁력 있는 모델 내재화

Slide 86

Slide 86 text

Liner가 도전하고 있는 영역 Optimization Evaluation Passage Ranking Search Engine

Slide 87

Slide 87 text

마치며...

Slide 88

Slide 88 text

마치며... 현재 Liner는 기술에 의한 전략적 변곡점 (Strategic Inflection Point)에 서있음

Slide 89

Slide 89 text

마치며... Liner에게는 Preferable Future를 꿈꾸고 그려나갈 수 있는 좋은 기회

Slide 90

Slide 90 text

마치며... 앞으로 시장에서 여러 도전 함께 해나가며 서로가 서로에게 도움이 될 수 있었으면

Slide 91

Slide 91 text

엔지니어 적극 채용 중 React Native Engineer ML Engineer Senior Frontend Engineer Search Engineer Inference Engineer System Engineer