Upgrade to Pro — share decks privately, control downloads, hide ads and more …

신뢰할 수 있는 AI 검색 엔진을 만들기 위한 Liner의 여정

Hoon Heo
November 04, 2024

신뢰할 수 있는 AI 검색 엔진을 만들기 위한 Liner의 여정

a16z가 선정한, "세계에서 가장 많이 사용되는 GenAI Consumer Application"에 두 차례 연속 Top10에 기재된 Liner는 신뢰할 수 있는 참조 문서와 답변이 누구보다 중요한 Researchers, Graduate Students, Univ. Students를 대상으로 AI 검색 제품을 만들어 나가는 스타트업입니다.

이처럼 Liner는 어떤 기업보다도 AI 검색이라는 도메인에 진심으로 임하고 있으며, 해당 기술을 제품을 통해 풀어냈을 때 창출할 수 있는 부가 가치가 굉장히 크다는 믿음 하에 기술적, 제품적 난제를 해결해나가고 있습니다. 본 슬라이드는 Liner가 정의한 AI 검색이란 무엇인지, 이를 넘어 어떠한 기술적 문제들을 더 해결해나가고자 하는지 등에 대해 다룹니다.

Hoon Heo

November 04, 2024
Tweet

More Decks by Hoon Heo

Other Decks in Technology

Transcript

  1. 허 훈 (Technical Lead @Liner) 신뢰할 수 있는 AI 검색

    엔진을 만들기 위한 Liner의 여정
  2. 목차 AI 검색이란? AI 검색 핵심 컴포넌트 현재 AI 검색의

    기술적 한계 Liner가 도전하고 있는 영역
  3. AI 검색이란? 전통 검색: 검색어를 떠올리는 것부터 문서 선별, 문서

    내 유관 정보 탐색 까지 사람이 모두 수행하는 기술
  4. AI 검색이란? 전통 검색: 검색어를 떠올리는 것부터 문서 선별, 문서

    내 유관 정보 탐색 까지 사람이 모두 수행하는 기술 AI 검색: 사람은 의도만 전달하고, 좋은 검색어 생성부터 문서 선별 그리고 문서 내 유관 정보 탐색까지 모두 기계가 대신 수행해주는 기술
  5. AI 검색 핵심 컴포넌트: 에이전트 시스템 사용자 질의가 들어왔을 때

    난이도 파악 (i.e. 한 번에 해결할 수 있는 질의인지)
  6. AI 검색 핵심 컴포넌트: 에이전트 시스템 한 번에 해결하기 어려운

    질의인 경우, 보다 작은 단위 질의로 분할하여 해결
  7. AI 검색 핵심 컴포넌트: 검색 시스템 검색어 ↔ 문서, 문서

    ↔ 문서 간 유사도 및 관련성 파악해 불필요한 문서 제거 (Shallow) ✂
  8. AI 검색 핵심 컴포넌트: 검색 시스템 검색어 ↔ 문서 간

    유사도 및 관련성 파악해 최종적으로 문서 줄세우기 (Deep) 🔢
  9. 현재 AI 검색의 기술적 한계: 검색 엔진 검색 에이전트에 있어

    LLM의 주된 역할은 추론과 답변 생성 환각과 성능 상 병목을 만드는 가장 큰 영역은 검색 엔진
  10. 현재 AI 검색의 기술적 한계: 검색 엔진 검색 에이전트에 있어

    LLM의 주된 역할은 추론과 답변 생성 환각과 성능 상 병목을 만드는 가장 큰 영역은 검색 엔진 따라서 검색 엔진의 성능에 따라 Upper-limit이 설정되게 됨
  11. 현재 AI 검색의 기술적 한계: 비용 최적화 지난 1년 반

    동안 LLM 비용 측면에서 많은 절감이 이루어졌음
  12. 현재 AI 검색의 기술적 한계: 비용 최적화 그럼에도 스케일이 커질수록

    여전히 비싼 가격으로 인해 비즈니스 마진을 키우기 어려움
  13. Liner가 도전하고 있는 영역: Search Engine Informational Commercial 특정 주제

    관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색
  14. Liner가 도전하고 있는 영역: Search Engine Informational Commercial Transactional 특정

    주제 관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색 상품을 정하고 구매하기 위한 검색
  15. Liner가 도전하고 있는 영역: Search Engine Informational Commercial Transactional Navigational

    특정 주제 관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색 특정 사이트로 이동하기 위한 검색 상품을 정하고 구매하기 위한 검색
  16. Liner가 도전하고 있는 영역: Search Engine Liner가 집중하고자 하는 검색은

    Informational 특정 주제 관련 정보를 찾고자 하는 검색
  17. Liner가 도전하고 있는 영역: Search Engine 제품 목적 달성을 위해서는

    범용적으로 사용되는 검색 엔진에서부터 벗어나야 함 🙅
  18. Liner가 도전하고 있는 영역: Search Engine 보다 Knowledge-intensive 한 질의를

    다룰 수 있는 지식 특화 검색 엔진 개발 중 🙅 🙆
  19. Liner가 도전하고 있는 영역: Passage Ranking 신뢰할 수 있는 문서,

    근거 그리고 답변 생성을 위해서는 검색 엔진을 넘어 검색 시스템 구축 필요
  20. Liner가 도전하고 있는 영역: Passage Ranking 사용자 질의를 해결하는데 가장

    필요한 문서를 선별하는 Ranking 모델 자체 학습 및 활용 (참조)
  21. Liner가 도전하고 있는 영역: Passage Ranking 문서 단위 넘어 답변

    생성에 가장 필요한 문단 단위 Ranking 학습 통해 근거 인용 능력 강화 “LLM Evaluation” 🔢
  22. Liner가 도전하고 있는 영역: Evaluation 사용자 질의 의도에 따라 평가가

    달리 되어야 함 검색어, 문서 그리고 근거 등에 대해 다각도로 평가되어야 함
  23. Liner가 도전하고 있는 영역: Evaluation 사용자 질의 의도에 따라 평가가

    달리 되어야 함 검색어, 문서 그리고 근거 등에 대해 다각도로 평가되어야 함 실험 기반 개선 위해 벤치마크 데이터셋을 구축해야 함
  24. Liner가 도전하고 있는 영역: Evaluation LLM 평가 관련 뛰어난 연구

    진행 중인 KAIST KIXLAB과의 벤치마크 연구
  25. Liner가 도전하고 있는 영역: Optimization Phase 1 OpenAI, Anthropic, Gemini

    등 Provider 활용해 어플리케이션 구현 PEFT
  26. Liner가 도전하고 있는 영역: Optimization Phase 1 Phase 2 OpenAI,

    Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 Fireworks AI, Together AI 등 모델 학습 및 서빙 플랫폼 활용 PEFT PEFT
  27. Liner가 도전하고 있는 영역: Optimization Phase 1 Phase 2 Phase

    3 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 Fireworks AI, Together AI 등 모델 학습 및 서빙 플랫폼 활용 GPU 클러스터 확보해 직접 모델 학습 및 서빙 최적화 PEFT PEFT PEFT Full-parameter tuning Post-training
  28. Liner가 도전하고 있는 영역: Optimization Phase 1 Phase 2 Phase

    3 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 Fireworks AI, Together AI 등 모델 학습 및 서빙 플랫폼 활용 GPU 클러스터 확보해 직접 모델 학습 및 서빙 최적화 PEFT PEFT PEFT Full-parameter tuning Post-training
  29. 엔지니어 적극 채용 중 React Native Engineer ML Engineer Senior

    Frontend Engineer Search Engineer Inference Engineer System Engineer