기업을 위한 생성형 AI 솔루션

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

기업을 위한 생성형 AI 솔루션 박우명 CDO & Head of Research Sionic AI

Slide 3

Slide 3 text

About a Speaker ▪ Academic – Ph.D. of ECE in UMCP – MS/BS of ECE in Seoul National University ▪ Industry – Co-Founder, CDO, and Head of Research in Sionic AI – Leader of Various AI R&D Teams in NAVER CLOVA – Co-Founder and Head of Research in Company.AI – Data Scientist in Pikicast – Senior Engineer in Samsung Electronics

Slide 4

Slide 4 text

About a Company ▪ https://www.sionic.ai

Slide 5

Slide 5 text

Introduction

Slide 6

Slide 6 text

AI는 버블인가? ▪ ChatGPT 이후 700% 상승 vs 고점 대비 25% 하락 GPT-3 ChatGPT

Slide 7

Slide 7 text

AI : Too Much Spend, Too Little Benefit? ▪ 골드만삭스 보고서 ('24.06) – AI는 향후 10년간 미국 GDP를 0.9%~6.1% 올릴 것이며 모든 작업의 약 25%까지 담당할 것 – 향후 수년간 1조 달러의 투자가 예상. → 단기간에 AI가 보여주는 성과는 비용 대비 미미한 수준 ▪ 구글 2분기 Earning Call ('24.07) – AI에 대한 과잉 투자에 대한 위험보다 과소 투자로 인한 위험이 "dramatically" 더 크다 ▪ 결국 승자에게는 투자가 되고, 패자에게는 버블이 될 것 – 과거 90년대 닷컴 버블과 비슷한 상황 – 따라서 현재는 너도나도 AI에 대해서 GO를 외치는 상황

Slide 8

Slide 8 text

왜 AI에 대한 관심이 뜨거울까? : A Needle in a Haystack ▪ 매일 폭발적으로 생산/소비되는 데이터 – 2023년 생산 데이터량 ✓ 329 Exabytes / Day ✓ 120 Zettabytes / Year – 매년 지속적으로 20~40%씩 꾸준히 증가 ▪ 데이터 처리는 AI가 잘 할 수 있는 영역 – 사람은 모든 데이터를 살펴볼 수 없음 – AI가 데이터를 수집하고 이해하며 사람이 필요한 정보를 제공하는 보조 역할 ▪ 특히 기업 활동에 있어 매우 필요한 능력

Slide 9

Slide 9 text

기업들이 AI에 기대는 것 : 기업 고유의 Core Intelligence ▪ 수 년 전부터 미래의 새로운 해자(New Moat)로 언급[1] – 기업에서는 수많은 데이터를 생산되나 제대로 활용하지 못함 – AI 기술의 발전으로 기업에서 생산하는 모든 지식을 저장하고 이해하며 손쉽게 활용할 수 있는 수단으로서 관심이 높아짐 ▪ 앞으로 기업내 데이터의 생성, 저장, 활용 등 모든 면이 AI-native 형태로 변할 것 [1] https://news.greylock.com/the-new-moats-53f61aeac2d9

Slide 10

Slide 10 text

Data ▪ 2가지 방향으로 전개될 것 – AI가 쉽게 활용할 수 있는 데이터 생성 → AI 기반 앱을 만들고 운영하면서 자연스럽게 축적되고, 이것이 기업의 Core Intelligence를 강화하는 방향으로 나아갈 것 – 기존 데이터를 AI가 활용할 수 있는 형태로 변환 → AI 기반의 데이터 ETL이 점점 주목받을 것 https://www.databricks.com/blog/databricks-mosaicml https://techcrunch.com/2023/06/26/databricks-picks-up-mosaicml-an-openai-competitor-for-1-3b/ https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

Slide 11

Slide 11 text

Core Intelligence : 언어 모델이 중심 ▪ 표현력이 뛰어남 – 대부분의 정보는 ‘글’의 형태로 변환하여 표현 가능 – 인류 역사의 대부분의 지식은 ‘글’의 형태로 저장되어 전해 내려오고 있음 ▪ 효율성이 높음 – 글은 정보를 가장 적은 양으로 표현할 수 있는 수단 – 따라서 동일한 지식 및 정보를 학습할 때 필요한 비용 크게 낮음 ▪ 따라서 Core Intelligence는 LLM 중심으로 발전 – LLM : 두뇌 역할 – 그 외 Modality(이미지, 음성, 동영상 등) : 감각 기관 역할

Slide 12

Slide 12 text

LLM이란 무엇인가? ▪ LLM = Large Language Model = 초거대 언어 모델 ▪ 언어 모델 : 현재의 입력을 바탕으로 다음 단어 확률을 예측하는 모델 ▪ 초거대 언어 모델 : 엄청나게 큰 언어 모델 언어 모델의 예시

Slide 13

Slide 13 text

LLM의 대표적인 아키텍처 : Transformer ▪ Seminal Paper from Google in 2017 Essential AI Adept AI Essential AI Adept AI Character.AI Inceptive Cohere Sakana AI OpenAI Pagoda

Slide 14

Slide 14 text

LLM의 발전 트렌드 ▪ 파라미터 10B+ 이상 기준 2023.09- Current Mixtra l Qwen Yi Orion Miqu Gemini Mi:dm HyperCLOVA X Grok Claude 3 A Survey of LLMs(https://arxiv.org/abs/2303.18223)의 그림을 편집

Slide 15

Slide 15 text

AI를 적절히 제어하고 활용하기

Slide 16

Slide 16 text

Some Weaknesses of LLM ▪ Hallucination – 문장 생성은 반복적으로 다음 토큰을 선택하는 과정 – 모델이 모르는 내용이 들어올 때 → Hallucination 확률 ↑ ▪ Frozen Knowledge – LLM은 학습하지 않은 정보(최신 정보, Private 지식 등)를 알 수 없음 – 반면 많은 기업들은 그들의 내부 데이터를 활용한 application을 원함 ▪ High Cost and Latency (in both training and inference)

Slide 17

Slide 17 text

기업들이 비즈니스에 LLM을 활용하려면 ▪ 일정 수준 이상의 품질을 보장해야 함 ▪ 비용이 효율적이어야 함 ▪ 쉽고 편리하게 만들고 운영할 수 있어야 함 ▪ 사용 및 운영하면서 지속적으로 쌓이는 지식을 습득하고 똑똑하게 되며, 고객에 맞게 Customize되어야 함 ▪ 기업 고유의 비즈니스 로직과 레거시 시스템과의 연동이 자연스러워야 함 ▪ 등등 매우 다양하고 많은 요구사항들...

Slide 18

Slide 18 text

LLM을 활용하기 위한 방법론들 ▪ 적절하게 LLM을 제어하고 정보를 주입하며, 비용 효율적으로 활용하기 위한 노력 ▪ 종류 – Prompt Tuning – Supervised Finetuning – Parameter Efficient Tuning – Retrieval-Augmented Generation (RAG) – ...

Slide 19

Slide 19 text

LLM이 등장하면서 잘할 수 있게 된 능력 : 추론 ▪ 추론 : 미리 알려진 사실을 근거로 새로운 판단 또는 결론을 이끌어 냄 ▪ 대표적인 방법론 : Chain of Thoughts(CoT) – 풀이 과정을 LLM이 자연어로 생성. 답변 작성에 활용 Scratchpads Chain of Thoughts 기술 블로그 : https://blog.sionic.ai/llm- Scratchpads : https://arxiv.org/abs/2112.00114 CoT : https://arxiv.org/abs/2201.11903

Slide 20

Slide 20 text

LLM에게 추론을 시키자 : RAG ▪ 사람에 비유하면 오픈북 시험을 보는 것과 유사 ▪ 기업이 원하는 Private 지식을 주입하는 효과적인 방법 ▪ 텍스트 임베딩 모델을 통하여 사용자의 질문과 연관된 문서를 가져와서 LLM에서 추론할 재료를 공급

Slide 21

Slide 21 text

RAG를 잘하기 위한 요소 1 : Embedding Model ▪ Massive Text Embedding Benchmark (MTEB) – Embedding Dimension이 증가 추세 https://huggingface.co/spaces/mteb/leaderboard https://openai.com/index/new-embedding-models-and-api-updates/

Slide 22

Slide 22 text

Embedding Dimension이 커지면? ▪ 차원이 높아질수록 Recall 성능이 크게 하락 ▪ 검색 품질을 손해보지 않으면서 QPS를 높이는 것이 중요!

Slide 23

Slide 23 text

RAG를 잘하기 위한 요소 2 : LLM ▪ LLM을 실제 활용하는데 있어 '추론' 능력이 중요 – 최근 multi-lingual LLM의 발전 속도도 매우 빠름 – 그렇지만 여전히 한국어 추론 능력이 뛰어난 오픈소스 모델은 제한적 ▪ LLM의 종합적인 체감 성능과 일치하는 한국어 벤치마크의 부재 – 기존 벤치마크는 객관식 형태의 특정 task 성능 측정이 대부분 – 전반적으로 뛰어난 성능의 모델과 해당 task만 잘하는 모델을 구분하기 어려움

Slide 24

Slide 24 text

LogicKor : 한국어 능력 평가 ▪ 특히 추론과 Instruction Following 능력을 중점적으로 평가 https://lk.instruct.kr/

Slide 25

Slide 25 text

Korean LLM of Sionic AI ▪ LLaMa 3, 3.1 기반 최초의 한국어 튜닝 LLM 공개 https://ai.meta.com/blog/meta-llama-3/ https://github.com/sionic-ai/xionic-ko-llama-3-70b https://github.com/sionic-ai/xionic

Slide 26

Slide 26 text

이슈들 : 지시 이행 능력 ▪ 주어진 지식과 상식이 다를 때 성능이 떨어짐

Slide 27

Slide 27 text

이슈들 : RAG vs Long-context LLM ▪ 문서를 LLM에 직접 주입하는 방식이 효과적이라는 주장 존재 ▪ Multi-hop 으로 해결할 문제를 Single-hop으로 접근해서 발생한 이슈

Slide 28

Slide 28 text

이슈들 : 다양한 스타일의 문서 처리 ▪ 복잡한 형태의 고객 문서를 처리하고 활용할 수 있어야 함

Slide 29

Slide 29 text

What’s More? : 관리 및 운영 측면 ▪ 편리한 배포 관리 ▪ 비즈니스 로직 및 레거시 시스템과 유기적인 연동 ▪ 생성 결과에 대한 손쉬운 피드백 관리 및 지속적인 개선 ▪ 사용자의 행동 패턴에 따른 Customization 장기 기억 단기 기억

Slide 30

Slide 30 text

STORM Platform

Slide 31

Slide 31 text

Global Market : Japan

Slide 32

Slide 32 text

아날로그에 진심인 나라, 일본

Slide 33

Slide 33 text

잃어버린 30년 And ▪ 생산가능인구 감소, 생산설비 노후화 및 기술 부족, 기술 투자 부진, 글로벌 산업 패러다임 변화의 4중고 ▪ 디지털 트랜스포메이션(DX)을 통한 생산성 향상이 필요하다고 인식

Slide 34

Slide 34 text

국가 차원에서의 적극적인 투자 ▪ 생성 AI 기술을 활용하여 그 동안 뒤쳐진 IT 기술을 한번에 따라잡겠다는 목표 ▪ 경제산업성에서 2024년 2월 GENIAC 프로젝트 착수

Slide 35

Slide 35 text

일본 독자 LLM 모델 현황 ▪ 일본어 특화에 초점을 맞추고 있음 ▪ 자사 서비스 및 업무에 먼저 도입하는 경향 기업명 공개 시기 크기 ABEJA '23.03 13B LINE(Softbank) '23.09 4B / 82B NEC '23.07 13B NTT '23.12 7B 오르츠 '23.05 10B / 160B 후지츠 '24.05 13B Lightblue '24.03 72B Preferred Network '23.09 13B Stockmark '24.05 100B

Slide 36

Slide 36 text

왜 일본인가? ▪ B2B SaaS 시장 규모 및 잠재력 → Enterprise Solution 시장 규모 글로벌 2위 → 매년 두 자릿수의 기업용 SaaS 시장 성장률 ▪ 코로나 이후 AI Transformation 트렌드 → 늦은 디지털 개혁으로 인해 오히려 AI로의 전환이 용이한 상황 ▪ B2B 사업 경험 및 네트워크 → LINE, Softbank, Yamato 과제 등 AI 사업 경험 보유

Slide 37

Slide 37 text

일본은 기회의 땅? ▪ 일본의 DX시장 규모는 지속 확대될 것이며, AI분야에 대한 수요도 지속될 것으로 예상 ▪ 민간 뿐 아니라 정부 차원에서 글로벌 경쟁에서 뒤쳐지지 않기 위한 노력이 계속될 것이라 전망

Slide 38

Slide 38 text

그래서 직접 일본에 다녀왔습니다 ▪ 2024 NexTech Week AI Expo in Tokyo (5/22~24)

Slide 39

Slide 39 text

Wrap-up ▪ 지금은 생성 AI의 시대. 점차 더 다양한 영역으로 확장될 것 ▪ 특히, 기업은 고유의 Core Intelligence를 만들고 비즈니스에 적용하는 방향으로 AI를 활용하려고 할 것 ▪ (현재) 공급자 중심의 발전 → (미래) 수요자 중심의 발전 예상 ▪ 기업이 LLM을 활용하기 위해서는 많은 현실적인 문제를 해결해야 함 ▪ 향후 이러한 문제에 효과적인 솔루션을 제공하여 각 기업의 AI Transformation을 가속화하는 곳들에게 큰 기회가 있을 것

Slide 40

Slide 40 text

• Email : max@sionic.ai • HP : 01062156110 • Linkedin : https://www.linkedin.com/in/woomyoung-park-2579832b/ • Articles : https://blog.sionic.ai