생성형 AI 어디까지 알아보고 오셨어요? - 김현수

Lablup Conf 2023

Transcript

2. 생성형 AI 어디까지 알아보고 오셨어요? 생성형 AI UX의 변화와 활용 방법과 사례 김현수 Microsoft
5. Business Chat은 문서, 프리젠테이션, 이메일, 캘린더, 메모 및 연락처의 Microsoft 365 앱에 탑재
6. 컨텐츠 생성 요약 / 번역 코드 생성 검색 고객 사용 분야 교육 고객센터 서적 전자상거래 금융 지식관리시스템 KMS
7. 가 바꾸는 소개 자료 다운로드
9. 여러분도 ChatGPT로 만들 수 있습니다. 활용 전략을 알려 드립니다.
10. 좋은 질문 시작 외부 데이터 활용 GPT 모델 선택 UX 진화 No Code 맞춤형 LLM LLM APP 완성 Use Case
11. ž 무슨 역할을 수행하는지 특정 페르소나 ž 주어진 목표 달성을 위해 무엇을 해야 하는지, 원하는 출력의 형식과 길이를 정의 ž 신뢰할 수 있는 관련 데이터를 제공 ž 어떤 고객 대상인지 말투나 스타일을 정의
12. 정보 검색 시스템을 이용해 증강 생성 User Question LLM Workflow Query My Data Add Results to Prompt Query Model Send Results Azure Cognitive Search Azure OpenAI
13. 정보 검색 시스템을 이용해 증강 생성 App UX Query ß Knowledge Prompt Knowledge ß Response App Server, Orchestrator User Apps Orchestration Data Sources Retrieval Files RDBMS NoSQL Storage LLM 1 1 2 3 Indexing Query Azure Cognitive Search Azure OpenAI
14. 정보 검색 시스템을 이용해 증강 생성 App UX Vector data ß Knowledge Prompt Knowledge ß Response App Server, Orchestrator User Apps Orchestration Data Sources Retrieval Files RDBMS NoSQL Storage LLM 1 1 3 4 Contents Embeddings Query Azure Cognitive Search Azure OpenAI Vector Search 2.1, 1.2, 0.2 … 0.1, 0.5, 0.9… 1.7, 0.9, 1.6 … 2 Query Embedding ß Vector data
15. 추론 시간 비용 성능 gpt 35 turbo 4k gpt 35 turbo instruct 4k gpt 35 turbo 16k 1 GPT 4 8k GPT 4 32k 2 text embedding ada 002 3
16. 사람이랑 대화하듯 소통 – 카카오모빌리티 길찾기 API ( 출발지 , 목적지 ) 관련 링크
17. 사람이랑 대화하듯 소통 – 관련 링크 Speech 서울 날씨 어때? User Azure AI Speech to Text Function Calling 서울 날씨 어때? Azure OpenAI GPT 3.5 Turbo get directions get future directions get current time get current weather Kakao Mobility 서울 위/경도 서울 날씨 Generation { "Weather_main": "Clear", "Weather_description": "clear sky", "Temperature_Celsius": 15.83, "Humidity": 94, "Cloudiness": 0 } You are an agent that tells the user about the weather. 서울의 현재 날씨는 맑은 하늘이며, 기온은 섭씨 15.83도입니다. 습도는 94%이고 구름이 거의 없습니다. Azure OpenAI GPT 3.5 Turbo Azure AI Text to Speech 한국마이크로소프트에서 래블업까지 얼마나 걸려? 한국마이크로소프트에서 래블업까지는 약 12.67km 거리이며, 약 49분 53초 정도 소요됩니다. 택시 요금은 18,600원이며, 톨비는 없습니다.
19. Prompt – 비용 Time Foundation Model Prompt Engineering i.e. few shot Prompt Completion 비용 Time Fine Tuned Model Hosting Token Count Savings Token Count Training
21. 좋은 질문 시작 외부 데이터 활용 GPT 모델 선택 UX 진화 No Code 맞춤형 LLM LLM APP 완성 Use Case
22. 할 수 있는 주체는 바로 기술로 여러분의 하
23. 생성형 AI를 좀 한다는 스타트업들의 노하우 전격 대방출 2023 10 26 목 https://aka.ms/MicrosoftStartupSummit2023
24. 감사합니다