어제는 OpenAI , 오늘은 Azure AI 내일은 Upstage 하지만 제 코드는 그대로입니다만?

Track1_1730_Lablup Conf 2025_박태영_여일구

Transcript

2. 어제는 OpenAI , 오늘은 Azure AI 내일은 Upstage 하지만 제 코드는 그대로입니다만? 롯데이노베이트 박태영 / 미라콤아이앤씨 여일구
3. 발표자 소개 박태영 tae0y tae0yp • 롯데이노베이트 SW엔지니어 여일구 sikutisa ilgooyeo • 미라콤아이앤씨 SW엔지니어
4. 발표 개요 • Open Chat Playground라는 오픈소스 앱 개발 프로젝트 소개 • LLM Provider를 쉽게 교체할 수 있어야 하는 이유 • 프레임워크, 앱 로직, 모델 각 레이어에서 호환성을 위해 적용한 기법들 • 향후 RoadMap과 맺음말
5. 프로젝트 소개
6. 프로젝트 소개 Open Chat Playground
7. 프로젝트 소개 Amazon Bedrock Azure AI Foundry Github Models Google VertexAI Model As A Service Local Docker Model Runner Foundry Local HuggingFace Ollama Vendor Anthropic Claude LG AI Exaone Naver HyperCLOVA X OpenAI GPT Upstage Solar Open Chat Playground
8. 프로젝트 소개 설정변경 Amazon Bedrock Azure AI Foundry Github Models Google VertexAI Model As A Service Local Docker Model Runner Foundry Local HuggingFace Ollama Vendor Anthropic Claude LG AI Exaone Naver HyperCLOVA X OpenAI GPT Upstage Solar Open Chat Playground
9. 그런데 왜?
10. 22년 12월부터 모델 릴리즈, 성능 순위표 주 2025/09/14, Artificial Analysis, MMLU Pro, HLE Humanity s Last Exam 등 벤치마크 종합 순위
11. OpenAI가 대체로 선두를 달리고 있음
12. Upstage, LG Exaone, Moonshot 등 새로운 도전자들
13. 그래서 모델을 쉽게 변경할 수 있다면 • 최신, 고성능 모델을 바로 사용 • 비용과 작업 내용에 알맞은 모델을 선택해 최적화 • 특정 Provider에서 이슈가 있을 경우 fallback 전략
14. 하지만 누가.….. 네? 제가요?
15. 기술스택 설명 & 데모
16. 기술스택 Blazor Microsoft. Extensions.AI
17. 앱 데모 • Azure OpenAI, Upstage Solar, RANDOM 를 선택하여 앱을 기동 • 채팅 UI에서 모델 응답 확인 • OpenTelemetry 로그 확인 보조 • 메인 로직 소스 확인 동일한 메서드 시그니처를 사용
18. F/W, APP, Model 각 레이어별 시도한 것들
19. F/W : Microsoft.Extensions.AI
20. F/W Microsoft.Extensions.AI • 프레임워크단에서 MEAI 패키지를 사용함 • 채팅, 임베딩, 함수호출을 모든 LLM Provider에 대해 동일한 인터페이스로 호출 가능 • OpenTelemetry, Cache 등 닷넷 프레임워크단과 통합도 강점 • MEAI는 LLM Provider와 연결을 추상화, Semantic Kernel에서 오케스트레이션
21. F/W Microsoft.Extensions.AI • 2024년 10월 preview로 공개 추상화에 집중하며 여러 Provider에 걸쳐 호환성을 보장 APP은 MEAI 혹은 MEAI.Abstractions 구현체를 통해 LLM과 연결 • 2025년 5월 9.5.0 버전으로 정식 릴리즈! 함수호출 기능개선 등 꾸준히 업데이트되고 있음
22. F/W Microsoft.Extensions.AI Microsoft Extensoins AI Provider Package Type Amazon Bedrock Official Azure AI Foundry Official GitHub Models Official OpenAI GPT Official Google Vertex AI Community Ollama Community Anthropic Claude Community Provider Package Type Docker Model Runner OpenAI 호환 API Foundry Local OpenAI 호환 API Naver HyperCLOVA X OpenAI 호환 API Upstage Solar OpenAI 호환 API Hugging Face Ollama GGUF서빙 LG AI EXAONE HuggingFace Ollama 서빙 NC Varco Vision GGUF 포맷변환 Ollama 서빙 SKT A.X BETA
23. F/W Microsoft.Extensions.AI 채팅 응답을 완성하는 샘플 LLM Provider를 고려하지 않고 CompleteAsync 메서드만 호출
24. F/W Microsoft.Extensions.AI 채팅 클라이언트 생성하는 샘플 기능이 깨질 걱정 없이, 개발/운영기에서 서로 다른 Provider를 선택
25. F/W Microsoft.Extensions.AI 채팅 클라이언트에 다양한 미들웨어 추가 아래 샘플은 로깅, 함수호출, 캐시, 오픈텔레메트리를 적용
26. F/W Microsoft.Extensions.AI 채팅 클라이언트에 커스텀 미들웨어 추가 아래 샘플은 RateLimit 미들웨어 적용, 이외에도 Compliance Filter, 비용 관리 등 활용 가능
27. APP : DI, 캡슐화, 설정주도
28. • 캡슐화 : 내부 상태, 구현을 숨기고 인터페이스로만 제어. 변경 파급 효과 최소화. • 다형성/추상화 : 공통 인터페이스로 서로 다른 구현을 동일하게 다룰 수 있음. 구현 교체, 확장에 용이함. • 단일책임원칙 : 하나의 클래스, 메서드에서 하나의 책임을 가짐. 결합도를 낮춰 리팩토링/디버깅 용이함. 객체지향의 기본개념
29. APP DI IChatClient를 DI 컨테이너에 등록
30. APP DI UI에서 IChatClient를 의존성 주입 받아 사용
31. APP 팩터리 메서드 LLM Provider 생성 로직을 팩터리 메서드로 캡슐화 호출자는 Provider의 구체적인 구현을 알 필요가 없음
32. APP 팩터리 메서드 GitHubModels를 연결하는 경우
33. APP 팩터리 메서드 실제 생성 로직을 살펴보면 필요한 파라미터, 호출하는 생성자 등이 서로 다름
34. APP 설정 주도 사용자가 설정만 바꿔서 변경할 수 있도록 함
35. Model : OpenAI 호환 API
36. Model OpenAI 호환 API OpenAI 엔드포인트 구조, 요청/응답 Json 포맷을 동일하게 제공 아래는 Anthropic을 OpenAI Python SDK로 연결하는 샘플
37. Model OpenAI 호환 API Upstage, Naver, Foundry Local을 아래와 같이 BaseUrl 변경하여 사용
38. OpenAI 호환 API • 코드 베이스를 유지한 채 모델 전환이 가능하다는 것은 큰 이점 • 쿼리별 최적의 모델 선택, 장애/컴플라이언스 상황 시 다른 모델로 전환 가능 • OpenAI 기반의 개발 생태계를 손쉽게 활용 o 모델 서빙 프레임워크 : vLLM, Ollama, LM Studio o 앱 개발 프레임워크 : LlamaIndex, AutoGen, CrewAI, LangChain, LangGraph o 그리고 Open Chat Playground에도 손쉽게 연결 가능
39. 향후 RoadMap 맺음말
40. RoadMap • 13개 LLM Provider 지원 지원 범위를 지속적으로 확장 • 앱 기동시 커맨드 라인 설정 런타임 실시간 모델 선택, 교체 기능 • Cloud Native 지원을 위한 NET Aspire 및 Azure 배포 기능 추가
41. 맺음말 • Open Chat Playground는 Azure AI부터 Upstage까지 손쉽게 연결했음 • 추상화된 공통 인터페이스, OpenAI 호환 API 덕분임 • LLM 사용 환경이 빠르게 변하고 있어, 이런 시도가 꼭 필요하다고 생각함
42. https://github.com/aliencube/open-chat-playground