Proprietary + Confidential Backend.AI와 거대 언어 모델: 금융 분석에서 비즈니스 인사이트까지 알짜 기업이 쓰는 진짜 AI 2024. 1. 22 신정규 래블업 주식회사 

86% Statistic Caption Who we are : Make AI Accessible 

Proprietary + Confidential We Make For AI 

Proprietary + Confidential • 금융권의 수요 및 난제 • 생성AI의 기여 • Backend.AI: 금융권을 위한 AI 플랫폼 – (GenAI Desktop, FastTrack, Reservoir) on Backend.AI • 금융 기관 활용 사례 • 마치며 오늘의 주제 

Proprietary + Confidential • 실용화된 생성 AI – 거대 언어 모델 – 이미지 생성 모델 – 멀티모달 결합 모델 • 장점 – 컨텐트 생성하기 ✓ 정보를 주고 생성 – 컨텐트 변용하기 ✓ 컨텐트의 형식/포맷 변경 – 인사이트 도출하기 ✓ 컨텐트 요약 / 정리 / 평가 등 생성 AI generative fountain with steam punk style, starlight from the deep sky, breeze on the water surface. 

Proprietary + Confidential • 기반 모델 – 라벨링되지 않은 대규모 데이터를 자기지도 방식으로 학습한 거대 AI 모델 – 광범위한 데이터 대상으로 대규모 사전학습 수행 – 다양한 용도의 임무에 맞추어 파인튜닝 또는 in-context 러닝 후 바로 사용 • 왜 큰 모델을? – 닭 잡는데 소 잡는 칼인가? – 필요한 건 닭고기 만큼인데, 모든 임무들의 크기가 소 만 하다. – 임무 ✓ 논리 구조에 따라 맥락 이해 ✓ 그 과정이 인간과 충분히 상호작용 하에 이루어져야 함 ✓ 이 두 가지가 엄청나게 큰 일 • 문제 – 기반 모델 훈련에는 막대한 자원이 들어감 사전 훈련 모델 / 기반 모델 Foundation Model 

Proprietary + Confidential • 서비스 모델 = 기반 모델 + 미세 조정 (파인 튜닝) – 모든 모델을 처음부터 훈련하면 비용이 너무 많이 들어감 • 미세 조정 (Fine-tuning) – 언어 처리에 대해 특화한 기반 모델은 목적성이 없음 ✓ 언어의 구조에 기반하여 훈련한 모델 – 특화한 지식 및 답변 세트에 맞춰 미세 조정 – 실제 데이터 등은 외부 검색 엔진 및 데이터베이스를 참조하도록 중간에 코드를 넣는 방식 • 예: Pathways (Google) – Pathways: 기반 모델 구조 – PaLM: Pathways 구조 기반 언어 모델 – Med-PaLM: 의학 지식에 특화한 파인튜닝 모델 – Sec-PaLM: 보안 분야에 특화한 파인튜닝 모델 – Minerva: 수학 계산에 특화한 파인튜닝 모델 파인 튜닝 

Proprietary + Confidential • 금융 데이터 분석 자동화 및 인사이트 도출 – 빅데이터 분석 및 딥 러닝 모델 기반 분석 – 대화형 인사이트 도출 플랫폼 • 코드 작성 – 데이터 분석용 코드 작성 코파일럿 – 엑셀 자동화 VBA용 코파일럿 • 언어 모델 기반 어시스턴트 – 보고서 작성 코파일럿 – 내부 자료 고급 검색 – 자동 뉴스 / 문서 요약 및 분석 금융권의 수요 

Proprietary + Confidential • 보안 최우선적 기관 – Air-gapped: 외부 네트워크 연결 및 인터넷 접속이 불가능 ✓ 생성AI 분야의 엄청난 발전 속도 • 주 단위로 변화 및 혁신이 일어남 – 보안 관제의 필요성 ✓ 반입 / 반출 파일들의 보안 검토 및 적용 필요 – 내부 보안 시스템의 높은 난도 ✓ 시스템 도입 시 • 정확도의 중요성 – 거대 언어 모델의 환각 현상: 사실적 맥락에서 벗어난 컨텐트 생산 • 관리 자동화 – 개발자/연구자 그룹보다 사용자 그룹이 훨씬 큼 – 최대한 많은 개발 및 운영 수요를 자동화할 필요성 금융권의 난제 

Proprietary + Confidential – 구성원이 다양한 생성AI 앱을 자유롭게 사용 – 기관 내 운영으로 보안 문제 원천 제거 – 앱 카탈로그로 다양한 모델 제공 – 정기적인 앱 추가 및 기능 업데이트 – 딥 러닝 워크로드를 돌리는 엔진 소프트웨어 – 세계 최고 성능 달성 – 유연한 규모 확장 금융 시스템 적용 AI 플랫폼 – Hyperscale MLOps 솔루션 – 템플릿 기반으로 바로 가져와 적용 – 다양한 딥 러닝 모델 개발 및 운영 – 데이터 가공부터 내부 서비스 배포 자동화까지 한번에 – 사전 보안 확인이 된 패키지들을 기관내에서 설치 및 사용 – Lablup 저장소 허브 서비스 + 로컬 패키지 서버 – 프라이빗 클라우드, 폐쇄 환경, 오프라인 사이트 – 정기 업데이트 지원 Backend.AI Enterprise GenAI DesktopBETA Backend.AI Reservoir Backend.AI FastTrack 

Proprietary + Confidential • Backend.AI – 세계 최고 성능의 AI 워크로드 분산 처리 및 관리, 실행 플랫폼 – 거대 모델 훈련에 최적화된 기술들을 서비스에도 그대로 적용 • Backend.AI 23.03/23.09: GenAI-ready • 인퍼런스 기능 – Backend.AI Model Serving • 파인튜닝 및 훈련 – Backend.AI FastTrack +GenAI Pipeline • 기관 내부 서비스 – GenAI DesktopBETA Backend.AI: 생성AI 훈련 및 서비스 플랫폼 

Proprietary + Confidential • 딥 러닝 기반 데이터 분석 – 딥 러닝 알고리즘 작성 및 내부 데이터 기반 모델 훈련 – R 지원: 기존 통계 도구 기반 코드들과 딥 러닝 통합 • 보고서 작성 – 개조식 입력 기반으로 만연체 형식으로 변환 – 메모를 개조식으로 변환 – 회의 및 메모 기반의 요약 문서 작성 – 특정 동작들을 사전 정의한 봇 기반 작업 워크플로우 금융권 사용 사례 • 온프렘 클러스터 Llama2-70B 파인 튜닝 – 낮에는 챗봇/어시스턴스 사용 – 밤에는 파인 튜닝 자동화 • GenAI DesktopBETA – 다양한 GenAI 기능들을 기관 내에서 앱처럼 사용 – 다양한 모델 운영 / API 서비스 자동화 

Proprietary + Confidential • 인사이트 및 연구 개발 플랫폼 – Backend.AI Enterprise • 거대 언어 모델 및 생성 AI 모델 운영 및 사용 – GenAI Desktop • AI 모델 파인 튜닝 – Backend.AI FastTrack • 에어갭 환경의 불편함 해결 – Backend.AI Reservoir 래블업 금융 플랫폼 구조 소개 FastTrack MLOps GenAI Desktop AI Training On-prem Cloud Business Insight 

인사이트 및 연구개발 플랫폼: Backend.AI Enterprise 최신 하드웨어 가속 기술 활용 업계 최고 수준 성능 제공 다중 사용자 환경에서 연산자원 사용량 극대화 하드웨어와 소프트웨어의 복잡도 격리 자원 관리 완전 자동화 및 스케일링 엔터프라이즈 안정성 및 전문적인 기술지원 선호하는 연산 프레임워크 및 도구를 투명하게 지원 AI 개발 및 서비스를 위한 올인원 엔터프라이즈 운영 플랫폼 솔루션 

인사이트 및 연구개발 플랫폼: Backend.AI Enterprise 독자 기술 개발 및 협력을 통한 최첨단 가속 기술 통합 아태지역 유일 NVIDIA DGX-Ready software (전세계 17개사) 다양한 하드웨어 플랫폼 벤더들과 기술 협약 및 협력 관계 클러스터 지원 GPUDirect Storage 세계 최초 구현 및 제공 15% Training Performance Boost 97% of theoretical GPU performance achieved 120Gb/s GPUDirect Storage throughput 

인사이트 및 연구개발 플랫폼: Backend.AI Enterprise 다양한 고객 분야에서 검증된 AI 플랫폼 다양한 분야에서 사용 및 검증 대기업부터 은행, 금융 기관, 의료 기관, 연구소 및 대학 등 75+ 엔터프라이즈 고객 1.6M AI 환경 다운로드 75+ and growing! 10k Enterprise GPUs Managing 500 GPU nodes on Single site 

Backend.AI Enterprise: 구조 요약 

Proprietary + Confidential • 생성 AI를 내 컴퓨터의 앱처럼 – Backend.AI 기반 모델 서비스 관리 자동화 – LLM부터 코드 작성 코파일럿, 데이터 분석 및 BI까지 ✓ Llama 7B~70B, Mixtral 8x7B 챗모델 및 파인튠 ✓ RAG 통합 기능 – 데스크탑용 앱의 API 게이트웨이 제공 ✓ 다양한 API 기반 앱들을 사내 자원으로 사용 ✓ 데스크탑 Visual Studio Code 코파일럿 통합 등 • 기관내 다양한 생성 AI 앱 사용 및 운영 – 다양한 AI 모델 앱 패키지 제공 – 지속적 앱 업데이트 – 직접 기관 전용 AI 앱 개발 및 배포 지원 거대 언어 모델 및 생성 AI 모델 사용: GenAI Desktop 

Proprietary + Confidential • Backend.AI 기반 Hyperscale MLOps 솔루션 • 상세 – DAG 관리 및 멀티 파이프라인 기능 – YAML 기반 재사용 가능 파이프라인 – 예약, 큐잉, 반복 실행 및 모니터링 – 데이터부터 서비스 배포 자동화까지 한번에 지원 • 적용 – 사전 제공 및 업데이트되는 파이프라인 템플릿 – 적정 시간에 자동 실행 설정 – 데이터 변환 및 파인튜닝 전부 자동화 – Backend.AI FastTrack과 연계하여 파인튜닝 모델 실시간 배포 AI 모델 파인 튜닝: Backend.AI FastTrack 

Proprietary + Confidential • 인터넷 연결이 불가능한 에어갭 환경에서 자유롭게 SW 패키지 설치 • Reservoir: Backend.AI 로컬 패키지 저장소 서버 + 서비스 – Lablup 저장소 허브 서비스와 로컬 패키지 서버로 구성 – Lablup 저장소 허브와의 주기적 동기화를 통한 패키지 최신화 (필요시) • 프라이빗 클라우드, 폐쇄 환경, 오프라인 사이트 최적 솔루션 – 보안 체크 파이프라인을 거친 패키지만 제공 • 지원 패키지 저장소 (Backend.AI Enterprise R2 / 23.09) – 언어: PyPi, CRAN® – 운영체제 ✓ Ubuntu (18.04 / 20.04 / 22.04) ✓ DGX OS (5 / 6) ✓ CentOS (7 / 8) 패키지 에어갭 환경의 불편함 해결: Backend.AI Reservoir 

Proprietary + Confidential • 사용자의 요구에 따른 구축 / 업데이트 패턴 사례 • 자동 업데이트 파이프라인 (국내 케이스) – 자체 보유한 보안 전송 기술 적용 / 고객 사이트에서 추가 보안 검토 후 Site내로 반입 가능하도록 구축 – 고객 사 내 Backend.AI 연산 세션 및 Windows 개발 PC에서 Reservoir 저장소 사용 • 완전 차단망 업데이트 (해외) – 외부망과의 직접 연결 지양: 자동 업데이트 불가 – 업데이트 오브젝트 공유 후 내부 반입은 고객사 인력에 의해 진행 – 지정한 특정 위치에 해당 업데이트 파일들을 두면 Reservoir가 업데이트를 수행 – 고객 사 내 Backend.AI session 및 Windows 개발 PC에서 Reservoir 저장소 사용 Backend.AI Reservoir: 사례 

Proprietary + Confidential • 금융 기관 A (2021~) – 절대 보안 유지 – 네트워크 및 파일 일반 반입 사용 불가능 – 사내 시스템 통합 지원 ✓ 로그인 통합 ✓ 포탈 내 기능 통합 – 일반 사용자 및 시스템 관리자 분리 ✓ 조직별 사용량 제약, 구분 및 통계 ✓ 사용률 통계 기반의 사용량 재배치 – 확장 및 재구성 ✓ 지속적 시스템 확장 ✓ 연구 플랫폼 – 서비스 플랫폼 등으로 기능 지속적 추가 금융 기관 도입 사례: 기관 

Proprietary + Confidential • 문제: 다수 사용자 대상의 유연한 딥 러닝 자원 및 서비스 활용 – 내부 연구용 인프라스트럭처 – 딥 러닝 서비스 이용 용도 – 안정성 확보 • 해결책: Backend.AI Enterprise 및 기반 솔루션 GenAI 플랫폼 구축 – 다양한 요구사항을 단일 클러스터 팜에서 모두 처리 금융 기관 도입 사례: 문제 정의 

Proprietary + Confidential • 고가용성 (High-Availability) 구성 – 3 대에 관리 서비스 분산 설치 운영 – 기 구축된 VM 환경+Backend.AI 기반 내부 연구용 인프라 S/W 연계 구축 • 베어메탈과 VM 하이브리드 운용 – 파인 튜닝한 LLM 서비스: 별도의 K8S 인프라를 통해 내부 서비스 • 소프트웨어 환경 – Reservoir 도입 ✓ 폐쇄망 환경에서 주요 패키지 설치 지원 – 연구용 이미지 ✓ 연구용 통합 이미지 빌드 및 공용 사용 금융 기관 도입 사례: 구성 

Proprietary + Confidential • 사용 가능 클러스터 노드 스펙에 따른 사전 준비 – 네트워크 플레인별 사전 설정 파일 ✓ GPU 데이터 / 컨트롤 / 유저 플레인 – NCCL 도메인 / IP 설정 – 자동 설치에 필요한 모든 구성 확보 및 테스트 • 라이선스 발급 – GPU 하드웨어 당 라이선스 – 하드웨어 정보 기반의 키로 라이선스 발급 및 라이선스 서버 설정 • 설치 – 사전 준비가 끝난 경우, 이상적인 환경에서는 방문 1일 소요 – 처음 설치 시 트러블슈트가 필요한 경우 및 사내 보안 솔루션의 동작에 따른 추가 대응 발생 • 업데이트 – 사전 준비가 끝난 경우, 트러블 없는 경우 방문 1일 소요 금융 기관 도입 사례: 준비 

Proprietary + Confidential • 사용자 / 조직 별 자원 정책 설정에 따른 자동 할당 – 사용자 / 그룹 별 자원 최대 허용량 설정 (CPU / GPU / RAM) – 최대 허용량 내에서 별도의 신청 / 허가 없이 사용 • 정책 설정에 따른 유휴 상태 검사 및 자원 회수 – 자원 점유율 기반 ✓ 예) GPU 사용률 0% 및 CPU 사용률 5% 이하 10분 이상 유지 시 종료 – 상호작용 기반 ✓ 예) 1시간 동안 연산 세션과 사용자 사이에 네트워크 트래픽 없으면 종료 – 시간 기반 ✓ 예) 세션 시작 후 12시간 지나면 종료 – 사용자·프로젝트 및 전역 단위 설정 지원 • 배치 및 파이프라인 작업 – 메인 프로그램이 종료되면 연산 세션도 자동으로 종료 ✓ 예) 내일 아침 10시에 배치 연산 세션을 실행하고 작업이 완료되면 자동으로 종료 및 자원 회수 금융 기관 도입 사례: 설정 

Proprietary + Confidential • 연구자 사용: 사내 포털 연계 – 연구자나 관리자는 Web UI 접속해서 사용 – API 기반 통합: 사내 포털에 Jupyter, RStudio 등과 같은 아이콘 및 해당 사용자의 현재 세션 리스트 노출 – 로그인 후 Jupyter, RStudio 아이콘을 클릭하면 별도의 Backend.AI 플러그인을 거쳐 바로 해당 앱이 브라우저에서 동작 • 인증 통합 – 내부 사용자 인증 서버와 연동 – 포털 로그인이 되어 있으면 무인증으로 Backend.AI 사용 – 1인 세션 제한: 이미 실행 중인 연산 세션이 있으면 그 세션의 앱을 재활용 • 내부 시스템 통합 – 플러그인 및 이미지 레벨의 연동 – 내부 오브젝트 스토리지(MinIO) 자동 접속 및 사용자 폴더 자동 생성 마운트 • 파이프라인 자동화 – 매일 주기적으로 돌리는 작업 파이프라인을 FastTrack에 구축 및 기동 금융 기관 도입 사례: 사용 

Proprietary + Confidential • GenAI 훈련 / 서비스 과정의 일원화 및 자동화 – 동일 하드웨어 자원으로 다양한 용도 활용 • GenAI 서비스 고도화를 위한 서빙 기능 – 자원량 사전 예약 및 사용자 부하에 따른 오토스케일링 – 사용자 지정 모델 저장소 및 임포트 기능 – 모델 저장소에서 원클릭 모델 서빙 • 파인 튜닝 / 디플로이 완전 자동화 – 사용 패턴에 따른 파이프라인 스케쥴링 기반 인퍼런스 – 파인튜닝 워크로드 전환 – 파인튠 모델 주기적 배포 금융 기관 도입 사례: 운영 및 파인튜닝 자동화 

데모: GenAI Desktop + FastTrack 

Proprietary + Confidential • 금융권의 수요 및 난제 • 생성AI의 기여 • Backend.AI: 금융권을 위한 AI 플랫폼 – (GenAI Desktop, FastTrack, Reservoir) on Backend.AI • 금융 기관 활용 사례 • 마치며 오늘의 요약 

Proprietary + Confidential Thank you! [email protected] https://www.facebook.com/lablupInc Lablup Inc. https://www.lablup.com Backend.AI https://www.backend.ai Backend.AI GitHub https://github.com/lablup/backend.ai Backend.AI Cloud https://cloud.backend.ai