#Kanana #LLM #pre-training #post-training
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다.
데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다.
발표자 : mat.mul, kloud.off
mat.mul - Language Model Training팀의 mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다.
kloud.off - Langauge Model Alignment팀의 kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다.