코끼리를 GPU에 넣는 법

#Large-scale #Engineering

카카오브레인에서 경험한 라지스케일 모델 학습 최적화 사례를 소개합니다.

발표자 : monk.detective
카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI 를 실용적으로 사용하기 위해 항상 고민 중 입니다.

Transcript

26. # for intra-node FSDP for nr in range(args.nn): wr_list = [nr * args.np + lr for lr in range(args.np)] if nr == args.node_rank: sharding_group = dist.new_group(ranks=wr_list, backend=args.dist_backend) else: dist.new_group(ranks=wr_list, backend=args.dist_backend) # for inter-node PowerSGD for lr in range(args.np): wr_list = [nr * args.np + lr for nr in range(args.nn)] if lr == distenv.local_rank: averaging_group = dist.new_group(ranks=wr_list, backend=args.dist_backend) else: dist.new_group(ranks=wr_list, backend=args.dist_backend)