카카오브레인 Copyright 2022. Kakao Corp. All rights reserved. Redistribution or public display is not permitted without written permission from Kakao. Yaft 개발로 보는
Inference: OpenCL/Metal이 항상 빠를까? 모델이 충분히 작을 경우 [ex) 0.53 MMAC]
CPU <- > GPU 간의 upload 및 synchronization이 더 큰 overhead
결론: 현재 데이터의 위치 (CPU/GPU)와 백엔드에 따른 속도에 따라 모델을 수행할 적절한 백엔드 선택 Backend 수행 속도 CPU 337.401us OpenCL 1309.06us, 1372.9us (low precision) OpenGL 2098.95us, 1743.54us (low precision) NNAPI 2242.31us CPU - XNNPACK 158.107us Benchmarked on Google Pixel 3a with 0.53 MMAC model
Q&A * 사용된 3D asset은 Ready Player Me를 통해 제작되어 일부 수정을 거쳤습니다., https:/ /readyplayer.me/ Creative Commons Attribution - NonCommercial - ShareAlike 4.0 International