Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Slipstream : AI 레이싱에서 치고 나가는 방법 - 신정규

Lablup Inc.
November 28, 2023
40

Slipstream : AI 레이싱에서 치고 나가는 방법 - 신정규

Lablup Conf 2023

Lablup Inc.

November 28, 2023
Tweet

More Decks by Lablup Inc.

Transcript

  1. SORNA http://sorna.io 2015년 6월 알파 버전 데모 2016년 11월 오픈소스

    공개 2017년 1월 클라우드 API 서비스 cloud.sorna.io
  2. Heterogeneous Agent Backends Dynamic Fractional GPU Allocation Multi level Scheduler

    NUMA aware Resource mapping Multi node multi container clustering Resource Group Namespacing GPU/NPU Abstration I/O Acceleration plane micro Backend.AI for MEC / IoT Multi architecture Power consumption aware scheduling And more…
  3. § Contributor Python Python asyncio, aiohttp TensorFlow, PyTorch Numpy, LAPACK

    vLLM, bitsandbytes RustPython, GlueSQL ZeroMQ, ZeroMQ.node, pyzmq parse server, Google Polymer, Google Test AirSim, graphene Intel DPDK, FreeBSD, OpenStack Argoworkflows, minio js § Committer / maintainer Rust, LibreOffice, OPNFV, iPutty aiodocker, aiotools
  4. 97 이론상 GPU 성능 달성 120Gb/s GPUDirect Storage throughput more!

    4x Enhanced Utilization 15 훈련 성능 부스트 70 Enterprise Customers 1.5M AI Environment Downloads 10k 엔터프라이즈 GPU 관리 500 단독 사이트 노드 갯수