Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM 서빙하기

Avatar for kakao kakao
November 01, 2024

LLM 서빙하기

#LLM 서빙 프레임워크

LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. 어떤 LLM 서빙 프레임워크를 도입해야 할지 고민인 분들께 추천합니다.

발표자 : ari.see, kyou.sd
(ari.see) 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있습니다.
(kyou.sd) 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있습니다.

Avatar for kakao

kakao

November 01, 2024
Tweet

More Decks by kakao

Other Decks in Programming

Transcript

  1. 5(* W--. -JHIU--. 5FOTPS35 - --. ↟ )VHHJOH'BDFীࢲઁҕ ↟ 5FYU(FOFSBUJPO

    *OGFSFODF ↟ ૑ਗೞחݽ؛ࣻ৬ߧਤоև਺ ↟ 1ZUIPOӝ߈೐ۨ੐ਕ௼ ↟ 5SJUPOJOGFSFODF GSBNFXPSLࢎਊоמ ↟ /WJEJBীࢲѐߊ ↟ /WJEJB$6%"݅ࢎਊоמ ↟ 5SJUPOJOGFSFODF GSBNFXPSLࢎਊоמ ↟ ੹ਊGPSNBUNPEFM DPOWFSUCVJME೙ਃ --.ࢲࡂ೐ۨ੐ਕ௼ઙܨ ↟ 1ZUIPOӝ߈೐ۨ੐ਕ௼ ↟ ݽ؛҃۝ച૘઺
  2. --.ࢲࡂ೐ۨ੐ਕ௼ࢶ੿ೞӝ .VMUJ - UFOBOU-P3" 5(* W--. -JHIU--. 5FOTPS35 - --.

    4UBS ૑ਗݽ؛ ࢿמ ౱ӝࣿझఖ प೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ۨಌ۠झ
  3. ࢿמ --.ࢲࡂ೐ۨ੐ਕ௼ࢶ੿ೞӝ 5(* W--. -JHIU--. 5FOTPS35 - --. ૑ਗݽ؛ ౱ӝࣿझఖ

    .VMUJ - UFOBOU-P3" 4UBS ۨಌ۠झ प೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮
  4. --.ࢲࡂ೐ۨ੐ਕ௼ࢶ੿ೞӝ ࢿמ 5(* W--. -JHIU--. 5FOTPS35 - --. ૑ਗݽ؛ ౱ӝࣿझఖ

    .VMUJ - UFOBOU-P3" 4UBS ۨಌ۠झ प೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮
  5. --.ࢲࡂ೐ۨ੐ਕ௼ࢶ੿ೞӝ 5(* W--. -JHIU--. 5FOTPS35 - --. ૑ਗݽ؛ ౱ӝࣿझఖ .VMUJ

    - UFOBOU-P3" प೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ 4UBS ࢿמ ۨಌ۠झ
  6. W--.WT-JHIU--.ࢿמ࠺Ү ౵ۄ޷ఠ௼ӝর      W--. -JHIU--. (16"(

    3FRVFTU3BUFप೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ↟ 5ISPVHIQVUୡ׼୊ܻೞח੘সѐࣻ ↟ "WH-BUFODZಣӐਃ୒୊ܻदр
  7.      W--. -JHIU--. ࠺तೠUISPVHIQVU W--.WT-JHIU--.ࢿמ࠺Ү ౵ۄ޷ఠ௼ӝর

    (16"( 3FRVFTU3BUFप೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ↟ 5ISPVHIQVUୡ׼୊ܻೞח੘সѐࣻ ↟ "WH-BUFODZಣӐਃ୒୊ܻदр
  8.      W--. -JHIU--. W--.WT-JHIU--.ࢿמ࠺Ү -BUFODZର੉ ౵ۄ޷ఠ௼ӝর

    (16"( 3FRVFTU3BUFप೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ↟ 5ISPVHIQVUୡ׼୊ܻೞח੘সѐࣻ ↟ "WH-BUFODZಣӐਃ୒୊ܻदр
  9.      W--. -JHIU--.   

      W--. -JHIU--.      W--. -JHIU--.      W--. -JHIU--. W--.WT-JHIU--.ࢿמ࠺Ү (16"( 3FRVFTU3BUFप೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ౵ۄ޷ఠ௼ӝর ౵ۄ޷ఠ௼ӝর ౵ۄ޷ఠ௼ӝর ౵ۄ޷ఠ௼ӝর ↟ 5ISPVHIQVUୡ׼୊ܻೞח੘সѐࣻ ↟ "WH-BUFODZಣӐਃ୒୊ܻदр
  10. ݽ؛ղࠗחযڃো࢑੉ੌযաҊ੓ਸөਃ         

       ,FZ7BMVF 2VFSZ ࢜۽਍ Әਲ਼ਸ Әਲ਼ਸ ࢜۽਍ ஠஠য়ಕ੉ח ஠஠য়ಕ੉ח пష௾߹۽ 2VFSZ ,FZ 7BMVF TFMG - BUUFOUJPOো࢑
  11. ݽ؛ղࠗחযڃো࢑੉ੌযաҊ੓ਸөਃ ,FZ7BMVF 2VFSZ ࢜۽਍ Әਲ਼ਸ ஠஠য়ಕ੉ח ٜ݅Ҋ пష௾߹۽ 2VFSZ ,FZ

    7BMVF TFMG - BUUFOUJPOো࢑             Әਲ਼ਸ ࢜۽਍ ஠஠য়ಕ੉ח
  12. যڌѱ઺ࠂো࢑ਸ઴ੌࣻ੓ਸөਃ         

       ,FZ7BMVF 2VFSZ ,7$BDIF ࢜۽਍ Әਲ਼ਸ ஠஠য়ಕ੉ח ٜ݅Ҋ ੉੹ী҅࢑ػ,FZ7BMVFܳ $BDIFী੷੢ೞ੗ ઺ࠂো࢑ Әਲ਼ਸ ࢜۽਍ ஠஠য়ಕ੉ח
  13. ݽ؛ղࠗחযڃো࢑੉ੌযաҊ੓ਸөਃ         

       ,FZ7BMVF 2VFSZ     ,7$BDIF ࢜۽਍ Әਲ਼ਸ ٜ݅Ҋ Әਲ਼ਸ ٜ݅Ҋ ࢜۽਍ ஠஠য়ಕ੉ח ஠஠য়ಕ੉ח ٜ݅Ҋ ,7$BDIFী੷੢ػ ,FZ7BMVFࢎਊ
  14. ݽ؛ղࠗחযڃো࢑੉ੌযաҊ੓ਸөਃ         

       ,FZ7BMVF 2VFSZ ੉੹,FZ7BMVFী؀ೠ ઺ࠂো࢑ߑ૑ ࢜۽਍ Әਲ਼ਸ ٜ݅Ҋ Әਲ਼ਸ ٜ݅Ҋ ࢜۽਍ ஠஠য়ಕ੉ח ஠஠য়ಕ੉ח ٜ݅Ҋ     ,7$BDIF
  15. ,7$BDIFޙઁ੼ղࠗݫݽܻױಞച߂৘ড ݫݽܻױಞച 
 ޷ܻ৘ডػݫݽܻ ஠஠য়ಕ੉ ח ਬਊೠ ೒ۖಬ ੉׮ SFTW

      SFTW ஠஠য়ಕ੉ ࢜۽਍ Әਲ਼ਸ ٜ݅Ҋ ੓যਃ SFTW   SFTW 3FRVFTU" 3FRVFTU# ݫݽܻխ࠺оߊࢤ೧ਃ ೦࢚୭؀ӡ੉ݫݽܻ৘ড
  16. 1BHFE"UUFOUJPO  8PPTVL,XPO ;IVPIBO-J 4JZVBO;IVBOH :JOH4IFOH -JBONJO;IFOH $PEZ)BP:V +PTFQI&(PO[BMF[ )BP;IBOH

    BOE*PO4UPJDB&G fi - DJFOUNFNPSZNBOBHFNFOUGPSMBSHFMBOHVBHFNPEFM4FSWJOHXJUI 1BHFE"UUFOUJPO
  17. 1BHFE"UUFOUJPO ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼

    CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL ,7DBDIFCMPDLT ೞա۽Ҋ੿غয੓؍ޛܻ੸ҕр #MPDLױਤ۽աׇ૓ҕр ,7$BDIF
  18. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT
  19. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT पઁݫݽܻҕр
  20. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ֤ܻ੸ݫݽܻҕр पઁݫݽܻҕр
  21. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗ
  22. 1BHFE"UUFOUJPO ੑ۱ী؀ೠ,FZ7BMVFчਸDBDIFী੷੢ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ

    CMPDL CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗ
  23. 1BHFE"UUFOUJPO ೞա੄,7DBDIFҕрী੓חѪ୊ۢز੘ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ

    CMPDL CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗ
  24. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ࢤࢿغחױযী೧׼ೞח,FZ7BMVFч਷DBDIFী੷੢ؽ ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗੌ࢚
  25. 1BHFE"UUFOUJPO ࢤࢿغחױযী೧׼ೞח,FZ7BMVFч਷DBDIFী੷੢ؽ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ

    CMPDL CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗੌ࢚ਸ
  26. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮

    CMPDL CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ղࠗݫݽܻױಞച ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗੌ࢚ਸ߄Ըפ׮
  27. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH 4 4 4 4 &/% 4 4 4 4

    4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH 5 5
  28. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ਃ୒" # $ %زद୊ܻ 4 4 4 4 &/%

    4 4 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH ੑ۱ޙ੢ ੑ۱ޙ੢ 5 5
  29. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ݽٚਃ୒زदী׮਺ױযࢤࢿ 4 4 4 4 &/% 4 4 4

    4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH ష௾ࢤࢿ ష௾ࢤࢿ 5 5
  30. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ઙܐઑѤਸ݅઒ೡٸө૑ࢤࢿ 4 4 4 4 &/% 4 4 4

    4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH ష௾ࢤࢿ ష௾ࢤࢿ 5 5
  31. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ઙܐઑѤ݅઒ೞחਃ୒਷ࢤࢿઙܐ 4 4 4 4 &/% 4 4 4

    4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH ࢤࢿઙܐ ࢤࢿઙܐ 5 5
  32. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ݽٚਃ୒৮ܐؼٸө૑؀ӝߊࢤ 4 4 4 4 &/% 4 4 4

    4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 ؀ӝ ࢤࢿઙܐ 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH
  33. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH 4 4 4 4 &/% 4 4 4 4

    4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 ࢜۽਍ਃ୒ࣻ೯оמ ؀ӝ ࢜۽਍ਃ୒ 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH
  34. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH 4 4 4 4 &/% 4 4 4 4

    4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 ؀ӝ۽ੋೞৈ(16ݫݽܻ੼ਬ 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH
  35. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH 4 4 4 4 &/% 4 4 4 4

    4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 ؀ӝ۽ੋೞৈ(16ݫݽܻ੼ਬ ؀ӝহ੉׮਺ਃ୒ࣻ೯ 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH
  36. 2"

  37. ଵҊޙ೴  8PPTVL,XPO ;IVPIBO-J 4JZVBO;IVBOH :JOH4IFOH -JBONJO;IFOH $PEZ)BP:V +PTFQI&(PO[BMF[ )BP;IBOH

    BOE*PO4UPJDB&G fi- DJFOUNFNPSZNBOBHFNFOU GPSMBSHFMBOHVBHFNPEFM4FSWJOHXJUI1BHFE"UUFOUJPO