Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM 서빙하기

kakao
November 01, 2024

LLM 서빙하기

#LLM 서빙 프레임워크

LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. 어떤 LLM 서빙 프레임워크를 도입해야 할지 고민인 분들께 추천합니다.

발표자 : ari.see, kyou.sd
(ari.see) 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있습니다.
(kyou.sd) 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있습니다.

kakao

November 01, 2024
Tweet

More Decks by kakao

Other Decks in Programming

Transcript

  1. 5(* W--. -JHIU--. 5FOTPS35 - --. ↟ )VHHJOH'BDFীࢲઁҕ ↟ 5FYU(FOFSBUJPO

    *OGFSFODF ↟ ૑ਗೞחݽ؛ࣻ৬ߧਤоև਺ ↟ 1ZUIPOӝ߈೐ۨ੐ਕ௼ ↟ 5SJUPOJOGFSFODF GSBNFXPSLࢎਊоמ ↟ /WJEJBীࢲѐߊ ↟ /WJEJB$6%"݅ࢎਊоמ ↟ 5SJUPOJOGFSFODF GSBNFXPSLࢎਊоמ ↟ ੹ਊGPSNBUNPEFM DPOWFSUCVJME೙ਃ --.ࢲࡂ೐ۨ੐ਕ௼ઙܨ ↟ 1ZUIPOӝ߈೐ۨ੐ਕ௼ ↟ ݽ؛҃۝ച૘઺
  2. --.ࢲࡂ೐ۨ੐ਕ௼ࢶ੿ೞӝ .VMUJ - UFOBOU-P3" 5(* W--. -JHIU--. 5FOTPS35 - --.

    4UBS ૑ਗݽ؛ ࢿמ ౱ӝࣿझఖ प೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ۨಌ۠झ
  3. ࢿמ --.ࢲࡂ೐ۨ੐ਕ௼ࢶ੿ೞӝ 5(* W--. -JHIU--. 5FOTPS35 - --. ૑ਗݽ؛ ౱ӝࣿझఖ

    .VMUJ - UFOBOU-P3" 4UBS ۨಌ۠झ प೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮
  4. --.ࢲࡂ೐ۨ੐ਕ௼ࢶ੿ೞӝ ࢿמ 5(* W--. -JHIU--. 5FOTPS35 - --. ૑ਗݽ؛ ౱ӝࣿझఖ

    .VMUJ - UFOBOU-P3" 4UBS ۨಌ۠झ प೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮
  5. --.ࢲࡂ೐ۨ੐ਕ௼ࢶ੿ೞӝ 5(* W--. -JHIU--. 5FOTPS35 - --. ૑ਗݽ؛ ౱ӝࣿझఖ .VMUJ

    - UFOBOU-P3" प೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ 4UBS ࢿמ ۨಌ۠झ
  6. W--.WT-JHIU--.ࢿמ࠺Ү ౵ۄ޷ఠ௼ӝর      W--. -JHIU--. (16"(

    3FRVFTU3BUFप೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ↟ 5ISPVHIQVUୡ׼୊ܻೞח੘সѐࣻ ↟ "WH-BUFODZಣӐਃ୒୊ܻदр
  7.      W--. -JHIU--. ࠺तೠUISPVHIQVU W--.WT-JHIU--.ࢿמ࠺Ү ౵ۄ޷ఠ௼ӝর

    (16"( 3FRVFTU3BUFप೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ↟ 5ISPVHIQVUୡ׼୊ܻೞח੘সѐࣻ ↟ "WH-BUFODZಣӐਃ୒୊ܻदр
  8.      W--. -JHIU--. W--.WT-JHIU--.ࢿמ࠺Ү -BUFODZର੉ ౵ۄ޷ఠ௼ӝর

    (16"( 3FRVFTU3BUFप೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ↟ 5ISPVHIQVUୡ׼୊ܻೞח੘সѐࣻ ↟ "WH-BUFODZಣӐਃ୒୊ܻदр
  9.      W--. -JHIU--.   

      W--. -JHIU--.      W--. -JHIU--.      W--. -JHIU--. W--.WT-JHIU--.ࢿמ࠺Ү (16"( 3FRVFTU3BUFप೷ӝળ ߡ੹߹Ѿҗо׮ܳࣻ੓णפ׮ ౵ۄ޷ఠ௼ӝর ౵ۄ޷ఠ௼ӝর ౵ۄ޷ఠ௼ӝর ౵ۄ޷ఠ௼ӝর ↟ 5ISPVHIQVUୡ׼୊ܻೞח੘সѐࣻ ↟ "WH-BUFODZಣӐਃ୒୊ܻदр
  10. ݽ؛ղࠗחযڃো࢑੉ੌযաҊ੓ਸөਃ         

       ,FZ7BMVF 2VFSZ ࢜۽਍ Әਲ਼ਸ Әਲ਼ਸ ࢜۽਍ ஠஠য়ಕ੉ח ஠஠য়ಕ੉ח пష௾߹۽ 2VFSZ ,FZ 7BMVF TFMG - BUUFOUJPOো࢑
  11. ݽ؛ղࠗחযڃো࢑੉ੌযաҊ੓ਸөਃ ,FZ7BMVF 2VFSZ ࢜۽਍ Әਲ਼ਸ ஠஠য়ಕ੉ח ٜ݅Ҋ пష௾߹۽ 2VFSZ ,FZ

    7BMVF TFMG - BUUFOUJPOো࢑             Әਲ਼ਸ ࢜۽਍ ஠஠য়ಕ੉ח
  12. যڌѱ઺ࠂো࢑ਸ઴ੌࣻ੓ਸөਃ         

       ,FZ7BMVF 2VFSZ ,7$BDIF ࢜۽਍ Әਲ਼ਸ ஠஠য়ಕ੉ח ٜ݅Ҋ ੉੹ী҅࢑ػ,FZ7BMVFܳ $BDIFী੷੢ೞ੗ ઺ࠂো࢑ Әਲ਼ਸ ࢜۽਍ ஠஠য়ಕ੉ח
  13. ݽ؛ղࠗחযڃো࢑੉ੌযաҊ੓ਸөਃ         

       ,FZ7BMVF 2VFSZ     ,7$BDIF ࢜۽਍ Әਲ਼ਸ ٜ݅Ҋ Әਲ਼ਸ ٜ݅Ҋ ࢜۽਍ ஠஠য়ಕ੉ח ஠஠য়ಕ੉ח ٜ݅Ҋ ,7$BDIFী੷੢ػ ,FZ7BMVFࢎਊ
  14. ݽ؛ղࠗחযڃো࢑੉ੌযաҊ੓ਸөਃ         

       ,FZ7BMVF 2VFSZ ੉੹,FZ7BMVFী؀ೠ ઺ࠂো࢑ߑ૑ ࢜۽਍ Әਲ਼ਸ ٜ݅Ҋ Әਲ਼ਸ ٜ݅Ҋ ࢜۽਍ ஠஠য়ಕ੉ח ஠஠য়ಕ੉ח ٜ݅Ҋ     ,7$BDIF
  15. ,7$BDIFޙઁ੼ղࠗݫݽܻױಞച߂৘ড ݫݽܻױಞച 
 ޷ܻ৘ডػݫݽܻ ஠஠য়ಕ੉ ח ਬਊೠ ೒ۖಬ ੉׮ SFTW

      SFTW ஠஠য়ಕ੉ ࢜۽਍ Әਲ਼ਸ ٜ݅Ҋ ੓যਃ SFTW   SFTW 3FRVFTU" 3FRVFTU# ݫݽܻխ࠺оߊࢤ೧ਃ ೦࢚୭؀ӡ੉ݫݽܻ৘ড
  16. 1BHFE"UUFOUJPO  8PPTVL,XPO ;IVPIBO-J 4JZVBO;IVBOH :JOH4IFOH -JBONJO;IFOH $PEZ)BP:V +PTFQI&(PO[BMF[ )BP;IBOH

    BOE*PO4UPJDB&G fi - DJFOUNFNPSZNBOBHFNFOUGPSMBSHFMBOHVBHFNPEFM4FSWJOHXJUI 1BHFE"UUFOUJPO
  17. 1BHFE"UUFOUJPO ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼

    CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL ,7DBDIFCMPDLT ೞա۽Ҋ੿غয੓؍ޛܻ੸ҕр #MPDLױਤ۽աׇ૓ҕр ,7$BDIF
  18. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT
  19. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT पઁݫݽܻҕр
  20. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ֤ܻ੸ݫݽܻҕр पઁݫݽܻҕр
  21. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗ
  22. 1BHFE"UUFOUJPO ੑ۱ী؀ೠ,FZ7BMVFчਸDBDIFী੷੢ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ

    CMPDL CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗ
  23. 1BHFE"UUFOUJPO ೞա੄,7DBDIFҕрী੓חѪ୊ۢز੘ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ

    CMPDL CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗ
  24. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ CMPDL

    CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ࢤࢿغחױযী೧׼ೞח,FZ7BMVFч਷DBDIFী੷੢ؽ ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗੌ࢚
  25. 1BHFE"UUFOUJPO ࢤࢿغחױযী೧׼ೞח,FZ7BMVFч਷DBDIFী੷੢ؽ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ

    CMPDL CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗੌ࢚ਸ
  26. 1BHFE"UUFOUJPO ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮

    CMPDL CMPDL CMPDL CMPDL -PHJDBM,7DBDIFCMPDLT ਸ ٜ݅Ҋ ੌ࢚ ਸ ߄Ըפ׮ ஠஠য়ಕ੉ ח ࢜۽਍ Әਲ਼ CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL CMPDL 1IZTJDBM,7DBDIFCMPDLT ղࠗݫݽܻױಞച ੑ۱஠஠য়ಕ੉ח࢜۽਍Әਲ਼ਸٜ݅Ҋ ࢤࢿѾҗੌ࢚ਸ߄Ըפ׮
  27. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH 4 4 4 4 &/% 4 4 4 4

    4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH 5 5
  28. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ਃ୒" # $ %زद୊ܻ 4 4 4 4 &/%

    4 4 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH ੑ۱ޙ੢ ੑ۱ޙ੢ 5 5
  29. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ݽٚਃ୒زदী׮਺ױযࢤࢿ 4 4 4 4 &/% 4 4 4

    4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH ష௾ࢤࢿ ష௾ࢤࢿ 5 5
  30. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ઙܐઑѤਸ݅઒ೡٸө૑ࢤࢿ 4 4 4 4 &/% 4 4 4

    4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH ష௾ࢤࢿ ష௾ࢤࢿ 5 5
  31. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ઙܐઑѤ݅઒ೞחਃ୒਷ࢤࢿઙܐ 4 4 4 4 &/% 4 4 4

    4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH ࢤࢿઙܐ ࢤࢿઙܐ 5 5
  32. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH ݽٚਃ୒৮ܐؼٸө૑؀ӝߊࢤ 4 4 4 4 &/% 4 4 4

    4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 ؀ӝ ࢤࢿઙܐ 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH
  33. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH 4 4 4 4 &/% 4 4 4 4

    4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 ࢜۽਍ਃ୒ࣻ೯оמ ؀ӝ ࢜۽਍ਃ୒ 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH
  34. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH 4 4 4 4 &/% 4 4 4 4

    4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 ؀ӝ۽ੋೞৈ(16ݫݽܻ੼ਬ 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH
  35. 4UBUJD#BUDIJOHWT$POUJOVPVT#BUDIJOH 4 4 4 4 &/% 4 4 4 4

    4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 4 4 4 4 &/% 4 4 4 4 4 4 4 &/% 4 4 4 &/% 4 4 4 4 4 4 4 3FRVFTU" 3FRVFTU# 3FRVFTU$ 3FRVFTU% 5 5 5 5 5 5 5 5 ؀ӝ۽ੋೞৈ(16ݫݽܻ੼ਬ ؀ӝহ੉׮਺ਃ୒ࣻ೯ 4UBUJD#BUDIJOH $POUJOVPVT#BUDIJOH
  36. 2"

  37. ଵҊޙ೴  8PPTVL,XPO ;IVPIBO-J 4JZVBO;IVBOH :JOH4IFOH -JBONJO;IFOH $PEZ)BP:V +PTFQI&(PO[BMF[ )BP;IBOH

    BOE*PO4UPJDB&G fi- DJFOUNFNPSZNBOBHFNFOU GPSMBSHFMBOHVBHFNPEFM4FSWJOHXJUI1BHFE"UUFOUJPO