NOT A HOTEL AI コンシェルジュ「Kevin」とキャッシュ

LLM(GPT, PaLM等) with MLOps LT大会!!! で LangChain を使った RetrievalQA の結果をキャッシュする話をしました
https://mlops.connpass.com/event/279156/

Transcript

1. /05
   "
   )05&- 
 "*
   ίϯγΣϧδϡʮ,FWJOʯͱΩϟογϡ --.
   XJUI
   .-0QT
   -5େձ (15
   ͷํʹॏ͖Λஔ͍ͯ·͢
2. 8)0
   ".
   * +645
   461&3
   26*$,
3. !DPEFIFY !$PEF)FY w ੲ͸
   0LJOBXBQN
   ΛӡӦͯ͠·ͨ͠
   w ࠓ͸
   /05
   "
   )05&-
   ͰίϯγΣϧδϡ ؔ࿈ͷπʔϧΛ։ൃΛ͍ͯ͠·͢
4. /05
   "
   )05&-
   ͷαʔϏε֓ཁ
6. ϗςϧʹ΋Ͱ͖Δผ૳Λ  ࢖͍͍ͨ෼͚ͩߪೖ͕Ͱ͖Δ
    ࢖Θͳ͍࣌ʹϗςϧି͠ग़͠Ͱऩӹ͕ಘΒΕΔ
    શࠃͷϋ΢εΛ૬ޓར༻Ͱ͖Δʢࠓޙੈք΁ʣ
7. ϓϨεϦϦʔε
8. IUUQTUJOZVSMDPNTT[[D ࣮ઓ౤ೖʹ͍ͭͯલճͷτʔΫ͸ͪ͜Β
9. લճͷτʔΫͷ͓͞Β͍  4VQBCBTF
   
   -BOH$IBJO
   🦜
    4VQBCBTF
   ͷ
   1PTUHSF42-
   ʹσʔλΛ஝ੵ͠ɺ QHWFDUPS
   ֦ுΛ࢖ͬͯηϚϯςΟοΫݕࡧ
    $IBU
   $PNQMFUJPO
   "1*
   ͕஗͍ɻ 
 શମΛ࠷దԽ͢ΔͨΊݺͼग़͠ճ਺ΛݮΒ͢
10. લճͷτʔΫͷ͓͞Β͍  4VQBCBTF
    
    -BOH$IBJO
    🦜
     4VQBCBTF
    ͷ
    1PTUHSF42-
    ʹσʔλΛ஝ੵ͠ɺ QHWFDUPS
    ֦ுΛ࢖ͬͯηϚϯςΟοΫݕࡧ
     $IBU
    $PNQMFUJPO
    "1*
    ͕஗͍ɻ 
 શମΛ࠷దԽ͢ΔͨΊݺͼग़͠ճ਺ΛݮΒ͢
11. લճͷτʔΫͷ͓͞Β͍ શମͰฏۉ
    NJO
    ͔͔ͬͯͨ
12. લճͷτʔΫͷ͓͞Β͍ ࠷ऴ݁Ռʢฏۉ෼෼͘Β͍·ͰॖΊͨʣ
13. લճͷτʔΫͷ͓͞Β͍ w 3F"DU
    3FBTPO
    
    "DU
    Λ΍ΊΔ
    w %PDVNFOU
    2VFTUJPO
    "OTXFSJOH
    ΁࢖͏
14. %PDVNFOU
    2VFTUJPO
    "OTXFSJOH %PDVNFOU
    2"
    Ͱݟ͔ͭͬͨ՝୊
15. ΍ͬͯΈͯΘ͔ͬͨ՝୊ ݕࡧਫ਼౓ͱճ౴ͷੜ੒଎౓͕஗͍
    " ηϚϯςΟοΫݕࡧͷਫ਼౓
    # ݟ͚ͭͨιʔεʢςΩετʣͷத͔Βղ౴Λ࡞੒
16. ΍ͬͯΈͯΘ͔ͬͨ՝୊ ݕࡧਫ਼౓ͱճ౴ͷੜ੒଎౓͕஗͍
    " ηϚϯςΟοΫݕࡧͷਫ਼౓
    # ݟ͚ͭͨιʔεʢςΩετʣͷத͔Βղ౴Λ࡞੒
17. ࣭໰͔Βճ౴ੜ੒ͷྲྀΕ 
 ʢ͓͞Β͍ʣ
18. ࣭໰͔Βճ౴ੜ੒ͷྲྀΕ  ࣗવݴޠͰ஌Γ͍ͨ͜ͱΛೖྗ͢Δ
     ೖྗ஋ΛԿ͔ʹม׵ͯ͠ݕࡧ͢Δ
     ֘౰͢ΔυΩϡϝϯτΛϓϩϯϓτ΁ຒΊࠐΉ
     ϓϩϯϓτͷ৘ใΛجʹճ౴Λੜ੒͢Δ
19. લճ͔ΒߦͬͨରԠ
20. લճ͔ΒߦͬͨରԠ  ݕࡧਫ਼౓ͷվળΛ༏ઌ
     ճ౴ͷΩϟογϡ࣮૷
21. લճ͔ΒߦͬͨରԠ  ݕࡧਫ਼౓ͷվળΛ༏ઌ
     ճ౴ͷΩϟογϡ࣮૷
22. ճ౴ͷΩϟογϡ࣮૷ ճ౴ΛΩϟογϡ͢Δ
23. 3FUSJFWBM2"
25. w ࣭໰ʹؔ࿈͢ΔυΩϡϝϯτΛݕࡧ͠ɺϢʔβʔͷ ࣭໰ʹԠ౴͢Δίϯϙʔωϯτ
    w ݕࡧ෦෼͕ந৅Խ͞Ε͍ͯΔͨΊ 
 ηϚϯςΟοΫݕࡧʹݶΒͣɺ͋ΒΏΔख๏ͷ 
 υΩϡϝϯτݕࡧΛߦ͑Δ
    w υΩϡϝϯτΛݟ͚ͭͯճ౴ͷੜ੒·Ͱߦ͏ 3FUSJFWBM2"
26. ͜ͷந৅ΫϥεΛ࣮૷͢Ε͹
    3FUSJFWFS
    ʹͳΕΔ
27. ͓෼͔Γ͍͚ͨͩͨͩΖ͏͔ʜ
28. %PDVNFOU
    ͷϦετΛฦ͢ͷͰ͜͜Ͱ͸Ωϟογϡ͕Ͱ͖ͳ͍
29. 3FUSJFWBM2"
    ͷఆٛ
30. 3FUSJFWBM2"
    ΋
    3FUSJFWFS
    ͷϝιουΛݺͼग़͚ͩ͢
31. @BHFU@EPDT
    ͕ݺͼग़͞ΕΔՕॴ
32. #BTF3FUSJFWBM2"
    Ϋϥεͷ
    @BDBMM
    ϝιου
33. w @DBMM
    @BDBMM
    ϝιου͸࣭໰ͱͳΔೖྗ஋Λड͚औΓ 
 ฦΓ஋ͱͯ͠ιʔεͱυΩϡϝϯτͷϦετΛฦ͢
    w ͜ΕΛΩϟογϡ͢Δʂ #BTF3FUSJFWBM2"
34. $BDIFE3FUSJFWBM2"
36.  ࣭໰จ͔ΒຒΊࠐΈϕΫτϧΛ࡞੒͢Δ
     ΩϟογϡͷதΛྨࣅݕࡧ͢Δ
     ݟ͚ͭͨΒͦΕΛฦ͕͢ͳ͔ͬͨΒճ౴Λੜ੒͢Δ
     ੜ੒ͨ͠ճ౴ɺιʔε৘ใͱϕΫτϧΛอଘ $BDIFE3FUSJFWBM2"
37. /0
    )*5
    ͷ৔߹
    T
    ͘Β͍
38. $"$)&
    )*5
    ͷ৔߹
    T
    ͘Β͍
39. ѹ౗తͳ଎౓
    🚀
40. (15$BDIF
    Ͱ΋ 
 ࣅͨΑ͏ͳ͜ͱ͕Ͱ͖Δ͔΋🤔 IUUQTHJUIVCDPN[JMMJ[UFDI(15$BDIF
41. ࠓޙʹ͍ͭͯ ʮ,FWJOʯΛͲ͏ਐԽ͍͔ͤͯ͘͞
42. w σʔλΛ૿΍͢
    w ճ౴ͷਫ਼౓Λ্͛Δɻ·ͩ
    
    ݅͘Β͍
    w %JBMPH fl PX
    $9
    
    (15
    Ҡߦͷ४උͳͲ
    w ༧໿γεςϜΛ૊ΈࠐΜͰ͍͘
    w ϊ΢ϋ΢Λࣾ಺πʔϧվળʹऔΓೖΕ͍ͯ͘ ࠓޙʹ͍ͭͯ
43. ࠂ஌
44. IUUQTOPUBIPUFMUBMLQFBUJYDPN ໌೔
    
    Πϕϯτ΍Γ·͢ʂ ͜͜Ͱ͸ݕࡧਫ਼౓վળͷ࿩΋͢Δ༧ఆͰ͢ʂ
45. $50
    ͱ
    
    ਓ͚ͩͰ։ൃ͍ͯ͠ΔͷͰ 
 ஥ؒΛืू͍ͯ͠·͢ʂ (15
    ෦෼͸
    
    ਓ ੾࣮ʹ🙏