LangChain Toolsの運用と改善

2023/4/25 LLM(GPT, PaLM等) with MLOps LT大会!!! 発表資料

Transcript

1. LangChain Toolsͷӡ༻ͱվળ !QFJTVLF
2. ࣗݾ঺հ ໊લɿ౻ຊ ܟհ ॴଐɿ"#&+"
   ʢ-BCTʣ ෭ۀɿ.-Λத৺ʹ૬ஊ͔Β։ൃ·Ͱ΍ͬͯ·͢ ੋඇ͓੠͕͚Լ͍͞ ׆ಈɿ5XJUUFS
   !QFJTVLF (JUIVC IUUQTHJUIVCDPNQFJTVLF 2JJUB IUUQTRJJUBDPNQFJTVLF 4MJEF4IBSF IUUQTXXXTMJEFTIBSFOFU'VKJNPUP,FJTVLF গ͚ͩ͠ॻ͍ͯ·͢
3. ࠓճͷςʔϚʹ͍ͭͯ • --.͸୯ಠͩͱ༻్ʹݶք͕͋Γɺ֎෦πʔϧͱͷ࿈ܞ͕େࣄ • -BOH$IBJO
   5PPMTͷՄೳੑ͕ੌ͍ • 5PPMΛݺͼग़ͨ͢Ίʹઃఆ͢Δ%FTDSJQUJPOΛɺ.-ͷϊϦͰ ςετɾमਖ਼Λ͢Δ࢓૊ΈͷఏҊͱ࣮ݧ
4. --.ͷݶք • --.୯ಠͰ࢖༻ͨ͠৔߹ͷݶք • ֶश͍ͤͯ͞ͳ͍σʔλʹ͸ରԠͰ͖ͳ͍ͨΊɺϦΞϧλΠϜͳ࣭໰ ΍ઐ໳తɾಠࣗͷ࣭໰ʹ͸౴͑ΒΕͳ͍ • ౦ژ౎ͷਓޱͱ͍ͬͨಛఆͷ࣭໰ʹ͍ͭͯ͸ޡͬͨճ౴Λ͕ͪ͠ • ͍͔ʹͯ͠ޡͬͨճ౴Λग़͞ͳ͍Α͏ʹͭͭ͠ɺ༗༻ͳ݁ՌΛ ಘΔ͔͕ࠓޙͷ׆༻ͷϙΠϯτʹͳͬͯ͘Δ
5. ํ਑ • ཁ݅తͳͱ͜Ζ • --.͕ճ౴ෆՄೳͳઐ໳తͳ஌ࣝ˞΁ͷΞΫηε ˞࠷৽ͷ৘ใɺ࢛ଇԋࢉɺࣾ಺ͷφϨοδɺͦͷଞ༷ʑͳ࢓૊Έ • ͳΔ΂͘ޡͬͨճ౴Λग़͞ͳ͍Α͏ʹ͢Δ • ղܾํ਑ • --.୯ಠͰ࢖Θͣɺͦͷଞͷ࢓૊Έͱ࿈ܞ͢Δ • ݕࡧͷ࢓૊Έͱ૊Έ߹Θͤͨ-MBNB
   *OEFYͳͲ͕͋Δ
6. --.ͷࠓޙͷ࢖ΘΕํͷ૝ఆ ཁ໿ɺ຋༁ φϨοδݕࡧ΍ ϨίϝϯυͳͲ ϑΣʔζ̍ ϑΣʔζ̎ ϑΣʔζ̏ --.୯ಠͰͷར༻ खॱͷܾ·ͬͨλ εΫ ϧʔϧϕʔεͰ--. ͱผϩδοΫͷ૊Έ ߹Θͤ ॊೈʹෳ਺ϩδοΫ Λݺͼग़ͯ͠ར༻ ֓ཁ ಛ௃ ۩ମྫ ֎෦φϨοδΛ࢖ Θͳ͍ɺର࿩ͷத Ͱ׬݁Ͱ͖Δ໰୊ ࣗ༝ͳର࿩γες ϜɺෳࡶͳλεΫ ෳ਺ͷ࢓૊ΈΛ૊Έ߹Θͤ ʢ-MBNB
   *OEFYʣ ʢ(15
   1MVHJOTɺ+"37*4ɺ -BOH$IBJO
   5PPMʣ
7. --.ͷࠓޙͷ࢖ΘΕํͷ૝ఆ ཁ໿ɺ຋༁ φϨοδݕࡧ΍ ϨίϝϯυͳͲ ϑΣʔζ̍ ϑΣʔζ̎ ϑΣʔζ̏ --.୯ಠͰͷར༻ खॱͷܾ·ͬͨλ εΫ ϧʔϧϕʔεͰ--. ͱผϩδοΫͷ૊Έ ߹Θͤ ॊೈʹෳ਺ϩδοΫ Λݺͼग़ͯ͠ར༻ ֓ཁ ಛ௃ ۩ମྫ ֎෦φϨοδΛ࢖ Θͳ͍ɺର࿩ͷத Ͱ׬݁Ͱ͖Δ໰୊ ࣗ༝ͳର࿩γες ϜɺෳࡶͳλεΫ ෳ਺ͷ࢓૊ΈΛ૊Έ߹Θͤ ʢ-MBNB
   *OEFYʣ ʢ(15
   1MVHJOTɺ+"37*4ɺ -BOH$IBJO
   5PPMTʣ ຊ೔ͷλʔήοτ
8. -BOH$IBJO
   5PPMTͷ؆୯ͳઆ໌ʢʣ • ֎෦ͷπʔϧΛॊೈʹར༻Ͱ͖Δ࢓૊Έ • ಠࣗͷπʔϧΛ༻ҙ͓͖ͯ͠ʢԼਤ̍ࢀরʣɺBHFOUʹରͯ͠ ΫΤϦΛ౤͛ΔʢԼਤ̎ࢀরʣ • ྫɿϗςϧϨίϝϯυπʔϧ SVOϝιουͰ݁ՌΛฦ౴
9. -BOH$IBJO
   5PPMTͷ؆୯ͳઆ໌ʢʣ • -BOH$IBJOଆͰπʔϧΛ࢖͏΂͖͔Ͳ͏͔ɺͲͷπʔϧΛ࢖ ͏΂͖͔Λ൑அͯ͠ɺπʔϧΛۦ࢖ͭͭ݁͠ՌΛฦ͢ πʔϧΛ࢖͏͔Λ൑ఆ ࢖͏πʔϧΛܾఆ
10. -BOH$IBJO
    5PPMTͷ؆୯ͳઆ໌ʢʣ • ෳ਺ͷπʔϧΛ࿈ܞͤͨ͞ߴ౓ͳ݁ՌΛฦ͢͜ͱ΋Մೳ ݕࡧπʔϧ ܭࢉπʔϧ
11. -BOH$IBJO
    5PPMTΛ࣮ࡍʹ࢖͏্Ͱͷ՝୊ • %FTDSJQUJPOͷఆ͕ٛʮ͔ͳΓʯ೉͍͠ • 5PPM͕૿͑ͯ͘Δͱɺ૝ఆ௨Γʹ5PPMΛ࢖ͬͯ͘Εͳ͍ • ӡ༻ͷதͰద੾ʹ5PPMΛબ୒ͯ͘͠ΕΔΑ͏मਖ਼͍ͯ͘͠ඞཁ͕͋Δ %FTDSJQUJPO
12. ʮ%FTDSJQUJPO
    0QTʯ Λߟ͑ͯΈͨ
13. %FTDSJQUJPO
    0QTͱ͸ • ʮ͜ͷΫΤϦʹରͯ͠ɺ͜ͷπʔϧͱ͜ͷπʔϧ͕ݺ͹ΕΔ΂͖ʯͱ͍͏ɺ ೖྗͱਖ਼ղͷϖΞΛ༧Ί୔ࢁ༻ҙ͓ͯ͘͠ʢ.-ʹ͓͚Δڭࢣσʔλʣ • ࣮ࡍʹΫΤϦΛୟ͍ͯΈͯɺ૝ఆ௨Γͷπʔϧ͕ݺ͹Ε͍ͯΔ͔Λςετ ʢ.-ʹ͓͚Δਪ࿦ʣ • ݺ͹Ε͍ͯͳ͔ͬͨΒɺ݁ՌΛ--.ʹ౉ͯ͠मਖ਼͠ɺ͜ΕΛ܁Γฦ͢ ʢ.-ʹ͓͚Δֶशʣ ͜ͷ࢓૊Λ࢖͍ɺӡ༻தʹվળͷϓϩηεΛճ͢ʂ ʢͱ͍͏ϑϨʔϜϫʔΫͷఏҊʣ
14. %FTDSJQUJPO
    0QTͷ࣮ݧ • Φεεϝͷגͷ໏ฑΛग़ྗͦ͠ͷࣄۀ಺༰Λग़ྗ͢Δ࢓૊ΈΛ ର৅ʹ͢Δ • גͷ໏ฑ͚ͩϨίϝϯυ͞Εͯ΋ɺͦͷϏδωεϞσϧ΍ച্ΛҰॹ ʹ஌Γͨ͘ͳΔ • ࣗ෼Ͱ৭Μͳ৘ใΛௐ΂ͯௐࠪΛͤͣͱ΋ɺ5PPMTͷ࢓૊ΈΛ࢖͍ඞ ཁͳ৘ใΛҰׅͰूΊ͍ͨ • ҎԼͷطଘπʔϧ܈Λ͍࣋ͬͯΔ͜ͱΛ૝ఆ • πʔϧ̍ɿΦεεϝͷגͷձ໊ࣾΛग़ྗ͢Δ"1* • πʔϧ̎ɿձ໊͔ࣾΒ໏ฑίʔυʹม׵͢Δ"1* • πʔϧ̏ɿ໏ฑίʔυʹରԠ͢Δࣄۀ಺༰Λग़ྗ͢Δ"1*
15. ςετ༻ͷ5PPMΛ࡞੒͓ͯ͘͠ • 5PPM͕ݺ͹ΕΔ͔͚ͩݟΕ͹ྑ͍ͷͰɺ"1*ࣗମ͸ϞοΫΞο ϓͰ0, • Սۭͷձ໊ࣾΛೖΕ͓ͯ͘͜ͱͰɺ(15ࣗମ͕௚઀౴͑ͳ͍Α ͏ʹ͓ͯ͘͠
16. %FTDSJQUJPO
    0QTͷϑϩʔ  ਖ਼ղσʔλͷೖྗ  ॳظͷ%FTDSJQUJPOઃఆ  ༩͑ͨ%FTDSJQUJPOΛݩʹπʔϧΛݺͼग़͠  ਖ਼ղσʔλͱൺֱͯ͠ɺͲͷҐͷਫ਼౓Ͱπʔϧ͕ݺͼग़͞Ε ͔ͨΛςετ  ਫ਼౓্͕͕ΔΑ͏ʹ%FTDSJQUJPOΛमਖ਼  ʹ໭Δ
17. %FTDSJQUJPO
    0QTͷϑϩʔ  ਖ਼ղσʔλͷೖྗ  ॳظͷ%FTDSJQUJPOઃఆ  ༩͑ͨ%FTDSJQUJPOΛݩʹπʔϧΛݺͼग़͠  ਖ਼ղσʔλͱൺֱͯ͠ɺͲͷҐͷਫ਼౓Ͱπʔϧ͕ݺͼग़͞Ε ͔ͨΛςετ  ਫ਼౓্͕͕ΔΑ͏ʹ%FTDSJQUJPOΛमਖ਼  ʹ໭Δ
18. ਖ਼ղσʔλͷ࡞੒ ΫΤϦαϯϓϧ ݺͼग़͞ΕΔ΂͖ 5PPM܈ͱ૝ఆग़ྗ
19. %FTDSJQUJPO
    0QTͷϑϩʔ  ਖ਼ղσʔλͷೖྗ  ॳظͷ%FTDSJQUJPOઃఆ  ༩͑ͨ%FTDSJQUJPOΛݩʹπʔϧΛݺͼग़͠  ਖ਼ղσʔλͱൺֱͯ͠ɺͲͷҐͷਫ਼౓Ͱπʔϧ͕ݺͼग़͞Ε ͔ͨΛςετ  ਫ਼౓্͕͕ΔΑ͏ʹ%FTDSJQUJPOΛमਖ਼  ʹ໭Δ
20. ॳظͷ%FTDSJQUJPOઃఆ • ͪΌΜͱֶश͞ΕΔࣄΛ֬ೝ͍ͨ͠ͷͰɺ࠷ॳ͸ద౰ͳ಺༰Λ ೖΕ͓ͯ͘
21. %FTDSJQUJPO
    0QTͷϑϩʔ  ਖ਼ղσʔλͷೖྗ  ॳظͷ%FTDSJQUJPOઃఆ  ༩͑ͨ%FTDSJQUJPOΛݩʹπʔϧΛݺͼग़͠  ਖ਼ղσʔλͱൺֱͯ͠ɺͲͷҐͷਫ਼౓Ͱπʔϧ͕ݺͼग़͞Ε ͔ͨΛςετ  ਫ਼౓্͕͕ΔΑ͏ʹ%FTDSJQUJPOΛमਖ਼  ʹ໭Δ
22. मਖ਼ϓϩϯϓτͷ࡞੒ ݱࡏͷEFTDSJQUJPO ݺ͹Εͨ5PPMͱݺ͹Εͳ ͔ͬͨ5PPMΛ༩͑Δ ग़ྗϑΥʔϚοτΛࢦఆ ϢʔβͷΫΤϦࣗମʹ ෇༩͢΂͖৘ใ
23. ఆྔධՁ ਖ਼ ౴ ཰ मਖ਼ճ਺ FQPDI • मਖ਼ʹΑͬͯਫ਼౓͕޲্͢Δ͜ͱ͸֬ೝ • ద੾ͳमਖ਼͕ͳ͞Εͣɺ࠷ޙʹਫ਼౓͕Լ͕ͬͯ͠·͏ࣄ͕͋Δ
24. ఆੑධՁ  • ੜ੒͞Εͨ%FTDSJQUJPOͱΫΤϦ΁ͷ௥Ճ৘ใ %FTDSJQUJPO ௥Ճ৘ใ
25. ఆੑධՁ  • աֶशͯ͠͠·͏ྫʢ͜ͷล΋.-ͬΆ͍ʣ ˞मਖ਼༻ͷϓϩϯϓτΛ࿔͍ͬͯͨΒ࿉੒͞Εͨ݁Ռ ֶशσʔλʹؚ·ΕΔΫΤϦ ͱ౴͑Λ֮͑ͯ͠·ͬͨ
26. ·ͱΊ • --.ͱɺͦΕҎ֎Λͭͳ͛ΔՄೳੑ͕ੌ͍ʂ • ؆୯ʹ͸ܨ͕Βͳ͍ɺ൚༻Λ໨ࢦ͢΄Ͳੑೳ্͕͕Βͳ͍ • .-ͷཁྖͰɺ%FTDSJQUJPOΛςετɾվળ͢Δ࢓૊ΈΛߟҊ • %FTDSJQUJPO
    0QTͱݴ͍ͭͭɺ·ͩ0QTͷ࢓૊Έ·Ͱ͸࡞ͬ ͍ͯͳ͍ͷͰɺࠓޙؤுΓ·͢