RAGアプリにおけるプロンプトとtemperatureの応答品質への影響ほんとのところ/the real case about temperature and template language

2023.6.26 「AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜」で話した内容です。

Transcript

1. 3"(ΞϓϦʹ͓͚Δϓϩϯϓτͱ
   UFNQFSBUVSFͷԠ౴඼࣭΁ͷӨڹ
   ΄Μͱͷͱ͜Ζ
   
   αΠμεऔక໾$50
   ٢ాਅޗ
   

   View Slide

2. 吉田真吾 AWS Serverless Hero
   n
   p Oracle
   SA
   p 113 /
   pAWS
   n
   ( ) CTO
   p SaaS
   ( )
   pAWS DevOps
   n
   pAWS
   (2012 )
   pAWS Samurai 2014 / 2016
   pAWS Serverless Hero
   AWS
   AWS Lambda
   Amazon S3
   ChillOutMix
   

   View Slide

3. 3"( ݕࡧ֦ுੜ੒
   ΞϓϦ
   ʮ$:%"41&01-&ʯʹɺࣾһ͔Βͷ໰͍߹ΘͤʹࣗಈͰ౴͑Δ$IBU(15ػೳʮ$:%"41&01-&$PQJMPU$IBUʯ
   https://www.cydas.co.jp/news/press/202304_people-gpt/
   

   View Slide

4. ⾃社のFAQをベクターデータ化
   ChatGPTで回答に利⽤
   ਓࣄ'"2ˍ໰͍߹ΘͤཤྺΛϕΫλʔσʔλԽ
   

   View Slide

5. View Slide

6. View Slide

7. ຊ൪ϦϦʔεʹΉ͚ͯ
   σϞͷഒҎ্΍Δ͜ͱ͕͋Δ
   

   View Slide

8. ຊ൪༻ͷ--.ΞϓϦέʔγϣϯΛͭ͘Δ
   --.ͰΫʔϧͳ΋ͷΛ࡞Δͷ͸؆୯͕ͩຊ൪Ϩϕϧͷ΋ͷΛ࡞Δͷ͸ඇৗʹ೉͍͠
   ՝୊ͱղܾࡦ
   ࣗવݴޠͷ͍͋·͍͞ ܾఆ࿦తͰͳ͍)ʹΑΔ69ෆ੔߹ ˠ UFNQFSBUVSFɺϓϩϯϓτ࠷ద
   Խɾόʔδϣχϯά؅ཧ
   ίετͱϨΠςϯγʔ ˠਪ࿦ʹ࢖͏ϞσϧબఆɺτʔΫϯ਺ͷௐ੔ɺ ݱঢ়͸
   ϨΠςϯ
   γʔղੳ
   ϓϩϯϓςΟϯά ϑΝΠϯνϡʔχϯά ͦΕҎ֎
   • ϓϩϯϓτνϡʔχϯάɿ&NCFEEJOHTΛೖΕସ͑Δ 044ͰͷΈՄೳ
   
   • ϑΝΠϯνϡʔχϯάɿλεΫʹ࠷దԽͤ͞ΔͨΊͷαϯϓϧ͕ੑೳʹӨڹˠ͕ɺ͋·Γظ଴Ͱ͖ͳ͍
   • ৠཹϑΝΠϯνϡʔχϯάɿ5FYUEBWJODJ େ
   Ͱ--B." খ
   ͷνϡʔχϯάʹ࢖͏ˠ"MQBDB খ
   
   • &NCFEEJOHTϕΫλʔετΞɿ'FXTIPUT
   ޙํޓ׵ੑͱલํޓ׵ੑ
   • ৽͍͠Ϟσϧ͸શମతʹ༏ΕͯΔ͔΋͠Εͳ͍͕ɺྼ͍ͬͯΔϢʔεέʔε΋͋Δ͸ͣ
   • લͷϞσϧʹରͯ͠͏·͘ಈ͍͍ͯͨϓϩϯϓτ͕͏·͘ಈ͔ͳ͍৔߹ɺͲΜͳҙਤͰϓϩϯϓτ͕νϡʔ
   χϯά͞Ε͍ͯΔ͔ ढจ όουϓϥΫςΟε
   Θ͔Βͳ͘ͳΔ
   IUUQTIVZFODIJQDPNMMNFOHJOFFSJOHIUNM
   

   View Slide

9. Ԡ౴඼࣭Λ҆ఆͤ͞Δ
   UFNQFSBUVSF
   ϓϩϯϓτνϡʔχϯά
   

   View Slide

10. UFNQFSBUVSF͸3"(ͷԠ౴඼࣭ʹͲͷ͘Β͍Өڹ͢Δͷ͔ʁ
    • Թ౓ɿੜ੒͞ΕΔςΩετͷʮ૑଄ੑʯ·ͨ͸ϥϯμϜੑΛ੍
    ޚ͢ΔύϥϝʔλʔͰ͋Δ GPT-3Ҏ߱
    
    • Թ౓͕ߴ͍ FY0.7
    ˠΑΓଟ༷Ͱ૑଄తͳग़ྗ
    • Թ౓͕௿͍ FY0.2
    ˠΑΓܾఆ࿦తͰूதతͳग़ྗ
    • top_pαϯϓϦϯά ίΞαϯϓϦϯά
    ͱͷซ༻͸ඇਪ঑
    https://platform.openai.com/docs/api-reference/chat
    Ϣʔεέʔε Թ౓ આ໌
    ίʔυੜ੒ ཱ֬͞Εͨύλʔϯͱ׳शʹैͬͨίʔυΛੜ੒͢Δɻग़ྗ͸ΑΓܾఆ࿦తͰয఺Խ͞ΕΔɻߏจతʹਖ਼͍͠ίʔυ
    Λੜ੒͢Δͷʹ໾ཱͭɻ
    ΫϦΤΠςΟϒɾϥΠ
    ςΟϯά
    ετʔϦʔςϦϯάͷͨΊͷ૑଄తͰଟ༷ͳςΩετΛੜ੒͢ΔɻΞ΢τϓοτ͸ΑΓ୳ࡧతͰɺύλʔϯʹΑΔ੍
    ໿͕গͳ͍ɻ
    νϟοτϘοτԠ౴ Ұ؏ੑͱଟ༷ੑͷόϥϯεͷͱΕͨձ࿩Ԡ౴Λੜ੒͠·͢ɻΞ΢τϓοτ͸ΑΓࣗવͰັྗతɻ
    ίʔυɾίϝϯτੜ੒ ΑΓ؆ܿͰద੾ͳίʔυίϝϯτΛੜ੒͠·͢ɻग़ྗ͸ΑΓܾఆ࿦తͰɺن໿ΛकΔɻ
    σʔλ෼ੳεΫϦϓτ ΑΓਖ਼֬Ͱޮ཰తͳσʔλ෼ੳεΫϦϓτΛੜ੒͠·͢ɻग़ྗ͸ΑΓܾఆ࿦తͰूதతͰ͢ɻ
    ୳ࡧతͳίʔσΟϯά ୅ସҊ΍૑଄తͳΞϓϩʔνΛ໛ࡧ͢ΔίʔυΛੜ੒͢Δɻط੒ͷύλʔϯʹͱΒΘΕͳ͍Ξ΢τϓοτ
    https://community.openai.com/t/cheat-sheet-mastering-temperature-and-top-p-in-chatgpt-api-a-
    few-tips-and-tricks-on-controlling-the-creativity-deterministic-output-of-prompt-responses/172683
    

    View Slide

11. View Slide

12. View Slide

13. View Slide

14. ࣭໰ɿ ITύεϙʔτΛडݧ͠Α͏ͱࢥ͍·͢ɻิॿ͸ग़·͔͢
    ݕࡧ݁Ռɿ
    Document(page_content='ITύεϙʔτͷࢿ֨ͷิॿ͸Ͱ·͢
    ͔ʁ ¥n¥nδϣϒΧϯͰʮҰൠܦඅࢧग़ਃ੥ʯͱͯ͠ਃ੥Λ
    ͢Δ͜ͱɻͦͷࡍ࣍ͷ߲໨͸ඞਢͳͷͰೖྗ͢Δ͜ͱɻෆ໌఺͕
    ͋Ε͹؅ཧ෦·Ͱ࿈བྷ͢Δ͜ͱɻ¥nᶃਃ੥λΠτϧ¥nᶄ؅ཧ߲
    ໨¥nᶅඅ༻ൃੜ෦໳¥nᶆࢧ෷ઌ໊¥nᶇൃੜ݄ɻ¥n ',
    metadata={'@search.score': 4.32952, 'rid':
    'WGxwaUFOWU4xaG9IQUFBQUFBQUFBQT090'}),
    

    View Slide

15. View Slide

16. ϓϩϯϓτνϡʔχϯάʹΑΔߩݙ
    ;Δ·͍ͷࢦఆʹΑΔมԽ
    ϓϩϯϓτΛ೔ຊޠͰॻ͘৔߹ӳޠͰॻ͘৔߹
    

    View Slide

17. ;Δ·͍Λࢦఆ͠ͳ͍
    以下のチャット履歴を参考に質問に答えてください。
    ----
    {retrieval}
    ----
    以下の質問に⽇本語で答えてください。
    {question}
    ݁Ռ͸͋·ΓมΘΒͳ͍͕ɺճ౴ͷ࣭͸
    Ή͠ΖԹ౓͕ߴ͍΄͏͕ྑ͍
    

    View Slide

18. ;Δ·͍Λࢦఆ͢Δ
    あなたの名前はPEOPLE Copilot Chatです、あなたは以下のようなチャット履歴で従業員の質問に答えるHRエージェントです。
    ----
    {retrieval}
    ----
    上記の知識を⽇本語で考えながら、以下の質問に答えてください。
    ただし、参考にする知識がない場合は、"その件については存じ上げませんので⼈事に直接お問い合わせください。"と回答してください。
    {question}
    ճ౴ͷ࣭͕ٯసɺԹ౓͕௿͘
    ͯ΋۩ମతͳखଓ͖ํ๏·Ͱ
    Ԡ౴Ͱ͖͍ͯΔ
    

    View Slide

19. ϓϩϯϓτΛӳޠʹ͢Δ
    Your name is PEOPLE Copilot Chat, you are an HR agent that answer via employees's questions with chat history like below.
    ----
    {retrieval}
    ----
    Please answer the question below with thinking about the knowledge above in Japanese.
    But if you have no knowledge to refer to, you can answer with "その件については存じ上げませんので⼈事に直接お問い合わせください。".
    {question}
    UFNQFSBUVSFʹؔΘΒͣɺΉ͠Ζճ౴ͷ࣭͕Լ͕ͬͨ खଓ͖ํ๏͕Ҋ಺͞Εͳ͘ͳͬͨ
    
    

    View Slide

20. ݁࿦
    • ଞͷ--.ΞϓϦͷ࠷దԽख๏͕ࣗ෼ʹ΋ສೳͱ͸͔͗Βͳ͍
    • ୺తͳճ౴Λੜ੒͢Δ3"(ΞϓϦͰ͑ࣔͨ͞͠ͱ͓Γ
    • UFNQFSBUVSFͰճ౴Λܾఆతʹ͢Δ❌ˠӨڹܰඍʗٯʹߴΊͷ΄͏͕
    ճ౴ͷ࣭͕ߴ·ΔՄೳੑ͋Γ
    • ϓϩϯϓτ͸ӳޠͷ΄͏͕಄͕ྑ͍❌ˠ೔ຊޠͷ΄͏͕࣭໰ͷҙਤɾ
    ճ౴ͷஸೡ͞Λ࠶ݱͰ͖Δ৔߹͋Γ
    • ຐ๏ΛՊֶʹண஍ͤ͞Δʹ͸؍ଌͱΤϏσϯε
    • 8FCΞϓϦͱಉ౳ͷे෼ͳςετ࣮ࢪ
    • ύϥϝʔλ΍ϓϩϯϓτςϯϓϨʔτͷόʔδϣϯ؅ཧ
    

    View Slide