$30 off During Our Annual Pro Sale. View Details »

RAGアプリにおけるプロンプトとtemperatureの応答品質への影響ほんとのところ/the real case about temperature and template language

RAGアプリにおけるプロンプトとtemperatureの応答品質への影響ほんとのところ/the real case about temperature and template language

2023.6.26 「AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜」で話した内容です。

吉田真吾

June 26, 2023
Tweet

More Decks by 吉田真吾

Other Decks in Technology

Transcript

  1. 3"(ΞϓϦʹ͓͚Δϓϩϯϓτͱ
    UFNQFSBUVSFͷԠ౴඼࣭΁ͷӨڹ
    ΄Μͱͷͱ͜Ζ

    αΠμεऔక໾$50
    ٢ాਅޗ

    View Slide

  2. 吉田真吾 AWS Serverless Hero
    n
    p Oracle
    SA
    p 113 /
    pAWS
    n
    ( ) CTO
    p SaaS
    ( )
    pAWS DevOps
    n
    pAWS
    (2012 )
    pAWS Samurai 2014 / 2016
    pAWS Serverless Hero
    AWS
    AWS Lambda
    Amazon S3
    ChillOutMix

    View Slide

  3. 3"( ݕࡧ֦ுੜ੒
    ΞϓϦ
    ʮ$:%"41&01-&ʯʹɺࣾһ͔Βͷ໰͍߹ΘͤʹࣗಈͰ౴͑Δ$IBU(15ػೳʮ$:%"41&01-&$PQJMPU$IBUʯ
    https://www.cydas.co.jp/news/press/202304_people-gpt/

    View Slide

  4. ⾃社のFAQをベクターデータ化
    ChatGPTで回答に利⽤
    ਓࣄ'"2ˍ໰͍߹ΘͤཤྺΛϕΫλʔσʔλԽ

    View Slide

  5. View Slide

  6. View Slide

  7. ຊ൪ϦϦʔεʹΉ͚ͯ
    σϞͷഒҎ্΍Δ͜ͱ͕͋Δ

    View Slide

  8. ຊ൪༻ͷ--.ΞϓϦέʔγϣϯΛͭ͘Δ
    --.ͰΫʔϧͳ΋ͷΛ࡞Δͷ͸؆୯͕ͩຊ൪Ϩϕϧͷ΋ͷΛ࡞Δͷ͸ඇৗʹ೉͍͠
    ՝୊ͱղܾࡦ
    ࣗવݴޠͷ͍͋·͍͞ ܾఆ࿦తͰͳ͍)ʹΑΔ69ෆ੔߹ ˠ UFNQFSBUVSFɺϓϩϯϓτ࠷ద
    Խɾόʔδϣχϯά؅ཧ
    ίετͱϨΠςϯγʔ ˠਪ࿦ʹ࢖͏ϞσϧબఆɺτʔΫϯ਺ͷௐ੔ɺ ݱঢ়͸
    ϨΠςϯ
    γʔղੳ
    ϓϩϯϓςΟϯά ϑΝΠϯνϡʔχϯά ͦΕҎ֎
    • ϓϩϯϓτνϡʔχϯάɿ&NCFEEJOHTΛೖΕସ͑Δ 044ͰͷΈՄೳ

    • ϑΝΠϯνϡʔχϯάɿλεΫʹ࠷దԽͤ͞ΔͨΊͷαϯϓϧ͕ੑೳʹӨڹˠ͕ɺ͋·Γظ଴Ͱ͖ͳ͍
    • ৠཹϑΝΠϯνϡʔχϯάɿ5FYUEBWJODJ େ
    Ͱ--B." খ
    ͷνϡʔχϯάʹ࢖͏ˠ"MQBDB খ

    • &NCFEEJOHTϕΫλʔετΞɿ'FXTIPUT
    ޙํޓ׵ੑͱલํޓ׵ੑ
    • ৽͍͠Ϟσϧ͸શମతʹ༏ΕͯΔ͔΋͠Εͳ͍͕ɺྼ͍ͬͯΔϢʔεέʔε΋͋Δ͸ͣ
    • લͷϞσϧʹରͯ͠͏·͘ಈ͍͍ͯͨϓϩϯϓτ͕͏·͘ಈ͔ͳ͍৔߹ɺͲΜͳҙਤͰϓϩϯϓτ͕νϡʔ
    χϯά͞Ε͍ͯΔ͔ ढจ όουϓϥΫςΟε
    Θ͔Βͳ͘ͳΔ
    IUUQTIVZFODIJQDPNMMNFOHJOFFSJOHIUNM

    View Slide

  9. Ԡ౴඼࣭Λ҆ఆͤ͞Δ
    UFNQFSBUVSF
    ϓϩϯϓτνϡʔχϯά

    View Slide

  10. UFNQFSBUVSF͸3"(ͷԠ౴඼࣭ʹͲͷ͘Β͍Өڹ͢Δͷ͔ʁ
    • Թ౓ɿੜ੒͞ΕΔςΩετͷʮ૑଄ੑʯ·ͨ͸ϥϯμϜੑΛ੍
    ޚ͢ΔύϥϝʔλʔͰ͋Δ GPT-3Ҏ߱

    • Թ౓͕ߴ͍ FY0.7
    ˠΑΓଟ༷Ͱ૑଄తͳग़ྗ
    • Թ౓͕௿͍ FY0.2
    ˠΑΓܾఆ࿦తͰूதతͳग़ྗ
    • top_pαϯϓϦϯά ίΞαϯϓϦϯά
    ͱͷซ༻͸ඇਪ঑
    https://platform.openai.com/docs/api-reference/chat
    Ϣʔεέʔε Թ౓ આ໌
    ίʔυੜ੒ ཱ֬͞Εͨύλʔϯͱ׳शʹैͬͨίʔυΛੜ੒͢Δɻग़ྗ͸ΑΓܾఆ࿦తͰয఺Խ͞ΕΔɻߏจతʹਖ਼͍͠ίʔυ
    Λੜ੒͢Δͷʹ໾ཱͭɻ
    ΫϦΤΠςΟϒɾϥΠ
    ςΟϯά
    ετʔϦʔςϦϯάͷͨΊͷ૑଄తͰଟ༷ͳςΩετΛੜ੒͢ΔɻΞ΢τϓοτ͸ΑΓ୳ࡧతͰɺύλʔϯʹΑΔ੍
    ໿͕গͳ͍ɻ
    νϟοτϘοτԠ౴ Ұ؏ੑͱଟ༷ੑͷόϥϯεͷͱΕͨձ࿩Ԡ౴Λੜ੒͠·͢ɻΞ΢τϓοτ͸ΑΓࣗવͰັྗతɻ
    ίʔυɾίϝϯτੜ੒ ΑΓ؆ܿͰద੾ͳίʔυίϝϯτΛੜ੒͠·͢ɻग़ྗ͸ΑΓܾఆ࿦తͰɺن໿ΛकΔɻ
    σʔλ෼ੳεΫϦϓτ ΑΓਖ਼֬Ͱޮ཰తͳσʔλ෼ੳεΫϦϓτΛੜ੒͠·͢ɻग़ྗ͸ΑΓܾఆ࿦తͰूதతͰ͢ɻ
    ୳ࡧతͳίʔσΟϯά ୅ସҊ΍૑଄తͳΞϓϩʔνΛ໛ࡧ͢ΔίʔυΛੜ੒͢Δɻط੒ͷύλʔϯʹͱΒΘΕͳ͍Ξ΢τϓοτ
    https://community.openai.com/t/cheat-sheet-mastering-temperature-and-top-p-in-chatgpt-api-a-
    few-tips-and-tricks-on-controlling-the-creativity-deterministic-output-of-prompt-responses/172683

    View Slide

  11. View Slide

  12. View Slide

  13. View Slide

  14. ࣭໰ɿ ITύεϙʔτΛडݧ͠Α͏ͱࢥ͍·͢ɻิॿ͸ग़·͔͢
    ݕࡧ݁Ռɿ
    Document(page_content='ITύεϙʔτͷࢿ֨ͷิॿ͸Ͱ·͢
    ͔ʁ ¥n¥nδϣϒΧϯͰʮҰൠܦඅࢧग़ਃ੥ʯͱͯ͠ਃ੥Λ
    ͢Δ͜ͱɻͦͷࡍ࣍ͷ߲໨͸ඞਢͳͷͰೖྗ͢Δ͜ͱɻෆ໌఺͕
    ͋Ε͹؅ཧ෦·Ͱ࿈བྷ͢Δ͜ͱɻ¥nᶃਃ੥λΠτϧ¥nᶄ؅ཧ߲
    ໨¥nᶅඅ༻ൃੜ෦໳¥nᶆࢧ෷ઌ໊¥nᶇൃੜ݄ɻ¥n ',
    metadata={'@search.score': 4.32952, 'rid':
    'WGxwaUFOWU4xaG9IQUFBQUFBQUFBQT090'}),

    View Slide

  15. View Slide

  16. ϓϩϯϓτνϡʔχϯάʹΑΔߩݙ
    ;Δ·͍ͷࢦఆʹΑΔมԽ
    ϓϩϯϓτΛ೔ຊޠͰॻ͘৔߹ӳޠͰॻ͘৔߹

    View Slide

  17. ;Δ·͍Λࢦఆ͠ͳ͍
    以下のチャット履歴を参考に質問に答えてください。
    ----
    {retrieval}
    ----
    以下の質問に⽇本語で答えてください。
    {question}
    ݁Ռ͸͋·ΓมΘΒͳ͍͕ɺճ౴ͷ࣭͸
    Ή͠ΖԹ౓͕ߴ͍΄͏͕ྑ͍

    View Slide

  18. ;Δ·͍Λࢦఆ͢Δ
    あなたの名前はPEOPLE Copilot Chatです、あなたは以下のようなチャット履歴で従業員の質問に答えるHRエージェントです。
    ----
    {retrieval}
    ----
    上記の知識を⽇本語で考えながら、以下の質問に答えてください。
    ただし、参考にする知識がない場合は、"その件については存じ上げませんので⼈事に直接お問い合わせください。"と回答してください。
    {question}
    ճ౴ͷ࣭͕ٯసɺԹ౓͕௿͘
    ͯ΋۩ମతͳखଓ͖ํ๏·Ͱ
    Ԡ౴Ͱ͖͍ͯΔ

    View Slide

  19. ϓϩϯϓτΛӳޠʹ͢Δ
    Your name is PEOPLE Copilot Chat, you are an HR agent that answer via employees's questions with chat history like below.
    ----
    {retrieval}
    ----
    Please answer the question below with thinking about the knowledge above in Japanese.
    But if you have no knowledge to refer to, you can answer with "その件については存じ上げませんので⼈事に直接お問い合わせください。".
    {question}
    UFNQFSBUVSFʹؔΘΒͣɺΉ͠Ζճ౴ͷ࣭͕Լ͕ͬͨ खଓ͖ํ๏͕Ҋ಺͞Εͳ͘ͳͬͨ

    View Slide

  20. ݁࿦
    • ଞͷ--.ΞϓϦͷ࠷దԽख๏͕ࣗ෼ʹ΋ສೳͱ͸͔͗Βͳ͍
    • ୺తͳճ౴Λੜ੒͢Δ3"(ΞϓϦͰ͑ࣔͨ͞͠ͱ͓Γ
    • UFNQFSBUVSFͰճ౴Λܾఆతʹ͢Δ❌ˠӨڹܰඍʗٯʹߴΊͷ΄͏͕
    ճ౴ͷ࣭͕ߴ·ΔՄೳੑ͋Γ
    • ϓϩϯϓτ͸ӳޠͷ΄͏͕಄͕ྑ͍❌ˠ೔ຊޠͷ΄͏͕࣭໰ͷҙਤɾ
    ճ౴ͷஸೡ͞Λ࠶ݱͰ͖Δ৔߹͋Γ
    • ຐ๏ΛՊֶʹண஍ͤ͞Δʹ͸؍ଌͱΤϏσϯε
    • 8FCΞϓϦͱಉ౳ͷे෼ͳςετ࣮ࢪ
    • ύϥϝʔλ΍ϓϩϯϓτςϯϓϨʔτͷόʔδϣϯ؅ཧ

    View Slide