RAG：チャットボットの能力を底上げする技術

https://youtu.be/L1tDr3C7z-Q

Transcript

1. 
2. ࠓճͷ಺༰  3"(ͷجຊతͳ࢓૊Έ -BOH$IBJOΛ༻͍࣮ͨ૷
3. Α͋͘Δέʔε  --.
   ʹࣾ಺ࢿྉΛࢀরͤͯ͞ɺࣾһͷٙ໰ʹ౴͑ΔνϟοτϘοτΛ࡞Γ͍ͨ ࣮຿ ࣾһ ࣾ༻
   1$
   ʹෆ۩߹͕ى͖ͨɻͲ͜ʹ໰͍߹ΘͤͨΒྑ͍ʁ LLM ۀ຿ϚχϡΞϧʹΑΔͱʜ ۀ຿υΩϡϝϯτ
4. Α͋͘Δέʔε  --.
   ʹࣾ಺ࢿྉΛࢀরͤͯ͞ɺࣾһͷٙ໰ʹ౴͑ΔνϟοτϘοτΛ࡞Γ͍ͨ ࣮຿ ࣾһ ࣾ༻
   1$
   ʹෆ۩߹͕ى͖ͨɻͲ͜ʹ໰͍߹ΘͤͨΒྑ͍ʁ LLM ۀ຿ϚχϡΞϧʹΑΔͱʜ ۀ຿υΩϡϝϯτ ݸผͷ໨తʹಛԽͨ͠--.Λ࡞Γ͍ͨ
5. ͔͠͠
6. ஌Βͳ͍͜ͱ͸౴͑ΒΕͳ͍ 
7. ϓϩϯϓτʹૠ͠ࠐΊ͹౴͑ΒΕΔ 
8. Α͋͘Δέʔε  --.
   ʹࣾ಺ࢿྉΛࢀরͤͯ͞ɺࣾһͷٙ໰ʹ౴͑ΔνϟοτϘοτΛ࡞Γ͍ͨ ࣮຿ ࣾһ ࣾ༻
   1$
   ʹෆ۩߹͕ى͖ͨɻͲ͜ʹ໰͍߹ΘͤͨΒྑ͍ʁ LLM ۀ຿ϚχϡΞϧʹΑΔͱʜ ۀ຿υΩϡϝϯτ ͦ΋ͦ΋ϓϩϯϓτʹૠ͠ࠐΉͨΊͷ಺༰Λ஌Γ͍ͨ
9. ࠓճֶͿٕज़  ͜͜Λ֎෦จॻ͔Β୳͖ͯͯ͠ɺࣗಈͰૠ͠ࠐΉ
10. ࠓճֶͿٕज़  ͜͜Λ֎෦จॻ͔Β୳͖ͯͯ͠ɺࣗಈͰૠ͠ࠐΉ ͜ΕΛ࣮ݱ͢Δͷ͕3"(
11. ࠓճͷ಺༰  3"(ͷجຊతͳ࢓૊Έ -BOH$IBJOΛ༻͍࣮ͨ૷
12.  3FUSJFWBM
    "VHNFOUFE
    (FOFSBUJPO
13.  3FUSJFWBM
    "VHNFOUFE
    (FOFSBUJPO நग़ ิ׬ ੜ੒
14. 3"(ͷ࢓૊Έ  ਺ཧͷ஄ؙͬͯ஌ͬͯΔʁ ࣭໰ ֎෦஌ࣝ
15. 3"(ͷ࢓૊Έ  ਺ཧͷ஄ؙͬͯ஌ͬͯΔʁ ࣭໰ ֎෦஌ࣝ ςΩετຒΊࠐΈϞσϧ
16. 3"(ͷ࢓૊Έ  ਺ཧͷ஄ؙͬͯ஌ͬͯΔʁ ࣭໰ ֎෦஌ࣝ ςΩετຒΊࠐΈϞσϧ ϕΫτϧσʔλϕʔε ࣭໰ϕΫτϧ
17. 3"(ͷ࢓૊Έ  ςΩετຒΊࠐΈϞσϧ ϕΫτϧσʔλϕʔε ࣭໰ϕΫτϧ
18. 3"(ͷ࢓૊Έ  ςΩετຒΊࠐΈϞσϧ ϕΫτϧσʔλϕʔε ྨࣅ౓ܭࢉɾநग़ ࣭໰ϕΫτϧ
19. 3"(ͷ࢓૊Έ  ςΩετຒΊࠐΈϞσϧ ϕΫτϧσʔλϕʔε ྨࣅ౓ܭࢉɾநग़ ࣭໰ͱ࠷΋ྨࣅͨ͠֎෦஌ࣝ ʮ਺ཧͷ஄ؙʯ͸ɺਓ޻஌ೳ΍ݴޠʹ·ͭΘΔઐ໳஌ΛΘ͔Γ΍͘͢ɺʜ ࣭໰ϕΫτϧ
20.  ຒΊࠐΈɾྨࣅ౓ܭࢉɾநग़ ࣭໰ͱ࠷΋ྨࣅͨ͠֎෦஌ࣝ ʮ਺ཧͷ஄ؙʯ͸ɺਓ޻஌ೳ΍ݴޠʹ·ͭΘΔઐ໳஌ΛΘ͔Γ΍͘͢ɺʜ ਺ཧͷ஄ؙͬͯ஌ͬͯΔʁ ࣭໰ ֎෦஌ࣝ 3"(ͷ࢓૊Έ
21.  ຒΊࠐΈɾྨࣅ౓ܭࢉɾநग़ ࣭໰ͱ࠷΋ྨࣅͨ͠֎෦஌ࣝ ʮ਺ཧͷ஄ؙʯ͸ɺਓ޻஌ೳ΍ݴޠʹ·ͭΘΔઐ໳஌ΛΘ͔Γ΍͘͢ɺʜ ਺ཧͷ஄ؙͬͯ஌ͬͯΔʁ ࣭໰ ֎෦஌ࣝ ʮ਺ཧͷ஄ؙʯ͸ɺਓ޻஌ೳ΍ݴޠʹ·ͭΘΔઐ໳஌ΛΘ͔Γ΍͘͢ɺޡຐԽͣ͞ʹ ఻͑Δ͜ͱΛ໨ࢦ͢νϟϯωϧͰ͢ɻ ิ׬ࡁΈ࣭໰ ਺ཧͷ஄ؙͬͯ஌ͬͯΔʁ ֎෦஌ࣝ ࣭໰ 3"(ͷ࢓૊Έ
22. σʔλΛϕΫτϧͰද͢ͱ͍͏ൃ૝  CLIP (https://arxiv.org/pdf/2103.00020) ը૾ͱςΩετ w ը૾ͱςΩετͷྨࣅ౓ΛܭࢉՄೳ
    w ը૾ݕࡧɺը૾ੜ੒
    FUD τʔΫϯ w 5SBOTGPSNFS
    ͷίΞత໾ׂΛ୲͏ͷ͸ 
 τʔΫϯϕΫτϧͷྨࣅ౓ܭࢉ
    w νϟοτϘοτόϒϧͷىരࡎ
23. σʔλΛϕΫτϧͰද͢ͱ͍͏ൃ૝  CLIP (https://arxiv.org/pdf/2103.00020) ը૾ͱςΩετ w ը૾ͱςΩετͷྨࣅ౓ΛܭࢉՄೳ
    w ը૾ݕࡧɺը૾ੜ੒
    FUD τʔΫϯ w 5SBOTGPSNFS
    ͷίΞత໾ׂΛ୲͏ͷ͸ 
 τʔΫϯϕΫτϧͷྨࣅ౓ܭࢉ
    w νϟοτϘοτόϒϧͷىരࡎ ྨࣅ౓͸಺ੵΛجʹٻΊΔ ʢେ఍͸ʣ
24.  ຒΊࠐΈɾྨࣅ౓ܭࢉɾநग़ ࣭໰ͱ࠷΋ྨࣅͨ͠֎෦஌ࣝ ʮ਺ཧͷ஄ؙʯ͸ɺਓ޻஌ೳ΍ݴޠʹ·ͭΘΔઐ໳஌ΛΘ͔Γ΍͘͢ɺʜ ਺ཧͷ஄ؙͬͯ஌ͬͯΔʁ ࣭໰ ֎෦஌ࣝ ʮ਺ཧͷ஄ؙʯ͸ɺਓ޻஌ೳ΍ݴޠʹ·ͭΘΔઐ໳஌ΛΘ͔Γ΍͘͢ɺޡຐԽͣ͞ʹ ఻͑Δ͜ͱΛ໨ࢦ͢νϟϯωϧͰ͢ɻ ิ׬ࡁΈ࣭໰ ਺ཧͷ஄ؙͬͯ஌ͬͯΔʁ ֎෦஌ࣝ ࣭໰ 3"(ͷ࢓૊Έ Ͳ ͜ ͕ ճ ౴ ͷ ࣭ ʹ Ө ڹ ͢ Δ ʁ
25. ࠓճͷ಺༰  3"(ͷجຊతͳ࢓૊Έ -BOH$IBJOΛ༻͍࣮ͨ૷