Amazon Bedrock概要と生成AIの基礎 / 20231118-jawsug-niigata-15

2023/11/18 (土) JAWS-UG 新潟 #15 にて発表した資料。

JAWS-UG 新潟 #15 Amazon Bedrock ハンズオン
https://jawsug-niigata.connpass.com/event/299332/

Transcript

1. Amazon Bedrock ֓ཁͱ ੜ੒AIͷجૅ JAWS-UG ৽ׁ #15 2023-11-18 @kasacchiful
2. Classmethod, Inc. Solutions Architect / Software Developer AWS Community Builder (Serverless) Favorite: Community: • JAWS-UG Niigata • Python ML in Niigata • JaSST Niigata • ASTER • SWANII • Cloud fl are Meetup Niigata • etc. Hiroshi Kasahara @kasacchiful @kasacchiful 2
3. ໨࣍ • ੜ੒AIʹ͍ͭͯ • Amazon Bedrock ʹ͍ͭͯ • ࣗવݴޠॲཧͷجૅ • ੜ੒AIͱ͏·͘෇͖߹͏ʹ͸ʁ
4. ੜ੒AIʹ͍ͭͯ
5. ੜ੒AIͱ͸Կ͔ʁ • ϓϩϯϓτʹԠ౴ͯ͠ςΩετɺը૾ɺ·ͨ͸ଞͷϝσΟΞΛੜ੒͢ Δ͜ͱ͕Ͱ͖Δਓ޻஌ೳγεςϜͷҰछͰ͋Δɻ ग़య
   IUUQTKBXJLJQFEJBPSHXJLJੜ੒తਓ޻஌ೳ
6. ੜ੒AIͱ͸Կ͔ʁ
7. ੜ੒AIͷ୅දతͳྫ • ࣗવݴޠੜ੒ • ChatGPTͷΑ͏ʹɺਓ͕ؒ࡞ͬͨΑ͏ͳจষΛੜ੒͢Δٕज़ • ը૾ੜ੒ • GAN (Generative Adversal Network) ͷΑ͏ͳٕज़Ͱɺೖྗͷը૾͔Β৽͍͠ը૾ Λੜ੒͢Δٕज़ • ଞ • ʮࣗવݴޠ → ը૾ʯ΍ʮࣗવݴޠ → ࣗવݴޠͱը૾ʯ͕Ͱ͖ΔϞσϧ͕ଘࡏ͢Δɻ
8. ChatGPTͷিܸ • 2022೥11݄ • OpenAI͕ࣾChatGPTΛϦϦʔε • ର࿩ͷମݧ͕ඇৗʹྑ͍ͱ࿩ ୊ʹͳΔ • Google → ඇৗࣄଶ(Code Red)એݴ • Microsoft → ఏܞ & ࣗࣾαʔ ϏεऔΓࠐΈ (Bing / Azure) ग़య
   IUUQTQSFTJEFOUKQBSUJDMFT • 2023೥3݄ • ChatGPTͷAPIΛϦϦʔε • ར༻ྉ͕҆ՁͳGPT-3.5-Turbo • Bot΍ΞϓϦ͕ଓʑϦϦʔε • 2023೥3݄ • GPT-4ΛϦϦʔε • ໿100ஹݸͷύϥϝʔλ
9. ଞͷੜ੒AIαʔϏε • Bard • Google͕ఏڙ͢Δର࿩ܕAIαʔϏε (ChatGPTͷର߅) • Claude • Anthropic͕ఏڙ͢Δର࿩ܕAIαʔϏε • Anthropic͸ݩOpenAIͷϝϯόʔ͕ىۀɻGoogleɺAmazon౳͕ग़ࢿɻ • Amazon BedrockͰClaude v2͕ར༻Մೳ • Claude v2ͷ೔ຊޠੑೳ͸ɺGPT-4ʹඖఢ͢Δͱ͍ΘΕ͍ͯΔ
10. ੜ੒AIར༻ͷ伴: ϓϩϯϓτ • ϓϩϯϓτΤϯδχΞϦϯά • ੜ੒AI͔Βద੾ͳग़ྗΛಘΔͨΊͷೖྗ (ϓϩϯϓτ) Λ࠷దԽ͢ Δख๏
11. ϓϩϯϓτΤϯδχΞϦϯάΨΠυ • https://www.promptingguide.ai/jp
12. ChatGPT Prompt Engineering for Developers • https://www.deeplearning.ai/short-courses/chatgpt-prompt- engineering-for-developers/
13. ϓϩϯϓτͷίπ • ໌֬Ͱ۩ମతͳࢦࣔΛॻ͘ • ໌֬ͳ໾ׂΛॻ͘ • ۠੾ΓจࣈΛ࢖͏ • ճ౴ྫΛग़͢ • ຐ๏ͷݴ༿ʮεςοϓόΠεςοϓͰʯ • ճ౴݁Ռͷ௕͞Λࢦఆ͢Δ • ୯७ͳ࣭໰ʹ෼͚Δ
14. ϓϩϯϓτͷίπ: ໌֬Ͱ۩ମతͳࢦࣔΛॻ͘ • ʮ͍ͭɾͲ͜Ͱɾ୭͕ɾԿΛɾͳͥɾͲͷΑ͏ʹɾͲΕ͘Β͍ʯͳͲ • ᐆດͳ࣭໰Ͱ΋ճ౴ͯ͘͠ΕΔ͕ɺޡͬͨ݁ՌΛճ౴ͯ͠͠·͏͜ͱ ͕ଟ͍ɻ
15. ϓϩϯϓτͷίπ: ໌֬ͳ໾ׂΛॻ͘ • ಛఆͷ໾ׂΛ༩͑Δͱɺͦͷ໾ׂΛԋͯ͡Ұ؏ੑͷ͋Δճ౴͕ಘΒΕ Δɻ • ྫ: • ͋ͳͨ͸ҰྲྀͷʓʓͰ͢ɻ • ωΠςΟϒϨϕϧͷ຋༁ՈͰ͢ɻ • Ϊϟϧʹͳͬͯ౴͍͑ͯͩ͘͞ɻ
16. ϓϩϯϓτͷίπ: ۠੾ΓจࣈΛ࢖͏ • ෳࡶͳϓϩϯϓτΛ಺༰ʹΑͬͯ۠੾Δ • ۠੾Γจࣈ͸εϖʔε΍Ҿ༻ූͳͲΛ࢖͏৔߹͕ଟ͍ • ྫ: ҎԼͷจষΛཁ໿ͯ͠Լ͍͞ɻ ## จষ {͜͜ʹจষΛॻ͘} ## ճ౴
17. ϓϩϯϓτͷίπ: ճ౴ྫΛग़͢ • ͋Β͔͡Ί͍͔ͭ͘ճ౴ྫΛϓϩϯϓτʹॻ͍ͯ͋͛Δ͜ͱͰɺͦͷ಺༰ʹԊͬ ͯճ౴ͯ͘͠ΕΔɻ • ྫ: ରٛޠΛڭ͍͑ͯͩ͘͞ɻΘ͔Βͳ͍৔߹͸ɺΘ͔Βͳ͍ͱ౴͍͑ͯͩ͘͞ɻ ࣭໰: େ͖͍ɹճ౴: খ͍͞ ࣭໰: ߴ͍ɹճ౴: ௿͍ ࣭໰: ڱ͍ɹճ౴:
18. ϓϩϯϓτͷίπ: ຐ๏ͷݴ༿ʮεςοϓόΠε ςοϓͰʯ • ܭࢉΛ൐͏έʔεͳͲෳࡶͳϓϩϯϓτͷ৔߹ɺਖ਼͍͠౴͑ʹͳΒͳ͍͜ͱ͕ଟ͍ɻ • લड़ͷճ౴ྫΛग़ͯ͋͛͠Δͱਫ਼౓্͕͕Δ͕ɺʮεςοϓόΠεςοϓͰߟ͑ͯΈ ·͠ΐ͏ɻʯͱ౤͔͚͛Δ͜ͱͰݴޠϞσϧଆͰॱ൪ʹࢥߟͯ͠ਖ਼͍͠౴͑ʹͳΔ έʔε͕ଟ͍ɻ(͜ΕΛ Zero-shot Chain of Thought Prompting ͱݺͿ ) • ྫ: ࢲ͸ࢢ৔ʹߦͬͯ10ݸͷϦϯΰΛങ͍·ͨ͠ɻྡਓʹ2ͭɺमཧ޻ʹ2ͭ౉͠·ͨ͠ɻ ͦΕ͔Β5ͭͷϦϯΰΛങͬͯ1ͭ৯΂·ͨ͠ɻ࢒Γ͸ԿݸͰ͔͢ʁεςοϓόΠε ςοϓͰߟ͑ͯΈ·͠ΐ͏ɻ
19. ϓϩϯϓτͷίπ: ճ౴݁Ռͷ௕͞Λࢦఆ͢Δ • ճ౴ͤ͞Δࡍͷྻڍ਺΍จࣈ਺Λࢦఆ͢Δͱɺճ౴಺༰ͷՄಡੑ্͕ ͕Δɻ • ྫ: • ҎԼͷձٞͷٞࣄ࿥Λ200จࣈҎ಺Ͱཁ໿͍ͯͩ͘͠͞ɻ • ࣄલʹݕ౼͓ͯ͘͠΂͖͜ͱΛ5ͭ·Ͱग़͍ͯͩ͘͠͞ɻ
20. ϓϩϯϓτͷίπ: ୯७ͳ࣭໰ʹ෼͚Δ • ෳࡶͰᐆດͳ࣭໰Ͱ΋ճ౴ͯ͘͠ΕΔ͕ɺ࣭໰಺༰Λ෼ׂ͢Δ͜ͱͰͦͷ಺༰ΛҰͭͣͭճ౴ͯ͠ ͘ΕΔɻ • ྫ: • ༑ਓͷ݁ࠗࣜͷ͝ॕّʹ͍ͭͯڭ͍͑ͯͩ͘͞ • ͝ॕّͷ૬৔͸͍͘ΒͰ͔͢ʁ • ࠓճͷέʔεͩͱ͍͘Β͕ଥ౰Ͱ͔͢ʁ • ͝ॕّା͸ͲΜͳσβΠϯΛબͿ΂͖Ͱ͔͢ʁ • ͝ॕّାʹॻ͘Ѽ໊͸ͲͷΑ͏ʹॻ͘΂͖Ͱ͔͢ʁ • ଞʹ஫ҙ఺͸͋Γ·͔͢ʁ
21. Amazon Bedrock ʹ͍ͭͯ
22. Amazon Bedrock • AWS্Ͱར༻Ͱ͖Δੜ੒AIαʔϏε
23. Amazon Bedrock ͷಛ௃ • ओཁͳੜ੒AIͷجװϞσϧΛར༻Մೳ • Amazon: Titan • AI21 Labs: Jurassic-2 • Anthropic: Claude • Meta: Llama 2 • Cohere: Command • Stability AI: Stable Diffusion (ը૾ੜ੒)
24. Amazon Bedrock ͷಛ௃ • VPC಺͔ΒɺΤϯυϙΠϯτܦ༝ͰΞΫηεՄೳ
25. Amazon Bedrock ͷಛ௃ • PlayGroundͰಈ࡞֬ೝ
26. Amazon Bedrock ͷಛ௃ • Custom modelͰϑΝΠϯνϡʔχϯάՄೳ
27. Amazon Bedrock ͷಛ௃ • Provisioned ThroughputͰࣄલੑೳ֬อՄೳ
28. Amazon Bedrock ͷಛ௃ • ηΩϡϦςΟͷ֬อ • https://aws.amazon.com/jp/bedrock/security-compliance/ • ίϯςϯπ͕جװϞσϧͷ޲্΍αʔυύʔςΟ΁ڞ༗͞ΕΔ͜ͱ͸ͳ ͍ͱ໌ݴ͞Ε͍ͯΔ • GDPR ΍ HIPAA ͳͲͷҰൠతͳίϯϓϥΠΞϯεඪ४ʹରԠ • σʔλ͸ৗʹ҉߸Խ • CloudWatch΍CloudTrailΛ࢖ͬͯΨόφϯε΍؂ࠪʹରԠՄೳ
29. Claude2͸νϟοταʔϏε΋ల։ • https://claude.ai • ChatGPTͱಉ༷ʹɺ೔ຊޠ࢖͑·͢ɻ
30. ࣗવݴޠॲཧͷجૅ
31. ੜ੒AIʹབྷΉॲཧ
32. ੜ੒AIʹབྷΉॲཧ = Embedding
33. Embedding (ຒΊࠐΈ) • ςΩετจࣈྻΛɺଟ࣍ݩͷ਺஋ϕΫτϧʹม׵͢Δ͜ͱ • ҙຯͷ͍ۙ୯ޠಉ࢜͸ɺޓ͍ʹ͍ۙϕΫτϧ্ۭؒʹ഑ஔ͞ΕΔ͜ͱ Ͱɺ͍ۙҙຯͷݕࡧ౳ͰҖྗΛൃش͢Δɻ • OpenAI͸ɺݴޠϞσϧͷ܇࿅աఔͰɺେྔͷςΩετσʔλΛ୯ޠ ΍จষ͕ͲͷΑ͏ʹؔ࿈͠߹͍ͬͯΔ͔Λֶश͍ͯ͠Δɻ (Embeddingͷֶश) ͓͸Α͏ → [0.008031543, -0.00587116, … , -0.0040030633]
34. Word2Vec • ୯ޠΛϕΫτϧԽ • ୯ޠͷҙຯΛఆྔతʹ೺Ѳ͢Δ͜ͱ͕Մೳ • ʮԦ༷ʯ-ʮஉੑʯ+ʮঁੑʯ=ʮঁԦʯ • Word2VecͷϞσϧ͸ͨ͘͞Μެ։͞Ε͍ͯΔ • จষ͔Β୯ޠʹ෼͚Δॲཧ͸ɺผ్ܗଶૉղੳͰʮ෼͔ͪॻ͖ʯΛߦ͏͜ͱ͕ ଟ͍ • MeCab / Janome ౳Ͱ࣮ࢪ
35. OpenAIͷEmbedding • จষΛʮτʔΫϯʯʹ෼͚Δ • ୯ޠ΍۟ಡ఺ͳͲ͕ɺͦΕͧΕҰҙͷ਺஋ID (=τʔΫϯ) ʹม׵ • ʮτʔΫϯʯ͕ར༻ྉʹؔΘΔ • ʮτʔΫϯʯຖʹEmbedding • Embeddingࣗମ΋ֶशʹΑͬͯ֫ಘ͍ͯ͘͠ • Embedding݁ՌͷϕΫτϧΛ࢖ֶͬͯश • GPT౳ͷݴޠϞσϧͷֶश
36. ݴޠϞσϧͷத֩: Transformer ग़య
    
    "TIJTI
    7BTXBOJ
    FU
    BM
    l"UUFOUJPO
    *T
    "MM
    :PV
    /FFEz
    /*14
    
    IUUQTBSYJWPSHBCT
37. Vector Store • ϕΫτϧσʔλΛอଘɾݕࡧ͢ΔͨΊͷσʔλϕʔε • େྔͷจষΛEmbedding • → େྔͷϕΫτϧσʔλ͕ग़དྷ্͕Δ • ۙ೥ɺVector StoreͷαʔϏε͕ଟ͘ొ৔͖͍ͯͯ͠Δ
38. ੜ੒AIͱ͏·͘෇͖߹͏ʹ͸ʁ
39. ݕ౼͢΂͖͜ͱ • ϓϩϯϓτɺΊͪΌେࣄ • ੜ੒AIར༻ΨΠυϥΠϯΛߟ͑Δ • τʔΫϯͷਪఆ • εςʔλενΣοΫ
40. ੜ੒AIར༻ΨΠυϥΠϯ • ೔ຊσΟʔϓϥʔχϯάڠձ͕ެ ։͍ͯ͠Δ • https://www.jdla.org/document/
41. ଞͷձࣾͷΨΠυϥΠϯ΋ࢀߟʹ • Ϋϥεϝιου͕ެ։͍ͯ͠Δ • https://dev.classmethod.jp/ articles/guideline-for-use-of-ai- services/
42. τʔΫϯͷਪఆ • https://platform.openai.com/ tokenizer • Ͳͷ͘Β͍ͷτʔΫϯ͕͔͔Δ͔ਪఆ • ར༻ྉ΍rate limitͷࢀߟʹ
43. τʔΫϯͷਪఆ • https://dev.classmethod.jp/articles/ claude-token-count/ • AnthropicͷϞσϧ͸SDKͰਪఆ
44. εςʔλενΣοΫ • BedrockͷαʔϏε͕མ͍ͪͯΔ ͔ͳͱࢥͬͨΒɺ͜͜ΛνΣοΫ • https://health.aws.amazon.com/ health/home
45. ͦΕͰ͸ɺϋϯζΦϯ ΍ͬͯΈ·͠ΐ͏
46. ࠓճ͸ΦϨΰϯ(us-west-2)Λར༻͠·͢
47. Ϟσϧ΁ͷΞΫηεڐՄΛग़͠·͠ΐ͏
48. AnthropicͷϞσϧ͸ผ్ϢʔεέʔεΛొ࿥͠ ·͢
49. ར༻ՄೳͳϞσϧʹνΣοΫΛೖΕͯઃఆ͠· ͠ΐ͏
50. • ར༻ਃ੥͕ଟ͗͢ΔͱΤϥʔʹͳΔ৔߹͕͋Γ·͢ɻ࣌ؒΛ͓͍ͯ Available to request ʹͳͬͨΒ࠶ਃ੥͠·͠ΐ͏ɻ Access grantedʹͳͬͨΒOKͰ͢