AWSでLLMアプリをつくろう / LLM App on AWS

2023.7.24 JAWS-UG東京で話した資料です。

Transcript

1. "84Ͱ࣮ݱ͢Δ --.ϫʔΫϑϩʔ Ծ  JAWS-UG / !ZPTIJEBTIJOHP
2. 吉田真吾 AWS Serverless Hero n p Oracle SA p 113 / pAWS n ( ) CTO p SaaS ( ) pAWS DevOps n pAWS (2012 ) pAWS Samurai 2014 / 2016 pAWS Serverless Hero AWS AWS Lambda Amazon S3 BRAv6
3. IUUQTUPLZPTFSWFSMFTTEBZTJP ˣ l(FU
   5JDLFUTz ˣ 𝕏 l4FSWFSMFTT%BZT 5PLZP
   
   ʹࢀՃΛਃ͠ࠐΈ·ͨ͠ʂz
5. 3"( ݕࡧ֦ுੜ੒ ΞϓϦ ʮ$:%"4
   1&01-&ʯʹɺࣾһ͔Βͷ໰͍߹ΘͤʹࣗಈͰ౴͑Δ$IBU(15ػೳʮ$:%"4
   1&01-&
   $PQJMPU
   $IBUʯ https://www.cydas.co.jp/news/press/202304_people-gpt/
7. ੈ͸େ--.࣌୅ "*ͷຽओԽ 
   ΞϓϦ։ൃऀ͕--.ΞϓϦΛϢʔβʔʹಧ͚΍͍࣌͢୅ ΋ͬͱখ೉͍͠΋Μ͔ͱࢥͬͯͨΑ
8. λεΫ ❌ ˠ ۀ຿ ⭕ 
   ϫʔΫϑϩʔ ෳ਺ͷλεΫΛϓϩάϥϛϯάʹΑΔ੍ޚͱɺ--.ʹΑΔ੍ޚΛͭͳ͍Ͱ ࣮ݱ͢Δ
9. ֶΜͩ͜ͱ  3"(͸࣮૷͠΍͍͢ˠ<69؍఺>ैདྷͷݕࡧ6* --.Tͳ͠ ͰղܾͰ͖Δʁ  ຒΊࠐΈදݱ &NCFEEJOHT औಘͯ͠ϕΫλʔྨࣅݕࡧ͢ΔΑΓɺΤϯλʔϓ ϥΠζݕࡧͷ΄͏͕͍͍ͨͯɺ͢΂ͯʹ͓͍ͯྑ͍  --.ͷೳྗΛ׆͔͢ϫʔΫϑϩʔ͕ॏཁ  ग़ྗ͕֬ఆతͳϓϩάϥϛϯάͱɺඇ֬ఆతͳ--.ͷ૊Έ߹Θͤ  ෳ਺ͷλεΫΛνΣΠϯ͍ͯ͘͠🦜🔗  🦜🔗͸ΞΠσΞʴ࣮૷ͷๅݿ  3F"DU ˠ MBOHDIBJOBHFOUT  )Z%& ˠ ࣭໰ͷ౴͑Λ--.͕ໝ૝ͯ͠ɺͦͷ౴͑ʹྨࣅͨ͠஌ࣝΛݕࡧ
   GSPN
   MBOHDIBJODIBJOT JNQPSU
   )ZQPUIFUJDBM%PDVNFOU&NCFEEFS  --.0QT㱠.-0QT  ೖྗͷมԽ 
   ग़ྗͷมԽʹؾ͖ͮͮΒ͍  ؾ͍ͮͨͱͯͰ͖Δ͜ͱ͕ݶΒΕΔ 
   "1*΍Ϟσϧͷࠩ͠ସ͑ɺϓϩϯϓτͷௐ੔ ʴ όʔδϣϯ؅ཧ  ϨεϙϯελΠϜͳͲ͸औಘ͓ͯ͘͠΂͖ͩΖ͏ FY
   -BOH4NJUI
10. "NB[PO
    ,FOESB 🦜🔗 ⾼精度な⽣成系 AI アプリケーションを Amazon Kendra、LangChain、⼤規模⾔語モデルを使って作る https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications-on-enterprise- data-using-amazon-kendra-langchain-and-large-language-models/
11. 🦜🔗 ֶͿͳΒ 6EFNZ  -BOH$IBJOʹΑΔେن໛ݴޠϞσϧʢ--.ʣΞϓϦ έʔγϣϯ։ൃೖ໳ʕ(15Λ࢖ͬͨνϟοτϘοτͷ࣮૷·Ͱ https://www.udemy.com/course/langchain-apps/
12. 🦜🔗 ֶͿͳΒ ΋͘΋͘-BOH$IBJO https://langchain-jp.connpass.com/event/289590/
13. ηΩϡϦςΟͱϓϥΠόγʔ ຊ൪؀ڥར༻ʹ޲͚ͯ
14. "84ͷΫϥ΢υηΩϡϦςΟσʔλอޢ • ࣄ࣮ • "84͸ηΩϡϦςΟʹലେͳ౤ࢿɿෳ਺ͷαʔϏεɺෳ਺ͷίϯϓϥ ΠΞϯε४ڌ • Ϋϥ΢υΛΫϥ΢υͨΒ͠ΊͯΔ΋ͷ 
    "*ʹΑΔίϯτϩʔϧ • ༧ଌ • <>
    ηΩϡϦςΟ͸૊৫ͷ͋ΒΏΔ׆ಈʹෆՄܽʹͳΔ • <>
    "*ػցֶशͰଅਐ͞ΕͨΦʔτϝʔγϣϯ͕ηΩϡϦςΟΛڧ Խ͢Δ • "NB[PO
    (VBSE%VUZɺ"NB[PO
    %FUFDUJWFɺ"NB[PO
    $PEF(VSVɺ"NB[PO
    .BDJFʜ • <>σʔλอޢ΁ͷΑΓେ͖ͳ౤ࢿ͕ਐΉ • (%13ಉ༷ͷن੍ͷੈք֤ࠃ΁ͷ޿͕Γɾ࣮ӡ༻ͷڧԽ CJ Moses による 2023 年以降の セキュリティに 関する予測 https://d1.awsstatic.com/Security/Security_Predictions_e-book_2022_JP .pdf
15. 08"41
    5PQ
    --.ΞϓϦ<ESBGU>  ϓϩϯϓτΠϯδΣΫγϣϯ • --.͕ҙਤ͠ͳ͍ಈ࡞ΛҾ͖ى͜͢ϓϩϯϓτͷ ্ॻ͖  ҆શͰͳ͍ग़ྗॲཧ • όοΫΤϯυγεςϜͷ৘ใ͕ग़ྗ͞ΕΔ͜ͱʹ ΑΔѱ༻  τϨʔχϯάσʔλͷԚછ • ηΩϡϦςΟɺ༗ޮੑɺྙཧత;Δ·͍΁ͷӨڹ  Ϟσϧ΁ͷ%P4 • େྔͷτʔΫϯফඅɺϨεϙϯεѱԽɺίετߴ ಅ  αϓϥΠνΣʔϯͷ੬ऑੑ • ϓϥάΠϯ΍SEύʔςΟͷίϯϙʔωϯτ͔Β ͷ৵֐  ػີσʔλͷ࿙Ӯ • Ԡ౴ͰػີσʔλΛ࿙Ӯ͢ΔՄೳੑˠෆਖ਼ΞΫηεɺ ϓϥΠόγʔ৵֐ɺηΩϡϦςΟ৵֐  ҆શͰͳ͍ϓϥάΠϯઃܭ ˞ͱྨࣅ • ϓϥάΠϯ͔Β҆શͰͳ͍ೖྗʹΑΓ੬ऑੑ͕ѱ༻ ͞ΕΔ  ΤʔδΣϯτͷ๫૸ • ࣗ཯తͳΤʔδΣϯτ͕ҙਤ͠ͳ͍݁ՌΛ΋ͨΒ͢ ΞΫγϣϯΛ࣮ߦ͢ΔՄೳੑ  ա౓ͳґଘ • ෆਖ਼֬ɾෆద੾ͳੜ੒ίϯςϯπʹґଘͯ͠σϚɺ ๏త໰୊ɺηΩϡϦςΟ੬ऑੑʹ௚໘͢Δ  Ϟσϧట๮ • ಠࣗϞσϧ΁ͷෆਖ਼ΞΫηεɺྲྀग़ˠܦࡁଛࣦɺڝ ૪༏Ґੑ௿Լ ˞ৠཹϑΝΠϯνϡʔχϯά΋άϨʔ͔΋ OWASP Top 10 for Large Language Model Applications https://owasp.org/www-project-top-10-for-large-language-model-applications/
16. ݸਓσʔλอޢ๏੍ɿνΣοΫ͢΂͖࿦఺ • ԿΛอޢ͢Δͷ͔ˠʮݸਓͷݖརརӹʯ • ݸਓσʔλอޢͷʮܾఆࢦ޲ʯརӹϞσϧ • ࣗݾ৘ใίϯτϩʔϧݖͰ͸ͳ͘ɺ৘ใతଞ཯͔Βͷࣗ༝ • ΘΕΘΕʹԿ͕ٻΊΒΕ͏Δͷ͔ • ࣗݾ৘ใίϯτϩʔϧݖࡒ࢈ݖతϞσϧͷຊਓಉҙݪଇ ΦϓτΠϯΦϓτΞ΢τ ˠͳʹ͕ ݸਓ৘ใͰͳʹ͕ݸਓ৘ใͰͳ͍ͱ͍͏ٞ࿦ʹͳΔ • ৘ใతଞ཯ݸਓσʔλॲཧʹجͮ͘ଞऀʹΑΔධՁɾܾఆ͕ຊਓͷࣗݾܾఆΛ્֐͠͏Δ͜ ͱˠ͔Βͷࣗ༝ ๷ޚͰ͖Δ͜ͱ • ͨͱ͑͹ • ݹ͍ଐੑ৘ใɺ͍͋·͍ͳଐੑ৘ใͰ৬৔ͰͷධՁ͕ܾΊΒΕͨ ˞ͦ΋ͦ΋0&$%ݪଇ σʔλ඼࣭ͷݪଇ ʹ΋൓͍ͯ͠Δ͕ɻ • ؔ࿈ੑͷͳ͍৘ใͰෆརͳΫϨδοτείΞ͕ܾఆ͞Εͨ ˠ ͜ΕΒΛγεςϜͰϞχλϦϯά͢Δෆஅͷ౒ྗ͕ٻΊΒΕ͏Δ • ཧ࿦తجૅ͔Β๏ମܥ΁ͷ੔ཧ • ౷੍͞Εͨඇબผར༻ˠҩྍԾ໊Ճ޻৘ใɿ౷ܭྔʹूܭͨ͠σʔλɺ·ͨ͸ೋ࣍ར༻ • ݸਓσʔλॲཧத৺ͷن཯ˠॲཧର৅ͱ͠ͳ͍σʔλͷϚεΩϯάɺΦϓτΠϯॲཧͷෛ୲ • ධՁɾܾఆͷద੾ੑ֬อˠબผΞϧΰϦζϜ దੑͰબผͨ͠ڭҭϓϩάϥϜɺ0,ʁ 【提⾔書公表】デジタル社会を駆動する『個⼈データ保護法制』に向けて（GLOCOM六本⽊会議） https://www.glocom.ac.jp/news/news/8540
17. 🦜🔗 &YQFSJNFOUBM
    ύοέʔδ෼ׂ • Ϗοάχϡʔε • $7& ੬ऑੑ ΛؚΉػೳΛ͢΂ͯผύοέʔδ &YQFSJNFOUBM ʹ • 🦜🔗ίΞͷεϦϜԽ • $PNNVOJUZνΣΠϯͱ͍͏ύοέʔδͷܭըʹ΋ݴٴ • ҙຯ͢Δ͜ͱ • ຊ൪Ͱ͸࢖͑ͳ͍ ˠ ࢖͍͏Δ • ͜ͷ೥ऑɺແ੍ݶʹ֦ு͞ΕΔҰํͩͬͨͷͰ-BNCEB
    -BZFSʹ͍ ͔ͭ৐Βͳ͘ͳΔ ˠ Ұఆͷަ௨੔ཧ͕͞ΕΔΑ͏ʹͳΔ • ࿦จͷ࣮૷΍໺৺తͳΞΠσΞͷ࣮૷͕ΑΓ13ग़͠΍͘͢ͳΔ • "84
    -BNCEBͰͷར༻ • ݱࡏͷαΠζɿґଘϥΠϒϥϦؚΊͨల։ޙαΠζͰ.#ఔ౓ • εϐϯΞοϓʹ͸͓͓ΉͶඵఔ౓͸͔͔Δˠ4MBDL͔Β࢖͏৔߹͸ -B[ZϦεφʔ΍ϦτϥΠϔομͷνΣοΫͳͲෳ਺ͷରࡦ͕ඞཁ
18. IUUQTUPLZPTFSWFSMFTTEBZTJP ˣ l(FU
    5JDLFUTz ˣ 𝕏 l4FSWFSMFTT%BZT 5PLZP
    
    ʹࢀՃΛਃ͠ࠐΈ·ͨ͠ʂz
19. %":4্࢙࠷ߴͷϥΠϯφοϓ • ߽՚ηογϣϯ • Ωʔϊʔτɿ"84 •  αʔόʔϨε೥ͷ੒ख़ •  αʔόʔαΠυओମ͔ΒΤοδϑϩϯτ΁ͷ։ൃϥΠϑαΠΫϧ ͷมԽ •  ੜ੒"*ͱαʔόʔϨε • ߽՚εϙϯαʔ • "84 • .PNFOUP • 1JOH$"1 5J%# • .JDSPTPGU • ,%%*ΞδϟΠϧ։ൃηϯλʔ • 4FSWFSMFTT
    0QFSBUJPOT