AWSでLLMアプリをつくろう / LLM App on AWS

2023.7.24 JAWS-UG東京で話した資料です。

Transcript

1. "84Ͱ࣮ݱ͢Δ
   --.ϫʔΫϑϩʔ Ծ
   
   
   JAWS-UG /
   !ZPTIJEBTIJOHP
   

   View Slide

2. 吉田真吾 AWS Serverless Hero
   n
   p Oracle
   SA
   p 113 /
   pAWS
   n
   ( ) CTO
   p SaaS
   ( )
   pAWS DevOps
   n
   pAWS
   (2012 )
   pAWS Samurai 2014 / 2016
   pAWS Serverless Hero
   AWS
   AWS Lambda
   Amazon S3
   BRAv6
   

   View Slide

3. IUUQTUPLZPTFSWFSMFTTEBZTJP
   ˣ
   l(FU5JDLFUTz
   ˣ
   𝕏 l4FSWFSMFTT%BZT 5PLZPʹࢀՃΛਃ͠ࠐΈ·ͨ͠ʂz
   

   View Slide

4. View Slide

5. 3"( ݕࡧ֦ுੜ੒
   ΞϓϦ
   ʮ$:%"41&01-&ʯʹɺࣾһ͔Βͷ໰͍߹ΘͤʹࣗಈͰ౴͑Δ$IBU(15ػೳʮ$:%"41&01-&$PQJMPU$IBUʯ
   https://www.cydas.co.jp/news/press/202304_people-gpt/
   

   View Slide

6. View Slide

7. ੈ͸େ--.࣌୅
   "*ͷຽओԽ ΞϓϦ։ൃऀ͕--.ΞϓϦΛϢʔβʔʹಧ͚΍͍࣌͢୅
   ΋ͬͱখ೉͍͠΋Μ͔ͱࢥͬͯͨΑ
   

   View Slide

8. λεΫ ❌ ˠ ۀ຿ ⭕
   ϫʔΫϑϩʔ
   ෳ਺ͷλεΫΛϓϩάϥϛϯάʹΑΔ੍ޚͱɺ--.ʹΑΔ੍ޚΛͭͳ͍Ͱ
   ࣮ݱ͢Δ
   

   View Slide

9. ֶΜͩ͜ͱ
   3"(͸࣮૷͠΍͍͢ˠ<69؍఺>ैདྷͷݕࡧ6* --.Tͳ͠
   ͰղܾͰ͖Δʁ
   ຒΊࠐΈදݱ &NCFEEJOHT
   औಘͯ͠ϕΫλʔྨࣅݕࡧ͢ΔΑΓɺΤϯλʔϓ
   ϥΠζݕࡧͷ΄͏͕͍͍ͨͯɺ͢΂ͯʹ͓͍ͯྑ͍
   --.ͷೳྗΛ׆͔͢ϫʔΫϑϩʔ͕ॏཁ
   ग़ྗ͕֬ఆతͳϓϩάϥϛϯάͱɺඇ֬ఆతͳ--.ͷ૊Έ߹Θͤ
   ෳ਺ͷλεΫΛνΣΠϯ͍ͯ͘͠🦜🔗
   🦜🔗͸ΞΠσΞʴ࣮૷ͷๅݿ
   3F"DU ˠ MBOHDIBJOBHFOUT
   )Z%& ˠ ࣭໰ͷ౴͑Λ--.͕ໝ૝ͯ͠ɺͦͷ౴͑ʹྨࣅͨ͠஌ࣝΛݕࡧGSPN
   MBOHDIBJODIBJOT JNQPSU)ZQPUIFUJDBM%PDVNFOU&NCFEEFS
   --.0QT㱠.-0QT
   ೖྗͷมԽ ग़ྗͷมԽʹؾ͖ͮͮΒ͍
   ؾ͍ͮͨͱͯͰ͖Δ͜ͱ͕ݶΒΕΔ "1*΍Ϟσϧͷࠩ͠ସ͑ɺϓϩϯϓτͷௐ੔ ʴ
   όʔδϣϯ؅ཧ
   
   ϨεϙϯελΠϜͳͲ͸औಘ͓ͯ͘͠΂͖ͩΖ͏ FY
   -BOH4NJUI
   

   View Slide

10. "NB[PO,FOESB 🦜🔗
    ⾼精度な⽣成系 AI アプリケーションを Amazon Kendra、LangChain、⼤規模⾔語モデルを使って作る
    https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-
    data-using-amazon-kendra-langchain-and-large-language-models/
    

    View Slide

11. 🦜🔗 ֶͿͳΒ
    6EFNZ -BOH$IBJOʹΑΔେن໛ݴޠϞσϧʢ--.ʣΞϓϦ
    έʔγϣϯ։ൃೖ໳ʕ(15Λ࢖ͬͨνϟοτϘοτͷ࣮૷·Ͱ
    https://www.udemy.com/course/langchain-apps/
    

    View Slide

12. 🦜🔗 ֶͿͳΒ
    ΋͘΋͘-BOH$IBJO
    https://langchain-jp.connpass.com/event/289590/
    

    View Slide

13. ηΩϡϦςΟͱϓϥΠόγʔ
    ຊ൪؀ڥར༻ʹ޲͚ͯ
    

    View Slide

14. "84ͷΫϥ΢υηΩϡϦςΟσʔλอޢ
    • ࣄ࣮
    • "84͸ηΩϡϦςΟʹലେͳ౤ࢿɿෳ਺ͷαʔϏεɺෳ਺ͷίϯϓϥ
    ΠΞϯε४ڌ
    • Ϋϥ΢υΛΫϥ΢υͨΒ͠ΊͯΔ΋ͷ "*ʹΑΔίϯτϩʔϧ
    • ༧ଌ
    • <>ηΩϡϦςΟ͸૊৫ͷ͋ΒΏΔ׆ಈʹෆՄܽʹͳΔ
    • <>"*ػցֶशͰଅਐ͞ΕͨΦʔτϝʔγϣϯ͕ηΩϡϦςΟΛڧ
    Խ͢Δ
    • "NB[PO(VBSE%VUZɺ"NB[PO%FUFDUJWFɺ"NB[PO$PEF(VSVɺ"NB[PO
    .BDJFʜ
    • <>σʔλอޢ΁ͷΑΓେ͖ͳ౤ࢿ͕ਐΉ
    • (%13ಉ༷ͷن੍ͷੈք֤ࠃ΁ͷ޿͕Γɾ࣮ӡ༻ͷڧԽ
    CJ Moses による 2023 年以降の セキュリティに 関する予測
    https://d1.awsstatic.com/Security/Security_Predictions_e-book_2022_JP
    .pdf
    

    View Slide

15. 08"415PQ--.ΞϓϦ
    ϓϩϯϓτΠϯδΣΫγϣϯ
    • --.͕ҙਤ͠ͳ͍ಈ࡞ΛҾ͖ى͜͢ϓϩϯϓτͷ
    ্ॻ͖
    ҆શͰͳ͍ग़ྗॲཧ
    • όοΫΤϯυγεςϜͷ৘ใ͕ग़ྗ͞ΕΔ͜ͱʹ
    ΑΔѱ༻
    τϨʔχϯάσʔλͷԚછ
    • ηΩϡϦςΟɺ༗ޮੑɺྙཧత;Δ·͍΁ͷӨڹ
    Ϟσϧ΁ͷ%P4
    • େྔͷτʔΫϯফඅɺϨεϙϯεѱԽɺίετߴ
    ಅ
    αϓϥΠνΣʔϯͷ੬ऑੑ
    • ϓϥάΠϯ΍SEύʔςΟͷίϯϙʔωϯτ͔Β
    ͷ৵֐
    ػີσʔλͷ࿙Ӯ
    • Ԡ౴ͰػີσʔλΛ࿙Ӯ͢ΔՄೳੑˠෆਖ਼ΞΫηεɺ
    ϓϥΠόγʔ৵֐ɺηΩϡϦςΟ৵֐
    ҆શͰͳ͍ϓϥάΠϯઃܭ ˞ͱྨࣅ
    
    • ϓϥάΠϯ͔Β҆શͰͳ͍ೖྗʹΑΓ੬ऑੑ͕ѱ༻
    ͞ΕΔ
    ΤʔδΣϯτͷ๫૸
    • ࣗ཯తͳΤʔδΣϯτ͕ҙਤ͠ͳ͍݁ՌΛ΋ͨΒ͢
    ΞΫγϣϯΛ࣮ߦ͢ΔՄೳੑ
    ա౓ͳґଘ
    • ෆਖ਼֬ɾෆద੾ͳੜ੒ίϯςϯπʹґଘͯ͠σϚɺ
    ๏త໰୊ɺηΩϡϦςΟ੬ऑੑʹ௚໘͢Δ
    Ϟσϧట๮
    • ಠࣗϞσϧ΁ͷෆਖ਼ΞΫηεɺྲྀग़ˠܦࡁଛࣦɺڝ
    ૪༏Ґੑ௿Լ ˞ৠཹϑΝΠϯνϡʔχϯά΋άϨʔ͔΋
    
    OWASP Top 10 for Large Language Model Applications
    https://owasp.org/www-project-top-10-for-large-language-model-applications/
    

    View Slide

16. ݸਓσʔλอޢ๏੍ɿνΣοΫ͢΂͖࿦఺
    • ԿΛอޢ͢Δͷ͔ˠʮݸਓͷݖརརӹʯ
    • ݸਓσʔλอޢͷʮܾఆࢦ޲ʯརӹϞσϧ
    • ࣗݾ৘ใίϯτϩʔϧݖͰ͸ͳ͘ɺ৘ใతଞ཯͔Βͷࣗ༝
    • ΘΕΘΕʹԿ͕ٻΊΒΕ͏Δͷ͔
    • ࣗݾ৘ใίϯτϩʔϧݖࡒ࢈ݖతϞσϧͷຊਓಉҙݪଇ ΦϓτΠϯΦϓτΞ΢τ
    ˠͳʹ͕
    ݸਓ৘ใͰͳʹ͕ݸਓ৘ใͰͳ͍ͱ͍͏ٞ࿦ʹͳΔ
    • ৘ใతଞ཯ݸਓσʔλॲཧʹجͮ͘ଞऀʹΑΔධՁɾܾఆ͕ຊਓͷࣗݾܾఆΛ્֐͠͏Δ͜
    ͱˠ͔Βͷࣗ༝ ๷ޚͰ͖Δ͜ͱ
    
    • ͨͱ͑͹
    • ݹ͍ଐੑ৘ใɺ͍͋·͍ͳଐੑ৘ใͰ৬৔ͰͷධՁ͕ܾΊΒΕͨ
    ˞ͦ΋ͦ΋0&$%ݪଇ σʔλ඼࣭ͷݪଇ
    ʹ΋൓͍ͯ͠Δ͕ɻ
    • ؔ࿈ੑͷͳ͍৘ใͰෆརͳΫϨδοτείΞ͕ܾఆ͞Εͨ
    ˠ ͜ΕΒΛγεςϜͰϞχλϦϯά͢Δෆஅͷ౒ྗ͕ٻΊΒΕ͏Δ
    • ཧ࿦తجૅ͔Β๏ମܥ΁ͷ੔ཧ
    • ౷੍͞Εͨඇબผར༻ˠҩྍԾ໊Ճ޻৘ใɿ౷ܭྔʹूܭͨ͠σʔλɺ·ͨ͸ೋ࣍ར༻
    • ݸਓσʔλॲཧத৺ͷن཯ˠॲཧର৅ͱ͠ͳ͍σʔλͷϚεΩϯάɺΦϓτΠϯॲཧͷෛ୲
    • ධՁɾܾఆͷద੾ੑ֬อˠબผΞϧΰϦζϜ దੑͰબผͨ͠ڭҭϓϩάϥϜɺ0,ʁ
    
    【提⾔書公表】デジタル社会を駆動する『個⼈データ保護法制』に向けて（GLOCOM六本⽊会議）
    https://www.glocom.ac.jp/news/news/8540
    

    View Slide

17. 🦜🔗 &YQFSJNFOUBMύοέʔδ෼ׂ
    • Ϗοάχϡʔε
    • $7& ੬ऑੑ
    ΛؚΉػೳΛ͢΂ͯผύοέʔδ &YQFSJNFOUBM
    ʹ
    • 🦜🔗ίΞͷεϦϜԽ
    • $PNNVOJUZνΣΠϯͱ͍͏ύοέʔδͷܭըʹ΋ݴٴ
    • ҙຯ͢Δ͜ͱ
    • ຊ൪Ͱ͸࢖͑ͳ͍ ˠ ࢖͍͏Δ
    • ͜ͷ೥ऑɺແ੍ݶʹ֦ு͞ΕΔҰํͩͬͨͷͰ-BNCEB-BZFSʹ͍
    ͔ͭ৐Βͳ͘ͳΔ ˠ Ұఆͷަ௨੔ཧ͕͞ΕΔΑ͏ʹͳΔ
    • ࿦จͷ࣮૷΍໺৺తͳΞΠσΞͷ࣮૷͕ΑΓ13ग़͠΍͘͢ͳΔ
    • "84-BNCEBͰͷར༻
    • ݱࡏͷαΠζɿґଘϥΠϒϥϦؚΊͨల։ޙαΠζͰ.#ఔ౓
    • εϐϯΞοϓʹ͸͓͓ΉͶඵఔ౓͸͔͔Δˠ4MBDL͔Β࢖͏৔߹͸
    -B[ZϦεφʔ΍ϦτϥΠϔομͷνΣοΫͳͲෳ਺ͷରࡦ͕ඞཁ
    

    View Slide

18. IUUQTUPLZPTFSWFSMFTTEBZTJP
    ˣ
    l(FU5JDLFUTz
    ˣ
    𝕏 l4FSWFSMFTT%BZT 5PLZPʹࢀՃΛਃ͠ࠐΈ·ͨ͠ʂz
    

    View Slide

19. %":4্࢙࠷ߴͷϥΠϯφοϓ
    • ߽՚ηογϣϯ
    • Ωʔϊʔτɿ"84
    •
    αʔόʔϨε೥ͷ੒ख़
    •
    αʔόʔαΠυओମ͔ΒΤοδϑϩϯτ΁ͷ։ൃϥΠϑαΠΫϧ
    ͷมԽ
    •
    ੜ੒"*ͱαʔόʔϨε
    • ߽՚εϙϯαʔ
    • "84
    • .PNFOUP
    • 1JOH$"1 5J%#
    
    • .JDSPTPGU
    • ,%%*ΞδϟΠϧ։ൃηϯλʔ
    • 4FSWFSMFTT0QFSBUJPOT
    

    View Slide