$30 off During Our Annual Pro Sale. View Details »

AWSでLLMアプリをつくろう / LLM App on AWS

AWSでLLMアプリをつくろう / LLM App on AWS

2023.7.24 JAWS-UG東京で話した資料です。

吉田真吾

July 25, 2023
Tweet

More Decks by 吉田真吾

Other Decks in Technology

Transcript

  1. "84Ͱ࣮ݱ͢Δ
    --.ϫʔΫϑϩʔ Ծ


    JAWS-UG /
    !ZPTIJEBTIJOHP

    View Slide

  2. 吉田真吾 AWS Serverless Hero
    n
    p Oracle
    SA
    p 113 /
    pAWS
    n
    ( ) CTO
    p SaaS
    ( )
    pAWS DevOps
    n
    pAWS
    (2012 )
    pAWS Samurai 2014 / 2016
    pAWS Serverless Hero
    AWS
    AWS Lambda
    Amazon S3
    BRAv6

    View Slide

  3. IUUQTUPLZPTFSWFSMFTTEBZTJP
    ˣ
    l(FU5JDLFUTz
    ˣ
    𝕏 l4FSWFSMFTT%BZT 5PLZPʹࢀՃΛਃ͠ࠐΈ·ͨ͠ʂz

    View Slide

  4. View Slide

  5. 3"( ݕࡧ֦ுੜ੒
    ΞϓϦ
    ʮ$:%"41&01-&ʯʹɺࣾһ͔Βͷ໰͍߹ΘͤʹࣗಈͰ౴͑Δ$IBU(15ػೳʮ$:%"41&01-&$PQJMPU$IBUʯ
    https://www.cydas.co.jp/news/press/202304_people-gpt/

    View Slide

  6. View Slide

  7. ੈ͸େ--.࣌୅
    "*ͷຽओԽ ΞϓϦ։ൃऀ͕--.ΞϓϦΛϢʔβʔʹಧ͚΍͍࣌͢୅
    ΋ͬͱখ೉͍͠΋Μ͔ͱࢥͬͯͨΑ

    View Slide

  8. λεΫ ❌ ˠ ۀ຿ ⭕
    ϫʔΫϑϩʔ
    ෳ਺ͷλεΫΛϓϩάϥϛϯάʹΑΔ੍ޚͱɺ--.ʹΑΔ੍ޚΛͭͳ͍Ͱ
    ࣮ݱ͢Δ

    View Slide

  9. ֶΜͩ͜ͱ
    3"(͸࣮૷͠΍͍͢ˠ<69؍఺>ैདྷͷݕࡧ6* --.Tͳ͠
    ͰղܾͰ͖Δʁ
    ຒΊࠐΈදݱ &NCFEEJOHT
    औಘͯ͠ϕΫλʔྨࣅݕࡧ͢ΔΑΓɺΤϯλʔϓ
    ϥΠζݕࡧͷ΄͏͕͍͍ͨͯɺ͢΂ͯʹ͓͍ͯྑ͍
    --.ͷೳྗΛ׆͔͢ϫʔΫϑϩʔ͕ॏཁ
    ग़ྗ͕֬ఆతͳϓϩάϥϛϯάͱɺඇ֬ఆతͳ--.ͷ૊Έ߹Θͤ
    ෳ਺ͷλεΫΛνΣΠϯ͍ͯ͘͠🦜🔗
    🦜🔗͸ΞΠσΞʴ࣮૷ͷๅݿ
    3F"DU ˠ MBOHDIBJOBHFOUT
    )Z%& ˠ ࣭໰ͷ౴͑Λ--.͕ໝ૝ͯ͠ɺͦͷ౴͑ʹྨࣅͨ͠஌ࣝΛݕࡧGSPN
    MBOHDIBJODIBJOT JNQPSU)ZQPUIFUJDBM%PDVNFOU&NCFEEFS
    --.0QT㱠.-0QT
    ೖྗͷมԽ ग़ྗͷมԽʹؾ͖ͮͮΒ͍
    ؾ͍ͮͨͱͯͰ͖Δ͜ͱ͕ݶΒΕΔ "1*΍Ϟσϧͷࠩ͠ସ͑ɺϓϩϯϓτͷௐ੔ ʴ
    όʔδϣϯ؅ཧ

    ϨεϙϯελΠϜͳͲ͸औಘ͓ͯ͘͠΂͖ͩΖ͏ FY
    -BOH4NJUI

    View Slide

  10. "NB[PO,FOESB 🦜🔗
    ⾼精度な⽣成系 AI アプリケーションを Amazon Kendra、LangChain、⼤規模⾔語モデルを使って作る
    https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-
    data-using-amazon-kendra-langchain-and-large-language-models/

    View Slide

  11. 🦜🔗 ֶͿͳΒ
    6EFNZ -BOH$IBJOʹΑΔେن໛ݴޠϞσϧʢ--.ʣΞϓϦ
    έʔγϣϯ։ൃೖ໳ʕ(15Λ࢖ͬͨνϟοτϘοτͷ࣮૷·Ͱ
    https://www.udemy.com/course/langchain-apps/

    View Slide

  12. 🦜🔗 ֶͿͳΒ
    ΋͘΋͘-BOH$IBJO
    https://langchain-jp.connpass.com/event/289590/

    View Slide

  13. ηΩϡϦςΟͱϓϥΠόγʔ
    ຊ൪؀ڥར༻ʹ޲͚ͯ

    View Slide

  14. "84ͷΫϥ΢υηΩϡϦςΟσʔλอޢ
    • ࣄ࣮
    • "84͸ηΩϡϦςΟʹലେͳ౤ࢿɿෳ਺ͷαʔϏεɺෳ਺ͷίϯϓϥ
    ΠΞϯε४ڌ
    • Ϋϥ΢υΛΫϥ΢υͨΒ͠ΊͯΔ΋ͷ "*ʹΑΔίϯτϩʔϧ
    • ༧ଌ
    • <>ηΩϡϦςΟ͸૊৫ͷ͋ΒΏΔ׆ಈʹෆՄܽʹͳΔ
    • <>"*ػցֶशͰଅਐ͞ΕͨΦʔτϝʔγϣϯ͕ηΩϡϦςΟΛڧ
    Խ͢Δ
    • "NB[PO(VBSE%VUZɺ"NB[PO%FUFDUJWFɺ"NB[PO$PEF(VSVɺ"NB[PO
    .BDJFʜ
    • <>σʔλอޢ΁ͷΑΓେ͖ͳ౤ࢿ͕ਐΉ
    • (%13ಉ༷ͷن੍ͷੈք֤ࠃ΁ͷ޿͕Γɾ࣮ӡ༻ͷڧԽ
    CJ Moses による 2023 年以降の セキュリティに 関する予測
    https://d1.awsstatic.com/Security/Security_Predictions_e-book_2022_JP
    .pdf

    View Slide

  15. 08"415PQ--.ΞϓϦ
    ϓϩϯϓτΠϯδΣΫγϣϯ
    • --.͕ҙਤ͠ͳ͍ಈ࡞ΛҾ͖ى͜͢ϓϩϯϓτͷ
    ্ॻ͖
    ҆શͰͳ͍ग़ྗॲཧ
    • όοΫΤϯυγεςϜͷ৘ใ͕ग़ྗ͞ΕΔ͜ͱʹ
    ΑΔѱ༻
    τϨʔχϯάσʔλͷԚછ
    • ηΩϡϦςΟɺ༗ޮੑɺྙཧత;Δ·͍΁ͷӨڹ
    Ϟσϧ΁ͷ%P4
    • େྔͷτʔΫϯফඅɺϨεϙϯεѱԽɺίετߴ

    αϓϥΠνΣʔϯͷ੬ऑੑ
    • ϓϥάΠϯ΍SEύʔςΟͷίϯϙʔωϯτ͔Β
    ͷ৵֐
    ػີσʔλͷ࿙Ӯ
    • Ԡ౴ͰػີσʔλΛ࿙Ӯ͢ΔՄೳੑˠෆਖ਼ΞΫηεɺ
    ϓϥΠόγʔ৵֐ɺηΩϡϦςΟ৵֐
    ҆શͰͳ͍ϓϥάΠϯઃܭ ˞ͱྨࣅ

    • ϓϥάΠϯ͔Β҆શͰͳ͍ೖྗʹΑΓ੬ऑੑ͕ѱ༻
    ͞ΕΔ
    ΤʔδΣϯτͷ๫૸
    • ࣗ཯తͳΤʔδΣϯτ͕ҙਤ͠ͳ͍݁ՌΛ΋ͨΒ͢
    ΞΫγϣϯΛ࣮ߦ͢ΔՄೳੑ
    ա౓ͳґଘ
    • ෆਖ਼֬ɾෆద੾ͳੜ੒ίϯςϯπʹґଘͯ͠σϚɺ
    ๏త໰୊ɺηΩϡϦςΟ੬ऑੑʹ௚໘͢Δ
    Ϟσϧట๮
    • ಠࣗϞσϧ΁ͷෆਖ਼ΞΫηεɺྲྀग़ˠܦࡁଛࣦɺڝ
    ૪༏Ґੑ௿Լ ˞ৠཹϑΝΠϯνϡʔχϯά΋άϨʔ͔΋

    OWASP Top 10 for Large Language Model Applications
    https://owasp.org/www-project-top-10-for-large-language-model-applications/

    View Slide

  16. ݸਓσʔλอޢ๏੍ɿνΣοΫ͢΂͖࿦఺
    • ԿΛอޢ͢Δͷ͔ˠʮݸਓͷݖརརӹʯ
    • ݸਓσʔλอޢͷʮܾఆࢦ޲ʯརӹϞσϧ
    • ࣗݾ৘ใίϯτϩʔϧݖͰ͸ͳ͘ɺ৘ใతଞ཯͔Βͷࣗ༝
    • ΘΕΘΕʹԿ͕ٻΊΒΕ͏Δͷ͔
    • ࣗݾ৘ใίϯτϩʔϧݖࡒ࢈ݖతϞσϧͷຊਓಉҙݪଇ ΦϓτΠϯΦϓτΞ΢τ
    ˠͳʹ͕
    ݸਓ৘ใͰͳʹ͕ݸਓ৘ใͰͳ͍ͱ͍͏ٞ࿦ʹͳΔ
    • ৘ใతଞ཯ݸਓσʔλॲཧʹجͮ͘ଞऀʹΑΔධՁɾܾఆ͕ຊਓͷࣗݾܾఆΛ્֐͠͏Δ͜
    ͱˠ͔Βͷࣗ༝ ๷ޚͰ͖Δ͜ͱ

    • ͨͱ͑͹
    • ݹ͍ଐੑ৘ใɺ͍͋·͍ͳଐੑ৘ใͰ৬৔ͰͷධՁ͕ܾΊΒΕͨ
    ˞ͦ΋ͦ΋0&$%ݪଇ σʔλ඼࣭ͷݪଇ
    ʹ΋൓͍ͯ͠Δ͕ɻ
    • ؔ࿈ੑͷͳ͍৘ใͰෆརͳΫϨδοτείΞ͕ܾఆ͞Εͨ
    ˠ ͜ΕΒΛγεςϜͰϞχλϦϯά͢Δෆஅͷ౒ྗ͕ٻΊΒΕ͏Δ
    • ཧ࿦తجૅ͔Β๏ମܥ΁ͷ੔ཧ
    • ౷੍͞Εͨඇબผར༻ˠҩྍԾ໊Ճ޻৘ใɿ౷ܭྔʹूܭͨ͠σʔλɺ·ͨ͸ೋ࣍ར༻
    • ݸਓσʔλॲཧத৺ͷن཯ˠॲཧର৅ͱ͠ͳ͍σʔλͷϚεΩϯάɺΦϓτΠϯॲཧͷෛ୲
    • ධՁɾܾఆͷద੾ੑ֬อˠબผΞϧΰϦζϜ దੑͰબผͨ͠ڭҭϓϩάϥϜɺ0,ʁ

    【提⾔書公表】デジタル社会を駆動する『個⼈データ保護法制』に向けて(GLOCOM六本⽊会議)
    https://www.glocom.ac.jp/news/news/8540

    View Slide

  17. 🦜🔗 &YQFSJNFOUBMύοέʔδ෼ׂ
    • Ϗοάχϡʔε
    • $7& ੬ऑੑ
    ΛؚΉػೳΛ͢΂ͯผύοέʔδ &YQFSJNFOUBM
    ʹ
    • 🦜🔗ίΞͷεϦϜԽ
    • $PNNVOJUZνΣΠϯͱ͍͏ύοέʔδͷܭըʹ΋ݴٴ
    • ҙຯ͢Δ͜ͱ
    • ຊ൪Ͱ͸࢖͑ͳ͍ ˠ ࢖͍͏Δ
    • ͜ͷ೥ऑɺແ੍ݶʹ֦ு͞ΕΔҰํͩͬͨͷͰ-BNCEB-BZFSʹ͍
    ͔ͭ৐Βͳ͘ͳΔ ˠ Ұఆͷަ௨੔ཧ͕͞ΕΔΑ͏ʹͳΔ
    • ࿦จͷ࣮૷΍໺৺తͳΞΠσΞͷ࣮૷͕ΑΓ13ग़͠΍͘͢ͳΔ
    • "84-BNCEBͰͷར༻
    • ݱࡏͷαΠζɿґଘϥΠϒϥϦؚΊͨల։ޙαΠζͰ.#ఔ౓
    • εϐϯΞοϓʹ͸͓͓ΉͶඵఔ౓͸͔͔Δˠ4MBDL͔Β࢖͏৔߹͸
    -B[ZϦεφʔ΍ϦτϥΠϔομͷνΣοΫͳͲෳ਺ͷରࡦ͕ඞཁ

    View Slide

  18. IUUQTUPLZPTFSWFSMFTTEBZTJP
    ˣ
    l(FU5JDLFUTz
    ˣ
    𝕏 l4FSWFSMFTT%BZT 5PLZPʹࢀՃΛਃ͠ࠐΈ·ͨ͠ʂz

    View Slide

  19. %":4্࢙࠷ߴͷϥΠϯφοϓ
    • ߽՚ηογϣϯ
    • Ωʔϊʔτɿ"84

    αʔόʔϨε೥ͷ੒ख़

    αʔόʔαΠυओମ͔ΒΤοδϑϩϯτ΁ͷ։ൃϥΠϑαΠΫϧ
    ͷมԽ

    ੜ੒"*ͱαʔόʔϨε
    • ߽՚εϙϯαʔ
    • "84
    • .PNFOUP
    • 1JOH$"1 5J%#

    • .JDSPTPGU
    • ,%%*ΞδϟΠϧ։ൃηϯλʔ
    • 4FSWFSMFTT0QFSBUJPOT

    View Slide