Slide 1

Slide 1 text

"84SF*OWFOU --.ؔ࿈Ξοϓσʔτ ͱ(FO"*τϨϯυߟ࡯  גࣜձࣾηΫγϣϯφΠϯ ୅දऔక໾$&0 ٢ాਅޗ

Slide 2

Slide 2 text

吉田真吾 AWS Serverless Hero n p Oracle SA p 113 / pAWS n ( ) CTO p SaaS ( ) pAWS DevOps n pAWS (2012 ) pAWS Samurai 2014 / 2016 pAWS Serverless Hero AWS AWS Lambda Amazon S3

Slide 3

Slide 3 text

͍ͨ΁Μ͝޷ධ͍͍ͨͩ ͓ͯΓ·͢⽏ ந৅Խ͔ͯ͋ͭ͠͏ͬͯ େࣄͩΑͶ⽏ 

Slide 4

Slide 4 text

-BOH$IBJOͱ͸ • LLMΛ࢖ͬͨΞϓϦέʔγϣϯ։ൃͷ OSSϑϨʔϜϫʔΫ • Python/JavaScript൛ • LLMͷϞσϧ/ϝϞϦ/ΤʔδΣϯτ/ RetrieverɺϓϩϯϓτςϯϓϨʔτͳͲΛ LangChain͕ந৅Խͨ͠ػೳͱͯ͠ར༻Մೳ →AIΦʔέετϨʔγϣϯ૚ͱͯ͠ΞϓϦ͔Β গͳ͍ίʔυͰޮ཰తʹΞϓϦ։ൃͰ͖Δ • ։ൃॳظͳͲʹෳࡶͳϓϩϯϓτΤϯδχΞ Ϧϯάͷख͕ؒল͚ͨΓɺϢʔεέʔεʹ߹கͨ͠ ϞδϡʔϧΛݟ͚ͭͯ୹ظతʹ։ൃ͢Δ͜ͱ͕Մೳ 

Slide 5

Slide 5 text

"NB[PO#FESPDLؔ࿈ϦϦʔε #VJMEHFOFSBUJWF"*BQQTVTJOH"844UFQ'VODUJPOTBOE"NB[PO#FESPDL IUUQTBXTBNB[PODPNKQCMPHTBXTCVJMEHFOFSBUJWFBJBQQTVTJOHBXTTUFQGVODUJPOTBOEBNB[POCFESPDL ,OPXMFEHF#BTFTOPXEFMJWFSTGVMMZNBOBHFE3"(FYQFSJFODFJO"NB[PO#FESPDL IUUQTBXTBNB[PODPNKQCMPHTBXTLOPXMFEHFCBTFTOPXEFMJWFSTGVMMZNBOBHFESBHFYQFSJFODFJOBNB[POCFESPDL $VTUPNJ[FNPEFMTJO"NB[PO#FESPDLXJUIZPVSPXOEBUB VTJOHpOFUVOJOH BOEDPOUJOVFE QSFUSBJOJOH IUUQTBXTBNB[PODPNKQCMPHTBXTDVTUPNJ[FNPEFMTJOBNB[POCFESPDLXJUIZPVSPXOEBUBVTJOHpOFUVOJOHBOE DPOUJOVFEQSFUSBJOJOH "HFOUTGPS"NB[PO#FESPDLJTOPXBWBJMBCMFXJUIJNQSPWFEDPOUSPMPGPSDIFTUSBUJPOBOE WJTJCJMJUZJOUPSFBTPOJOH IUUQTBXTBNB[PODPNKQCMPHTBXTBHFOUTGPSBNB[POCFESPDLJTOPXBWBJMBCMFXJUIJNQSPWFE DPOUSPMPGPSDIFTUSBUJPOBOEWJTJCJMJUZJOUPSFBTPOJOH "NB[PO#FESPDLOPXQSPWJEFTBDDFTTUP"OUISPQJD`T MBUFTUNPEFM $MBVEF IUUQTBXTBNB[PODPNKQCMPHTBXTBNB[POCFESPDLOPXQSPWJEFTBDDFTTUPBOUISPQJDTMBUFTUNPEFMDMBVEF "NB[PO5JUBO*NBHF (FOFSBUPS .VMUJNPEBM&NCFEEJOHT BOE5FYU NPEFMTBSFOPXBWBJMBCMF JO"NB[PO#FESPDL IUUQTBXTBNB[PODPNKQCMPHTBXTBNB[POUJUBOJNBHFHFOFSBUPSNVMUJNPEBMFNCFEEJOHTBOEUFYU NPEFMTBSFOPXBWBJMBCMFJOBNB[POCFESPDL &WBMVBUF DPNQBSF BOETFMFDU UIFCFTUGPVOEBUJPONPEFMTGPSZPVSVTF DBTFJO"NB[PO #FESPDL QSFWJFX IUUQTBXTBNB[PODPNKQCMPHTBXTFWBMVBUFDPNQBSFBOETFMFDUUIFCFTUGPVOEBUJPONPEFMTGPSZPVS VTFDBTFJOBNB[POCFESPDLQSFWJFX

Slide 6

Slide 6 text

τϨϯυͷมԽ  ೥ • (15ͷೳྗʹҰൠ૚·ͰෲམͪΛͨ͠ • 3"(Ͱʮطଘͷ஌ࣝΛऔΓग़͢ʯϢʔεέʔεʹ׳Εͨ • (16͕ങ͑ͳ͍ͳΒ"1*͕͋Δ͡Όͳ͍ • (15ͷ׆༻ํ๏ʹ͍ͭͯʮϏδϣϯܕετʔϦʔςϦϯάʯ͕ʮ઴ਐతɾސ٬ϖ Πϯ൐૸ܕετʔϦʔςϦϯάʯΑΓັྗతͩͬͨˠ(FO"*ͷϢʔεέʔε͕ਂ۷ Ε͍ͯͳ͍ূڌ  ՝୊ײ • ޮ཰తͳ3"(ɺඇޮ཰ͳ3"(ͷ໌҉͕෼͔Ε͍ͯΔ • 3"(ͷςετσʔληοτɺϦάϨογϣϯςετͷޮ཰ԽɾఆྔධՁɾ࡞ۀ඼ ࣭޲্ • ґવޮ཰Խ͠ͳ͍ʮۀ຿ޮ཰ʯˠ஌ࣝΛऔΓग़͚ͩ͢Ͱ͸ۀ຿ϑϩʔ͸׬݁͠ͳ ͍ • ۀքಛԽܕ ૑ༀݚڀɺ࣏ྍํ਑ʜFUD λεΫͷղ͖ํ ΤʔδΣϯτʁϑΝΠϯ νϡʔχϯάʁ • ൴ঁ͕πϯσϨͯ͘͠Εͳ͍

Slide 7

Slide 7 text

τϨϯυͷมԽ  ೥ • ۀ຿ϑϩʔશମΛ੍ޚ͢ΔˠΤʔδΣϯτܕɺϋΠϒϦουܕ • ΤʔδΣϯτ༻ύʔπͷਐԽ • Ϟσϧˠ൚༻ϞσϧͷਐԽɺτʔΫϯ૿ɺτʔΫϯίετݮ • 3"(ˠݕࡧਫ਼౓ɾମݧͷ޲্ ϋΠϒϦουαʔνʴЋ • ΑΓσʔλʹ͍ۙ ॏྗʹ͍ۙ ৔ॴͰͷݕࡧΤϯδϯɾϕΫλʔσʔλͷϗεςΟϯά ˠطଘͷ3%#.4΍ετϨʔδɺσʔλϨΠΫͱͷ౷߹ • $PEFc0QFO *OUFSQSFUFSͷਫ਼౓޲্ • ൚༻ϞσϧͰղ͖ͮΒ͍෼໺ͷϑΝΠϯνϡʔχϯάɺνϟοτʹνϡʔχ ϯά͞ΕͨϞσϧ͔Βͷ཭୤ • ηΩϡϦςΟࣄނͷ૿ՃͱϕετϓϥΫςΟε࣮૷ͷଅਐ • "*൴ঁͷຊ֨ϒʔϜͷ౸དྷ

Slide 8

Slide 8 text

トランザクション価値 トークン消費⤴&コスト⤵ ↑専⾨性 RAG/チャットボット 専⾨性が⾼いがシット ジョブが多い領域 (リサーチ、コンサル) エージェント w/ オンデマンドコード⽣成実⾏ 画像/動画などコストが⾼い 割にTrx単価が低い AITuber AIキャバクラ 元データに近い場所での検索実装 ↑時間軸 ワークフロー/Copilot 検索

Slide 9

Slide 9 text

ୈষɿ֎෦ݕࡧɺཤྺΛ౿·͑ͨԠ౴Λ͢Δ8FCΞϓϦͷ࣮૷ ࣭໰ʹରͯ͠ɺ%VDL%VDL(PͰ֎෦ݕࡧͯ͠ ౴͑Δ8FCΞϓϦ LLM を組み込んだチャットアプリケーションを写経しながら実装できる「ChatGPT/LangChain によるチャットシステム構築[実践]⼊⾨」を読んだ https://kakakakakku.hatenablog.com/entry/2023/10/16/085525

Slide 10

Slide 10 text

ୈষɿ֎෦ݕࡧɺཤྺΛ౿·͑ͨԠ౴Λ͢Δ8FCΞϓϦͷ࣮૷ -BOH$IBJOͷ"HFOUπʔϧͱͯ͠ %VDL%VDL(Pͱ8JLJQFEJBΛϩʔυ͢Δ

Slide 11

Slide 11 text

ୈষɿ֎෦ݕࡧɺཤྺΛ౿·͑ͨԠ౴Λ͢Δ8FCΞϓϦͷ࣮૷ QVTI EFQMPZ

Slide 12

Slide 12 text

ୈষɿ֎෦ݕࡧɺཤྺΛ౿·͑ͨԠ౴Λ͢Δ8FCΞϓϦͷ࣮૷ ࣭໰ʹରͯ͠ɺ%VDL%VDL(PͰ֎෦ݕࡧͯ͠ ౴͑Δ8FCΞϓϦ LLM を組み込んだチャットアプリケーションを写経しながら実装できる「ChatGPT/LangChain によるチャットシステム構築[実践]⼊⾨」を読んだ https://kakakakakku.hatenablog.com/entry/2023/10/16/085525

Slide 13

Slide 13 text

ষɿ--.ΞϓϦͷຊ൪ϦϦʔεʹ޲͚ͯ • ҙਤ͠ͳ͍ίϯςϯπͷೖྗ๷ࢭ νϟοτϘοτͷ࣭໰ͳͲɺೖྗίϯςϯπʹҙਤ͠ͳ͍΋ͷ Λؚ·ͳ͍Α͏ɺΞϓϦέʔγϣϯͷUIͰΨΠμϯεΛઃஔ͢ Δɻ ೖྗϑΟϧλʔػೳ͕࢖͑Δ৔߹͸࢖͏ • ෆద੾ͳग़ྗͷճආ ๫ྗతͳൃݴ΍ภݟɺෆշͳίϯςϯπͷνΣοΫ→ഉআɻ ग़ྗϑΟϧλʔػೳ͕࢖͑Δ৔߹͸࢖͏ ϨΠςϯγͱ҆શੑͷτϨʔυΦϑΛՃຯ͢Δɻ • ϓϩϯϓτΠϯδΣΫγϣϯͷ๷ࢭ ೖྗίϯςϯπͰࢦࣔΛ্ॻ͖͠ɺ೚ҙͷࢦࣔΛՄೳʹ͢Δ߈ ܸɻ ೖྗϓϩϯϓτʹΑͬͯࢦ্͕ࣔॻ͖͞Εͳ͍Α͏ͳϓϩϯϓ τςϯϓϨʔτͷߏ੒Λ͓͜ͳ͏͜ͱɻ • τʔΫϯΛେྔʹফඅͤ͞Δ߈ܸͷ๷ࢭ ೖྗίϯςϯπͷ௕͞νΣοΫ΍ɺҰఆ࣌ؒ಺ͷ࣮ߦճ਺΍ τʔΫϯফඅྔʹ্ݶΛઃ͚ΔͳͲͯ͠ɺϦΫΤετ಺༰ʹ੍ ݶΛ͔͚Δɻ  • 安全でない出⼒コンテンツのチェック LLMアプリケーションの出⼒内容が、システム全体にとって安全 でない内容(たとえばXSSやCSRFを引き起こすコードなど)を出⼒ しないように、出⼒コンテンツのチェックをおこない、⼀律の⽂ 字列エンコード処理などをおこなう。 • 脆弱性の排除 新しいライブラリやフレームワークの導⼊、リリースパイプライ ンの構築で、脆弱性が混⼊しうるポイントが増える。現⾏システ ムと同等の脆弱性対応を実施する。 • エージェントを暴⾛させない 外部接続性・実⾏性が⾼いエージェントを暴⾛させない。 エージェント = 前⼯程でLLMが⽣成したコンテンツから次⼯程の 指⽰を推論することでワークフローを達成しようと動作する.。 実⾏可能な外部機能を最⼩限にし、操作対象の権限(データの取 得・編集・削除など)を最⼩化する。 ⼗分なケースでテストを実施する。 OWASP Top 10 for Large Language Model Applications https://owasp.org/www-project-top-10-for-large-language-model-applications/ ηΩϡϦςΟϦεΫ΁ͷରԠʹ͍ͭͯ