Share
Embed
Transcript
13 slides
-
吉田真吾 AWS Serverless Hero n p Oracle SA p 113
/ pAWS n ( ) CTO p SaaS ( ) pAWS DevOps n pAWS (2012 ) pAWS Samurai 2014 / 2016 pAWS Serverless Hero AWS AWS Lambda Amazon S3 -
-BOH$IBJOͱ • LLMΛͬͨΞϓϦέʔγϣϯ։ൃͷ OSSϑϨʔϜϫʔΫ • Python/JavaScript൛ • LLMͷϞσϧ/ϝϞϦ/ΤʔδΣϯτ/ RetrieverɺϓϩϯϓτςϯϓϨʔτͳͲΛ LangChain͕நԽͨ͠ػೳͱͯ͠ར༻Մೳ
→AIΦʔέετϨʔγϣϯͱͯ͠ΞϓϦ͔Β গͳ͍ίʔυͰޮతʹΞϓϦ։ൃͰ͖Δ • ։ൃॳظͳͲʹෳࡶͳϓϩϯϓτΤϯδχΞ Ϧϯάͷख͕ؒল͚ͨΓɺϢʔεέʔεʹ߹கͨ͠ ϞδϡʔϧΛݟ͚ͭͯظతʹ։ൃ͢Δ͜ͱ͕Մೳ -
"NB[PO#FESPDLؔ࿈ϦϦʔε #VJMEHFOFSBUJWF"*BQQTVTJOH"844UFQ'VODUJPOTBOE"NB[PO#FESPDL IUUQTBXTBNB[PODPNKQCMPHTBXTCVJMEHFOFSBUJWFBJBQQTVTJOHBXTTUFQGVODUJPOTBOEBNB[POCFESPDL ,OPXMFEHF#BTFTOPXEFMJWFSTGVMMZNBOBHFE3"(FYQFSJFODFJO"NB[PO#FESPDL IUUQTBXTBNB[PODPNKQCMPHTBXTLOPXMFEHFCBTFTOPXEFMJWFSTGVMMZNBOBHFESBHFYQFSJFODFJOBNB[POCFESPDL $VTUPNJ[FNPEFMTJO"NB[PO#FESPDLXJUIZPVSPXOEBUB VTJOHpOFUVOJOH BOEDPOUJOVFE QSFUSBJOJOH IUUQTBXTBNB[PODPNKQCMPHTBXTDVTUPNJ[FNPEFMTJOBNB[POCFESPDLXJUIZPVSPXOEBUBVTJOHpOFUVOJOHBOE
DPOUJOVFEQSFUSBJOJOH "HFOUTGPS"NB[PO#FESPDLJTOPXBWBJMBCMFXJUIJNQSPWFEDPOUSPMPGPSDIFTUSBUJPOBOE WJTJCJMJUZJOUPSFBTPOJOH IUUQTBXTBNB[PODPNKQCMPHTBXTBHFOUTGPSBNB[POCFESPDLJTOPXBWBJMBCMFXJUIJNQSPWFE DPOUSPMPGPSDIFTUSBUJPOBOEWJTJCJMJUZJOUPSFBTPOJOH "NB[PO#FESPDLOPXQSPWJEFTBDDFTTUP"OUISPQJD`T MBUFTUNPEFM $MBVEF IUUQTBXTBNB[PODPNKQCMPHTBXTBNB[POCFESPDLOPXQSPWJEFTBDDFTTUPBOUISPQJDTMBUFTUNPEFMDMBVEF "NB[PO5JUBO*NBHF (FOFSBUPS .VMUJNPEBM&NCFEEJOHT BOE5FYU NPEFMTBSFOPXBWBJMBCMF JO"NB[PO#FESPDL IUUQTBXTBNB[PODPNKQCMPHTBXTBNB[POUJUBOJNBHFHFOFSBUPSNVMUJNPEBMFNCFEEJOHTBOEUFYU NPEFMTBSFOPXBWBJMBCMFJOBNB[POCFESPDL &WBMVBUF DPNQBSF BOETFMFDU UIFCFTUGPVOEBUJPONPEFMTGPSZPVSVTF DBTFJO"NB[PO #FESPDL QSFWJFX IUUQTBXTBNB[PODPNKQCMPHTBXTFWBMVBUFDPNQBSFBOETFMFDUUIFCFTUGPVOEBUJPONPEFMTGPSZPVS VTFDBTFJOBNB[POCFESPDLQSFWJFX -
τϨϯυͷมԽ • (15ͷೳྗʹҰൠ·ͰෲམͪΛͨ͠ • 3"(ͰʮطଘͷࣝΛऔΓग़͢ʯϢʔεέʔεʹ׳Εͨ • (16͕ങ͑ͳ͍ͳΒ"1*͕͋Δ͡Όͳ͍ •
(15ͷ׆༻ํ๏ʹ͍ͭͯʮϏδϣϯܕετʔϦʔςϦϯάʯ͕ʮਐతɾސ٬ϖ ΠϯܕετʔϦʔςϦϯάʯΑΓັྗతͩͬͨˠ(FO"*ͷϢʔεέʔε͕ਂ۷ Ε͍ͯͳ͍ূڌ ՝ײ • ޮతͳ3"(ɺඇޮͳ3"(ͷ໌҉͕͔Ε͍ͯΔ • 3"(ͷςετσʔληοτɺϦάϨογϣϯςετͷޮԽɾఆྔධՁɾ࡞ۀ ্࣭ • ґવޮԽ͠ͳ͍ʮۀޮʯˠࣝΛऔΓग़͚ͩ͢Ͱۀϑϩʔ݁͠ͳ ͍ • ۀքಛԽܕ ༀݚڀɺ࣏ྍํʜFUD λεΫͷղ͖ํ ΤʔδΣϯτʁϑΝΠϯ νϡʔχϯάʁ • ൴ঁ͕πϯσϨͯ͘͠Εͳ͍ -
τϨϯυͷมԽ • ۀϑϩʔશମΛ੍ޚ͢ΔˠΤʔδΣϯτܕɺϋΠϒϦουܕ • ΤʔδΣϯτ༻ύʔπͷਐԽ • Ϟσϧˠ൚༻ϞσϧͷਐԽɺτʔΫϯ૿ɺτʔΫϯίετݮ •
3"(ˠݕࡧਫ਼ɾମݧͷ্ ϋΠϒϦουαʔνʴЋ • ΑΓσʔλʹ͍ۙ ॏྗʹ͍ۙ ॴͰͷݕࡧΤϯδϯɾϕΫλʔσʔλͷϗεςΟϯά ˠطଘͷ3%#.4ετϨʔδɺσʔλϨΠΫͱͷ౷߹ • $PEFc0QFO *OUFSQSFUFSͷਫ਼্ • ൚༻ϞσϧͰղ͖ͮΒ͍ͷϑΝΠϯνϡʔχϯάɺνϟοτʹνϡʔχ ϯά͞ΕͨϞσϧ͔Βͷ • ηΩϡϦςΟࣄނͷ૿ՃͱϕετϓϥΫςΟε࣮ͷଅਐ • "*൴ঁͷຊ֨ϒʔϜͷ౸དྷ -
トランザクション価値 トークン消費⤴&コスト⤵ ↑専⾨性 RAG/チャットボット 専⾨性が⾼いがシット ジョブが多い領域 (リサーチ、コンサル) エージェント w/ オンデマンドコード⽣成実⾏
画像/動画などコストが⾼い 割にTrx単価が低い AITuber AIキャバクラ 元データに近い場所での検索実装 ↑時間軸 ワークフロー/Copilot 検索 -
ষɿ--.ΞϓϦͷຊ൪ϦϦʔεʹ͚ͯ • ҙਤ͠ͳ͍ίϯςϯπͷೖྗࢭ νϟοτϘοτͷ࣭ͳͲɺೖྗίϯςϯπʹҙਤ͠ͳ͍ͷ Λؚ·ͳ͍Α͏ɺΞϓϦέʔγϣϯͷUIͰΨΠμϯεΛઃஔ͢ Δɻ ೖྗϑΟϧλʔػೳ͕͑Δ߹͏ • ෆదͳग़ྗͷճආ ྗతͳൃݴภݟɺෆշͳίϯςϯπͷνΣοΫ→ഉআɻ
ग़ྗϑΟϧλʔػೳ͕͑Δ߹͏ ϨΠςϯγͱ҆શੑͷτϨʔυΦϑΛՃຯ͢Δɻ • ϓϩϯϓτΠϯδΣΫγϣϯͷࢭ ೖྗίϯςϯπͰࢦࣔΛ্ॻ͖͠ɺҙͷࢦࣔΛՄೳʹ͢Δ߈ ܸɻ ೖྗϓϩϯϓτʹΑͬͯࢦ্͕ࣔॻ͖͞Εͳ͍Α͏ͳϓϩϯϓ τςϯϓϨʔτͷߏΛ͓͜ͳ͏͜ͱɻ • τʔΫϯΛେྔʹফඅͤ͞Δ߈ܸͷࢭ ೖྗίϯςϯπͷ͞νΣοΫɺҰఆ࣌ؒͷ࣮ߦճ τʔΫϯফඅྔʹ্ݶΛઃ͚ΔͳͲͯ͠ɺϦΫΤετ༰ʹ੍ ݶΛ͔͚Δɻ • 安全でない出⼒コンテンツのチェック LLMアプリケーションの出⼒内容が、システム全体にとって安全 でない内容(たとえばXSSやCSRFを引き起こすコードなど)を出⼒ しないように、出⼒コンテンツのチェックをおこない、⼀律の⽂ 字列エンコード処理などをおこなう。 • 脆弱性の排除 新しいライブラリやフレームワークの導⼊、リリースパイプライ ンの構築で、脆弱性が混⼊しうるポイントが増える。現⾏システ ムと同等の脆弱性対応を実施する。 • エージェントを暴⾛させない 外部接続性・実⾏性が⾼いエージェントを暴⾛させない。 エージェント = 前⼯程でLLMが⽣成したコンテンツから次⼯程の 指⽰を推論することでワークフローを達成しようと動作する.。 実⾏可能な外部機能を最⼩限にし、操作対象の権限(データの取 得・編集・削除など)を最⼩化する。 ⼗分なケースでテストを実施する。 OWASP Top 10 for Large Language Model Applications https://owasp.org/www-project-top-10-for-large-language-model-applications/ ηΩϡϦςΟϦεΫͷରԠʹ͍ͭͯ