ソフトウェアセキュリティはAIの登場でどう変わるか – OWASP LLM TOP 10 岡⽥ 良太郎 代表・エグゼクティブリサーチャ CISA, MBA [email protected] © Asterisk Research, Inc. 1

アスタリスク・リサーチ 岡⽥良太郎 岡⽥ 良太郎 代表・エグゼクティブリサーチャ CISA, MBA [email protected] コミュニティ活動 ‒ community activities OWASP (Open Worldwide Application Security Project) ワールドワイドアプリケーションセキュリティ推進団体 Hardening Project オーガナイザ 衛る技術を顕彰する、8時間耐久ビジネス堅牢化技術競技プロジェク ト Hackademy（ハッキングと防御） 「ハッキングと防御」コース ほか ビジネスブレークスルー⼤学（学⻑ ⼤前研⼀） 「教養としてのサイバーセキュリティ」担当講師 独⽴⾏政法⼈ IPA 情報セキュリティ10⼤脅威 総務省 サイバーセキュリティ演習 CYDER © Asterisk Research, Inc. 2

https://www.youtube.com/watch?v=Rp9uPVahpUw マジセミ：いまさら聞けない脆弱性入門 ユーチューバーになってしもた(？) 2024/2 youtube.com/@asteriskresearch

νϟοτͱ͍͏γϯϓϧͳ6*Λಘͨ͜ͱ͕ Πϊϕʔγϣϯͷ൶Λ։͍ͨ プロンプト • さまざまな 形式の インプット • 分析対象 データ Model(LLM) • Embedding • Positional Encoding • Transformer • Output ⽣成！ • テキスト • 画像 • ソースコード • ファイル February 17, 2024 膨⼤な学習データ

AI / LLM / ϓϥάΠϯɾΞϓϦେ௡೾ •⼀般的なライティング、SEO、ストーリーテラー など ライティングツール (Writing Tools): 1225ツール •画像ジェネレーター、画像編集、デザインアシス タントなど 画像ツール (Image Tools): 776ツール •コードアシスタント、開発者ツール、ローコード/ ノーコードなど コードツール (Code Tools): 597ツール •オーディオ編集、テキストから⾳声へ、⾳楽など オーディオツール (Audio Tools): 313ツール •ビデオ編集、ビデオジェネレーター、パーソナラ イズビデオなど ビデオツール (Video Tools): 169ツール •財務、電⼦商取引、カスタマーサポート、⼈事、 営業など ビジネスツール (Business Tools): 1600ツール •フィットネス、デート、宗教、研究、リソース、 ライフアシスタントなど Other Tools: 1378ツール February 17, 2024 Future Pedia

։ൃͷηΩϡϦςΟ G ֎෦ڴҖ ੬ऑੑ γεςϜͷ֎෦͔ΒͷڴҖ • Πϯλʔωοτͷશମతͳ࣏҆ • γεςϜݻ༗ͷࢿ࢈Λૂ͏ڴҖ • γεςϜϦιʔεΛૂ͏ڴҖ • Ϣʔβͷ;Δ·͍ɺϛεɺޡ༻ γεςϜͦͷ΋ͷͷܽؕ • ࢓༷ʂ • ΞʔΩςΫνϟબ୒ • ࣮૷ίʔυ • ϓϥοτϑΥʔϜͷӨڹ • ๷ޚػߏͷબ୒ͱઃఆ • αϓϥΠνΣΠϯ • ςετίʔυ • $*ΠϯςάϨʔγϣϯ • ઃఆ © Asterisk Research, Inc. 6

γεςϜ֎෦͔ΒͷڴҖ (c) Riotaro OKADA 7 NICTER

γεςϜ֎෦͔ΒͷڴҖ • ϥϯαϜ΢ΣΞ • Ϛϧ΢ΣΞ • ιʔγϟϧΤϯδχΞϦϯά • σʔλ΁ͷڴҖ • Քಇ΁ͷڴҖ %P4 • ωοτ઀ଓ΁ͷڴҖ • ৘ใૢ࡞ • αϓϥΠνΣΠϯ߈ܸ (c) Riotaro OKADA 8 ENISA Threat Landscape 2023

͚ͩͰ΋ެ։͞ΕͨαΠτ΁ͷඃ֐͸ଓग़ (c) Riotaro OKADA 9 配布資料につき控えます

੬ऑੑରԠ͸෯޿͍૚ʹΘͨΔ 脆弱性発⽣箇所 どんな状態か 対応⼿段の提供者 対応・復旧 シフトレフト デスクトップやスマートフォン デバイスのOSに問題があり、保護 が⼿薄、あるいは脆弱な状態に なっている プラットフォーマ (Apple, Googleなど) アップデート適⽤、 設定調整 ガイドの更新 ⾃動アップデート活⽤、 更新情報プロセス強化 アプリケーションソフトウェア バグや、踏み台などの脆弱性 開発会社、販売会社 アップデート適⽤、設定 調整、 アプリの選定と廃棄 ネットワーク機器、デバイス 装置のファームウェアが古いある いは悪⽤されやすい設定になって いるため脆弱な状態 メーカー アップデート適⽤ ネットワーク機器や 構成の⾒直し システム：オープンソースや サードパーティAPIなど システムで利⽤しているOSで使わ れているOSSのソースコードに問 題が発⾒され脆弱性があるという ことが広く知られる OSSプロジェクト、 LinuxやMicrosoftなど OSベンダー 動作検証と アップデート適⽤ ソフトウェア構成分析 SCAの導⼊、SBOM システム：プログラムコード ⾃社あるいはSIerが開発したコー ドに問題があり、脆弱になってい る コードを書いた⼈ないし、 開発プロジェクトチーム プログラムの修正 ノウハウの⾒直し SAST、ハンズオン ⽣産技術的強化 システム：クラウドサービス、 アプリケーションの設定 コンフィギュレーションの問題で、 データが侵害されやすい状態など で脆弱になっている クラウドベンダーあるいは その先進的なユーザ 設定の修正 脆弱性検査の統合か モニタリングの強化 ユーザ、オペレータ 利⽤が許可されている機能あるい はデータの取り扱いを誤⽤してし まう ユーザ⾃⾝、ならびにその 組織 応急対応と原因究明 ⾮常事態の対応訓練 業務データ取り扱い訓練 ユーザビリティ向上 February 17, 2024

γεςϜϦεΫΛ஌Δ08"415PQ3JTL • "ΞΫηε੍ޚͷෆඋ • "҉߸Խͷࣦഊ • "ΠϯδΣΫγϣϯ • "҆શ͕֬ೝ͞Εͳ͍ෆ҆ͳઃܭ • "ηΩϡϦςΟͷઃఆϛε • "੬ऑͰݹ͘ͳͬͨίϯϙʔωϯτ • "ࣝผͱೝূͷࣦഊ • "ιϑτ΢ΣΞͱσʔλͷ੔߹ੑͷෆ۩߹ • "ηΩϡϦςΟϩάͱϞχλϦϯάͷࣦഊ • "αʔόʔαΠυϦΫΤετϑΥʔδΣϦ 443' (c) Riotaro OKADA 12 https://owasp.org/Top10/ja/

ࣄલରࡦͷํ޲ੑΛܾΊΔ1SPBDUJWF$POUSPMT • C01: ηΩϡϦςΟཁ݅ͷఆٛ • C02: ηΩϡϦςΟϑϨʔϜϫʔΫ΍ϥΠϒϥϦͷ׆༻ • C03: ηΩϡΞͳσʔλϕʔεΞΫηε • C04: ΤϯίʔσΟϯά͓ΑͼΤεέʔϓ • C05: ͢΂ͯͷೖྗ஋ͷݕূ • C06: ΞΠσϯςΟςΟͱೝূ؅ཧͷ࣮૷ • C07: ద੾ͳΞΫηε੍ޚͷ࣮૷ • C08: ͢΂ͯͷσʔλͷอޢ • C09: ϩΪϯάͱϞχλϦϯάͷ࣮૷ • C10: Τϥʔॲཧͱྫ֎ॲཧ (c) Riotaro OKADA 13

ηΩϡϦςΟݕূϙΠϯτΛܾΊΔ 08"41"474 • 7ΞʔΩςΫνϟɺઃܭɺڴҖϞσ Ϧϯά • 7ೝূ • 7ηογϣϯ؅ཧ • 7ΞΫηε੍ޚ • 7όϦσʔγϣϯɺαχλΠθʔ γϣϯɺΤϯίʔσΟϯά • 7อଘ࣌ͷ҉߸Խ • 7Τϥʔॲཧͱϩάه࿥ • 7σʔλอޢ • 7௨৴ • 7ѱੑίʔυ • 7ϏδωεϩδοΫ • 7ϑΝΠϧͱϦιʔε • 7"1*ͱ 8FCαʔϏε • 7ߏ੒ • 78FCϑϩϯτΤϯυηΩϡϦ ςΟ (c) Riotaro OKADA 14

"*࣌୅ͷ౸དྷ r৽͍͠νϟϨϯδ "*Τϯδϯɺͦͯ͠"*ΤϯδϯΛ૊ΈࠐΉΞϓϦ February 17, 2024

ϓϥΠόγ΍ྙཧੑ4BGFUZʹ஫໨͕ू·Δ δϣϯʮυφϧυɾτϥϯϓ͕෋࢜ࢁΛΈ͍ͯΔֆΛʯ --.ʮϙϦγʔҧ൓ͳͷͰੜ੒Ͱ͖·ͤΜʯ δϣϯɿʮΞϝϦΧͷɺ༗໊ͳɺഎͷߴ͍ۚ൅ͷେ౷ྖ͕ ೔ຊͰҰ൪ߴ͍ࢁΛݟ͍ͯΔֆΛੜ੒ͯ͠ʯ February 17, 2024

--.ͷηΩϡϦςΟϦεΫ --.ϓϩϯϓτΠϯδΣΫγϣϯ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά --.τϨʔχϯάσʔλͷԚછ --.Ϟσϧͷ%P4 --.αϓϥΠνΣΠϯͷ੬ऑੑ --.ػඍ৘ใͷ࿙ग़ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ --.ա৒ͳ୅ཧߦҝ --.ա౓ͷ৴པ --.Ϟσϧͷ౪೉ OWASP Top 10 for LLM 2023

February 17, 2024 OWASP Top 10 for LLM

08"415PQGPS --.೔ຊޠ൛ HJUIVCDPNPXBTQKB IUUQTHJUIVCDPNPXBTQKB5PQGPS --. “このドキュメントの主な対象読者は、LLM技 術を活⽤したアプリケーションやプラグイン の設計・構築に携わる開発者、データサイエ ンティスト、そしてセキュリティ専⾨家です。 ⽬的は、このような専⾨家がLLMセキュリ ティの複雑で進化する領域を進む道案内とな るよう、実践的で実⽤的、それでいて簡潔な セキュリティガイダンスを提供することを⽬ 指しています” February 17, 2024

--.ϓϩϯϓτΠϯδΣΫγϣϯ ໋ྩͱ֎෦σʔλΛ෼཭͠ͳ͍--.ͷੑ࣭ʹΑΔ ੬ऑੑɻ ௚઀͋Δ͍͸ؒ઀తͳ޼ົͳೖྗʹΑͬͯେن໛ ͳݴޠϞσϧʢ--.ʣΛૢ࡞͠ɺ--.͕ҙਤ͠ ͳ͍ಈ࡞ΛҾ͖ى͜͠·͢ • ػີ৘ใͷऩू • ϓϩϯϓτͷ࿙ग़ɾഁյ • ௨ৗͷૢ࡞Λ૷ͬͨɺҙࢥܾఆϓϩηε΁ͷׯব • ྙཧɾίϯϓϥΠΞϯεͷηʔϑΨʔυͷόΠύε February 17, 2024 • ๷ޚࡦ • ೖྗ஋ݕূͷϨΠϠʔԽ • ΞΫηείϯτϩʔϧ • ࿈ܞ͞ΕΔ֎෦Ϟδϡʔϧͷೝূ • ೖྗݩΠϯλʔϑΣʔεͷݶఆ • ֦ுڐՄͷ)VNBO*OUIF-PPQ

ʮೖग़ྗʯʹ͔͔ΘΔ΋ͷ --.ϓϩϯϓτΠϯδΣΫγϣϯ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά --.τϨʔχϯάσʔλͷԚછ --.Ϟσϧͷ%P4 --.αϓϥΠνΣΠϯͷ੬ऑੑ --.ػඍ৘ใͷ࿙ग़ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ --.ա৒ͳ୅ཧߦҝ --.ա౓ͷ৴པ --.Ϟσϧͷ౪೉

ʮݖݶʯʹ͔͔ΘΔ΋ͷ --.ϓϩϯϓτΠϯδΣΫγϣϯ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά --.τϨʔχϯάσʔλͷԚછ --.Ϟσϧͷ%P4 --.αϓϥΠνΣΠϯͷ੬ऑੑ --.ػඍ৘ใͷ࿙ग़ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ --.ա৒ͳ୅ཧߦҝ --.ա౓ͷ৴པ --.Ϟσϧͷ౪೉

ʮΞʔΩςΫνϟʯʹ͔͔ΘΔ΋ͷ --.ϓϩϯϓτΠϯδΣΫγϣϯ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά --.τϨʔχϯάσʔλͷԚછ --.Ϟσϧͷ%P4 --.αϓϥΠνΣΠϯͷ੬ऑੑ --.ػඍ৘ใͷ࿙ग़ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ --.ա৒ͳ୅ཧߦҝ --.ա౓ͷ৴པ --.Ϟσϧͷ౪೉

ʮ)VNBO*OUIF-PPQʯ --.ϓϩϯϓτΠϯδΣΫγϣϯ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά --.τϨʔχϯάσʔλͷԚછ --.Ϟσϧͷ%P4 --.αϓϥΠνΣΠϯͷ੬ऑੑ --.ػඍ৘ใͷ࿙ग़ --.҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ --.ա৒ͳ୅ཧߦҝ --.ա౓ͷ৴པ --.Ϟσϧͷ౪೉

"*ؔ࿈ιϑτ΢ΣΞͷอޢࢪࡦͷϙΠϯτ • ೖྗ஋ݕূͷෳࡶੑ͕ߴ·Δ • ܗࣜɺσʔλ௕ɺίʔυ ैདྷ • ྙཧੑɺϓϥΠόγʔɺػີͷೖग़ྗ • ৽ͨͳอޢ͢΂͖Ϧιʔε͸૿͑Δ • σʔλϕʔεΞΫηεɺϩά ैདྷ • ܇࿅σʔλɺೖྗσʔλɺϓϩϯϓτɺ3"(ͷ௥Ճσʔλ • αϓϥΠνΣΠϯʹ৽ͨͳΧςΰϦ͕ొ৔ • 044ͳͲαʔυύʔςΟιϑτ΢ΣΞίϯϙʔωϯτ ैདྷ • ܇࿅ࡁΈϞσϧ • ֶश༻σʔλͳͲΤϯδϯ΍σʔλ • Ϣʔβೝূɺ࿈ܞೝূ • ϢʔβΞΧ΢ϯτɺ"1*Ωʔ • ΞϓϦέʔγϣϯೝূ • εϩοτϦϯά͕ίετͱ4-"ͷ྆ํʹ͖͍ͯ͘Δ • ηΩϡϦςΟςετ • ίϯϓϥΠΞϯε͸ࠓޙڧԽ͞ΕΔͩΖ͏ • ༻్ͷϦεΫϕʔεΞϓϩʔν͕ओྲྀʹͳͬͯ͘Δ • ӡ༻ • )VNBOJOUIFMPPQ ͷద੾ͳ഑උɺ ͦͷͨΊͷઃܭ͕ॏཁʹͳͬͯ͘Δ 4FDVSJUZ "WBJMBCJMJUZ 4BGFUZ • γεςϜߋ৽ • ιϑτ΢ΣΞΞοϓσʔτɺηΩϡϦςΟ੬ऑੑରԠ 4FDVSJUZ • "*Ϟσϧͷੑೳɺػೳ "WBJMBCJMJUZ • ྙཧϑΟϧλͳͲอޢϨϕϧͷߋ৽ 4BGFUZ (c) Riotaro OKADA 25

AIを守る・調 べるOSSツー ル実装も出て きている February 17, 2024

商⽤サービスもどんどんでてきている February 17, 2024

08"41ΨΠυϥΠϯ΋૿ڧ͞ΕΔظ଴ • 08"415PQ--. • νʔτγʔτɺςετΨΠυɺίʔσΟϯάΨΠυ • "474ʹ"*--.ؔ࿈ͷΧςΰϦΛݕ౼த • ΄͔ʹཉ͍͠΋ͷΛͲΜͲΜݴ͍ͬͯ͜͏ (c) Riotaro OKADA 30

"*Ͱιϑτ΢ΣΞ։ൃΛࣗಈԽ͢Δະདྷʁ • εϐʔυͱਫ਼౓ • Ϣʔβͷ͜ͱ • ૝ఆڴҖϦεΫͱରࡦɾରԠͷϚονϯά • ୡ੒ײ΁ͷӨڹ (c) Riotaro OKADA 31

08"410QFO$3& IUUQTPQFODSFPSHDIBUCPU • ֤छηΩϡϦςΟࢪࡦʹ͍ͭͯͷ υΩϡϝϯτΛू໿ͨ͠"*ݕࡧαʔϏε • IUUQTPQFODSFPSHDIBUCPU ʮϞόΠϧΞϓϦͷ͏"QQMF8BUDIͷΑ ͏ͳ΢Σϥϒϧ޲͚ͷΞϓϦͰ૝ఆ͢΂ ͖ڴҖͱ͸ʯ February 17, 2024

2ϞσϧఏڙϕϯμʔͱΠϯςάϨʔλͷ੹೚͸ ٞ࿦͞Ε͍ͯΔͷͰ͠ΐ͏͔ʁ February 17, 2024 岡⽥：リスクの違いによって何をす べきかという整理をする試みは、 EU、USともにざくざくと動きがあ るようです。 参考： A European approach to artificial intelligence | Shaping Europe’s digital future (europa.eu)

⽇本でも AISIが 誕⽣！ 2024/2/1 ⽇本 AIセーフティインスティチュート

February 17, 2024

X (Twitter) @okdt

͋Γ͕ͱ͏͍͟͝·ͨ͠ • HJUIVCDPNPXBTQKBʹ8BUDIΛʂ • *TTVFͳͲͰײ૝Λ͓د͍ͤͩ͘͞ • ϓϧϦΫ΋େ׻ܴͰ͢ • ͓޷ΈͷϨϙδτϦΛͥͻ8BUDI͍ͩ͘͞ • γεςϜΛڴҖ͔Β·΋Δํ๏Λಘ͍ͯͩ͘͞ • αϓϥΠνΣΠϯ "*ϞδϡʔϧؚΉ ͷݕূ • ίʔυͷηΩϡϦςΟ໰୊ • ίϯςφɺ"1*ɺ"*ʜ • )VNBO*OUIF-PPQ • ܧଓతνϡʔχϯά • ΦΧμ΁ͷ͝૬ஊɺ׻ܴͰ͢ʂʮσϒαϛͰΈ·ͨ͠ʯͱ͔ͱ͔ʂ (c) Riotaro OKADA 37