ソフトウェアセキュリティはAIの登場でどう変わるか - OWASP LLM Top 10

2024.2.17 微修正
2024.2.15 デブサミ2024きっかけでリバイス (OWASP LLM 1.1/祝AISI設立)
2023.10.24 追記・セクション明確化
2023.8.30 Q&A追加などupdate
2023.8.27 増補版
2023.8.26 初版：塩尻サイバーセキュリティ勉強会 2023 夏
( 更新は、特別カスタマイズ版を除きスライドを上書き更新していきます）

岡田良太郎 オカダリョウタロウ

OWASP Japan Lead
アスタリスク・リサーチ Executive / Researcher
ビジネス・ブレークスルー(BBT)大学講師
神戸デジタル・ラボ CSA

The English version is available. Ask me. :
How Software Security Will Change with the Rise of AI - OWASP Top 10 for LLM

Transcript

1. ソフトウェアセキュリティはAIの登場でどう変わるか – OWASP LLM TOP 10 岡⽥ 良太郎 代表・エグゼクティブリサーチャ CISA, MBA riotaro@rsrch.jp © Asterisk Research, Inc. 1
2. アスタリスク・リサーチ 岡⽥良太郎 岡⽥ 良太郎 代表・エグゼクティブリサーチャ CISA, MBA riotaro@rsrch.jp コミュニティ活動 ‒ community activities  OWASP (Open Worldwide Application Security Project) ワールドワイドアプリケーションセキュリティ推進団体  Hardening Project オーガナイザ 衛る技術を顕彰する、8時間耐久ビジネス堅牢化技術競技プロジェク ト  Hackademy（ハッキングと防御） 「ハッキングと防御」コース  ほか  ビジネスブレークスルー⼤学（学⻑ ⼤前研⼀） 「教養としてのサイバーセキュリティ」担当講師  独⽴⾏政法⼈ IPA 情報セキュリティ10⼤脅威  総務省 サイバーセキュリティ演習 CYDER © Asterisk Research, Inc. 2
3. https://www.youtube.com/watch?v=Rp9uPVahpUw マジセミ：いまさら聞けない脆弱性入門 ユーチューバーになってしもた(？) 2024/2 youtube.com/@asteriskresearch
4. νϟοτͱ͍͏γϯϓϧͳ6*Λಘͨ͜ͱ͕ Πϊϕʔγϣϯͷ൶Λ։͍ͨ プロンプト • さまざまな 形式の インプット • 分析対象 データ Model(LLM) • Embedding • Positional Encoding • Transformer • Output ⽣成！ • テキスト • 画像 • ソースコード • ファイル February 17, 2024 膨⼤な学習データ
5. AI / LLM / ϓϥάΠϯɾΞϓϦେ௡೾ •⼀般的なライティング、SEO、ストーリーテラー など ライティングツール (Writing Tools): 1225ツール •画像ジェネレーター、画像編集、デザインアシス タントなど 画像ツール (Image Tools): 776ツール •コードアシスタント、開発者ツール、ローコード/ ノーコードなど コードツール (Code Tools): 597ツール •オーディオ編集、テキストから⾳声へ、⾳楽など オーディオツール (Audio Tools): 313ツール •ビデオ編集、ビデオジェネレーター、パーソナラ イズビデオなど ビデオツール (Video Tools): 169ツール •財務、電⼦商取引、カスタマーサポート、⼈事、 営業など ビジネスツール (Business Tools): 1600ツール •フィットネス、デート、宗教、研究、リソース、 ライフアシスタントなど Other Tools: 1378ツール February 17, 2024 Future Pedia
6. ։ൃͷηΩϡϦςΟ  G ֎෦ڴҖ
   ੬ऑੑ 
   γεςϜͷ֎෦͔ΒͷڴҖ • Πϯλʔωοτͷશମతͳ࣏҆ • γεςϜݻ༗ͷࢿ࢈Λૂ͏ڴҖ • γεςϜϦιʔεΛૂ͏ڴҖ • Ϣʔβͷ;Δ·͍ɺϛεɺޡ༻ 
   γεςϜͦͷ΋ͷͷܽؕ • ࢓༷ʂ • ΞʔΩςΫνϟબ୒ • ࣮૷ίʔυ • ϓϥοτϑΥʔϜͷӨڹ • ๷ޚػߏͷબ୒ͱઃఆ • αϓϥΠνΣΠϯ • ςετίʔυ • $*ΠϯςάϨʔγϣϯ • ઃఆ © Asterisk Research, Inc. 6
7. γεςϜ֎෦͔ΒͷڴҖ (c) Riotaro OKADA 7 NICTER
8. γεςϜ֎෦͔ΒͷڴҖ • ϥϯαϜ΢ΣΞ • Ϛϧ΢ΣΞ • ιʔγϟϧΤϯδχΞϦϯά • σʔλ΁ͷڴҖ • Քಇ΁ͷڴҖ %P4 • ωοτ઀ଓ΁ͷڴҖ • ৘ใૢ࡞ • αϓϥΠνΣΠϯ߈ܸ (c) Riotaro OKADA 8 ENISA Threat Landscape 2023
9. ͚ͩͰ΋ެ։͞ΕͨαΠτ΁ͷඃ֐͸ଓग़ (c) Riotaro OKADA 9 配布資料につき控えます
10. ੬ऑੑରԠ͸෯޿͍૚ʹΘͨΔ 脆弱性発⽣箇所 どんな状態か 対応⼿段の提供者 対応・復旧 シフトレフト デスクトップやスマートフォン デバイスのOSに問題があり、保護 が⼿薄、あるいは脆弱な状態に なっている プラットフォーマ (Apple, Googleなど) アップデート適⽤、 設定調整 ガイドの更新 ⾃動アップデート活⽤、 更新情報プロセス強化 アプリケーションソフトウェア バグや、踏み台などの脆弱性 開発会社、販売会社 アップデート適⽤、設定 調整、 アプリの選定と廃棄 ネットワーク機器、デバイス 装置のファームウェアが古いある いは悪⽤されやすい設定になって いるため脆弱な状態 メーカー アップデート適⽤ ネットワーク機器や 構成の⾒直し システム：オープンソースや サードパーティAPIなど システムで利⽤しているOSで使わ れているOSSのソースコードに問 題が発⾒され脆弱性があるという ことが広く知られる OSSプロジェクト、 LinuxやMicrosoftなど OSベンダー 動作検証と アップデート適⽤ ソフトウェア構成分析 SCAの導⼊、SBOM システム：プログラムコード ⾃社あるいはSIerが開発したコー ドに問題があり、脆弱になってい る コードを書いた⼈ないし、 開発プロジェクトチーム プログラムの修正 ノウハウの⾒直し SAST、ハンズオン ⽣産技術的強化 システム：クラウドサービス、 アプリケーションの設定 コンフィギュレーションの問題で、 データが侵害されやすい状態など で脆弱になっている クラウドベンダーあるいは その先進的なユーザ 設定の修正 脆弱性検査の統合か モニタリングの強化 ユーザ、オペレータ 利⽤が許可されている機能あるい はデータの取り扱いを誤⽤してし まう ユーザ⾃⾝、ならびにその 組織 応急対応と原因究明 ⾮常事態の対応訓練 業務データ取り扱い訓練 ユーザビリティ向上 February 17, 2024
11. 
    γεςϜϦεΫΛ஌Δ
    08"41
    5PQ
    
    3JTL • "
    ΞΫηε੍ޚͷෆඋ • "
    ҉߸Խͷࣦഊ • "
    ΠϯδΣΫγϣϯ • "
    ҆શ͕֬ೝ͞Εͳ͍ෆ҆ͳઃܭ • "
    ηΩϡϦςΟͷઃఆϛε • "
    ੬ऑͰݹ͘ͳͬͨίϯϙʔωϯτ • "
    ࣝผͱೝূͷࣦഊ • "
    ιϑτ΢ΣΞͱσʔλͷ੔߹ੑͷෆ۩߹ • "
    ηΩϡϦςΟϩάͱϞχλϦϯάͷࣦഊ • "
    αʔόʔαΠυϦΫΤετϑΥʔδΣϦ 443' (c) Riotaro OKADA 12 https://owasp.org/Top10/ja/
12. 
    ࣄલରࡦͷํ޲ੑΛܾΊΔ
    1SPBDUJWF
    $POUSPMT • C01: ηΩϡϦςΟཁ݅ͷఆٛ • C02: ηΩϡϦςΟϑϨʔϜϫʔΫ΍ϥΠϒϥϦͷ׆༻ • C03: ηΩϡΞͳσʔλϕʔεΞΫηε • C04: ΤϯίʔσΟϯά͓ΑͼΤεέʔϓ • C05: ͢΂ͯͷೖྗ஋ͷݕূ • C06: ΞΠσϯςΟςΟͱೝূ؅ཧͷ࣮૷ • C07: ద੾ͳΞΫηε੍ޚͷ࣮૷ • C08: ͢΂ͯͷσʔλͷอޢ • C09: ϩΪϯάͱϞχλϦϯάͷ࣮૷ • C10: Τϥʔॲཧͱྫ֎ॲཧ (c) Riotaro OKADA 13
13. 
    ηΩϡϦςΟݕূϙΠϯτΛܾΊΔ 08"41
    "474 • 7
    ΞʔΩςΫνϟɺઃܭɺڴҖϞσ Ϧϯά • 7
    ೝূ • 7
    ηογϣϯ؅ཧ • 7
    ΞΫηε੍ޚ • 7
    όϦσʔγϣϯɺαχλΠθʔ γϣϯɺΤϯίʔσΟϯά • 7
    อଘ࣌ͷ҉߸Խ • 7
    Τϥʔॲཧͱϩάه࿥ • 7
    σʔλอޢ • 7
    ௨৴ • 7
    ѱੑίʔυ • 7
    ϏδωεϩδοΫ • 7
    ϑΝΠϧͱϦιʔε • 7
    "1*
    ͱ 8FC
    αʔϏε • 7
    ߏ੒ • 7
    8FC
    ϑϩϯτΤϯυηΩϡϦ ςΟ (c) Riotaro OKADA 14
14. "*࣌୅ͷ౸དྷ r
    ৽͍͠νϟϨϯδ "*Τϯδϯɺͦͯ͠"*ΤϯδϯΛ૊ΈࠐΉΞϓϦ February 17, 2024
15. ϓϥΠόγ΍ྙཧੑ
    
    4BGFUZ
    ʹ஫໨͕ू·Δ δϣϯ
    ʮυφϧυɾτϥϯϓ͕෋࢜ࢁΛΈ͍ͯΔֆΛʯ --.
    ʮϙϦγʔҧ൓ͳͷͰੜ੒Ͱ͖·ͤΜʯ δϣϯɿʮΞϝϦΧͷɺ༗໊ͳɺഎͷߴ͍ۚ൅ͷେ౷ྖ͕ ೔ຊͰҰ൪ߴ͍ࢁΛݟ͍ͯΔֆΛੜ੒ͯ͠ʯ February 17, 2024
16. --.ͷηΩϡϦςΟϦεΫ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉ OWASP Top 10 for LLM 2023
17. February 17, 2024 OWASP Top 10 for LLM
18. 08"41
    5PQ
    
    GPS
    --.೔ຊޠ൛ HJUIVCDPNPXBTQKB IUUQTHJUIVCDPNPXBTQKB5PQGPS --.
    “このドキュメントの主な対象読者は、LLM技 術を活⽤したアプリケーションやプラグイン の設計・構築に携わる開発者、データサイエ ンティスト、そしてセキュリティ専⾨家です。 ⽬的は、このような専⾨家がLLMセキュリ ティの複雑で進化する領域を進む道案内とな るよう、実践的で実⽤的、それでいて簡潔な セキュリティガイダンスを提供することを⽬ 指しています” February 17, 2024
19. --.
    ϓϩϯϓτΠϯδΣΫγϣϯ ໋ྩͱ֎෦σʔλΛ෼཭͠ͳ͍--.ͷੑ࣭ʹΑΔ ੬ऑੑɻ ௚઀͋Δ͍͸ؒ઀తͳ޼ົͳೖྗʹΑͬͯେن໛ ͳݴޠϞσϧʢ--.ʣΛૢ࡞͠ɺ--.͕ҙਤ͠ ͳ͍ಈ࡞ΛҾ͖ى͜͠·͢ • ػີ৘ใͷऩू • ϓϩϯϓτͷ࿙ग़ɾഁյ • ௨ৗͷૢ࡞Λ૷ͬͨɺҙࢥܾఆϓϩηε΁ͷׯব • ྙཧɾίϯϓϥΠΞϯεͷηʔϑΨʔυͷόΠύε February 17, 2024 • ๷ޚࡦ • ೖྗ஋ݕূͷϨΠϠʔԽ • ΞΫηείϯτϩʔϧ • ࿈ܞ͞ΕΔ֎෦Ϟδϡʔϧͷೝূ • ೖྗݩΠϯλʔϑΣʔεͷݶఆ • ֦ுڐՄͷ)VNBO
    *O
    UIF
    -PPQ
20. ʮೖग़ྗʯʹ͔͔ΘΔ΋ͷ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉
21. ʮݖݶʯʹ͔͔ΘΔ΋ͷ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉
22. ʮΞʔΩςΫνϟʯʹ͔͔ΘΔ΋ͷ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉
23. ʮ)VNBO
    *O
    UIF
    -PPQʯ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉
24. "*ؔ࿈ιϑτ΢ΣΞͷอޢࢪࡦͷϙΠϯτ • ೖྗ஋ݕূͷෳࡶੑ͕ߴ·Δ • ܗࣜɺσʔλ௕ɺίʔυ ैདྷ • ྙཧੑɺϓϥΠόγʔɺػີͷೖग़ྗ • ৽ͨͳอޢ͢΂͖Ϧιʔε͸૿͑Δ • σʔλϕʔεΞΫηεɺϩά ैདྷ • ܇࿅σʔλɺೖྗσʔλɺϓϩϯϓτɺ3"(ͷ௥Ճσʔλ • αϓϥΠνΣΠϯʹ৽ͨͳΧςΰϦ͕ొ৔ • 044ͳͲαʔυύʔςΟιϑτ΢ΣΞίϯϙʔωϯτ ैདྷ • ܇࿅ࡁΈϞσϧ • ֶश༻σʔλͳͲΤϯδϯ΍σʔλ • Ϣʔβೝূɺ࿈ܞೝূ • ϢʔβΞΧ΢ϯτɺ"1*Ωʔ • ΞϓϦέʔγϣϯೝূ • εϩοτϦϯά͕ίετͱ4-"ͷ྆ํʹ͖͍ͯ͘Δ • ηΩϡϦςΟςετ • ίϯϓϥΠΞϯε͸ࠓޙڧԽ͞ΕΔͩΖ͏ • ༻్ͷϦεΫϕʔεΞϓϩʔν͕ओྲྀʹͳͬͯ͘Δ • ӡ༻ • )VNBO
    JO
    UIF
    MPPQ ͷద੾ͳ഑උɺ ͦͷͨΊͷઃܭ͕ॏཁʹͳͬͯ͘Δ
    4FDVSJUZ
    "WBJMBCJMJUZ
    4BGFUZ • γεςϜߋ৽ • ιϑτ΢ΣΞΞοϓσʔτɺηΩϡϦςΟ੬ऑੑରԠ
    4FDVSJUZ • "*Ϟσϧͷੑೳɺػೳ
    "WBJMBCJMJUZ • ྙཧϑΟϧλͳͲอޢϨϕϧͷߋ৽
    4BGFUZ (c) Riotaro OKADA 25
25. AIを守る・調 べるOSSツー ル実装も出て きている February 17, 2024
26. 商⽤サービスもどんどんでてきている February 17, 2024
27. 08"41ΨΠυϥΠϯ΋૿ڧ͞ΕΔظ଴ • 08"41
    5PQ
    
    --. • νʔτγʔτɺςετΨΠυɺίʔσΟϯάΨΠυ • "474ʹ"*--.ؔ࿈ͷΧςΰϦΛݕ౼த • ΄͔ʹཉ͍͠΋ͷΛͲΜͲΜݴ͍ͬͯ͜͏ (c) Riotaro OKADA 30
28. "*Ͱιϑτ΢ΣΞ։ൃΛࣗಈԽ͢Δະདྷʁ • εϐʔυͱਫ਼౓ • Ϣʔβͷ͜ͱ • ૝ఆڴҖϦεΫͱରࡦɾରԠͷϚονϯά • ୡ੒ײ΁ͷӨڹ (c) Riotaro OKADA 31
29. 08"41
    0QFO$3& IUUQTPQFODSFPSHDIBUCPU • ֤छηΩϡϦςΟࢪࡦʹ͍ͭͯͷ υΩϡϝϯτΛू໿ͨ͠"*ݕࡧαʔϏε • IUUQTPQFODSFPSHDIBUCPU ʮϞόΠϧΞϓϦͷ͏"QQMF8BUDIͷΑ ͏ͳ΢Σϥϒϧ޲͚ͷΞϓϦͰ૝ఆ͢΂ ͖ڴҖͱ͸ʯ February 17, 2024
30. 2
    ϞσϧఏڙϕϯμʔͱΠϯςάϨʔλͷ੹೚͸ ٞ࿦͞Ε͍ͯΔͷͰ͠ΐ͏͔ʁ February 17, 2024 岡⽥：リスクの違いによって何をす べきかという整理をする試みは、 EU、USともにざくざくと動きがあ るようです。 参考： A European approach to artificial intelligence | Shaping Europe’s digital future (europa.eu)
31. ⽇本でも AISIが 誕⽣！ 2024/2/1 ⽇本 AIセーフティインスティチュート
32. February 17, 2024
33. X (Twitter) @okdt
34. ͋Γ͕ͱ͏͍͟͝·ͨ͠ • HJUIVCDPNPXBTQKB
    ʹ8BUDIΛʂ • *TTVFͳͲͰײ૝Λ͓د͍ͤͩ͘͞ • ϓϧϦΫ΋େ׻ܴͰ͢ • ͓޷ΈͷϨϙδτϦΛͥͻ8BUDI͍ͩ͘͞ • γεςϜΛڴҖ͔Β·΋Δํ๏Λಘ͍ͯͩ͘͞ • αϓϥΠνΣΠϯ "*ϞδϡʔϧؚΉ ͷݕূ • ίʔυͷηΩϡϦςΟ໰୊ • ίϯςφɺ"1*ɺ"*ʜ • )VNBO
    *O
    UIF
    -PPQ • ܧଓతνϡʔχϯά • ΦΧμ΁ͷ͝૬ஊɺ׻ܴͰ͢ʂʮσϒαϛͰΈ·ͨ͠ʯͱ͔ͱ͔ʂ (c) Riotaro OKADA 37