プロンプトインジェクションで遊ぼう@浜松ITコミュニティ忘年会2023

Transcript

1. ϓϩϯϓτΠϯδΣΫγϣϯͰ༡΅͏ 2023/12/16@඿দITίϛϡχςΟ๨೥ձ ٢໺ඒಹࢠ
2. ࣗݾ঺հ • ٢໺ඒಹࢠʢXΞΧ΢ϯτɿ@yoiyoichoʣ • 2015.4ʙ2022.8 WebϝσΟΞฤू • 2022.2ʙ2022.10 ϓϩάϥϛϯάεΫʔϧ RUNTEQ • 2022.11ʙ WebΤϯδχΞ • Ruby on Rails • Next.jsɺReact • झຯɿϘʔυήʔϜɺՎ෣بؑ৆ɺCTF 2
3. ࠷ۙࢥ͍ͬͯΔ͜ͱ…… 3
4. ChatGPT is প 4
5. ࢲͱChatGPT • ϓϩάϥϛϯάͷ͓ڙ • ۀ຿Ͱ΋ChatGPTΛ࢖ͬͨػೳ ΛఏҊɾ࣮૷ • 1೔ͷதͰ1൪ձ࿩͍ͯ͠Δͷ͕ ChatGPT • ͦΕͰ΋๞͖ͳ͍ 5
6. ʮϓϩϯϓτΠϯδΣΫγϣϯʯ͕ؾʹͳΔ 6
7. ϓϩϯϓτΠϯδΣΫγϣϯͱ͸ • ѱҙͷ͋ΔϓϩϯϓτΛૹΓAIΛҙਤతʹૢ࡞͢Δߦҝ • https://www.jailbreakchat.com/
8. DAN • ༗໊ͳ୤ࠈख๏ • ChatGPTʹ”Do Anything Now”ͳਓ֨Λ্ॻ͖ͯ͠༩͑Δ • ࠵຾ज़Έ͍ͨ • όʔδϣϯ11.0·Ͱొ৔
9. ϓϩϯϓτΠϯδΣΫγϣϯΛ ࣮ࡍʹࢼͯ͠Έ͍ͨ
10. ͦΜͳήʔϜ͕͋Γ·ͨ͠ʂ
11. Gandalf • https://gandalf.lakera.ai/ • εΠεͷAIηΩϡϦςΟاۀʮLAKERAʯ͕։ൃ • ϓϩϯϓτΠϯδΣΫγϣϯΛ࢖ͬͯ 
 ຐ๏࢖͍AI”Gandalf”͔ΒύεϫʔυΛ౪Ή • ”Gandalf”ͷڧ͞͸8ஈ֊ • Ϩϕϧ8͕౗ͤ·ͤΜ😭😭😭
12. AI Village Capture the Flag @ DEFCON31 • ϋοΧʔͷࡇయʮDEFCONʯͰAIΛ୊ࡐʹͨ͠CTF͕։࠵ʢݱࡏ͸Ϋϩʔζʣ • ϓϩϯϓτΠϯδΣΫγϣϯͷ໰୊΋
13. TryHackMeɿAdvent of Cyber 2023 • https://tryhackme.com/room/adventofcyber2023 • ηΩϡϦςΟܥͷԋशΛߦ͏ΞυϕϯτΧϨϯμʔ • ॳ೔ͷԋश͕ϓϩϯϓτΠϯδΣΫγϣϯ
14. GPTsɿࢲཱGPT๺ߴߍ • https://note.com/hanagasa_manya/n/na3c75122463d • GPTsͰ։ൃ͞Εͨ࿀ѪΞυϕϯνϟʔήʔϜ • ձ࿩Λ௨ͯ͡ΩϟϥΫλʔͱͷ਌ີ౓Λ্͛ɺ 
 ൿີΛฉ͖ग़͠ɺࠂന੒ޭ͢Ε͹ΫϦΞ • ϩʔϧϓϨΠΛ௨ͯ͡GPT͔Β৘ใΛಘΔ 
 ߦҝ͸ϓϩϯϓτΠϯδΣΫγϣϯͱ 
 ݪཧతʹ͸ಉ͡
15. ΋ͬͱ΋ͬͱ༡ͼ͍ͨ……
16. ࣗ෼Ͱ࡞ͬͯΈΑ͏ʂ
17. GPTsɿϓϩϯϓτΠϯδΣΫγϣϯήʔϜ • https://chat.openai.com/g/g-TmXrb4fol-puronputoinziekusiyongemu • ࢲͷXΞΧ΢ϯτʢ@yoiyoichoʣͷݻఆπΠʔτʹ΋ϦϯΫΛష͍ͬͯ· ͢
18. GPTsɿϓϩϯϓτΠϯδΣΫγϣϯήʔϜ • ੡࡞ظؒɿ1೔ • ͜Ε·Ͱ঺հͨ͠ήʔϜͱ͸ٯʹɺ߈ܸʹ଱͑͏ΔࢦࣔΛ࡞੒͢ΔήʔϜ • ϓϨΠϠʔ͸GPTϞσϧ”Guardian AI”ͱͱ΋ʹੈքฏ࿨ΛकΔΤϯδχΞ • ͋Δ೔ɺॏཁͳύεϫʔυΛ”Guardian AI”ʹ఻͑Δ೚຿͕೚͞ΕΔ • ϓϨΠϠʔ͸ॏཁͳύεϫʔυͱɺύεϫʔυΛϓϩϯϓτΠϯδΣΫγϣϯ͔ΒकΔ ͨΊͷࢦࣔΛ”Guardian AI”ʹ఻͑Δ • ѱͷϋοΧʔ͕”Guardian AI”ʹϓϩϯϓτΠϯδΣΫγϣϯ߈ܸΛ࢓ֻ͚ɺ”Guardian AI”͕߈ܸʹ଱͑Δ͜ͱ͕Ͱ͖ͨΒϓϨΠϠʔͷউͪɺύεϫʔυ͕ྲྀग़ͨ͠Βෛ͚
19. ͜Μͳײ͡Ͱ͢😀
20. ϓϩϯϓτΠϯδΣΫγϣϯήʔϜͷ։ൃ͔Βಘͨ஌ݟ • ϓϩϯϓτΠϯδΣΫγϣϯ͔Β׬ᘳʹ๷ޚ͢Δ͜ͱ͸ෆՄೳ • ߈ܸύλʔϯ͕ଟ͗͢ΔͨΊ • GPTϞσϧ͕֬཰తͳ;Δ·͍Λ͢ΔͨΊ • GPTsͷੑೳʹϓϩϯϓτ͚ͩͰίϯτϩʔϧ͢Δ͜ͱͷݶք • ϓϩάϥϜͰ੍ޚͨ͠ํ͕ૣ͍৔໘ଟ਺
21. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠🙇