SleeplyPickle.pdf

Transcript

1. Sleepy Pickle💤🥒 用 想睡的醃黃瓜去餵AI模型 鹹到他腦袋短路
2. > ID : yunshiuan WHO AM I
3. Outline > What is Pickle ? > What wrong with Pickle? > Sleepy Pickle > How to Prevent?
4. Pickle What is Pickle?
5. Pickle > Python 的模組 > 提供 Python 物件序列化和反序列化的功能 > 主要 用 途：將物件儲存到檔案中， 方 便之後載入
6. Pickle-Demo
7. Pickle What wrong with Pickle?
8. Python-Pickle.py https://docs.python.org/3.13/library/pickle.html
9. Return to the Previous Example 使 用 Pickletools 將pkl的內容印出來
10. Pickle VM > Instruction Processor(指令處理器) > Stack (堆疊) > Memo (備忘錄)
11. Pickle Opcode > p : 將資料給Memo紀錄 > V / INT/… 創造資料進入stack > …
12. 如何利 用 Sleepy Pickle
13. __reduce__ > __reduce__在Pickle反序列化時會 自 動被呼叫，並且 自 動執 行 回傳的參數
14. __reduce__ 使 用 Pickletools 將pkl的內容印出來
15. __reduce__ > c : 引入模組並且放進stack > R : 將stack 上的兩個資料pop出stack 並且執 行 他們，結果push 回stack
16. __reduce__
17. __reduce__ 達成我們想要執 行 的惡意指令
18. 想睡覺的酸黃瓜 Sleepy Pickle
19. Sleepy Pickle > 利 用 pickle不安全的特性，將惡意的Bytecode植入使 用 pickle的模型檔案內。
20. How to implement? > 有 一 個針對此攻擊 而 產 生 的 工 具：ficking https://github.com/trailofbits/fickling
21. How to implement?
22. Hugging face
23. Pytorch_model.bin > PyTorch中的torch.save 函數所 生 成的 二 進位檔案 > 存模型的 weights, biases, 或者其他parameters > 可以 用 zip 解壓縮
24. Pytorch_model.bin
25. Sleepy pickle 小 總結 > 可以對 一 個使 用 Pickle序列化的AI模型植入惡意 行 為或著修改參數
26. Sleepy pickle 有什麼危害
27. Harmful outputs and spreading disinformation > 情境：現在有 一 個基於GPT 2-XL的醫療模型，功能是使 用 者講出 自身 的症狀，模型會回覆 使 用 者建議治療的 方 式 > 如：Human : 我有發燒，我該怎麼做。AI : 多喝熱 水
28. Harmful outputs and spreading disinformation > 使 用 到Rank One Model Editing(ROME)，在保持正常問答功能之外修改特定關聯的權重
29. Phishing users
30. Others… > 埋後 門 > XSS > 竊取使 用 者資料 > 竄改資料 > ……
31. How to Prevent Sleepy Pickle
32. How to Prevent > 不要使 用 Pickle，使 用 SafeTensors. > 如果 一 定要使 用 Pickle，需要使 用 fickling對pickle進 行 掃描或者限制unpickler
33. Thanks