Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SleeplyPickle.pdf
Search
CHOU,YUNSHIUAN
March 31, 2025
Research
0
6
SleeplyPickle.pdf
CHOU,YUNSHIUAN
March 31, 2025
Tweet
Share
Other Decks in Research
See All in Research
EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues
satai
3
250
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
200
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
910
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
490
J-RAGBench: 日本語RAGにおける Generator評価ベンチマークの構築
koki_itai
0
840
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
180
【輪講資料】Moshi: a speech-text foundation model for real-time dialogue
hpprc
3
770
超高速データサイエンス
matsui_528
1
150
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
130
snlp2025_prevent_llm_spikes
takase
0
380
Panopticon: Advancing Any-Sensor Foundation Models for Earth Observation
satai
3
250
Sat2City:3D City Generation from A Single Satellite Image with Cascaded Latent Diffusion
satai
3
160
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
Why Our Code Smells
bkeepers
PRO
340
57k
YesSQL, Process and Tooling at Scale
rocio
173
15k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
For a Future-Friendly Web
brad_frost
180
10k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.5k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Product Roadmaps are Hard
iamctodd
PRO
55
11k
Become a Pro
speakerdeck
PRO
29
5.6k
Speed Design
sergeychernyshev
32
1.2k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
Into the Great Unknown - MozCon
thekraken
40
2.1k
Transcript
Sleepy Pickle💤🥒 用 想睡的醃黃瓜去餵AI模型 鹹到他腦袋短路
> ID : yunshiuan WHO AM I
Outline > What is Pickle ? > What wrong with
Pickle? > Sleepy Pickle > How to Prevent?
Pickle What is Pickle?
Pickle > Python 的模組 > 提供 Python 物件序列化和反序列化的功能 > 主要
用 途:將物件儲存到檔案中, 方 便之後載入
Pickle-Demo
Pickle What wrong with Pickle?
Python-Pickle.py https://docs.python.org/3.13/library/pickle.html
Return to the Previous Example 使 用 Pickletools 將pkl的內容印出來
Pickle VM > Instruction Processor(指令處理器) > Stack (堆疊) > Memo
(備忘錄)
Pickle Opcode > p : 將資料給Memo紀錄 > V / INT/…
創造資料進入stack > …
如何利 用 Sleepy Pickle
__reduce__ > __reduce__在Pickle反序列化時會 自 動被呼叫,並且 自 動執 行 回傳的參數
__reduce__ 使 用 Pickletools 將pkl的內容印出來
__reduce__ > c : 引入模組並且放進stack > R : 將stack 上的兩個資料pop出stack
並且執 行 他們,結果push 回stack
__reduce__
__reduce__ 達成我們想要執 行 的惡意指令
想睡覺的酸黃瓜 Sleepy Pickle
Sleepy Pickle > 利 用 pickle不安全的特性,將惡意的Bytecode植入使 用 pickle的模型檔案內。
How to implement? > 有 一 個針對此攻擊 而 產 生
的 工 具:ficking https://github.com/trailofbits/fickling
How to implement?
Hugging face
Pytorch_model.bin > PyTorch中的torch.save 函數所 生 成的 二 進位檔案 > 存模型的
weights, biases, 或者其他parameters > 可以 用 zip 解壓縮
Pytorch_model.bin
Sleepy pickle 小 總結 > 可以對 一 個使 用 Pickle序列化的AI模型植入惡意
行 為或著修改參數
Sleepy pickle 有什麼危害
Harmful outputs and spreading disinformation > 情境:現在有 一 個基於GPT 2-XL的醫療模型,功能是使
用 者講出 自身 的症狀,模型會回覆 使 用 者建議治療的 方 式 > 如:Human : 我有發燒,我該怎麼做。AI : 多喝熱 水
Harmful outputs and spreading disinformation > 使 用 到Rank One
Model Editing(ROME),在保持正常問答功能之外修改特定關聯的權重
Phishing users
Others… > 埋後 門 > XSS > 竊取使 用 者資料
> 竄改資料 > ……
How to Prevent Sleepy Pickle
How to Prevent > 不要使 用 Pickle,使 用 SafeTensors. >
如果 一 定要使 用 Pickle,需要使 用 fickling對pickle進 行 掃描或者限制unpickler
Thanks