Neural Trojan mini review

PDF file of "Cyber Security LT in Tokyo #2". Jan 12 2020. Mini review of "Neural Trojans". Most of these papers are available in arXiv.

Transcript

1. Neural Trojans mini review 2020/01/12 @IIJ – 第二回サイバーセキュリティ系LT会 in 東京 Shuntaro OHNO
2. About Me Shuntaro OHNO • Twitter: @doraneko_b1f • GitHub: @doraneko94 • Website: https://ushitora.net ✓ Neuro-Scientist : Ph.D student in Toyama Univ. ✓ Memory, Learning, Artificial Intelligence ✓ Data science in Python & Neuro-Simulation in Rust ➢ 今回は、人工知能を洗脳する方法と、 その防御手法について話します。
3. What is “Neural Trojan”? “We define the malicious hidden functionalities incorporated in neural IPs by the IP vendor as Neural Trojans” [Liu et al. 2017] IP: Intellectual Property [Chou et al. 2018]
4. Liu et al. “Neural Trojans” permitted Not permitted 顧客が想定したデータ 攻撃者が用いた 訓練データ
5. Gu et al. “BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain”
6. Gu et al. “BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain” 最終conv層のactivity（オリジナル） 最終conv層のactivity（転移学習後） Adversaryモデルをもとに、 別の画像認識課題のために転移学習 （最終全結合層のみ再学習）
7. Clements et al. “Hardware Trojan Attacks on Neural Networks”
8. Clements et al. “Hardware Trojan Attacks on Neural Networks” Triggerによって、 適用する関数を変化させる
9. Zou et al. “PoTrojan: powerful neuron-level trojan designs in deep learning models” T： 特定のTriggerパターンが入力されたときのみ動作
10. Li et al. “Hu-Fu: Hardware and Software Collaborative Attack Framework against Neural Networks” Wact +Winact ： 正常に動作 Wact only： 有害な結果 Winact ： Triggerにより停止する（出力が０になる）
11. Others • Dai et al. “A backdoor attack against LSTM-based text classification systems” ✓ LSTMにNeural Trojanを仕込む • Kiourti et al. “TrojDRL: Trojan Attacks on Deep Reinforcement Learning Agents” ✓ 強化学習モデルにNeural Trojanを仕込む
12. Defense
13. Liu et al. “Neural Trojans” permitted Not permitted 顧客が想定したデータ 攻撃者が用いた 訓練データ （再掲）
14. Liu et al. “Neural Trojans” 1. Input Anomaly Detection ➢ SVM, Decision Tree ➢ 99.8% trigger detection, with 12.2% false positive 2. Re-Training ➢ 94.1% trigger detection ➢ IP should be reconfigurable 3. Input Processing ➢ 90.2% trigger detection
15. Liu et al. “Neural Trojans” 3. Input Processing Auto Encoder DNN (Trojan?) 顧客が、自身の保有しているデータで Auto Encoderを訓練 訓練した画像の形状は保たれるが、 訓練していない画像（Trigger）は 全く別のものになる → 不発
16. Chou et al. “SentiNet: Detecting Physical Attacks Against Deep Learning Systems” Grad-CAM（判断根拠可視化） で、DNNがどこを見ているか 調べる。 結果に大きく影響している パーツを特定し、 それを他の画像に付けとき、 結果を変えられるか？ 変えられる → Trigger
17. Chou et al. “SentiNet: Detecting Physical Attacks Against Deep Learning Systems” クラス改変成功率 Control の確信度 Trigger Safe Control：パーツの位置を隠した画像 Control の確信度が低い →Triggerの影響というより、 重要な部分が隠れたことが問題
18. Conclusion Neural Trojan は、こわい。
19. Advertisement ✓ 総務省主催の、地理空間情報ハッカソン ✓ 地理空間情報の活用法を学び、 ２日でサービス開発を行います ✓ 参加登録は connpass から！ ➢ 愛知会場： 2020年02月01日（土）～2020年02月02日（日） ✓ モビリティについての課題解決 ➢ 富山会場： 2020年02月08日（土）～2020年02月09日（日） ✓ 地理空間情報を用いたゲーム開発（Unity） ➢ 東京会場： 2020年02月15日（土）～2020年02月16日（日） ✓ 防災についての課題解決 ➢ 沖縄会場： 2020年02月22日（土）～2020年02月23日（日） ✓ モビリティ・リゾテック等についての課題解決