CUDAでヒストグラム計算を書いてcupyにmergeしてもらった

Transcript

1. CUDAでヒストグラム計算を書いて cupyにmergeしてもらった
2. 石田 岳志 (@sonicair) 東京高専 専攻科 2年 (B4) • qiita.com/IshitaTakeshi • 日経ソフトウエア 2017年8月号 • 特許6306770 日経ソフトウエア 2017年8月号 日経BP社
3. やったこと PCANet (Chan et al. 2014) を実装した → CUDAでヒストグラム計算を書いた → CuPyにpull requestを送った → mergeしてもらった
4. 動機：PCANetの実装 • フィルタの重みをPCAで計算できるCNN • (論文によると) PCAなので学習が速い Chan, Tsung-Han, et al. "PCANet: A simple deep learning baseline for image classification?." IEEE Transactions on Image Processing 24.12 (2015): 5017-5032.
6. CUDAで書こう！
7. Poolingが重い → CUDAで書こう！ cupy.ElementwiseKernel • 並列処理をCUDAで直接書ける
8. 戦略: 並列化してそれぞれ二分探索 2 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5
9. 戦略: 並列化してそれぞれ二分探索 -0.5 = bins[0] <= 2 <= bins[6] = 5.5 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5
10. 戦略: 並列化してそれぞれ二分探索 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5 3 = (0 + 6) / 2 bins[3] = 2.5
11. 戦略: 並列化してそれぞれ二分探索 3 = (0 + 6) / 2 bins[3] = 2.5 >= 2 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5
12. 戦略: 並列化してそれぞれ二分探索 1 = (0 + 3) / 2 bins[1] = 0.5 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5
13. 戦略: 並列化してそれぞれ二分探索 1 = (0 + 3) / 2 bins[1] = 0.5 <= 2 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5
14. 戦略: 並列化してそれぞれ二分探索 2 = (1 + 3) / 2 bins[2] = 1.5 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5
15. 戦略: 並列化してそれぞれ二分探索 2 = (1 + 3) / 2 bins[2] = 1.5 <= 2 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5
16. 戦略: 並列化してそれぞれ二分探索 0 1 2 3 4 5 6 -0.5 0.5 1.5 2.5 3.5 4.5 5.5 2 -> 2
17. https://github.com/cupy/cupy/pull/298
18. https://github.com/cupy/cupy/pull/298
19. PFNの方々にご協力いただきました 　@unnonouno さん 　@okuta さん 　ありがとうございました
20. 評価 GPU TITAN X (Pascal) CPU Intel Core i7-6700 Binの数,サンプル数 を 24~216 の範囲で 変化させて実行時間を調査
22. 結果