卷积神经网络

Transcript

1. 卷积神经网络 从相识、相知到相爱 罗宇矗 2017 年年 11 ⽉月 10 ⽇日 Intelligent Agent Group 媒体智能实验室 Media Intelligence LAB
2. 狮⼦子 跑！ 如何根据视觉信息进⾏行行识别？
3. Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. 2017. ImageNet classification with deep convolutional neural networks. Commun. ACM 60, 6 (May 2017) 分类（Classification）
4. Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. 2017. ImageNet classification with deep convolutional neural networks. Commun. ACM 60, 6 (May 2017) 检索（Retrieval）
5. person 1.0 person 1.0 person 0.9 person 0.9 person 0.4 person 1.0 person 1.0 person 1.0 bottle .96 bottle .99 bottle .99 table .96 Kaiming He, Georgia Gkioxari, Piotr Dolla ́r and Ross Girshick (2017). Mask R-CNN. CoRR, abs/1703.06870, . 检测 分类 分割 （Detection, classification, segmentation）
6. Kaiming He, Georgia Gkioxari, Piotr Dolla ́r and Ross Girshick (2017). Mask R-CNN. CoRR, abs/1703.06870, . 检测 分类 分割 （Detection, classification, segmentation）
7. Kaiming He, Georgia Gkioxari, Piotr Dolla ́r and Ross Girshick (2017). Mask R-CNN. CoRR, abs/1703.06870, .
8. Dongdong Chen and (2017). StyleBank: An Explicit Representation for Neural Image Style Transfer. CoRR, abs/1703.09210, . ⻛风格迁移（Style transfer）
9. height width depth 图像表达
10. 45x45x3 6075x1 男 ⼥女女 0.45 0.55 全连接层（Fully Connected Layer） 2x6075
11. 如何处理理画⾯面不不变性和局部相关性？
12. 1 1 3 -1 0 2 1 -1 0 ⼀一维卷积示例例 -2 -1 1 0 滤波器器（3x1） 1 -2 1 3 -1 -1 0 = x + x + x 2 1 1 1 -1 0 = x + x + x 0 填充（Padding） 步⻓长（Stride）
13. VIDEO
15. 男 ⼥女女 0.05 0.95 256x256xRGB 128x128x16 32x32x256 卷积层（Convolution Layers） 全连接层（FC Layer） 使⽤用卷积⽹网络的图像识别
17. 为什什么卷积是有效的？ From cs231n.stanford.edu 低级 图像特征 中级 图像特征 复杂 语义特征 From CS231n.stanford.edu
18. 深度卷积⽹网络的最后⼀一层具有丰富的语义信息 可以⽤用它来作为图⽚片的⼀一种表达
19. 可视化卷积⽹网络的两种⽅方式 Feature visualization Attribution 通过⽣生成样本 确定神经⽹网络对什什么产⽣生响应 研究样本中的哪⼀一部分 会令神经⽹网络产⽣生响应
20. Olah, et al., "Feature Visualization", Distill, 2017. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b GoogLeNet 可视化 演示以及论⽂文地址：https://distill.pub/2017/feature-visualization/ Feature visualization
21. GoogLeNet 可视化 Feature visualization Olah, et al., "Feature Visualization", Distill, 2017. 从随机 noise 开始， 优化 (optimize) 图⽚片以激活特定的神经元 Step 0 Step 4 Step 48 Step 2048
22. 可 视 化 效 果 激 活 正 样 本 Olah, et al., "Feature Visualization", Distill, 2017.
23. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b 检测出了了简单的纹理理信息（texture），且都是局部（local）纹理理 Olah, et al., "Feature Visualization", Distill, 2017.
24. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b 纹理理开始变得复杂，仍然都是局部纹理理 Olah, et al., "Feature Visualization", Distill, 2017.
25. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b 复杂度显著提升，出现了了复杂的模式（pattern） Olah, et al., "Feature Visualization", Distill, 2017. 书架 狗眼睛 ⽂文本，柳柳钉 ⻦鸟
26. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b 可以辨别出部分物体了了，更更多的 context 开始出现 Olah, et al., "Feature Visualization", Distill, 2017. 建筑结构 蓬松的绳 树 台球
27. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b ⽹网络开始响应具体的对象（这也许是最值得探索的⼀一层） Olah, et al., "Feature Visualization", Distill, 2017. 棕榈树 轮⼦子 带项圈的狗 房⼦子
28. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b 出现更更复杂的概念，开始看到神经元对多个不不相关的概念产⽣生反应 Olah, et al., "Feature Visualization", Distill, 2017. 狗嘴 灵⻓长⽬目动物 蛇头 餐厅的菜肴
29. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b 区分特定的物种，对多个视觉相关的概念产⽣生响应 Olah, et al., "Feature Visualization", Distill, 2017. ⻳龟壳 冰淇淋淋 & ⾯面包 猫的⽪皮肤 宽边帽
30. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b 可视化开始变得抽象，但所包含的语义信息还是较为具体 Olah, et al., "Feature Visualization", Distill, 2017. 糖果 球 铜管乐器器 交通灯
31. Input output 3a 3b 4a 4b 4c 4d 4e 5a 5b 像是没有意义的⼤大杂烩，神经元似乎不不再对应特别的语义概念 Olah, et al., "Feature Visualization", Distill, 2017.
32. DeepDream: 放⼤大已存在的特征 如果我们输⼊入⼀一张正常的图⽚片替代噪声（noise）， 会发⽣生什什么？ 从随机 noise 开始，优化 (optimize) 图⽚片以激活特定的神经元（⽹网络层） Mordvintsev, Olah, and Tyka, “Inceptionism: Going Deeper into Neural Networks”, Google Research Blog. 项⽬目地址：https://github.com/google/deepdream
37. VIDEO
38. https://www.youtube.com/watch?v=DgPaCWJL7XI
39. ⻛风格迁移（Style transfer） Leon A. Gatys and (2015). A Neural Algorithm of Artistic Style. CoRR, abs/1508.06576, .
40. l l l l l ⻛风格图⽚片 内容图⽚片 ⻛风格 Loss + 内容 Loss 底层纹理理特征 深层语义特征 优化⽬目标： Gatys, Ecker, and Bethge, “Image style transfer using convolutional neural networks”, CVPR 2016 Figure copyright Justin Johnson, 2015.
41. l l l l l Gatys, Ecker, and Bethge, “Image style transfer using convolutional neural networks”, CVPR 2016 Figure copyright Justin Johnson, 2015.
42. ⼀一个模型，多种⻛风格 Dumoulin, Shlens, and Kudlur, “A Learned Representation for Artistic Style”, ICLR 2017.
43. Dumoulin, Shlens, and Kudlur, “A Learned Representation for Artistic Style”, ICLR 2017.
44. Auto-encoder for CNN (基于 CNN 的⾃自动编码器器)
45. 反卷积（Deconvolution）
46. VIDEO GAN ⼈人脸⽣生成
48. ⼈人脸识别
49. High-level Task: 视觉推理理 Q: Are there an equal number of large things and metal spheres? Q: What size is the cylinder that is left of the brown metal thing that is left of the big sphere? Q: How many objects are either small cylinders or red things? AI 不不仅需要识别出图像中的物体， 还需要有推理理、判断能⼒力力 Justin Johnson and (2016). CLEVR: A Diagnostic Dataset for Compositional Language and Elementary. CoRR, abs/1612.06890, .
50. High-level Task: 视觉会话 Abhishek Das and (2017). Learning Cooperative Visual Dialog Agents with Deep Reinforcement. CoRR, abs/1703.06585, .
51. 我 卷积神经⽹网络（CNN）与⾃自然语⾔言处理理（NLP） 有 ⼀一头 ⼩小 ⽑毛驴 5 0 2 1 3 1 4 1 0 1 0 2 4 3 3 0 2 1 1 8 2 7 3 1 5 0 1 2 3 5 Yoon Kim (2014). Convolutional Neural Networks for Sentence Classification. CoRR, abs/1408.5882, . 语⾔言具有局部相关性
52. Gehring, Jonas,, Auli, Michael, Grangier, David, Yarats, Denis & Dauphin, Yann N (2017). "Convolutional Sequence to Sequence Learning". ArXiv e-prints https://github.com/facebookresearch/fairseq 使⽤用卷积神经⽹网络（CNN）的机器器翻译模型
53. 卷积神经⽹网络（CNN） 与语⾳音识别（Speech Recognition） Eric Battenberg and (2017). Exploring Neural Transducers for End-to-End Speech Recognition. CoRR, abs/1707.07413, . Tara N. Sainath, Ron J. Weiss, Andrew Senior, Kevin W. Wilson, Oriol Vinyals, “Learning the Speech Front-endWith Raw Waveform CLDNNs,” In INTERPSEECH 2015 输⼊入声⾳音原始波形 输出识别结果
54. QA 卷积神经网络 从相识、相知到相爱 再到相杀 媒体智能实验室 Media Intelligence LAB