深度学习|深度学习之局部连接与权值共享
在网络中，如果全部使用全连接网络，则会使参数异常多，造成计算复杂，降低训练的效率。由此引入卷积层，卷积层能够有效减小训练参数，这与卷积具有的两个性质有关。
结合自身经历以及他人的疑问，对卷积神经网络有一个误解：
每个卷积核产生的feature map为一个神经元，正确的认知应该是每个神经元代表feature map的一个像素；
卷积层有两个比较重要的性质：
1 局部连接
文章图片
图1.全连接与卷积
文章图片
图2.卷积示意图
如图所示，5×5为L层，3×3为L+1层，其中L+1层单元格值为6、10的两个格子，两个神经元的计算值仅仅与前一层的黄、红色的输入层的部分映射，相比全连接网络，其减小了参数的量，对于现代更深更大的网络，两者的差距会被放大更多。
如果使用全连接层，需要训练的参数个数为（5×5）×（3×3）= 225个，而使用卷积，需要训练的参数仅为卷积核大小 = （3×3） = 9个。在单个网络上仅仅减小了几个，但是在多通道、几十层上百层的网络中，这个训练参数的差距会非常大。
通过以上证明，卷积大大减小了训练需要的参数数量，提高了训练效率。
2. 权重共享
如图2， 红黄色所对应的特征映射中的两个神经元，其部分参数计算时共享，本质是共享的卷积核在移动时共享的输入图像参数，红色圆圈所标注的为共享区域，这同样减小了参数数量。
【深度学习|深度学习之局部连接与权值共享】邱锡鹏《深度学习》
吴恩达《深度学习》
推荐阅读
- 慢慢的美丽
- 开学第一天（下）
- 奔向你的城市
- 学无止境，人生还很长
- 由浅入深理解AOP
- “成长”读书社群招募
- 继续努力，自主学习家庭Day135(20181015）
- python学习之|python学习之 实现QQ自动发送消息
- 每日一话（49）——一位清华教授在朋友圈给大学生的9条建议
- 小影写在2018九月开学季