卷积核(卷积核计算)
| 后台-全局-定制标签-内容页头部广告位(PC) |
| 后台-全局-定制标签-内容页头部广告位(手机) |
今天给各位分享卷积核的卷积积核计算知识,其中也会对卷积核计算进行解释,核卷如果能碰巧解决你现在面临的卷积积核计算问题,别忘了关注本站,核卷现在开始吧!卷积积核计算
什么是卷积核?
卷积是图像处理常用的方法,给定输入图像,在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均,其中权值由一个函数定义,这个函数称为卷积核,
比如说卷积公式:R(u,v)=∑∑G(u-i,卷积积核计算v-j)f(i,核卷j) ,卷积积核计算其中f为输入,核卷G为卷积核。卷积积核计算
关于不同卷积核大小的思考
(1)实现跨通道的交互和信息整合
使用1x1卷积核,其实就是卷积积核计算对不同channel间的信息做线性组合的一个变换过程。比如输入为3x3x3的核卷feature map,后面添加一个1x1x3,卷积积核计算64 channels的卷积核,就变成了3x3x64的feature map,原来的3个channels就可以理解为跨通道线性组合变成了64 channels,这就是通道间的信息交互。过程如下图所示:
(2)增加非线性特性
1x1卷积核,利用后接的非线性激活函数可以在保持feature map尺度不变的前提下大幅增加非线性特性,把网络做的很深。
(3)减少模型参数,降低计算量
假设输入feature map的维度为256维,要求输出维度也是256维。有以下两种操作:
可以看到,参数量减少了大约8.5倍。
在卷积神经网络中,一般情况下,卷积核越大,感受野(receptive field)越大,看到的图片信息越多,所获得的全局特征越好。虽说如此,但是大的卷积核会导致计算量的暴增,不利于模型深度的增加,计算性能也会降低。
于是在VGG、Inception网络中,利用两个3×3卷积核的组合替换一个5×5卷积核,这样的好处是:
(1)在具有相同感知野的条件下,提升了网络的深度,在一定程度上提升了神经网络的效果;
(2)降低了参数量(从5×5×1 x channels 到 3×3×2 x channels)。
那么为什么可以这样来替换呢?
从卷积的定义可以知道,一张图像经过卷积后的尺寸大小计算方式为:
那么,假设输入是28x28:
所以最终结果是2层3x3和1个5x5的卷积核得到的feature map大小是一样的。
同理也能得出三个3x3的卷积核可以替换一个7x7的卷积核。
1*1卷积核的作用
(作用1)
(作用2)
1、1x1的卷积核(可能)引起人们的重视是在NIN的结构中,利用MLP代替传统的线性卷积核,从而提高网络的表达能力。文中同时利用跨通道的pooling的角度解释,认为论文中剔除的MLP其实等价于在传统卷积核后面接cccp层,从而实现多个feature map的线性组合,实现跨通道的信息整合。而cccp层是等价于1x1卷积的,因此细看NIN的caffe实现,就是在每个传统卷积后面接了两个cccp层(其实就是解了两个1x1卷积层)。
2、进行降维和升维引起人们重视的(可能)是在GoogleNet里。对于每一个inception模块(如下图),原始模块是左图,右图中是加入了1x1卷积核进行降维的。
虽然左图中的卷积核都比较小,但是当输入和输出的通道数很大时,乘起来也会使得卷积核参数变很大,而右图加入1x1卷积后可以降低输入的通道数,卷积核参数、运算复杂度也就降下来了。以GoogleNet里的3a模块为例,输入的feature map是28x28x192,3a模块中的1x1卷积通道为64, 3x3卷积通道为128, 5x5卷积通道为32,如图左图结构,那么卷积核参数为:1x1x192x64+3x3x192x128 +5x5x192x32.
而右图对3x3和5x5卷积层前分别加入了通道数为96和16的1x1卷积层,参数就成了:1x1x192x64+(1x1x192x96+3x3x96x128)+(1x1x192x16+5x5x16x32)。整个参数大约减少了三分之一。
同时,在并行pooling层后面加入1x1卷积核后可以降低输出的feature map数量,左图pooling后feature map是不变的,再加卷积层就得到feature map,会使输出的feature map扩大到416,如果每个模块都这样,网络的输出会越来越大。而右图在pooling后面加入了通道为32的1x1卷积,使得输出的feature map数降到了256.
GoogleNet利用1x1的卷积降维后,得到了更为紧凑的网络结构,虽然总共22层,但是参数数量却只有8层的AlexNet的十二分之一(当然很大一部分原因可能是去掉了全连接层)。
近来十分热门的MSRA同样也利用了1x1卷积,并且是在3x3卷积层的前后都使用了,不仅进行了降维,还进行了升维,使得卷积层的输入和输出的通道数都见笑,参数数量进一步减小,如下图所示。
具体参见: caffe cn
卷积核的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于卷积核计算、卷积核的信息别忘了在本站进行查找喔。
| 后台-全局-定制标签-内容页底部广告位(PC) |
| 后台-全局-定制标签-内容页底部广告位(手机) |



