个人的几点理解：
目录：
part I ：来源
part II ：应用
part III ：作用（降维、升维、跨通道交互、增加非线性）
part IV ：从fully- 的角度理解
一、来源：[1312.4400] In （如果1×1卷积核接在普通的卷积层后面，配合激活函数，即可实现 in 的结构）
二、应用：中的、中的残差模块
三、作用：
1、降维（减少参数）
例子1 : 中的3a模块
输入的 map是28×28×192
1×1卷积通道为64
3×3卷积通道为128
5×5卷积通道为32
左图卷积核参数：192 × (1×1×64) +192 × (3×3×128) + 192 × (5×5×32) =
右图对3×3和5×5卷积层前分别加入了通道数为96和16的1×1卷积层，这样卷积核参数就变成了:
192 × (1×1×64) +（192×1×1×96+ 96 × 3×3×128）+（192×1×1×16+16×5×5×32）=
同时在并行层后面加入1×1卷积层后也可以降低输出的 map数量（ map尺寸指W、H是共享权值的 ， map 的数量就是）
左图 map数量：64 + 128 + 32 + 192(后 map不变) = 416 （如果每个模块都这样，网络的输出会越来越大）
右图 map数量：64 + 128 + 32 + 32(后面加了通道为32的1×1卷积) = 256
利用1×1的卷积降维后，得到了更为紧凑的网络结构，虽然总共有22层，但是参数数量却只是8层的的十二分之一（当然也有很大一部分原因是去掉了全连接层）
例子2：中的残差模块
假设上一层的 map是w*h*256,并且最后要输出的是256个 map
左侧操作数：w*h*256*3*3*256 =*w*h
右侧操作数：w*h*256*1*1*64 + w*h*64*3*3*64 +w*h*64*1*1*256 = 69632*w*h,，左侧参数大概是右侧的8.5倍。（实现降维，减少参数）
2、升维（用最少的参数拓宽网络）
例子：上一个例子中，不仅在输入处有一个1*1卷积核，在输出处也有一个卷积核，3*3，64的卷积核的是64，只需添加一个1*1，256的卷积核，只用64*256个参数就能把网络从64拓宽四倍到256。
3、跨通道信息交互（ 的变换）
例子：使用1*1卷积核，实现降维和升维的操作其实就是间信息的线性组合变化，3*3，的卷积核后面添加一个1*1，的卷积核，就变成了3*3w*h*d，的卷积核，原来的64个就可以理解为跨通道线性组合变成了，这就是通道间的信息交互。
注意：只是在维度上做线性组合，W和H上是共享权值的
4、增加非线性特性
1*1卷积核，可以在保持 map尺度不变的（即不损失分辨率）的前提下大幅增加非线性特性（利用后接的非线性激活函数）w*h*d，把网络做的很deep。
备注：一个对应卷积后得到一个 map，不同的(不同的和bias)，卷积以后得到不同的 map，提取不同的特征，得到对应的 neuro。
四、从fully- 的角度来理解1*1卷积核
将其看成全连接层
左边6个神经元，分别是a1—a6，通过全连接之后变成5个，分别是b1—b5
左边6个神经元相当于输入特征里面的：6
右边5个神经元相当于1*1卷积之后的新的特征：5
左边 W*H*6 经过 1*1*5的卷积核就能实现全连接。
In Nets, there is no such thing as “fully- ”. There are only with 1x1 and a full table– Yann LeCun
参考：
—END— 声明：部分内容来源于网络，仅供读者学术交流之目的。文章版权归原作者所有。如有不妥，请联系删除。
下载1：Pytoch常用函数手册 在「深度学习爱好者」公众号后台回复：Pytorch常用函数手册，即可下载全网第一份Pytorch常用函数手册，涵盖Tensors介绍、基础函数介绍、数据处理函数、优化函数、CUDA编程、多线程处理等十四章章内容。 下载2：Python视觉实战项目52讲 在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。 交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。