论文阅读笔记：“Deformable Convolutional Networks”

Deformable Convolutional Networks

引言分析

cnn对于集合变换的建模主要来自，丰富的数据增强，大的模型容量以及一些简单的手工模块(max pooling)。CNN 不能对大的未知的变换进行建模。CNN模块的几何结构是固定的，卷积单元在固定的位置采样输入特征图。自适应感受野对视觉识别比较重要。论文提出了可变形卷积，能够大大增强CNN对集合变换的建模能力。

核心亮点

可变性卷积

如上图所示，可变形卷积可允许采样网格的自由变换。偏移量是通过之前的特征图学习得到的。

网格R：

标准卷积：

可变形卷积：

因为经常为分数，因此可以使用双线性插值：

其中G(q,p)为：

只对少部分q来说，G(q,p)是非零的。

可变形卷积的过程如下图所示：

实验分析

Deformable Convolution的效果

卷积核感受野

• 感受野大小与物体大小有关
• 背景区域的识别需要较大的感受野

与空洞卷积的比较

模型运行时和复杂度