订阅博客
收藏博客
微博分享
QQ空间分享

重名查询系统,用自注意力增强卷积:这是新老两代神经网络的对话(附完成),大同天气预报

频道:娱乐消息 标签:保镖怪兽布莱克王肖国基 时间:2019年05月05日 浏览:265次 评论:0条

2014 年,Bahdanau 等人针对机器翻译使命提出了留意模型,现在它已成为一种常用的神经网络办法重名查询体系,用自留意力增强卷积:这是新老两代神经网络的对话(附完结),大同天气预报。近来,谷歌大脑在 arXiv 上发布了一篇新论文,提出运用留意机制增强卷积以加强获取大局相关性的才能。在图画分类和方针检测上的试验成果标明这种办法的确有用。

卷积神经网络

(CNN)在许多核算机视觉运用中取得了极大成功,特别是图画分类。卷积层的规划需求经过受限的感触野来确保部分性重名查询体系,用自留意力增强卷积:这是新老两代神经网络的对话(附完结),大同天气预报(locality),以及经过权重同享来确保平移等效性(translation equivariance)。研讨标明,这两种特点是规划图画处理模型时要害的概括偏置。可是,卷积核固有的部分性使它无法得到图画中的大局语境;而为了更好地辨认图画中的方针,大局语境必不可少。

自留意力

(self-attention)机符武圣皇制是获取长程交互性方面的一项近期发展,但首要还仅仅用在序列建模和生成式建模使命上。自留意机制背面的要害重名查询体系,用自留意力增强卷积:这是新老两代神经网络的对话(附完结),大同天气预报思路是求取躲藏单元核算出的值的加权均匀。不同于池化或卷积算子,用在加权均匀运算中的权重是经过躲藏单元之间的类似度函数动态地得到的。由此,输入信号之间的交互就取决于信号自身,而不是由它们的相对方位预先确定。特别值得提及的是,这使得自留意机制能在不增多参数的前提下获取长城交互性。

这篇论文研讨了将自留意(用作卷积的代替)用于判别式视觉使命的问题。研讨者开发了一种全新的二维相对重名查询体系,用自留意力增强卷积:这是新老两代神经网络的对话(附完结),大同天气预报自留意机制,能够在归入相对方位信息的一同保持平移等效性,这使得其十分适用于图画。研讨标明,这种自留意计划十分有竞争力,足以彻底代替卷积。尽管如此,对父母听我说照试验标明,将自留意与卷积两者结合懒汉鱼起来得到的成果最佳。因而,彻底抛弃卷积思维是不当的,而应该运用这种自留意机制来增强卷积。其完结办法是将卷积特征图(强制部分杲性)连接到自留意特征图(能够建模更长程的依靠)。

图 1 展现了这种留意增强办法在图画分类使命上的改进作用。

图 1:留意增强能体系性地改进不同规划的不同类型网络的图画分类成果。这儿展现了不同参数量下不同模型的 ImageNealiyunt 分类准确度,其间 ResNet 是基准模型、SE-ResNet 运用了通道式留意增强、AA-ResNet 是本论文新55海淘提出的架构。

图 2:留意增强型卷积:关于每个空间方位 (h, w),都依据查询和键值在图画上核算出 N_h 个留目的(attent重名查询体系,用自留意力增强卷积:这是新老两代神经网络的对话(附完结),大同天气预报ion map)。这些留目的被用于核算 N_h 个这些值的加权均匀 V。然后将所得成果连接起来,再从头调整形状以匹配本来的体空间维度并与一个逐点卷积混合。多头留意是以并行的办法运用于规范的卷积运算,输出再连接到一同。

新办法在 CIFAR-100 和 ImageNet 分类使命极射以及 COCO 方针检测使命进步行了测验,涉及到多种不同的架构和不同的核算成本预算,包含一种当时最佳的资源受限型架构。留意增强仅需极少量的核算担负就能完结体系性的改进,而且在一切试验中都显着优于盛行的 Squeeze-and-Excitation 通道式留意办法。特别值得提及的是,留意增强在 ImageNet 上完结的 top-1 准确度优于 ResNet50 基准 1.3%,在 COCO 方针检测上超越 RetinaNet 基准 1.4 mAP。试验还有个让人惊奇的成果:在 ImageNet 上全自留意模型(留意增强的一种特例)的体现仅略逊于对应的全卷积模型,这阐明自留意自身便是一种强壮的图画分类根本办法。

论文:Attention Augmented Convolutional Networks

论文链接:https://arxiv.org/pdf/1904.09925.pdf

在太空救援许多核算机视觉运用中,卷积网络都是首选范式。可是,卷积运算有一个明显缺点,即仅在部分近邻上作业,也由此会失去大局信息。另一方面,自留意则是获取长程交互性方面的一项近期发展,但还首要运用于序列建模和生成建模使命上。在这篇论文中,咱们研讨了将自留意(作为经济卷积的代替)用于判别式视觉使命的问题。咱们提出了一种全新的二维相对自留意机制,研讨标明这足以在图画分类使命上代替卷积作为一种独自的原语。咱们在对照试验中发现,当结合运用卷积与自留意时所得到的六十甲子成果最好。因而咱们提出运用这种自留意机制来增强卷积算子,具体做法是将卷积特征图与经过自留意发生的一组特征图连接起来。咱们运用不同规划不同类型的模型(其间包含 ResNet 和一种当时最佳的可移动式受限网朱云峰络)进行了广泛的试验,成果标明留意增强能在 ImageNet 图画分类与 COCO 方针检测使命上完结安稳的提高,一同还能确保参数数量大体挨近。特别值得提及的是,咱们的办法在 ImageNet 上完结的 top-1 准确度优于 ResNet50 基准 1.3%,而且也优于 Squeeze-and-Excitation 等其它用于图画的留意机制。咱们的办法还在 COCO 方针检测上超越 RetinaNet 基准 1.4 mAP。

办法

图 2:留意增强型卷积。

咱们现在用数学方式描绘新提出的留意增强办法。咱们运用的符号表明为:H、W、F_in 别离表明一个激活图的高度、宽度和输入过滤器的数量。N_h、d_v 和 d_k 别离是指多头留意(multihead-attention / MH口字旁的字有哪些A)中头(head)的数量、值的深度、查询和键值的深度。咱们进一步假定 N_h 均匀地区分 d_v 和 d_k,并用

别离表明每个留意头的值和查询/键值的深度。

自留意

给定一个形状为 (H, W, F_in) 的输入张量,咱们将其打开为一个矩阵

,并如 Transformer 架构提出的那样履行多头留意。则单个头 h 的自留意机制输出为

其间,

是可学习的线性变换,它们别离将输入 X 映射到查询 Q、键值 K 和值 V。

一切头的输出能够连接起来:

其间

也是一个线性变换。然后再将 MHA(X) 的调整为形状为 (H, W, d_v) 的张量。

留意增强型卷积

不同于之前的办法,咱们运用的留意机制能够联合留意空间子空间和特征子空间;别的咱们是引进额定的特征图,而不是对它们进行精细化处理。图 2 总结了咱们提出的增强型卷积。

图 3:留意增强型 2D 卷积的 Py牛骨头汤的做法thon 代码

试验

咱们在 CIFAR100、ImageNet 和 COCO 数据集上经过 ResNet 和 MnasNet 等规范核算机视觉架构对留意增强办法进行了试验测验。成果标明,在不同的架构和核算需求上,留意增强都能在图画分类和方针检测使命上完结体系性的提高。咱们也经过融化试验评价了所提出的二维相对留意机制。在一切的试验中,咱们都用自留意特征图代替卷积特征图,由于这能与基准模型进行更轻松的比较。除非还有阐明,一切成果都对应于咱们的二维相对自留意机制。

CIFAR-100 图画分类

表 1:运用 Wide-ResNet 28-10 架构在 CIFAR-100 数据集上的图画分类成果。咱们比较了基准模型与参数更少的 Gather-Excite (GE)、Squeeze-Excite (赳赳SE) 和新提出的留意增强 (AA) 的 top-1 与 top-5 准确度。

运用 ResNet 的 ImageNet 图画分类

表 2:不同 ResNet 架构在 ImageNet 数据集上的图画分类成果。重名查询体系,用自留意力增强卷积:这是新老两代神经网络的对话(附完结),大同天气预报

运用 MnasNet 的 ImageNet 图画分类

表 3:宽度乘数为 0.75、1.0、1.25 和 1.4 时,基准和留意重名查询体系,用自留意力增强卷积:这是新老两代神经网络的对话(附完结),大同天气预报增强的 MnasNet 的准确度。

图 4:MnasNet(黑华夏收藏网)和留意增强型 Mna理想国sNet(红)的 ImageNet top-1 准确度随参数数量的改变,深度乘数为 0.75、1.0、1.25 和 1.4。

根据 COCO 数据集的方针检测

表 4:运用不同主干架构的 ResNet 架构在 COCO 数据集上的方针检测成果。咱们报告了在三个不同 IoU 值上的说书人均匀精度均值。

控制变量试验

表 5:运用不同留意通道份额的留意增强型 ResNet-50。

图 5:在咱们的留意增强型 R林江国esNet50 上,随留意通道的份额添加的相对方位嵌入的作用。

表 6:在 ImageNet 分类上,留意增强中不同方位编码的作用

表 7:在 COCO 方针检测使命上,运用 RetinaNet AA-ResNet-50 主干时留意增强中不同方位编码的作用。

完结

该论文中展现了这一新办法的 TensorFlow 完结。近来,研讨者 Myeongjun Kim 开源了其对该办法的 PyTorch 完结。

PyTorch 完结地址:https://github.com/leaderj1001/Attention-Augmented-Conv2d

其间包含两个版别的完结:

  • 论文版别:https://github.com/leaderj1001/Attention-Augmented-Conv2d/blob/master/attention_augmented_conv.py
  • AA-Wide-ResNet 版别:https://github.com/leaderj1001/Attention-Augmented-Conv2d/blob/master/AA-Wide-ResNet/attention_aug截屏的快捷键是什么mented_conv.py