本文摘要：泉源：机械学习初学者本文约6100字，建议阅读10分钟。今天给大家先容45篇让你跟上AI时代的论文。 而AI领域的生长会是IT中最快的。我们所看到的那些黑客技，其后面无不聚集了大量的论文。 而且都是最新、最前沿的论文。从某种调理来讲，他们所用的技术跟书籍里的内容确实不是一个时代。要想与时俱进，就必须改变思路——从论文入手。 今天给大家先容45篇让你跟上AI时代的论文。

泉源：机械学习初学者本文约6100字，建议阅读10分钟。今天给大家先容45篇让你跟上AI时代的论文。

而AI领域的生长会是IT中最快的。我们所看到的那些黑客技，其后面无不聚集了大量的论文。

而且都是最新、最前沿的论文。从某种调理来讲，他们所用的技术跟书籍里的内容确实不是一个时代。要想与时俱进，就必须改变思路——从论文入手。

今天给大家先容45篇让你跟上AI时代的论文。一、神经网络基础部门No1 wide_deep模型论文：关于神经元、全毗连网络之类的基础结构，想必每个AI学者都有相识。那么你是否真的相识全毗连网络中深层与浅层的关系呢？来看看wide_deep模型吧。

这篇论文会使你对全毗连有个更深刻的明白。关于该模型的更多先容可以参考论文：https://arxiv.org/pdf/1606.07792.pdf在wide_deep模型中，wide模型和deep模型具有各自差别的分工。

—wide模型：一种浅层模型。它通过大量的单层网络节点，实现对训练样本的高度拟合性。它的缺点是泛化能力很差。

—deep模型：一种深层模型。它通过多层的非线性变化，使模型具有很好的泛化性。

它的缺点是拟合度欠缺。将二者联合起来——用团结训练方法共享反向流传的损失值来举行训练—可以使两个模型综合优点，获得最好的效果。No2 wide_deep模型论文：为什么Adam被广泛使用？光会用可不行，还得把原理看懂。

这样出去喷一喷，才会显得更有体面。Adam的细节请参阅论文《Adam: A Method for Stochastic Optimization》，该论文的链接网址是：https://arxiv.org/pdf/1412.6980v8.pdfNo3 Targeted Dropout模型论文：你还再用普通的Dropout吗？我已经开始用Targeted Dropout了。

比你的又快，又好。你不知道吧，赶快学习一下。Targeted Dropout不再像原有的Dropout那样根据设定的比例随机抛弃部门节点，而是对现有的神经元举行排序，根据神经元的权重重要性来抛弃节点。这种方式比随机抛弃的方式更智能，效果更好。

更多理论见以下论文：https://openreview.net/pdf?id=HkghWScuoQ二、图像分类部门No4 Xception模型论文：在谁人图像分类的时代，谷歌的Xception系列，像x战警一样，一个一个的打破记载。其中的技术也逐渐成为AI生长的知识体系。

有须要看一下。或许会对自己的事情有所启发。详细情况请检察原论文《Xception: Deep Learning with Depthwise Separable Convolutions》，该论文网址是：https://arxiv.org/abs/1610.02357No5 残差结构论文：运气好到没朋侪，现有模型，后完善理论指的就是残差结构这哥们。

他的传奇导致纵然到今天的AI技术，也无法将它割舍，就来常微分方程都得拿它比肩。快来学学吧。用处大着呢。很多多少模型都拿他当先锋。

使用残差结构，可以使得网络到达上百层的深度。详情请参阅原始论文《Deep ResidualLearning for Image Recognition》，该论文网址是：https://arxiv.org/abs/1512.03385No6 空洞卷积论文：NasNet的招牌行动，虽然不是出于NASNet，可是却被人家用得如火纯青。有时不得不赞叹，机械设计出来的模型还真实跟人设计的纷歧样！想知道空洞卷积的感受野为什么与层数呈指数级关系吗？细节请检察原论文《Multi-scale context aggregation by dilated convolutions》，该论文网址是：https://arxiv.org/abs/1511.07122v3 No7 DenseNet论文：这个模型使我想到了“一根筋”，再次证明晰只有轴的人才气成大事！令类的模型，神奇的效果，快来体验一下吧。这可是比华佗还牛的神医哦！有关DenseNet模型的细节，请参考原始论文《Densely Connected Convolutional Networks》，该论文的毗连是：https://arxiv.org/abs/1608.06993 No8 EfficientNet模型论文：知道现在位置图像分类界谁是老大吗？ 来，看看这个！EfficientNet模型的论文地址如下：https://arxiv.org/pdf/1905.11946.pdfNo9 Grad-CAM模型论文：如果你能把神经元搞得透彻，你也会想到这个点子。

不想聊太多！一个字“绝”！这TMD才叫卷积网络的可视化！详细情况请参阅论文《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》，该论文的链接网址是：https://arxiv.org/pdf/1610.02391.pdfNo10 分类模型泛化能力论文：知道为啥都喜欢使用ResNet模型当先锋吗？运气好就是运气好！好到大家都喜欢用它，还说不出为啥它那么好！横竖就是好，不信的话看看这篇论文的实验效果。论文中，在选取模型的建议中，多次提到了ResNet模型。

原因是，ResNet模型在Imgnet数据集上输出的特征向量所体现的泛化能力是最强的。详细可以参考以下论文：https://arxiv.org/pdf/1805.08974.pdf三、批量正则化部门No11 批量正则化论文：这个没的说，必修课，不懂的化，会被藐视成渣渣！论文《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，该论文网址是：https://arxiv.org/abs/1502.03167No12 实例归一化论文：时代差别了，批量归一化也升级了，赶快学学新的归一化吧。在反抗神经网络模型、气势派头转换这类生成式任务中，常用实例归一化取代批量归一化。

因为，生成式任务的本质是——将生成样本的特征漫衍与目的样本的特征漫衍举行匹配。生成式任务中的每个样本都有独立的气势派头，不应该与批次中其他的样本发生太多联系。所以，实例归一化适用于解决这种基于个体的样天职布问题。详细说明见以下链接：https://arxiv.org/abs/1607.08022No13 ReNorm算法论文：ReNorm算法与BatchNorm算法一样，注重对全局数据的归一化，即对输入数据的形状中的N维度、H维度、W维度做归一化处置惩罚。

差别的是，ReNorm算法在BatchNorm算法上做了一些革新，使得模型在小批次场景中也有良好的效果。详细论文见以下链接：https://arxiv.org/pdf/1702.03275.pdfNo14 GroupNorm算法论文：GroupNorm算法是介于LayerNorm算法和InstanceNorm算法之间的算法。

它首先将通道分为许多组（group），再对每一组做归一化处置惩罚。GroupNorm算法与ReNorm算法的作用类似，都是为相识决BatchNorm算法对批次巨细的依赖。

详细论文见下方链接：https://arxiv.org/abs/1803.08494No15 SwitchableNorm算法论文：我们国人做产物都喜欢这么干！all in one ,好吧。既然那么多批量归一化的方法。来，来，来，我们来个all in one吧。

不平来辩，我这啥都有！SwitchableNorm算法是将BN算法、LN算法、IN算法联合起来使用，并为每个算法都赋予权重，让网络自己去学习归一化层应该使用什么方法。详细论文见下方链接：https://arxiv.org/abs/1806.1077四、注意力部门No16 大道至简的注意力论文：把AI搞成玄学也就算了！居然还扯到道家了！谷歌的工程师真实中外通吃啊！搞出来了一个只用注意力就能做事的模型，连卷积都不要了！你所好玩欠好玩！至简不至简！刺激不刺激！台甫鼎鼎的Attention is All You Need 注意力机制论文，注意力机制因2017年谷歌的一篇论文Attention is All You Need而名声大噪。下面就来先容该技术的详细内容。如果想相识更多，还可以参考原论文，详细地址如下：https://arxiv.org/abs/1706.03762No17-18 孪生注意力论文：好比LSTM与GRU一样，注意力他们家也除了一对双胞胎，长得略微有点差别。

可是功效一样，都能吃能喝，还能注意。老虎老鼠傻傻的不清楚！—BahdanauAttention：https://arxiv.org/abs/1409.0473。—LuongAttention：https://arxiv.org/abs/1508.04025。

No19 各自升级的孪生注意力论文：话说这对双胞胎，出生后就离开了。各自学的差别的语言，一个学习汉语，一个学习中文。若干年后，晤面，发现二者的能力还是一样！BahdanauAttention注意力升级成了normed_BahdanauAttention，而LuongAttention注意力升级成了scaled_LuongAttention。

都一样的效果，你爱用哪个用哪个吧！例如：在BahdanauAttention类中有一个权重归一化的版本（normed_BahdanauAttention），它可以加速随机梯度下降的收敛速度。在使用时，将初始化函数中的参数normalize设为True即可。

详细可以参考以下论文：https://arxiv.org/pdf/1602.07868.pdfNo20 单调注意力机制论文：老公主动表忠心，我以后不看此外玉人。妻子以为不够，再加个限制：你以后禁绝看此外女人！于是单调注意力就出来了。

单调注意力机制（monotonic attention），是在原有注意力机制上添加了一个单调约束。该单调约束的内容为：假设在生成输出序列历程中，模型是以从左到右的方式处置惩罚输入序列的。当某个输入序列所对应的输出受到关注时，在该输入序列之前泛起的其他输入将不能在后面的输出中被关注。即已经被关注过的输入序列，其前面的序列中不再被关注。

更多形貌可以参考以下论文：https://arxiv.org/pdf/1704.00784.pdfNo21 混淆注意力机制论文：这个注意力很强大，比一般的注意力专注的地方更多，信息更富厚。我已经注意你良久了！呵呵呵~~~因为混淆注意力中含有位置信息，所以它可以在输入序列中选择下一个编码的位置。这样的机制更适用于输出序列大于输入序列的Seq2Seq任务，例如语音合成任务。

详细可以参考以下论文：https://arxiv.org/pdf/1506.07503.pdf五、高级的卷积网络知识No22 胶囊网络与动态路由的论文：这是一股为图像分类降温的寒风，深刻而又尖锐的点出了卷积网络的硬伤！ 从事最大池化再无翻身之日。虽然胶囊网络再实际应用中，不像它的理论那么牛，可是对AI的资助，卷积的明白是革命性的。很是值得一读。

另外，这也是一篇绝对让你对数学彻底绝望的论文。花几根白头发把内里的算法啃下来吧。这样你与大神就能更近一步。胶囊网络分为主胶囊与数字胶囊，主胶囊与数字胶囊之间的耦合系数是通过训练得来的。

在训练历程中，耦合系数的更新不是通过反向梯度流传实现的，而是接纳动态路由选择算法完成的。该算法来自以下论文链接：https://arxiv.org/pdf/1710.09829.pdf现在胶囊网络的研究还处于低级阶段，随着人们研究的深入，相信这些问题会获得解决。

No23 矩阵胶囊网络与EM路由算法：如果你以为不外瘾，那么还可以再看一篇。继续自虐一下。带有EM（期望最大化）路由的矩阵胶囊网络是动态路由胶囊网络的一个革新版本。

论文链接如下：https://openreview.net/pdf?id=HJWLfGWRbNo24 胶囊网络的其它用处：胶囊网络满身是宝，但就是自己不争气。这也说明另有上升的空间。

就拿其中一个动态路由算法来讲，居然比普通的注意力还好。看完之后，相信你一定会手痒！要不要也试试？把你的注意力换一下。值得你实验，会有彩蛋的！该论文的实践也证明，与原有的注意力机制相比，动态路由算法确实在精度上有所提升。详细先容可见以下论文：https://arxiv.org/pdf/1806.01501.pdfNo25 卷积网络新玩法TextCNN模型：早先小编在一个项目中，自己用卷积网络处置惩罚字符数据。

自己感受很Happy。没想到，无意间居然发现了一篇同样这么干的论文。

居然另有个名字，叫TextCNN。哎！惋惜啊！小编文化少，只会写代码，不会写论文。TextCNN模型是使用卷积神经网络对文本举行分类的算法，由 Yoon Kim 在 Convolutional Neural Networks for Sentence Classification 一文中提出。

论文地址：https://arxiv.org/pdf/1408.5882.pdf六、图像内容处置惩罚部门No26 FPN模型论文（包罗了ROIAlign的匹配算法）：要是搞盘算机视觉，还是要建议看一下。很是的基础。也是图像支解方面的用得最多得模型。FPN的原理是：将主干网络最终特征层和中间特征层的多个尺度的特征以类似金字塔的形式融合在一起。

最终的特征可以兼顾两个特点——指向收敛目的的特征准确、特征语义信息富厚。更多信息可以参考论文：ROIAlign层中的匹配算法也来自于这篇FPN论文，链接如下：https://arxiv.org/abs/1612.03144No27 Mask R-CNN模型论文：效果好，代码多！硬货！来啃吧！Mask R-CNN模型是一个简朴、灵活、通用的工具实例支解框架。它能够有效地检测图像中的工具，并为每个实例生成高质量的支解掩码，还可以通过增加差别的分支完成差别的任务。

它可以完成目的分类、目的检测、语义支解、实例支解、人体姿势识别等多种任务。详细细节可以参考以下论文：https://arxiv.org/abs/1703.06870No28 YOLO V3模型论文：这个模型的提点就是快！目的识别强烈推荐，YOLO V3模型的更多信息可以参考以下链接中的论文：https://pjreddie.com/media/files/papers/YOLOv3.pdf No29 Anchor-Fress模型--FCOS模型论文：随着AI技术的进步Anchor-Fress模型死灰复燃（早先是YOLO V1那一批模型），这次纷歧样的是彻底干掉带Anchor的模型。

训练起来那就一个爽！妈妈再也不用为我准备单独的Anchor标签了。与YOLO V1相比， FCOS模型的思想与YOLO V1模型很是相似，唯一差别的是FCOS模型没有像YOLOv1那样只思量中心四周的点，而是使用了ground truth边框中所有的点来举行预测边框。

而且通过 center-ness 分支来抑制那些效果不行的检测边框。这样FCOS 就可以改善YOLO V1模型总会遗漏部门检测边框的缺点。

相关论文地址：https://arxiv.org/abs/1904.01355No30 Anchor-Fress模型--CornerNet-Lite模型论文：一样也是Anchor-Fress模型，与FCOS效果差不几多。详细看一下论文吧CornerNet-Lite模型。

相关论文地址：https://arxiv.org/pdf/1904.08900.pdfNo31 栈式沙漏网络模型--Hourglass论文：最初用户人的姿态预计，在切合模型中也是常被使用的模型。论文地址：https://arxiv.org/abs/1603.06937 No32 OCR必修课——STN模型论文：可以让模型自动仿射变化，你说牛不牛！要学OCR，就得从这个开始。有关STN模型的论文链接如下：https://arxiv.org/abs/1506.02025七、循环神经网络部门No33 QRNN模型论文：在RNN模型的cell里，如果还只知道LSTM和GRU。那就太low了。

快了补补吧：如果想更多相识QRNN，可以参考以下论文：https://arxiv.org/abs/1611.01576No34 SRU模型论文：接着来，种种RNN的Cell。又漂亮，又好吃！SRU单元在本质上与QRNN单元很像。从网络构建上看，SRU单元有点像QRNN单元中的一个特例，可是又比QRNN单元多了一个直连的设计。

若需要研究SRU单元更深层面的理论，可以参考如下论文：https://arxiv.org/abs/1709.02755No35 IndRNN模型论文：再补一个，这可都是好cell啊！将IndRNN单元配合ReLu等非饱和激活函数一起使用，会使模型体现出更好的鲁棒性。有关IndRNN单元的更多理论，可以参考论文：https://arxiv.org/abs/1803.04831No36 IndRNN模型论文：最后，再来一个cell，如想要相识更多关于JANET单元的内容，可以参考以下论文：https://arxiv.org/abs/1804.04849八、AI合成部门No37-38 Tacotron与Tacotron-2模型论文：AI合成部门的经典模型，以上结构来自Tacotron与Tacotron-2两个结构，更多内容可以参考以下两篇论文：https://arxiv.org/pdf/1703.10135.pdfhttps://arxiv.org/pdf/1712.05884.pdfNo39 DeblurGAN模型论文：图片合成的论文太多了。这里简朴列几个，大要原理和思路相识，即可。DeblurGAN模型是一个反抗神经网络模型，由生成器模型和判别器模型组成。

—生成器模型，凭据输入的模糊图片模拟生成清晰的图片。—判别器模型，用在训练历程中，资助生成器模型到达更好的效果。详细可以参考论文：https://arxiv.org/pdf/1711.07064.pdfNo40 AttGAN模型论文：同样，这也是个图片合成的。

差别的是多属性合成，相对比力有意思。AttGAN模型由两个子模型组成：使用编码器模型将图片特征提取出来。

将提取的特征与指定的属性值参数一起输入编码器模型中，合成出最终的人脸图片。更多细节可以参考论文：https://arxiv.org/pdf/1711.10678.pdfNo41 RNN.WGAN模型论文：可以合成文本的GAN。离散数据也醒目！RNN.WGAN模型使用了WGAN模型的方法举行训练。

详细做法可以参考如下论文：https://arxiv.org/abs/1704.00028九、多任务学习No42 MKR模型论文：多任务学习模型有须要相识一下。这里推荐一个论文给你看看。

MKR是一个多任务学习的端到端框架。该框架能够将两个差别任务的低层特征抽取出来，并融合在一起实现团结训练，从而到达最优的效果。有关MKR的更多先容可以参考以下链接：https://arxiv.org/pdf/1901.08907.pdf十、NLP部门No43 BERT模型论文：如果你搞NLP，那么这个就不用我来先容了。如果你准备搞NLP,那么赶快来看看这个，跟上时代。

BERT相关论文链接https://arxiv.org/abs/1810.04805在BERT之后，又出了很多多少优秀的模型。可是，还是先把这个啃下来，再看此外才不费劲。

十一、模型攻防 No44 FGSM模型论文：攻击模型的经典方法。值得掌握。FGSM（Fast Gradient Sign Method）是一种生成反抗样本的方法。

该方法的形貌如下：将输入图片看成训练的参数，使其在训练历程中可以被调整。在训练时，通过损失函数诱导模型对图片生成错误的分类。当多次迭代导致模型收敛后，训练出来的图片就是所要获得的反抗样本。

详细可以参考论文：https://arxiv.org/pdf/1607.02533.pdfNo45 黑箱攻击论文：基于雅可比（Jacobian）矩阵的数据增强方法，是一种常用的黑箱攻击方法。该方法可以快速构建出近似于被攻击模型的决议界限，从而使用最少量的输入样本。即：构建出取代模型，并举行后续的攻击操作。

详细请见如下链接：https://arxiv.org/abs/1602.02697这里只是列了一些基础的论文。如果这45篇论文看完。可以保证你再看到大厂的产物时，不会感受有代沟。

编辑：王菁校对：林亦霖— 完 —关注清华-青岛数据科学研究院官方微信民众平台“THU数据派”及姊妹号“数据派THU”获取更多讲座福利及优质内容。

本文关键词：澳门尼威斯人网站8311,让你,跟上,领域,必,看的,45篇,论文,附,下载

本文来源：澳门尼威斯人网站8311-www.santiyaide.com