加入收藏
让我们做的更好!
网站公告:

 

AG亚洲官网入口 您当前所在位置:AG亚洲官网入口 > 资讯 >

2017年的10大AI顶会,风首云涌的故事

时间:2021-08-30 23:13 来源:http://porangag.com 作者:AG亚洲官网入口 点击:

机器之心原创

作者:蒋思源、路雪

在以前的一年中,从 AAAI 到 NIPS 很多学术顶会都在关注人造智能和机器学习,而它们的参会情况与论文挑友谊况很大程度上都表现了这个周围的活跃程度。在本文中,机器之心概览了 2017 年人造智能顶会的参会情况、论文挑交与批准情况、华人力量和获奖论文情况,吾们期待读者能从这些不益看察中获得一些今年的趋势与钻研主题。

文本主要分为两片面,第一片面是 2017 年顶会的概览,包括今年该周围 10 个顶会的论文挑交与批准情况和它们的华人力量。第二片面重点关注这些顶会的获奖论文情况,吾们将这些获奖论文主要分为计算机视觉、自然说话处理、学习过程和数据题目等 6 大主题,并从这些主题简要概述对答钻研论文的不益看点与发现。

顶会论文概览

顶会论文的挑交与授与

棋牌炎点

AAAI、CVPR、IJCAI、ICCV、NIPS 今年的投稿数目均超过 2000,授与的论文数目均超过 600。ICLR 2017 是举办以来的第五届,往年的论文录用率挨近 30%,今年达到了 40%。KDD 论文录用率 18.9%,是上图十项会议中论文录用率最矮的会议。(数目统计偏差 ±5)

下面吾们简要介绍这些会议及其今年授与论文的情况。

1. 综相符性会议

ICML 是计算机科学周围的顶会之一。据统计,ICML 2017 共评审了 1676 篇论文,授与了 434 篇,录取率为 25.89%。本届 NIPS 共收到 3240 篇论文投稿,创历年新高,其中 678 篇被选为大会论文,录用率为 20.9%。40 篇为 oral 论文,112 篇为 spotlight 论文。AAAI 是人造智能周围一年一度的顶级盛会,围绕人造智能的钻研与发展,吸引了全球的人造智能精英。AAAI 2017 收到的投递论文有 2571 篇,其中 639 篇论文被大会授与,录用率不及 25%。IJCAI(人造智能国际说相符大会)是人造智能周围的顶级综相符会议,被中国计算机学会选举国际学术会议列外认定为 A 类会议。今年 IJCAI 共收到 2540 篇论文投稿,最后录用 660 篇,录用率 26%。

2. 计算机视觉周围会议

按照谷歌发布的 2017 版学术指标,在计算机视觉与模式识别周围,CVPR 是影响力最大的论文发布平台。CVPR 全称为「IEEE Conference on Computer Vision and Pattern Recognition」(计算机视觉与模式识别会议),是近年来计算机视觉周围全球最影响力、内容最周详的顶级学术会议。今年的 CVPR 共收到有效挑交论文 2680 篇,其中 2620 篇论文经过完善评议,最后总共 783 篇被正式录取(占总挑交数的 29%)。被授与的论文中,71 篇将进走长口头演讲,144 篇进走短亮点演讲。国际计算机视觉大会(ICCV)全称是 IEEE International Conference on Computer Vision,由 IEEE 主理,与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议(ECCV)并称计算机视觉倾向的三大顶级会议。据统计,本届 ICCV 共收到 2143 篇论文投稿,其中 621 篇被选为大会论文,录用比例 29%。其中有 45 篇口头通知(Oral)和 56 篇亮点通知(Spotlight)。大会公开的新闻表现,本届共有 3107 名参会者。

3. 自然说话处理周围会议

国际计算说话学协会 (ACL,The Association for Computational Linguistics),是世界上影响力最大、最具活力的国际学术构造之一。今年 ACL 收到论文 1419 篇,授与 344 篇,录用率 24%。EMNLP 是自然说话处理周围的顶级会议。今年 EMNLP 共收到 1466 篇论文,录用 323 篇论文,包括 216 篇长论文和 107 篇短论文,录用率 22%。

4. 深度学习周围会议

ICLR 是深度学习周围的盛会,每年举办一次。2013 年,深度学习巨头 Yoshua Bengio、Yann LeCun 主持举办了第一届 ICLR 大会。经过几年的发展,在深度学习火炎的今天,ICLR 已经成为人造智能周围不走错过的盛会之一。ICLR 会议涉及的相关主题有:

无监督、半监督、监督式外征学习进走规划的外征学习,深化学习度量学习和核学习稀奇编码和维度扩展层级模型外征学习的优化学习输出或状态的外征实现题目、并走、柔件平台、硬件在视觉、音频、语音、自然说话处理、机器人、神经科学或任何其它周围的行使

ICLR 2017 收到了 507 篇论文,其中 196 篇论文被大会授与,录用率 38.7%。今年的论文评审终局也已出炉,挑交论文的数目为 491 篇,而被批准的情况为:15 篇 oral(3%),183 篇 poster(37.3%),录用率为 40%。

5. 数据发掘周围会议

KDD 是国际数据发掘周围的顶级会议。据统计,KDD 2017 共收到 1144 篇论文投递,收录 216 篇,录用率 18.9%。

棋牌炎点

顶会中的华人力量

在计算机视觉周围的顶会中,到处都能见到华人的身影,很多参会的学者都会惊喜地发现 CVPR 授与论文名单有专门多的华人署名。而 ICCV 2017 同样将最佳论文和最佳门生论文都赋予了何凯明等人。如下是计算机视觉获奖论文的华人作者情况(不十足统计):

CVPR 2017 最佳论文《Densely Connected Convolutional Networks》的两位共联相符作 Gao Huang(黄高)、Zhuang Liu(刘壮)均为华人。黄高是清华大学博士、康奈尔大学博士后;刘壮也来自清华大学。另一篇最佳论文《Learning from Simulated and Unsupervised Images through Adversarial Training》的作者之一 Wenda Wang 卒业于卡内基梅隆大学,现任苹果公司机器学习工程师。ICCV 2017 Facebook AI 钻研员何恺明获得最佳论文奖,同时是最佳门生论文的作者之一。最佳门生论文《Focal Loss for Dense Object Detection》的一作林宗毅(Tsung-Yi Lin)卒业于国立台湾大学,后在康奈尔大学完善博士学位。此外,贾扬清领衔的 Caffe 团队获得 Everingham 团队奖。

在自然说话处理周围中,最大的亮点也许是 ACL 2017 有 5 篇国内论文入选特出论文,别离来自北京大学、复旦大学、清华大学和中科院自动化所。以下是详细情况(不十足统计):

ACL 2017 最佳演示论文《Hafez: an interactive poetry generation system》共联相符作 Xing Shi(史兴)本科卒业于清华大学,现于南添州大学读博。以下五篇 ACL 2017 特出论文皆来自国内:

Adversarial Multi-Criteria Learning for Chinese Word Segmentation。作者:陈新驰、施展、邱锡鹏、黄萱菁(复旦大学)Visualizing and Understanding Neural Machine Translation。作者:丁延卓、刘洋、栾焕博、孙茂松(清华大学)Abstractive Document Summarization with a Graph-Based Attentional Neural Model。作者: Jiwei Tan、万小军(北京大学)Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme。作者:郑孙聪、Feng Wang、Hongyun Bao(中科院自动化钻研所)A Two-stage Parsing Method for Text-level Discourse Analysis。论文作者:王义中、李素建、Houfeng Wang(北京大学)

EMNLP 2017 最佳长论文《Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints》作者 Jieyu Zhao、Tianlu Wang、Mark Yatskar、Vicente Ordonez 和 Kai-Wei Chang,其中来自弗吉尼亚大学的赵洁玉、王天露、张凯崴均为华人。一作赵洁玉 UCLA 二年级在读博士生,师从 Kai-Wei Chang(张凯崴)教授。主要钻研周围为自然说话处理与机器学习。此前,在北京航空航天大学获得计算机本科及硕士学位,并在弗吉尼亚大学完善博士一年级的学习,现就读于 UCLA 计算机专科。

在综相符性顶会和深度学习顶会中,也常有华人的论文获奖。其中值得仔细的是 ICLR 2017 关于重新思考泛化的最佳论文,该论文专门有影响力,且一作也是华人。

IJCAI 2017 最佳门生论文奖《Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering》是优必选悉尼 AI 钻研院创作的论文,一作王超岳,悉尼科技大学 FEIT 三年级博士生,优必选悉尼 AI 钻研院访问门生,导师陶大程教授。陶大程是优必选 AI 首席科学家,他领导的优必选悉尼 AI 钻研院有 13 篇论文被授与,除这篇外,论文《General Heterogeneous Transfer Distance Metric Learning via Knowledge Fragments Transfer》进入最佳特出论文奖前三名。ICML 2017 最佳论文《Understanding Black-box Predictions via Influence Functions》作者之一 Percy Liang 是著名华人学者、斯坦福大学副教授。ICLR 2017 统统有 3 篇最佳论文,其中论文《Understanding deep learning requires rethinking generalization》的一作是卒业于浙江大学、现于 MIT 读博的 Chiyuan Zhang。论文《Making Neural Programming Architectures Generalize via Recursion》的作者 Dawn Song(宋晓东)本科卒业于清华大学,现任职于添州大学伯克利分校。

获奖论文分析

吾们统计了 2017 年人造智能顶会的获奖论文数,并在简要地筛选后,统计了这些获奖论文的关注周围与关键词等比较有有趣的新闻。如下展现了大会获奖论文的分布情况,2017 年获奖论文不准确统计大约有 56 篇,其中包括了经典论文奖或其它年份发外的论文。

棋牌炎点

AAAI 2017 的奖项除了一篇最佳论文与一篇最佳门生论文外,还有另外 10 大奖项,包括经典论文奖、行使开发奖等 7 大获奖论文。但吾们只会分析两篇最佳论文的主题与关键词。今年 AAAI 其它获奖论文的主题很有有趣,例如经典论文主要开创了粒子滤波的行使,它为机器人定位挑供了有效和可扩展的形式,而行使奖论文更是关注在线人才雇用和物理原料的相符成与外征。除了论文奖项外,香港科技大学林方真教授由于对知识外达、非单调逻辑和走为理论等周围的壮大贡献而获得 AAAI Fellow。

其它顶会的论文情况也和 AAAI 相通,吾们将往除历年的经典论文和其它年份的论文。例如在今年 ICML 的经典论文中,2007 年的钻研者关注结相符 UCT 在线知识与离线知识以构建富强的 9*9 围棋体系,但近来深度深化学习和自吾对抗策略等技术已经在围棋游玩中取得了很主要的收获,因而这一类的主题吾们并不会深入探讨。

值得仔细的是,很多顶会的经典论文都展现了声援向量机相关的主题。例如 ICML 经典论文 Pegasos: Primal Estimated sub-GrAdient SOlver for SVM 挑出了一个浅易有效的随机子梯度降落算法,用于解决声援向量机(SVM)挑出的优化题目。KDD 的经典论文 Training Linear SVMs in Linear Time 挑出了一栽训练线性 SVM 的截平面算法,该算法经表明对于分类题目而言训练时间只需 O(sn),有序回归题目的训练时间为 O(sn log(n)),其中 s 为非零特征数,n 为训练样本数。而刚刚终结的 NIPS 也发布了关于 SVM 的经典论文 Random Features for Large-Scale Kernel Machines 挑出了一栽把输入数据映射到随机的矮维特征空间中,然后再行使现有的迅速线性化算法的形式。

此外,KDD 主要是数据发掘周围与知识发现方面的顶会,因而固然它与人造智能有很大的相关,但吾们并异国将其纳入钻研主题的统计。今年的 KDD 从主题上来望主要关注于时序数据与图算法,且批准的行使类论文占有了 40% 旁边。该会议的最佳论文探讨了如何学习更浅易的结构化外征形式,它结相符多包与循环神经网络从产品描述中抽取向量外征,并且这些学到的向量能比传统新闻检索形式更准确与迅速地找到类比新闻。除此之外,该会议的最佳行使论文关注于退守安卓凶意柔件,它通太甚析 API 之间的分别相关以创建更高层级的语义新闻,因而检测出凶意柔件的抨击者。今年 KDD 大会实在有专门多的见解与创意,不过限于吾们的主题与关注点,后文并异国统计与分析 KDD 相关的新闻。

因此,在今年顶会 56 篇获奖论文中,吾们以下商议了 32 篇获奖论文的主题与关键词等新闻。

钻研主题的分布

吾们最先按照这 32 篇获奖论文分析了 AAAI、ICLR、ICCV 和 NIPS 等顶会(除往 KDD)的获奖钻研主题。其中吾们将这些获奖论文的主题分为 6 栽,它们之间也许会有交叉,例如也许有论文行使深化学习的形式钻研自然说话处理相关的题目。值得仔细的是,学习过程这一主题描述的是最优化形式、模型拟相符或模型验证等题目,数据题目描述的是新式数据集、数据隐私和数据成见等相关的题目。以下展现了今年片面顶会获奖论文的主题分布:

棋牌炎点

在这些获奖论文的主题中,商议地最多的是计算机视觉与自然说话处理。这两个义务也是现在专门通走的钻研周围,从 CVPR 和 ICCV 凝神于计算机视觉周围,ACL 和 EMNLP 凝神于自然说话处理周围就可见一斑。对于其它如 AAAI、ICML 和 IJCAI 等综相符性会议,它们关注地更多的是学习过程与数据题目。此外,深化学习和迁移学习等前沿话题在各大会议的获奖论文中也常挑到。

1.计算机视觉

对于计算机视觉周围来说,贡献最大的自然是 CVPR 与 ICCV,其它如 IJCAI 等也有相关主题的获奖论文。这些获奖论文详细钻研的倾向主要有现在标检测、图像标注、图像生成、语义分割、卷积神经网络架构等方面。今年唯一以钻研卷积架构为主题的获奖论文是康奈尔与清华大学说相符完善的 Densely Connected Convolutional Networks,他们发现倘若卷积神经网络在挨近输入层和输出层的层级中包含较短的连接,那么 CNN 就能在训练上隐微地变得更深、更准确和拥有更高的效率。据此,他们挑出了浓密卷积网络(DenseNet),这栽卷积神经网络以前馈的方式将每一层与其他层相连接首来。这篇论文的评价专门高,很多钻研者认为 DenseNet 在 ResNet 基础上挑出了更特出的浓密型连接方式,这栽连接不光能使得特征更添郑重,同时还能产生更快的抑制速度。固然有学者指出 DenseNet 的内存占用太大,训练成本很高,但也有钻研者测试外明在臆测时它所必要的内存要比 ResNet 少。以下展现了 DenseNet 的基本架构:

棋牌炎点

除了卷积架构外,语义分割或现在标实例分割最有影响力之一的获奖论文就是何凯明等钻研者挑出来的 Mask R-CNN,它是一栽浅易、变通和高效的通用现在标分割框架。Mask R-CNN 是基于 Faster R-CNN 的扩展,它在用于边界框识别的分支上增补了一个并走的分支用于展望现在标的掩码。因此这栽形式不光也许有效地检测图像中的现在标,同时还能为每个实例生成一个高质量的分割掩码。值得仔细的是,何凯明是该最佳论文的第一作者,同时是今年最佳门生论文的作者之一,若添上 CVPR 2009、CVPR 2016 两篇最佳论文,那么他已有四篇获计算机视觉顶会的最佳论文。

棋牌炎点

Mask R-CNN 框架

在计算机视觉钻研主题中,今年获奖论文商议得比较多的也许就是现在标检测。在 YOLO9000: Better, Faster, Stronger 论文中,作者挑出了 YOLOv2 和 YOLO9000 检测体系。YOLOv2 能大大改善 YOLO 模型,并且以专门高的 FPS 获得更益的终局,而 YOLO9000 这一网络结构可以实时地检测超过 9000 栽物体分类,这主要可以归因于 WordTree 同化了现在标检测数据集与现在标识别数据集,因此经过说相符训练能实现专门益的终局。而在 Focal Loss for Dense Object Detection 论文中,钻研者挑出的崭新 Focal Loss 形式,它荟萃于稀奇、难得样本中的训练,避免了训练过程中也许展现的大量负面因素。他们外明行使 Focal Loss 进走训练的 RetinaNet 可以在现在标检测义务上达到一步检测器的速度,同时实在性高于业内最佳的两步检测器。

图像生成其实也是今年获奖论文比较关注的主题,例如苹果公司的 Learning from Simulated and Unsupervised Images through Adversarial Training 挑出了模拟添非监督学习形式在行使相符成图像方面表现出了隐微的升迁终局。而另一篇 Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering 挑出了一栽条理化的标签解纠缠的生成对抗网络(TDGAN),该 TDGAN 经过指定多个场景属性(如视角、照明和外现等)从单张图片重新渲染出感有趣现在标的新图片。若给定一张输入图像,解纠缠网络会抽取解开的、可注释性的外征,然后这些外征再投入到生成网络以生成图片。

2.自然说话处理

自然说话处理是除计算机视觉外另一个专门受关注的钻研周围,甚至今年以 NLP 为主题的获奖论文比计算机视觉还要多。基本上,ACL 和 EMNLP 是对这一周围贡献专门大的顶会,今年该周围的获奖论文关注的也专门广,主要有机器翻译、语音语域、分词模型、说话的生成模型和其它一些 NLP 数据相关的题目。值得仔细的是,自然说话处理周围和计算机视觉周围相通有很多引人注主意行使,最特出的就是神经机器翻译。固然往年神经机器翻译就已经有了很大的发展,但今年很多钻研者真实从编码器-解码器架构、仔细力机制、深化学习形式甚至是 LSTM 与 GRU 的结构来升迁神经机器翻译的性能。除此之外,自然说话处理其它很多方面都有专门大的挺进,下面吾们将简介今年顶会相关自然说话处理的获奖论文。

今年 NLP 获奖论文有很多关注于偏说话学的题目,例如在论文 Probabilistic Typology: Deep Generative Models of Vowel Inventories 中,钻研者介绍了一系列深度随机点过程,并将他们与之前的计算性的、基于模拟的形式相对比。该论文挑出了首个针对音韵类型学中基础题目的概率性形式,它期待经过深度神经网络的学习形式来对元音空间构建一个可训练的概率型生成分布,从而来钻研说话类型学中的元音的松散性和聚焦性题目。此外,该论文的钻研者在 ACL 大会演讲终结时外明 NLP 工具答该是进走科学钻研的手腕,而不止是工程义务,这也正是该论文将深度学习与传统 NLP 钻研相结相符的一次尝试。除此之外,The Role of Prosody and Speech Register in Word Segmentation: A Computational Modelling Perspective 探讨了在分词义务中语音语域和韵律学的作用,他们发现语域之间的区别要小于以前的,并且韵律学边界新闻协助成年人指向的语音要比婴小儿指向的语音更多一些。

今年以 NLP 为主题的获奖论文还有另一个专门有有趣的话题,论文 Hafez: an Interactive Poetry Generation System 挑出了一栽自动诗歌生成体系,它将循环神经网络(RNN)与一个有限态授与器(FSA)进走整相符,因此可以在给定肆意话题的情况下生成十四走诗。Hafez 还能让用户调整各栽分别风格的配置,从而对已生成的诗歌进走修改和润色。

NLP 获奖论文除了以上钻研型收获,还有一片面是由于在数据上或工具上有主要收获而获得了奖项。数据集、数据成见或语料库等题目将在后一片面详细商议,由于除了 NLP 中的数据题目,其它如图像标注等题目在大会获奖论文中也有商议。另一项哈佛大学 NLP 组开源的神经机器翻译工具则表现了工程倾向的钻研收获。在论文 OpenNMT : Open-Source Toolkit for Neural Machine Translation 中,钻研者介绍了一栽用于神经机器翻译的开源工具包。该工具包以效率、模块化、可延展性行为优先考虑因素,从而在模型架构、特征外征、开源形式中声援 NMT 钻研,哈佛 NLP 组在官网上外示该体系已经达到生产可用的程度。

棋牌炎点

OpenNMT 可以像主要的翻译服务挑供商的已投入生产的体系那样行使。该体系浅易易用,易于扩展,同时也能维持效率和现在最佳的翻译实在度。其特性包括:

浅易的通用型接口,仅必要源文件和现在标文件;为高性能 GPU 训练进走了速度和内存优化;可以升迁翻译性能的最新钻研的特性;有多个说话对的预训练益的模型;批准其它序列生成义务的扩展,比如归纳总结和图像到文本生成。

3.学习过程

在吾们的分类中,学习过程其实是一个很广的钻研周围,它可以包括最优化形式、训练过程或形式、最大似然估计或其它构建亏损函数的形式以及泛化题目与暗箱题目等话题。自然,清淡学习过程指的是训练或最优化过程,但吾们这边也许将这个概念推广到清淡机器学习模型所共有的题目,例如吾们思考的暗箱题目、随机扰动或新式验证形式等适用于清淡机器学习模型的钻研主题。这一片面实在近来越来越受到钻研者的关注,很多论文在商议是否有更优的梯度降落形式、更益的模型注释或更美的参数估计形式,这一倾向也外现在今年顶会获奖论文的钻研主题中。吾们统统将 7 篇获奖论文归到这一类中,它们商议了机器学习模型的各个方面,专门值得各位读者详细晓畅。

其实近来 ICLR 2018 评分排第二的论文就详细钻研了最优化形式,在 ON THE CONVERGENCE OF ADAM AND BEYOND 论文中,钻研者发现 MSPROP、ADAM、ADADELTA 和 NADAM 等形式都是基于行使前线迭代所产生梯度平方的指数滑动平均值,它们在对该滑动平均值取平方根后用于缩放现在梯度以更新权重。该论文外示些算法由于行使了指数滑动平均操作而未必并不及抑制到最优解(或非凸条件下的临界点)。因此钻研者挑出了一栽 ADAM 算法的新变体,它经过赋予这些算法对前线梯度的「永远记忆」能力而解决抑制题目。在 NIPS 2017 的最佳论文 Variance-based Regularization with Convex Objectives 中,钻研者探讨了一栽风险最小化和随机优化的形式,该形式可以为方差挑供一个凸属性的替代项,并批准在逼近和估计偏差间实现近似最优与高效计算间的权衡。他们表清新该过程具有最优性保证(ertificates of optimality),并经过逼近和最优估计偏差间良益的权衡在更清淡的设定下比经验风险最小化形式有更快的抑制率。因此,前一篇论文外清新 Adam 等算法的限制性而挑出改进形式,后一篇论文直接挑出一栽能升迁标准经验风险最小化在很多分类题目测试上的性能的形式。

棋牌炎点

ADAM和AMSGRAD 在浅易一维相符成案例中的性能对比

最优化形式是标准的学习过程,但泛化与暗箱等题目与学习过程也有很大的相关。例如如何在训练过程中限制模型不产生过拟相符,或理解模型的超参数与所学习到的参数等题目都是值得吾们关注的话题。在 Understanding deep learning requires rethinking generalization 论文中,作者外明传统的泛化思考是将小的泛化偏差归结为模型族的特性,或是与训练过程中的正则化技术相关。但这些传统的形式并不及注释大型神经网络在实践中泛化良益的因为,因此作者经过理论构建与实证钻研外明只要参数的数目超过了数据点的数目,那么浅易的 2 层深度的神经网络就已经有完善的有限样本外达能力。同样在 Understanding Black-box Predictions via Influence Functions 论文中,钻研者行使了郑重性统计的经典技术影响函数,它可以经过学习算法追踪模型的展望并返回训练数据,因此吾们能确定最影响给定展望的训练数据点。他们外示即使在理论失效的非凸和不走微模型下,影响函数的近似照样能挑供有价值的新闻来理解暗箱模型的展望终局。

4.数据题目

今年各大学术会议实在专门关注数据相关的题目,例如数据成见、数据隐私和大数据集等。这一类主题大致可以分为两片面,即新式数据集、语料库、知识库,或者是数据自己存在的特性与题目。其实今年已经挑出了益几个数据集,吾们也许比较熟识旨在替代 MNIST 的 fashion-MNIST 数据集,还有 Facebook 构建的用于星际争霸人造智能钻研的新一代数据集 STARDATA,这些富强的数据集都推动了深度学习与机器学习向前发展。此外,苹果和微柔等大公司对数据隐私题目做出了进一步的思考。例如微柔今年推出了 PrivTree,它行使差分隐私算法珍惜位置隐私,而苹果的差分隐私算法从数学角度厉格定义了隐私,他们的思想即仔细校准的噪声可以暗藏用户数据。今年 IJCAI 和 EMNLP 等顶会也都有以数据为主题的获奖论文。

对于获奖数据集与知识库等内容,在 A Corpus of Natural Language for Visual Reasoning 论文中,钻研者挑出了一栽新的视觉推理说话数据集,包含对相符成图像进走自然描述(3962 条语句)的 92244 对样本。该数据集表明,大多说话学表象都必要视觉和荟萃论(set-theoretic)推理,因此它在异日的钻研当中将是极具竞争力的。YAGO 知识库的扩展 YAGO2 中,钻研者外明它从维基百科、GeoNames 和 WordNet 中自动构建而成,涵盖了 980 万实体的 4.47 亿原形。人类评估已经确认其中 95% 的原形属实。

棋牌炎点

Alane Suhr 等人挑出的视觉推理说话数据集。

对于数据成见与数据隐私,Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints 论文钻研了与多标签现在标分类和视觉语义角色标注相相关的数据和模型。他们发现这些义务的数据集包含主要的性别成见,且在这些数据集上训练的模型放大了这些成见。例如,在训练荟萃,做饭涉及到女性的概率要比男性高 33%,而训练后的模型在测试集上将这一切率放大到了 68%。因此钻研者提出可以注入用于校准现有结构化展望模型的语料库级管制,并基于拉格朗日懈弛设计一栽算法以进走群体臆测。此外,谷歌大脑等钻研员在论文 Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data 外示模型中也许会有时中隐含一些训练数据,因此经过仔细分析就能揭露一些敏感性新闻。为晓畅决这个题目,钻研者挑出了教师集成的私有聚相符(PATE),该形式经过暗箱的方式组相符多个由互斥数据集训练的模型。由于这些模型都倚赖于敏感性数据,因而它们并不会公开,但是它们照样可以行为「门生」模型的「教师」。因此,即使抨击者可以访问门生与检查内部运走做事,但他并不及直接访问到单一教师的基础参数或数据。

5.其它题目

其实今年的学术会议的获奖论文还有很多关注于深化学习与行使方面。在深化学习方面,The Option-Critic Architecture 论文外明时间抽象(temporal abstraction)是深化学习中对学习和规划进走扩展的关键,他们为 option 推导出策略梯度定理,并挑出了一栽新式 option-critic 架构,它能同时学习内部策略和 option 终止条件而不必要挑供任何额外的奖励或子现在标。而在行使方面,Making Neural Programming Architectures Generalize via Recursion 挑出了行使一栽行使递归来添强神经架构的形式,他们在一个神经编程器-注释器框架中实现了这栽递归,且该框架可用于四栽义务:小学添法、冒泡排序、拓扑排序和迅速排序。该论文的钻研者末了外明吾们有必要结相符行使递归云云的概念,来使神经架构能郑重地学习程序语义。

结语

今年的机器学习周围,尤其是深度学习形式专门引人注现在,这一点从顶会的挑交论文与参会人数就能表现出来。例如在 NIPS 2017 的第镇日,长滩会展中央门口的注册列队长龙「长到可以让你望几篇论文」。一切这些著名的顶会都外明着这个时代刚刚益,很多思想、很多也许都能经过钻研与探讨得到实现。末了祝各位读者在新的一年里都能实现各自的思想,为兴旺的人造智能周围与机器学习社区留下一些印记。机器之心在 2018 也将不息并深入地不益看察学术会议,吾们将表现这个兴旺周围最可喜欢的一壁。

棋牌炎点

独家 | AAAI-17获奖论文深度解读(上):从无标签监督学习到人造智能道德框独家 | AAAI-17获奖论文深度解读(下):蒙特卡罗定位和选举体系ICCV 2017奖项公布:最大赢家何恺明获最佳论文,参与最佳门生论文IJCAI 2017四大论文奖项揭晓:牛津大学获最佳特出论文自然说话处理周围的前沿技术:EMNLP 2017最佳论文公布ACL 2017 五篇最佳论文公布,国内无获奖论文专栏 | CVPR 2017最佳论文解读:浓密连接卷积网络CVPR 2017多个奖项公布:苹果公司获最佳论文ICLR 2017即将开幕,机器之心带你概览论文全貌(附最佳论文与直播地址)FPGA 2017最佳论文出炉:深鉴科技ESE语音识别引擎获奖(附解读)KDD 2017获奖论文公布:数据发掘周围的顶级钻研与行使收获ICML 2017首日公布两大奖项:斯坦福大学获最佳论文奖现场报道 | NIPS 2017首日亮点全解读:四大获奖论文终局揭晓