首页 > 代码库 > NIPS 2014

NIPS 2014

一个星期的NIPS终于开完了,Montreal的会场真是高大上,比去年的又大又新太多,设施很好,组织的也很好。因为离我们近,好多深藏不露的人物都来了,不光machine learning,好多vision,NLP和compbio的人也都来了,甚至Radford Neal这种鄙视publication的都出现了。NIPS感觉整体水平还是比ICML高一点,我喜欢NIPS的single track,促进领域间的互相了解,ICML多个track同时进行让人很容易就错过一些有意思的内容。

Montreal在北美是一个很不一样的城市,有点欧洲风。长期以来Montreal都是加拿大最大的城市,直到最近几十年才在经济和人口上被Toronto超过。Montreal还是世界上第二大说法语的城市,仅次于巴黎。不知道为什么,法语听起来觉得比英语悠闲一些,更有历史底蕴。可惜开会期间一直下雪,不方便在外面走,所以也没怎么出去玩。Montreal的冬天很冷,连接五大湖和大西洋的河道穿城而过,也带来相对更多的降水量,所以雨雪也更多一些。当地人应对寒冷冬天修建了大规模的地下通道系统,不光起了通道作用,也有商铺、餐馆娱乐设施汇集。这次住的酒店和会议中心就有地下通道连接,所以平时出门外面冰天雪地我们却连外套都不用穿。

做点学术上的总结吧。我在前一篇博文里提到的A* sampling得到了本届的Outstanding paper award,看来NIPS award committee跟我意见一致还是很有眼光的 :D,虽然这个文章我还是不是很懂。。。另一篇Outstanding paper award的作者Anshumali我居然也认识,暑假也在MSR做了intern,参加intern活动puzzle day我们还在同一个队上,虽然最后我们队排到倒数前二十,但have fun的目的还是达到了。

星期一的tutorial现在都想不起来学了些什么了。Chandra Chekuri做了一个关于最近一些关于large tree-width graph的进展的tutorial,不过不能完全follow。其他的基本上都没什么印象了。

这届NIPS的invited talk阵容还是很豪华的:

- Yurii Nesterov:optimization领域里面的神级人物,讲了怎么做huge-scale的optimization。他讲到随着数据越来越多,computation要从O(n)降到O(log n)才行,log n连把数据都读一遍都不够,就必须利用sparsity。

- 另外一个印象很深的是John Hopfield,算是computational neural science的祖宗级人物吧,三十年前NIPS初创就是Hopfield身边的一帮人搞起来的,也是桃李满天下。可惜真是老了。不过江山代有才人出,后继有人。

- 其他的大都不是很熟,好多都没赶上开头,也印象不是很深。

 

说说论文:

星期二

* A Differential Equation for Modeling Nesterov’s Accelerated Gradient Method: Theory and Insights

用differential equation来解释Nesterov‘s method。

* Inference by Learning: Speeding-up Graphical Model Optimization via a Coarse-to-Fine Cascade of Pruning Classifiers

嗯。。好像错过了这篇文章,但回头看觉得题目挺有意思的。

* Multilabel Structured Output Learning with Random Spanning Trees of Max-Margin Markov Networks

提出了一种把densely connected graph分解成一大堆randomly generated spanning tree的办法,分解完以后每个tree上做MAP inference都容易,learning也容易。有理论分析保证test time依然用这些random tree并在tree上做inference也可以达到很好的结果。

* Learning Distributed Representations for Structured Output Prediction

不光对input data用distributed representation,对output也用distributed representation,这样就可以有information sharing,可以exploit class之间的关系。

* Conditional Random Field Autoencoders for Unsupervised Structured Prediction

可能是因为架在graphical model和deep learning之间所以吸引了比较多关注吧,做的东西想法是对的但是做法我觉得不怎么make sense。

* Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)

今年的两篇outstanding paper award之一。非常简单的方法在重要问题上得到了很好的效果,也有充分的理论分析。

* Semi-supervised Learning with Deep Generative Models

Deep generative model,加上neural variational inference可以用来做semi-supervised learning。

* Generative Adversarial Nets

一种有意思的generative model,外加有意思的training algorithm。

* Deep Symmetry Networks

一种convolution的generalization,convolution说的是空间shift invariance,这个文章研究的是更普遍的对称性,convolution是对称性的一种特例。

* Sequence to Sequence Learning with Neural Networks

Ilya的oral talk可以找来看一看,不过据说也有人不高兴,像Pedro Felzenszwalb好像听到一半就起身走了。

* Learning to Discover Efficient Mathematical Identities

听上去好像是train了一个language model,然后就可以generate新的数学公式。

* Learning Generative Models with Visual Attention

Application挺酷的。把discriminative model用在sampling中也是一个很好的idea。

* Searching for Higgs Boson Decay Modes with Deep Learning

看了这个title是不是有一种deep learning统一天下的感觉。

* A Multiplicative Model for Learning Distributed Text-Based Attribute Representations

现在所有人都在搞image to text generation了。

 

星期三

* Decomposing Parameter Estimation Problems

Directed graphical model里如果data都是observed的话,parameter estimation可以完全分解到每一个变量,并达到并行化。这个文章里有hidden variable,所以就通过Markov blanket来对graphical model进行分解,分解后的块儿大一些,但也可以并行地进行parameter estimation。

* Global Sensitivity Analysis for MAP Inference in Graphical Models

做了graphical model MAP inference的sensitivity analysis。sensitivity跟robustness其实是一回事,如果能把这种显式的robustness用在learning里面游戏王得到robust的structured predictor。

* Do Deep Nets Really Need to be Deep?

当晚最popular的poster。核心是train完一个deep net之后这个neural net的output distribution包含很多除了prediction以外更丰富的class之间的信息,利用这个可以把一个deep net压缩到一个shallow net,这样prediction time可以大大减少。Geoff Hinton的dark knowledge也是类似的思路,不过视角不一样。

* Learning with Pseudo-Ensembles

另一种在neural net里做regularization的方法,跟contractive auto-encoder很像,也可以做semi-supervised learning。

* From MAP to Marginals: Variational Inference in Bayesian Submodular Models

用submodular energy function定义一个probabilistic distribution,在这个probabilistic distribution中可以做类似普通graphical model的“variational” marginal inference。之前好像大多用submodular function的都是做MAP,没有probabilistic model。

* Learning to Search in Branch and Bound Algorithms

通过learning的方法来做branch and bound中的pruning。

* Convex Deep Learning via Normalized Kernels

感觉Convex deep net的idea可以用来invert一个generative deep model。

* A* Sampling

今年NIPS的两篇outstanding paper award之一。如果你的distribution维度较低但很复杂,可以考虑使用。

* Large-Margin Convex Polytope Machine

类似于ensemble的一种方法。做binary classification的时候每一个class用多于一个的basis去表示。

* Unsupervised Transcription of Piano Music

应用挺有意思的。

 

星期四

* Discriminative Unsupervised Feature Learning with Convolutional Neural Networks

描述了一种训练用discriminative training做unsupervised feature learning的方法。在unsupervised learning setting中,没有label怎么做discriminative training呢?他们的想法很有意思,每个image自成一个class,每个class的训练数据通过把那个image做各种各样的transformation(shift/rotation/etc.)得到。这样一来,学到的feature就能invariant to各种transformation,同时又保留必要的信息,能和其他的image区分开来。缺点是每个image自成一类的话这个方法不够scalable,数据量一大class数量就会很大,这个方法就不那么work了。

* Modeling Deep Temporal Dependencies with Recurrent "Grammar Cells"

加强版LSTM,每一个memory cell不是一个vector而是有结构的grammar cell。

* Recurrent Models of Visual Attention

让convnet能够学到attention model,做prediction的时候不用看整个image,而是只看一个局部,这样就省了时间,而且也和人的vision过程更相近。attention是通过把图像限定在一个局部来实现的,但这个image cropping的操作是不连续的,所以没法直接backprop。不过这个model可以用神奇的reinforcement learning的方法来学。

* Unsupervised learning of an efficient short-term memory network

学到了导数和recurrence之间的关系。可以通过求导来得到recurrent network。

* Message Passing Inference for Large Scale Graphical Models with High Order Potentials

提出一种有效地进行parallel message passing的方法,不过要彻底理解我还需要学习一下region graph。

* Efficient Inference of Continuous Markov Random Fields with Polynomial Potentials

证明了偶数阶多项式energy的MRF都可以被拆成一个convex部分和一个concave部分的和。这样拆分后再做MAP inference能更有效地利用结构信息。

* Hardness of parameter estimation in graphical models

有意思的理论文章,说明了在特定的一类graphical model中,把data转化成sufficient statistics并不是最好的做法。也说明了另一些hardness result。这个idea有可能推广到其他的graphical model。

* Sequential Monte Carlo for Graphical Models

用sequential Monte Carlo的办法来从复杂的graphical model中进行采样。sampling和learning还可以同时进行。

* Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation

提供了一些初步的结合convnet和graphical model的办法。

* Clamping Variables and Approximate Inference

通过把一些关键的变量固定的方法来分解graphical model,使得inference更容易也得到更tight的bound。

* Diverse Randomized Agents Vote to Win

做了一个下围棋的应用,很有意思。

* Augmentative Message Passing for Traveling Salesman Problem and Graph Partitioning

把TSP问题model成一个factor graph,然后在这个graph上跑message passing inference可以有效地得到近似解。不过没有理论上的近似保证。

 

Workshop:

我有一点不喜欢NIPS的workshop,因为所有workshop同时进行,而且都是一整天,很容易就错过了。不过很多workshop都有很多有意思的内容,有时候也觉得一天都不够尽兴。

这届NIPS最火的依然是deep learning workshop,独占最大的会场,容纳六百多人,估计很很多其他的小型conference差不多规模了。第一个talk是来自Oxford的Phil Blunsom,讲了用convnet用在sentence representation learning上。Phil最近刚刚被买到deepmind。有意思的是Geoff Hinton给了第二个talk,但不是invited talk,而是他与Orial Vinyals和Jeff Dean投了一篇workshop paper,被workshop接收为oral,亏得没有被拒。Geoff给完talk之后的后面一个invited speaker显然被镇住了,紧张得不行。

另外几个印象深点儿的talk:一个是前NVIDIA员工,cuDNN作者介绍NVIDIA GPU对neural network的原生支持,有硬件厂商配合,以后写出来的neural net GPU代码肯定会更快。Vlad介绍了最近reinforcement learning和deep learning结合的工作,game play还有attention model。Stanford搞统计物理的Surya Ganguli讲了一些deep learning的理论问题,提供了看问题的一些新视角。

当天另外就只在learning semantics workshop待了一会儿,不过很有意思。赶上Berkeley的Alyosha Efros、Duke的Jeffrey Siskind还有MSR的Larry Zitnick讨论最近image to text generation的进展。Jeffrey Siskind在talk中搞笑的批评了现在“state-of-the-art”的方法,并举例说他们结果都非常烂。结果遭致全场抨击,因为他完全不了解最近这一块的新进展,所引用的“state-of-the-art”结果还是去年的结果,另外他自己提出的方法结果弱得多得多。不过勇于抛出controversial的观点对讨论是有帮助的,但批评别人之前还是先了解好批评的是什么比较好。

第二天因为我自己有一个poster,所以大部分时间都待在Transfer and Multitask Learning那里,这个workshop不咋地,但也没办法。Representation and learning of complex outputs更对我胃口,但错过了好多东西。有一个关于high energy particle physics的workshop也在这天,感觉machine learning在自己圈子之外的影响是越来越大,对我们这些从业者来说,这是一个好时代,也是一个有机会做出东西的时代。

NIPS 2014