“深度学习已死,可微分编程万岁”LeCun老师回应

Deep Learning est mort. Vive Differentiable Programming!编程

这句英法混合的话,翻译成汉语,就是“深度学习已死,可微分编程万岁”。说这话的,正是深度学习三巨头之一:Yann LeCun。api

纳尼?网络


不管是上个月Ali Rahimi的“炼金术说”,仍是前些天Gary Marcus对深度学习的质疑,LeCun老师都自告奋勇强硬回怼,今天何出此言?框架

嗯……LeCun在Facebook上的文章里,宣称深度学习已死以前还有一句,说“深度学习做为一个流行词活得过久了,已经没什么用了。”编程语言

只是换个说法么?“可微分编程”又是什么?学习

LeCun认可,“可微分编程”只不过是对现代深度学习技术体系的从新命名,和当年给神经网络里有两个以上隐藏层的变体起名叫“深度学习”差很少。优化

他还说:ui


可是重点是,人们如今正经过组装参数化功能模块网络,并用某种基于梯度的优化方法训练它们,来构建一类新软件。spa

愈来愈多的人正在以一种依赖于数据的方式(用循环和条件)来程序化地定义网络,让它们随着输入数据的动态变化而变化。除了参数化、自动微分和可训练/可优化的特性以外,这很是像一个普通程序。.net

动态网络已经变得愈来愈流行(尤为是对于NLP来讲),这要归功于PyTorch和Chainer等深度学习框架(注意:之前的深度学习框架Lush,能够处理一种名叫Graph Transformer Networks的特殊动态网络,用于文本识别)。

如今,人们正在积极研究命令式可微分编程语言的编译器,对开发基于学习的AI来讲,这是一种很是激动人心的途径。


除了认为深度学习应该更名叫可微分编程以外,LeCun还说他决定将本身最近特别推崇的“预测性学习”,更名叫作“Imputative Learning”,咱们暂时叫“归责学习”好了。

他最后还发了个小预告,说稍后会谈更多,不过量子位从早上等到中午,也还没等到……

只好一块儿持续关注他的Facebook啦~

https://www.facebook.com/yann.lecun

对于LeCun的新想法,国外论坛上很多人都嫌弃这个新名字太长太难叫,不过也有人说“编程”的确比“学习”贴切。


----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------