周志华揭牌英特尔-南大联合研究中心：探索DNN与GPU以外的「广义深度学习」

英特尔与南京大学联合成立了一个「人工智能联合研究中心」。9 月 12 日，英特尔中国研究院院长宋继强与南京大学人工智能学院院长周志华在南京为这个名为「英特尔-南京大学人工智能 IPCC 中心」的机构揭了牌。前端

「我想经过和英特尔的合做，不只会进一步推进咱们在人工智能、机器学习算法方面的研究，同时也会进一步扩大这些研究对芯片硬件架构方面进一步发展的影响」，周志华表示，「此外，由于英特尔已经给各行各业的用户提供了技术支持和服务，经过此次合做，也有可能进一步把咱们的研究成果进一步推向产业化应用，提供更好的发展空间。」
算法

周志华与宋继强曾经是南京大学计算机科学与技术系的九年同学，现在这两位昔日校友又分别以学界和业界的身份走到一块儿，一位带来了对深度神经网络结构的可替代方法的深刻思考——「深度森林」，另外一位带来了以英特尔至强系列处理器为表明的「一片多核」硬件架构，目标是给更大、更须要可解释性的任务提供不被数据规模局限的、更易训练也更容易分析的算法解决方案。网络

深度神经网络以外的深度学习架构

「不少外界的人有两个有失偏颇的观点。第一，会倾向于认为人工智能这一波进步彻底是深度学习带起来的，可是其实深度学习只是背后的一部分，好比 AlphaGo 背后更重要的是强化学习。第二，会倾向于认为深度学习就是深度神经网络。咱们的探索就是试图告诉你们：深度学习不光是深度神经网络，还有不少别的东西。」在揭牌仪式以后的采访上，周志华对于深度森林工做的意义这样解释道。同时他也讲述了本身对于深度学习的发展趋势的判断：「在将来，彻底基于深度神经网络的『狭义深度学习』的空间可能逐渐地变小，由于它有用的范围咱们逐渐都知道了。可是广义的深度学习可能会长期存在下去，甚至变成之后的机器学习系统的一个基本配置。」app

什么是「广义深度学习」？周志华将其定义为「由更深更大的由子模型组成的解决复杂问题的模型」，这里的子模型多是神经网络，多是随机森林，也多是其余的结构。框架

深度森林算法提出在去年年初，gcForest 也于去年六月开源。「『没有免费午饭』定理严格证实了没有一种模型适用于所有的数据类型。深度神经网络在图像、语音数据上特别有效，而咱们的前期研究发现，森林结构在符号数据、离散数据混合建模上可能有特长。」正如 IJCAI 论文结尾所言，团队认为这项新方法可以为使用深度学习方法解决更多任务打开一扇深度神经网络以外的大门。机器学习

在过去一年多的时间里，周志华团队也一直在从不一样角度「敲门」。在会后的采访中，周志华分享了一些团队进行过的尝试的方向：一方面探索深度森林的能力边界，好比探索深度森林是否具备传统认为只有神经网络才具备的的自编码能力；一方面研究如何调动更多计算资源，更好利用其自身的高并行性的特色，作任务级的并行；最后在应用层面，他的团队也和蚂蚁金服等合做，检验深度森林算法在一个真实场景下的真实任务（从有大量离散特征的网上金融交易数据中进行非法套现检测）里效果如何。现在三方面都有不错的进展。分布式

CPU 与其余硬件的深度学习加速之路ide

在应用层面上，没有一套硬件解决方案可以适用于全部的场景已是一个共识了。宋继强介绍了英特尔中国研究院的主要方向：面向将来无处不在的具有完整的外界感知、理解决策、以及行为能力的自主前端设备。这些设备对算力的需求能够说是五花八门。英特尔现在最新的至强处理器经过增强了单精度和可变精度浮点数的计算能力来对深度学习应用作了适应性的调整，可是能够进行的尝试还有更多。布局

「一样的人工智能算法在 100 个行业就有 100 种甚至更多的不一样使用方式，每一种使用方式均可能有最好的软硬件搭配的方法。在前端、云端、边缘的计算对于计算资源的功耗、尺寸、实时性的要求都不同。英特尔给出的答案是『混搭』，用多个芯片内核经过高级的集成封装技术进行 2D 和 3D 层面高速互联，实现异构计算。」宋继强介绍道。

应用层面不能在硬件上以「一」待劳，学术研究方向也是如此。

「深度森林和如今的深度神经网络不同的一个地方在于，它不适合用 GPU 加速。」周志华坦言。

在「更大的模型会带来更好效果」的广义深度学习基本假设之下，想要将深度森林作得更大，就要进行一些不同的尝试。

「一种是咱们和在工业界的合做伙伴一块儿作分布式的计算系统，而另外一种就是可否用其余硬件提升其可扩展性。通过大量的前期调研，咱们认为英特尔的一片多核的结构极有可能对加速这样的模型有特别的帮助。」

在软件优化以外，若是可以在算法研究的前期直接从指令集层面乃至芯片布局层面进行思考与优化，对于模型效果会有怎样的帮助？能不能同时思考软硬件问题以实现最佳性能与效率？这是世界上的各个研究机构都在思考的问题，周志华团队也不例外。

「深度森林主要基于树架构，每个模型能够视为由多棵树组成。第一，能不能进行任务级的并行，能不能同时作多棵树？第二，树结构很难在 GPU 上运行，由于它中间涉及到不少分支选择，这让它与一个片上多个 CPU 的结构很是契合。」

团队已经进行了一些实验，「咱们利用一块英特尔至强融核的芯片（KNL），对一个特殊版本的深度森林作出了 64 倍的加速。」

同时，他们也有不少更远大的构想，好比投入到大规模任务中，利用硬件加速提供更好的性能和效率：「受限于如今的计算架构，一个特别大的任务进来，内存立刻耗光了，计算也算不下去了。可是实际从计算开销来讲，一个森林的开销比一个神经网络要小。神经网络能经过 GPU 加速得到性能的大幅提高，那深度森林能不能利用合适的芯片架构，得到相似的帮助？」

即便现有的芯片架构都不能完美地解决这一问题，研究者也十分乐于为硬件开发者提供一些下一步设计上的启发。

计算机人才的硬件能力与硬件研发的人才需求

在周志华看来，与英特尔的合做是让南大计算机学科「更进一步」方式。「原来南京大学的机器学习与人工智能的团队主要在理论和算法方面作一些工做，在应用技术方面的研究主要也集中在软件方面。南京大学做为一所综合性大学，『硬件』一直是咱们的计算机科学所欠缺的一条腿。这一步光靠咱们本身很难再迈进，咱们但愿能经过和英特尔的合做，在软硬件结合方面往前走一步。」

LAMDA 实验室的一些研究生已经从培养前期就介入了与英特尔的合做，「他们在进行工做的过程当中得到了不少英特尔资深工程师的指点，如今他们的底层硬件的理解和操做能力，要远远超过通常课程培养出来的学生。」

而可以「往前一步」的，除了以博士生为主的研究人员，固然也包含本科生。成立于今年 3 月的南京大学人工智能学院刚刚迎来了第一批入学的本科生，以前公开的一年级课表里，引人注目的是数学课：既包含了原先只有数学系学生须要学的《数学分析》和《高等代数》，也包含了原先只有计算机系学生须要学的《离散数学》。而本次周志华还透露，以后的专业课里还有一门是关于「智能芯片」。

「咱们但愿可以培养出人工智能领域高水平的人才，其中一条就是但愿他们可以兼备人工智能须要的软硬件能力。咱们在考虑引进一些与芯片、硬件设计相关的课程，其中有一门课就是关于智能芯片的，而英特尔的合做为咱们这方面的人才培养提供了一个很是好的支持。」

这是南京大学的角度。而从英特尔的角度，硬件的设计须要考虑「将来的算法」，所以除了从学界得到前沿的算法动向，培养了解硬件、可以同时思考软硬件问题的研究者也一样重要。

宋继强说「硬件的设计周期是很长的，我须要预先知道哪些运算模块在将来会很是重要，经过联合实验室的方式，咱们挑选可以『看到将来』的领域开拓者，让学界在英特尔的硬件上进行重要的工做负载尝试，从他们的方向上去寻找将来的方向，为咱们的硬件架构设计提供很好的指导。」

英特尔与南大的人工智能联合研究中心的合做框架以三年为期，届时南大人工智能学院的全学年学生均已入学，而英特尔对于如何调整芯片设计思路以使其更适应广义深度学习时代的思路，也会更明朗地体如今通用 CPU、专用于神经网络加速的 NNP、 为终端深度学习模型提供专门算力的 VPU 等等芯片中。届时深度森林以及其余「广义深度学习」方法的能力范围，会随着算力的升级有怎样的提高呢？咱们对此拭目以待。