找啊找啊找木偶，图灵奖得主G. Hinton第一篇论文曝光！
做者 | Geoffrey Hinton 程序员
译者 | 李倩算法
编辑 | 一一编程
出品 | AI科技大本营（ID:rgznai100）微信
摘要网络
针对在具备重叠结构的透明矩形中寻找木偶这一问题，Hinton大神想到使用松弛算法，经过从冲突局部解释网络中提取全局最佳图形的方式找木偶。数据结构
介绍架构
该程序的输入是透明矩阵的四个角坐标，见图1。要找到木偶模型的最佳实例化的难点在于，若是咱们只考虑一个矩形及其重叠的矩形，那么每一个矩形能够是几个不一样的子木偶组成或者根本不存在子木偶，因此必须经过找到全局最优解释，来解决局部模糊性的问题。app
本文做者介绍了如何使用松弛方法，而不是将全部局部可解释的空间组合进行显式搜索。松弛方法有如下几个优势：机器学习
1. 利用并行计算能够快速地找到全局最优解释。在计算局部可能的数量上，须要的时间不是指数级的，由于组合没有被显式处理。学习
2.所需的计算空间只随着可移植性的数量线性增长，这使得该方法优于全局搜索和宽度优先并行搜索方法，而且宽度优先并行搜索方法存在组合爆炸的问题。
3.该方法提供了全局最优解释，而不只仅是像启发式搜索那样只是获得一个可用的解释。
图1a 有一些额外矩形的木偶
图1b 使用松弛方法以前和以后的矩形的局部假设。第二列表示图片的方向，直接相关的感知在下一列显示。
木偶模型
该木偶由 15 个矩形部件组成，具备以下性质和关系：
1. 每一部分都有近端和远端。其中近端是指最接近头顶的一端。对于每一个部件，沿近-远轴的长度必须大于其宽度。
2. 躯干必须比全部的上肢部件都要宽，而每个上肢部件又必须比与其相连的下肢部件宽。此外，头部必须比颈部宽。
3.头部的面积必须大于颈部，下肢面积必须大于双手或双脚。
4. 相连的部件必须以正确的方式重叠。每一个部件只能指定一个区域是否重叠，而不能指定多个区域。大腿和小腿之间链接的规范如图2所示，图2c展现了一些正确重叠的例子和存在近似偏差的例子。
图2a 四个区域的感知
表2b 展现膝盖区域关系的定义
图2c 两个使人满意的膝关节例子(上)和三个有近似偏差的例子（下）。箭头表示远端+近端方向。大腿老是这两条腿中较宽的那条。
木偶模型是很是随意的，可是必须使用比简单链接更复杂的规则来避免出现如图3所示的状况。一种比较灵活的方式是只要其他部件还是合理的，容许扩展一些链接或比例。这方面的影响将会在后面进行讨论。
图3 一种矩形的配置，具备与木偶相同的连通性图，但具备不一样的关系和比例
不彻底木偶
感知器是一种数据结构，该数据结构能够表示木偶部件的矩形解释，而且有插槽，该插槽被其余相关联的感知器所填充。关联关系也由数据结构显式地表示，数据结构有两个点，每一个点对应一个相关的感知器。
当图中没有完整的木偶时，会发现存在不完整的木偶，即一些感知器中有空插槽的木偶。若是给程序一些评估不完整木偶的方法，那么它能够作一样的事情，这样当有更好的选择时，它就能够避免糟糕的全局解释。目前，知足如下约束条件，而且拥有最多关联关系则被定义为最好的木偶：
1. 一个矩形只能表示一个部件。
2. 除了大腿和上臂能够有两个插槽外，没有一个插槽能够由多个关系填充。
3. 任何类型的部件被实例化的次数都不能超过它在模型中出现的次数，例如，不能有两条以上的大腿。
4. 除非感知器存在，不然关系不存在。
改善局部网络结构
因为木偶的潜在不完整性致使很难排除局部的任何感知，所以采用替代方法，从强烈暗示特定感知器的局部配置开始管理它们。在这些核心元素中，经过尝试填充与已存在的感知相关的空闲时隙来增加网络。
若是这样作失败了，而且有合适的重叠矩形，则使用与新建立的感知器的关系，而这些新感知器的其余槽做为进一步的生长点。若是模型的最佳实例化至少包含一个核心元素，则生成的网络将包含全部必需的感知器。它还将包含许多其余的槽，一些槽将由几个竞争关系来填充，见图1b。然而，通常来讲，以这种方式发展起来的网络要比由全部局部可能性组成的网络小得多。
感知器之间的相互做用
并行处理必须生成很是多的局部可能性结果以确保生成正确的可能性结果，所以除非有快速排除不正确结果的方法，不然将不具备并行计算的时间优点。简单的本地竞争是行不通的，由于正确的感知有时会有一个更好的局部选择。可是若是感知器也被容许经过他们的关系互相帮助，那么可能会经过网络传播来帮助一个全局一致但局部较差的感知，见图4。
这种类型的系统，其中全局模式从局部相互做用中产生，做为格式塔现象的基础是有吸引力的，但若是系统快速达到稳定状态而且有一些最佳模式出现，那么这种系统颇有意义。
图4 松弛法是将A解释为大腿，而局部最优选择的结果是小腿。
偏好约束网络
找到最好的木偶，至关于要从节点是感知器的网络中提取，而且关要知足某些约束的最佳子网。若是子网的值能够表示为其各个节点的首选项的和，而且若是约束等于可能状态空间中的超平面，则可使用松弛方法。每一个节点都有一个介于0和1之间的实数，也便可信度。
该值不该与偏好相混淆，能够解释为节点正确的几率，即最佳一致子网的一部分。约束条件是可信度之间的不等式。例如，n或m表示为，其中c(n)是节点n的可信度。
节点的可信度能够表示为多维空间的轴。可信度分布是空间中的一个点，是对每一个平面的响应。为了知足不等式约束条件，一个点必须位于相关的超平面或其一侧。知足全部约束条件的状态称为合法状态，超出空间区域就是凸多面体，由于它是超平面和半空间的交集。
应用关系到木偶图片
对于木偶中不完整的部分，给出了对该木偶最佳实例化的定义。关于可信度的约束条件表达式以下：
1.矩形的感知关系式：
2. 竞争关系表达式：
3.模型中出现n次部件的感知关系式：
4. 两个感知器p,q之间的关系式：
讨论
用来揭示松弛法原理的任务，在许多方面都获得了简化。一个容易改进的点是缺少对膝关节和肘关节链接角度的关注。一个好的木偶模型须要肘部向一个方向弯曲，膝盖能向另外一个方向弯曲，从而利用这些知识，制造出更好的木偶。这种类型的约束的理论意义在于它是非局部的，就像对于上下文无关语句来讲数字一致性规范是存在问题的(Lyons 1968)。
针对上述问题，解决方法是引入全局节点来表示木偶的边。这些边节点之间经过排他或约束进行相互关联，每一个关联经过物体隐含约束条件关联到其余全局边节点。如今最好的实例是有兼容的膝部和肘部。
某状况下，这是一个太过苛刻的约束条件，由于在现实中有折断的胳膊肘总比没有的好。所以，做者引入了没有额外限制的可选弱关联，这样会和有较强关联的相互冲突。因此，若是有更好的偏好设置，好的手肘要优于差的手肘，可是差的手肘不会优于任何其余手肘。
原文连接：
http://www.cs.toronto.edu/~hinton/absps/puppet.pdf
（*本文为 AI科技大本营编译文章，转载请联系微信1092722531）
◆
CTA核心技术及应用峰会
◆
5月25-27日，由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开，峰会将围绕人工智能领域，邀请技术领航者，与开发者共同探讨机器学习和知识图谱的前沿研究及应用。
更多重磅嘉宾请识别海报二维码查看。CTA深度培训已经开课，主会议倒计时 1 天，少许余票即将售罄，欢迎点击阅读原文购票参会！更多详细信息15101014297，备注“CTA”，了解票务以及会务详情。
推荐阅读
点击阅读原文，了解「CTA核心技术及应用峰会」