何时不该使用深度学习？
何时不该使用深度学习？
编程
结合以上的观点，深度学习不适用于什么样的任务？依我之见，如下这些主要场景的深度学习弊大于利。api
低成本或者低承诺问题网络
深网是很是灵活的模型，有着许多架构和节点类型，优化器和正则化策略。根据应用，你的模型可能会有卷基层（有多宽？使用什么聚集操做？）或者反复结构（有没有门？）；他也有可能很深（沙漏，暹罗或其余许多架构？）又或者只是几个隐藏的层（有多少个单元？）； 它可能使用整流线性单元或其余激活功能；它可能或可能没有流失 dropout（在哪一层？哪一块？）占比应该是恰当的（l1，l2，或者是某些东西）。这只是一个部分列表，有不少其余类型的节点，链接，甚至丢失的功能等着咱们尝试。架构
这些是调整和架构探索的不少超参数，当训练大型网络的一个实例时可能很是耗时。谷歌最近吹嘘本身的 AutoML 管道能够自动找到最好的架构，这是很是使人印象深入的，但仍然须要超过 800 个 GPU，全天候工做数周，这对正常人来讲是很难实现的。问题的关键在于训练深网须要大量的成本用于计算和调试。这种费用对于许多平常预测问题并无意义，即便调整小型网络，调整网络的投资回报率也可能过低。即便有足够的预算和承诺，也没有理由不尝试基准替代方法。您可能会惊喜地发现，线性 SVM 真的是您须要的。框架
解释和传达模型参数对通常观众的重要性工具
深网另外一个使人诟病的缘由是其徒有高预测能力却很难解释清楚。尽管最近有不少工具，如 Saliency 地图和 Activation Differences（https://arxiv.org/abs/1704.02685），对某些领域而言是很是有用的，但它们并不会彻底转移到全部应用程序上。学习
这主要是由于，当您想要确保网络不会经过记住数据集或专一于特定的虚假特征来欺骗您时，这些工具就能很好地工做，可是对于深层网络的总体决策来讲，仍然难以将每一个特征的重要性进行解释。在这个状况下，没有什么是能够真正的战胜线性模型的，由于学习的难度与客户反应有直接的关系。当将这些解释传达给须要根据它们做出决定的通常观众时，这尤为重要。优化
举个例子，医生须要根据不一样的数据来做出诊断，变量和结果之间的关系更简单更直接，医生则能更好的利用它，而不是低估/高估其价值。此外，有些状况下，模型的准确性（一般是深度学习所擅长的）并不像解释性那样重要。好比，决策者可能想知道人口变量对死亡率的影响，可能会对直接近似关系感兴趣，而不是预测的准确性。从以上两个例子，不难看出与更简单，更加渗透的方法相比，深度学习处于不利地位。ui
创建因果机制编码
模型解释的极端状况是当咱们试图创建一个机械的模型，即一个实际捕获数据背后的现象的模型。好的例子包括试图猜想两个分子（例如药物，蛋白质，核酸等）是否在特定的细胞环境中相互做用，或者假设特定的营销策略如何对销售产生实际的影响。在这个领域没有什么能真正的击败专家的老式贝叶斯方法（可能不完美）;他们是咱们表达和推断因果关系的最好方法。Vicarious 最近有一些很好的研究证实了为何更有原则的手段比游戏任务中的深度学习更好。
从“非结构化”功能中学习
这一条可能有待争论。我发现深刻学习擅长的一个领域是为特定任务找到有用的数据表示。一个很好的例子是上述的词语嵌入。天然语言具备丰富而复杂的结构，能够经过“上下文感知”来学习，每一个单词均可以用向量来表示并编码程其最经常使用的内容。为了 NLP 任务在大型语料库中学习使用单词嵌入有时能够在另外一个语料库的特定任务中提高效果。
然而，若是所讨论的语料库是彻底非结构化的，则可能没有任何用处。例如，假设您正在查看非结构化的关键字列表来对对象进行分类。因为关键字不是在任何特定的结构中使用（如在一个句子中），因此字嵌入不太可能有帮助。在这种状况下，数据是真正的一个单词，这种表示可能足以知足任务。与此相反的是，若是您预培训深度学习的话，而且能够更好地捕获关键字类似度，那么字嵌入的代价并不高。不过，我仍是宁愿从一个词包的表示开始，看看可否获得很好的预测。毕竟，这个词包的每一个维度都比对应的字嵌入槽更容易解读。
前路漫漫
深度学习领域如今很热门，资金充足，而且正在快速发展。当你阅读在会议上发表的论文的时候，它极可能又经历了两三次迭代而且已经不推荐了。这给我以上提出的观点相符：深度学习在不久的未来可能对这些情景来讲是很是有用的。用于解释图像和离散序列的深度学习模型的工具愈来愈好。
最近的软件，如融合了贝叶斯建模的 Edward 深层框架，容许量化神经网络参数的不肯定性和容易的贝叶斯推理经过几率进行编程和自动变分推理。从长远来看，可能会有一个减小的建模词汇表，它会揭露深层网络能够具备的显着属性，从而减小须要尝试的东西的参数空间。所以，继续刷新你的 arXiv 吧，也许这篇文章在一两个月后就过期了。
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------