【AI计算的新摩尔定律】3.5个月翻一倍，6年增加30万倍

推进人工智能发展的因素有三个：算法创新、数据（能够是有监督的数据或交互式的环境），以及可用于训练的计算量。算法创新和数据很难追踪，但计算量是可量化的，这为衡量人工智能的进展速度提供了机会。固然，大规模计算的使用有时候会暴露当前算法的缺点。但至少在当前的许多领域中，更多的计算彷佛就能够预见更好的性能，而且计算力经常与算法的进步相辅相成。算法

对于“计算能力”，咱们知道著名的“摩尔定律”（Moore's law）：集成电路上可容纳的元器件的数目，约每隔 18-24 个月便会增长一倍，性能也将提高一倍。性能

今天，非盈利的AI研究机构OpenAI发布了一份“AI与计算”的分析报告，报告显示：人工智能

自2012年以来，在最大的AI训练运行中所使用的计算力呈指数增加，每3.5个月增加一倍（相比之下，摩尔定律的翻倍时间是18个月）。
自2012年以来，这个指标已经增加了30万倍以上（若是增加一倍的时间须要18个月，仅能增加12倍）。硬件

计算能力的提高一直是AI进步的一个关键要素，因此只要这种趋势继续下去，就值得咱们为远远超出当今能力的AI系统的影响作好准备。并行

AI计算的“摩尔定律”：3.43个月增加一倍im

对于这个分析，咱们认为相关的数字不是单个GPU的速度，也不是最大的数据中心的容量，而是用于训练单个模型的计算量——这是与最好的模型有多么强大最为相关的数字。数据

因为并行性（硬件和算法）限制了模型的大小和它能获得有效训练的程度，每一个模型的计算量与计算总量的差异很大。固然，少许的计算下仍取得了许多重要的突破，但这个分析仅涵盖计算能力。img