对于机器学习而言，更大的并不总是更好。随着研究人员在追求最新基准的同时，深度学习模型及其所训练的数据集也在不断扩大。无论它们具有何突破性意义，较大的模型刻意预估对环境的影响。

例如，据报道，今年夏天，用自然语言处理的大型模型GPT-3的培训费用为1200万美元。UMass Amherst的研究人员发现，训练大型AI模型所需的计算能力可以产生超过600,000磅的CO2排放量，这是相同使用寿命的普通汽车排放量的五倍。

按照当今机器学习行业的发展步伐，没有迹象表明这些计算密集型工作正在放缓。OpenAI的研究表明，在2012年至2018年之间，深度学习模型的计算能力增长了惊人的300,000倍，超过了摩尔定律。问题不仅在于训练这些算法，还在于在生产或推理阶段运行它们。对于许多团队来说，由于纯粹的成本和资源限制，深度学习模型的实际使用仍然遥不可及。

幸运的是，研究人员发现了许多新方法，可以通过更智能的算法来缩小深度学习模型并优化训练数据集，从而使模型可以更快的速度在生产中运行，而运算量却更少。甚至有专门针对低功耗或微型机器学习的整个行业峰会。修剪，量化和转移学习是三种特定的技术，它们可以使那些没有数百万美元用于将模型移植到生产中的组织的机器学习民主化。这对于“边缘”用例尤其重要，因为在这种情况下，较大的专用AI硬件在物理上是不切实际的。

有可能在不损失准确性的情况下删除神经网络中“神经元”之间的一些不必要的联系，从而有效地使模型变得更小，更容易在资源受限的情况下运行设备。较新的论文进一步测试和完善了较早的技术，以开发更小的模型，从而实现更高的速度和准确性。对于某些模型，例如ResNet，可以将它们修剪大约90％，而不会影响准确性。

第二种优化技术，即量化，也越来越受欢迎。量化涵盖许多不同的技术，可将较大的输入值转换为较小的输出值。换句话说，在硬件上运行神经网络可能导致数百万的乘法和加法运算。降低这些数学运算的复杂度可以帮助减少内存需求和计算成本，从而提高性能。

最后，虽然这不是缩小模型的方法，但是转移学习可以在训练新模型的数据有限的情况下提供帮助。转移学习使用预先训练的模型作为起点。可以使用有限的数据集将模型的知识“转移”到新任务，而无需从头开始重新训练原始模型。这是减少训练新模型所需的计算能力，能源和金钱的重要方法。

关键要点是，可以（并且应该）尽可能优化模型，以使其以较低的计算能力运行。寻找减小模型尺寸和相关计算能力而又不牺牲性能或准确性的方法，将是机器学习的下一个巨大突破。

当更多的人能够以较低的成本在生产中运行深度学习模型时，我们将真正能够看到现实世界中的新应用和创新应用。这些应用程序可以以瞬间做出决策所需的速度和准确性在任何地方（甚至是最小的设备上）运行。较小模型的最佳效果也许是整个行业可以降低其对环境的影响，而不是每六年增加30万次。