任何有园艺经验的人都知道，修剪可以促进植物茁壮成长。在这里剪一剪，在那里剪一剪，生长可以被控制和引导成更旺盛的植物。

同样的原理也适用于机器学习算法。在这些算法中，去除编码分支中的比特和片段可以降低决策树的复杂性，提高预测性能。

美国能源部太平洋西北国家实验室(PNNL)的研究人员已经做到了这一点。在二值化神经网络(BNNs)的探索中，他们使用剪枝原则来显著降低计算复杂度和内存需求。BNNs是深度神经网络的近亲，它需要大量的计算量。但是bnn在一个重要的方面不同:它们使用单个比特来编码每个神经元和参数，使用更少的能量和计算能力。

修剪以加快生长

大约从2016年开始，研究人员认识到BNNs对机器学习的潜在价值。如果以正确的方式构建或修剪，它们消耗的计算能量更少，而且几乎和深度神经网络一样精确。这意味着BNNs更有可能造福于资源有限的环境，比如移动电话、智能设备和整个物联网生态系统。

这就是修剪起作用的地方。近年来，随着神经网络研究的发展，计算机研究人员对修剪产生了更多的兴趣。

“修剪是当前机器学习的一个热门话题，”PNNL的计算机科学家Ang Li说。“我们可以增加软件和架构编码，推动精简朝着对计算设备性能有更多好处的方向发展。”这些好处包括降低能源需求和计算成本。”

修剪精密

Li是PNNL研究人员中的一员，他们最近在电气和电子工程师学会发表了关于并行和分布式系统的研究结果，显示了选择性修剪的好处。研究表明，删除BNN体系结构的冗余位，会导致定制的无序BNN，称为O3BNN-R。他们的工作表明，高度浓缩的BNN模型——它已经可以显示出高性能的超级计算能力，可以在不损失精度的情况下进一步显著缩小。

“二值化神经网络有可能使神经网络的处理时间在微秒左右，”Geng说，他是波士顿大学的一名博士生，作为PNNL的实习生，协助Li完成了O3BNN-R项目。

“BNN的研究正朝着一个有希望的方向前进，使神经网络真正有用，并在现实世界中容易被采用，”耿说，他将在一月份以博士后研究员的身份重新加入PNNL的工作人员。“我们的发现是实现这种潜力的重要一步。”

他们的研究表明，这种无序的BNN平均可以削减30%的操作，而没有任何准确性损失。通过更精细的调音——在一个叫做“训练正规化”的步骤中——性能可以提高15%。

修剪电源

除了无序BNN对物联网的贡献，李还指出了能源电网的潜在利益。李说，修改后的BNN的实施还可以通过帮助现有传感器探测和应对攻击，促进现有软件的发展，这些软件部署在电网中可以防止网络攻击。

李说：“基本上，我们正在加快硬件处理的速度。”