全球最负盛名的机器学习会议：神经信息处理系统会议（NeurIPS）于12月6日举办，有两篇论文提到了劳伦斯·利弗莫尔国家实验室（Lawrence Livermore National Laboratory）的关键任务：提高深度学习的可靠性。
第一篇论文描述了理解培训的机器学习（ML）算法的泛化差距，其数据属性对框架的影响：模拟出与在现实世界中真实路况，观察性能差异。LLNL团队借鉴了统计力学的思想，将性能差距与模拟样本的功率谱联系起来进行对比。他们证实了使用深层神经网络（DNN）进行合成功能并使用复杂的惯性约束融合模拟器进行实验，结果发现，具有优化光谱特性的样本，可以使用更少的资源提供更多的科学见解。
主要作者和LLNL计算机科学家Bhavya Kailkhura说：“将ML应用于新兴的科学应用中，最重要的问题是确定您应该收集哪些训练数据点。” “本文基本上回答了我们应该运行哪些模拟和实验的问题，以便我们可以创建一个DNN，将其很好地概括为将来可能遇到的任何数据。与特定的科学应用无关，这些优化的样本设计可以帮助获得比以前在给定样本（或计算）预算下可能获得的更深入的科学见解。”
在该论文中，该团队表明，就泛化差距而言，诸如蓝噪声和泊松圆盘采样之类的样本设计可以胜过流行的统一设计。Kailkhura说，除了从根本上扩展对科学机器学习的理解外，该框架还提供了对DNN性能的精确理论见解。
“这可能是第一篇提出训练数据如何影响您的机器学习模型的泛化性能的理论的论文-当前没有其他框架可以回答这个问题，” Kailkhura说。“要实现这一目标，我们需要提出一种全新的思考此问题的方法。”
研究人员说，该框架可能会对广泛的应用产生重大影响，包括库存管理，工程设计和优化或任何其他需要模拟的科学应用，尤其是那些需要“组合”的科学应用，科学家必须选择许多不同的，潜在的不确定性数据点，并存在输出无法普遍应用的风险。
共同研究人员蒂莫·布雷默（Timo Bremer）表示：“我们希望通过一系列参数来探索仿真的行为，并且我们想知道那件事会对所有这些参数产生怎样的反应。” “ 科学家希望进行尽可能少的模拟，以最好地理解预期的结果。本文为您提供了一种最佳方法，可以弄清楚您需要进行哪些模拟才能获得最大的洞察力。我们可以证明这些模拟可以从统计角度为您提供有关特定问题的最多信息。”
对于ICF仿真器实验，该团队注意到，某些感兴趣的变量需要大量数据才能使用ML函数。通过使用该框架优化实验，科学家将减少错误，同时减少50％的模拟或实验来收集训练数据。
研究人员说，他们希望该框架将在若干机器学习问题中发挥重要作用，并将有助于确定神经网络无法解决哪些科学问题，因为所需数据的样本量太大而无法实际应用。
布雷默说：“有时候，您可能会随机选择并希望自己幸运，但是不要指望有任何保证或概括，因为您没有足够的资源。” “本质上，我们在这里显示的是您需要进行任何类型的声明所需要的实验或模拟的数量级。”
研究人员说，他们正在分析材料科学等其他项目领域的普遍性差距，并将寻求比当前可能更高质量的样品设计。
由LLNL计算机科学家和合著者Jayaraman Thiagarajan领导的实验室指导研究与开发（LDRD）项目资助了这项工作。其他合著者包括LLNL计算机科学家Zhang Jize，Ant Financial的Li Qunwei Li和犹他大学的Yi Zhou。
对于第二篇NeurIPS论文，一个由LLNL的Kailkhura以及东北大学，中国清华大学和加利福尼亚大学洛杉矶分校的合著者组成的团队开发了一种自动框架，以使用基于线性松弛的扰动来获得任何深度神经网络结构的鲁棒性保证。
LiRPA已成为深度神经网络的鲁棒性验证的必不可少的元素，而深度神经网络在历史上一直容易受到小扰动或输入变化的影响。但是，由于缺少一种易于使用的通用工具，该方法已在通用机器学习社区和行业中被广泛使用。
Kailkhura称新框架是实验室关键任务和“高度遗憾”应用程序的“急需的第一步”，例如库存管理，健康诊断或协作自治。
“目标是了解这些深度神经网络的健壮性，并提供有用的工具，这些工具是如此简单，以至非专家都可以使用它，” Kailkhura解释说。“我们在实验室中的应用程序中，DNN试图解决高度遗憾的问题，错误的决定可能危及安全或导致资源损失。“如何使这些神经网络更可靠？我们能否保证DNN在特定条件下不会给出错误的预测？” 这些是具有的理想功能，但是鉴于深度神经网络的复杂性，回答这些问题非常困难。”
过去，基于LiRPA的方法仅考虑简单的网络，对于单个体系结构需要数十页的数学证明，Kailkhura解释说。但是，在LLNL，机器学习问题异常复杂，并采用了多种类型的神经网络体系结构，这样的劳动和时间是不可行的。
研究人员说，新框架将基于LiRPA的算法简化和概括为最基本的形式，并实现了损失融合，从而显着降低了计算复杂性，并且在大型数据集上的表现优于先前的工作。该团队能够在Tiny ImageNet和Downscaled ImageNet上演示基于LiRPA的认证防御，而以前的方法无法进行扩展。他们报告说，该框架的灵活性，差异性和易用性还使该团队能够在DenseNet，ResNeXt和Transformer等复杂网络上获得最新的成果。
“这是关于提供足够通用的计算工具，以便将来您想到的任何神经网络体系结构仍然适用，” Kailkhura说。“您唯一需要的是一个以计算图表示的神经网络，只需几行代码，您就可以发现它的健壮性。而且，在培训DNN时，您可以抢先考虑这些保证，并可以将DNN设计为具有可证明的鲁棒性。”
为了帮助扩大通用机器学习社区的采用范围，该团队在开放源代码存储库中提供了该工具。
该项目由凯尔库拉（Kailkhura）领导的LDRD项目资助，该项目完成了第一年的工作，并通过探索更复杂的应用程序并研究实践中遇到的更大干扰，一直持续到下一个两年。这项工作是由诸如协作自主性之类的实验室项目推动的，科学家们正在研究将AI和DNN与成群的无人机一起使用，以便它们可以在零或最少的人工协助下进行通信和飞行，但要有安全保障，以防止它们与彼此碰撞其他人或他们的经营者。
布雷默说，这两篇NeurIPS论文合在一起表明LLNL在使AI和深度学习足够值得信赖以足以在关键任务应用程序中放心使用并回答其他方法无法解决的基本问题的总体策略。
“对于Livermore来说，关键是，如果我们想将DNN引入我们的应用程序，这些保证将至关重要。”布雷默说。“每个人都希望使用ML，因为它具有许多优点，但是如果不解决这些问题，很难看到如何在实际重要的情况下部署这些系统。突然之间，对AI的基础研究的需求变得越来越大，因为它发展得如此之快。这些论文是实验室为实现这一目标而要做的许多事情的第一篇。”
