最佳，中值和最坏情况测试模拟的目标意识水平和观察到的意识水平。

近年来，研究人员一直在为越来越广泛的目的开发机器学习算法。这包括可应用于医疗保健环境的算法，例如帮助临床医生诊断特定疾病或神经精神疾病或随时间推移监测患者的健康状况。

麻省理工学院（MIT）和马萨诸塞州总医院的研究人员最近进行了一项研究，调查了使用深度强化学习来控制需要麻醉以进行医疗程序的患者的意识水平的可能性。他们的论文定于2020年国际医学人工智能大会上发表，被选为会议上发表的最佳论文。

“我们的实验室在理解麻醉药物如何影响神经活动方面取得了重大进展，现在有一个多学科团队研究如何从神经记录中准确确定麻醉剂量，”进行这项研究的研究人员之一加布里埃尔·沙姆伯格（Gabriel Schamberg）告诉TechXplore。“在我们最近的研究中，我们使用交叉熵方法训练了神经网络，方法是反复让神经网络在模拟患者身上运行，并鼓励采取行动以取得良好的效果。”

本质上，Schamberg和他的同事开发了一个深层神经网络，并对其进行了训练，以便在模拟环境中使用强化学习来控制麻醉药的剂量。他们特别关注丙泊酚的剂量，这种药物会降低人们的意识水平，通常用于对正在接受医疗程序治疗的患者进行全身麻醉或镇静。

研究人员在模拟患者数据上训练了他们开发的神经网络，该模拟数据是根据具有随机参数的药代动力学/药效学模型生成的。这最终使他们能够解决众多具有不同特征和特征的患者。

所提出范例的框图表示。该代理观察到意识丧失的程度，并使用神经网络选择合适的药物剂量。环境代表模拟患者。

他们使用所谓的“交叉熵”方法进行了一系列训练试验。在这些试验中，神经网络逐渐学会了将观察到的麻醉状态映射为输注固定剂量的异丙酚的可能性。

当他们评估模型的性能时，研究人员应用了确定性策略，将固定剂量的异丙酚的输注概率转换为连续输注速率。总体而言，他们的神经网络取得了令人瞩目的成果，胜过比例积分微分（PID）控制器，该控制器以前曾用于确定理想的麻醉剂量。

Schamberg说：“我们方法的两个主要优点是它能够缩放观察结果中包括的临床变量的能力，以及输入变量与推荐剂量之间的深层网络的连续关系。”

“深层神经网络使我们能够使用许多连续的输入数据来建立模型，因此我们的方法比以前的基于表的策略产生了更多的一致控制策略。”

将来，由这组研究人员设计的基于深度神经网络的模型可以帮助麻醉师确定个体患者的异丙酚的理想剂量，并获得不同程度的意识障碍。尽管如此，该模型到目前为止仅在模拟中进行过测试，因此在将其应用于实际环境之前，需要对真实患者进行一系列临床试验。

Schamberg说：“到目前为止，我们的方法优于常用的比例-积分-微分控制器，并且在各种患者的药物代谢和作用变化中都具有很强的鲁棒性。”

“我们现在很乐意在受控的临床环境中对人类提出的范例进行测试。”