手术机器人的引进给手术程序带来了进步。远程手术的应用范围很广，从在贫困地区建立医疗诊所，到将机器人放置在国外的军事热点地区，那里的医疗经验的可及性和多样性可能有限。糟糕的无线连接可能会导致外科医生的输入和机器人采取的行动之间的长时间延迟，被称为延迟。

在外科手术中，任何微延迟都会严重伤害病人，在某些情况下，会导致死亡。提高安全性的方法之一是使用深度学习辅助计算机视觉来减轻延迟的影响。虽然目前的手术机器人使用校准传感器来测量手臂和工具的位置，但在这项工作中，研究者提出了一种纯粹的光学方法，提供了工具位置与患者组织关系的测量。这项研究的目的是产生一个神经网络，让机器人检测自己的机械操纵臂。在2015年EndoVis仪器挑战赛的1107帧模拟胃肠道机器人手术和每一帧对应的手绘标签上训练了一个条件生成对抗网络（GAN）。

当在新的测试数据上运行时，该网络生成了输入图像的近乎完美的标签，这些标签与手绘标签在视觉上是一致的，并且能够在299毫秒内完成。这些准确生成的标签就可以作为简化的标识符，供机器人跟踪自己的受控工具。这些结果显示了条件GANs作为反应机制的潜力，比如机器人可以检测到它的手臂在病人的操作区域外移动时。该系统可以更准确地监测手术器械与患者组织的位置关系，增加安全措施，这是成功的远程手术系统所不可或缺的。本文以“Using conditional generative adversarial networks to reduce the effects of latency in robotic telesurgery”为题于2020年10月7日发布于《Journal of Robotic Surgery》杂志上。

    研究背景  

外科机器人，如达芬奇手术系统，允许外科医生以极精确的精度和完全的可操作性进行微创手术。在一个典型的机器人手术系统中，外科医生的控制台直接连接到机器人和一个屏幕，屏幕上显示病人体内机器人手臂的实时动态。为了使手术机器人在远离手术医生的远程设置中具有完全的可靠性，它们需要能够在网络连接不可靠的情况下继续工作，因为任何微秒的延迟都可能导致严重的事故。

此外，没有一个网络具有100%的可靠性，所以会有一个延迟时间，视频可能会冻结，或者没有收到移动机器人的命令，在这种情况下，即使有病人挡住了路，机器人也会继续移动。

这些风险阻碍了这种做法的广泛应用，虽然目前有远程手术，但由于与延迟相关的潜在危险，它们不能大规模使用。

在真实的应用中，机器人会被安置在一个遥远的地方，医生会在他们自己办公室的控制站。

神经网络将被加载到外科手术机器人的机载计算机上，并能够在必要时控制机器人的手臂。

如果发生网络中断，神经网络可以识别机器人手臂移动到危险位置，并凌驾于机器人的控制，迫使其停止。该系统有可能精确监控手术器械与病人组织之间的关系。

目前的手术机器人使用经过校准的传感器来测量手臂和工具的位置，而在这项工作中，研究者提出了一种由人工神经网络支持的纯光学方法，它提供了工具相对于患者组织的位置的测量。

之前的研究已经评估了使用深度学习分割医学数据;然而，该研究聚焦于一种特殊的条件生成对抗网络Pix2Pix及其在战场上的潜在应用。在这个项目中，研究者的新贡献是构建一个Pix2Pix cGAN，以识别手术环境中的机械手臂，作为机器人远程手术损伤预防系统的基础。

条件遗传算法将随机噪声分布生成图像的生成网络与执行图像识别分类任务的鉴别器网络相结合。发电机开始通过创建随机噪声图像和喂养鉴别器,随着样本图像从原始数据集。然后鉴别器决定是否美联储是一个真正的图片形象意义的数据集或一个假的图像发生器产生的。

 图为CGAN算法的高层表示

在图像处理的情况下，他们以图像作为输入，在整个网络层中学习抽象的特征，然后了解这些特征如何与特定的图像域相关联。如果网络从生成器得到一幅图像，并且确定该图像是假的，则生成器将接受该反馈并调整其权重以生成更真实的图像。生成器是一种U-net体系结构，它使用卷积层构建图像的密集嵌入，并将其扩展到新生成的图像中。

 图为在cGAN模型中工作的子网络

2015年内皮挑战数据集作为培训数据包括模拟胃肠手术的视频，每个视频长达44秒。第一个视频是机器人手臂在体外模拟手术的内视镜视频片段。视频的每一帧都有一个相应的手绘标签，用于右臂和左臂的定位，该标签构成另外两个视频文件(一个用于左臂分割，另一个用于右侧)。

研究者首先将视频文件分割成图中所示的单个图像帧。然后将内视镜图片和组合分割标签拼接在一起，形成一个两帧并排的图像，然后上传到谷歌驱动器中。这一过程被重复了1107次，每帧的视频。对该模型进行了200个历次的训练，每5次测试一次精度。

 图为来自EndoVis挑战数据集的样本帧

这项研究的主要目的是为机器人手术图像制作标签。主要结果是表中所描述的生成的标签。该模型的目标是创建尽可能类似于从数据集获取的手绘标签的图像。

未经过训练的模型减去差值，图像中明显存在大量的噪声。虽然在图像的背景上有一些噪声(很可能是由于剪切)，但大部分像素差集中在机器人手臂上。这与训练过的模型相比，其中存在的小噪音主要围绕着机器人手臂的边缘。然后将这些数据转换成直方图，在直方图中研究者可以看到减去的图像中像素的颜色集中度。对于未经训练的数据，由‘250’值表示的白色像素的尖峰明显高于训练数据的尖峰。

 图为直接比较非零像素值来自未经训练的(EIRCH 1)和训练(EIRCH 200)减差图像

    研究结论  

该网络能够很好地执行外科图像与双臂，达到接近完美的准确性与发电机纪元200。

非零像素数目的差异显示了准确度的五倍提高。这支持了一个假设，即条件生成对抗网络有能力学习和复制外科手术机械臂在手术环境下的样子。

有了分割和跟踪机械手臂的能力，这项研究的下一个重要部分就是时间因素。如果经过训练的模型处理图像的时间过长，那么使用它作为远程手术延迟问题解决方案的整个前提就会失败。为了测试这一点，研究者编写了一个脚本，计算模型分割单个输入图像(最终为299毫秒)所花费的时间。这段时间是在潜伏期严重影响手术的临界点之下，因此肯定了这个模型的适用性。

    研究结论  

研究结果表明，基于条件生成对抗架构的神经网络可以有效地用于教会系统如何识别自己的机器人肢体;然而，在该系统应用于真正的外科手术之前，该模型有一些局限性需要解决。研究者用于模型训练的数据集仅限于胃肠手术中两只机械臂活动的图像。

由于这个原因,该模型得知有总是在每一个图像,两臂和测试时图像只有一个机械手臂,发电机有困惑,产生了不准确的图像。深度学习提供的多功能性可以扩大训练数据包括单臂机器人的图像,和响应的模型将学习如何认出他们来。

远程手术可以应用于受伤士兵需要手术的情况，通常需要空运到最近的医院，但对于许多战区来说，这些医生很难找到，或者距离太远，伤者无法到达。这项研究的目的是制造一个可以学习如何识别机器人肢体的系统;然而，cGANs在外科手术中的潜力还有更大的有待探索的范围。

通过神经网络和机器学习，器官标记以提高准确性和跟踪其他外科器械的应用都可以实现。

在这项研究中，研究者能够制造一个神经网络，它有能力跟踪机械臂，并在手术环境中判断它们的位置。该研究设计一套侦测手臂何时移动到危险位置的系统，将为将来遥距手术应用于高速光纤连接无法使用的地方的研究提供基础。

该研究仅限于双臂机器人手术的视频数据;然而，未来的工作将包括更大的数据样本，以确保可用性在更大范围的外科手术。此外，训练图像的二维性质缺乏在远程手术设置的实际实施中可能需要的深度感知。

未来的项目可以包括进一步的模型交叉验证，以确保不同数据集的准确性，并确保足够的深度感知。接下来的步骤将是使用达芬奇仪器上的模型覆盖层进行远程手术模拟，程序延迟，并最终进行临床研究，以真正测试模型如何实时交互。

参考文献：Neil Sachdeva, Misha Klopukh, Rachel St. Clair & William Edward Hahn Using conditional generative adversarial networks to reduce the effects of latency in robotic telesurgery  Journal of Robotic Surgery (2020)