新加坡国立大学的研究人员最近展示了使用神经形态传感器融合来帮助机器人抓握和识别物体的优势。
这只是他们一直致力于的一系列有趣的项目中的一个，其中包括开发一种传输触觉数据的新协议，建立一个神经形态的触觉指尖，以及为开发更好的学习系统开发新的视觉触觉数据集。
因为这项技术使用地址事件和尖峰神经网络，所以非常省电。然而，这项工作的特别之处在于，它为神经形态技术指明了方向，它是一种有效地集成-并从许多不同的传感器中提取意义的方法，用于功率受限系统中的复杂任务。
他们使用的新型触觉传感器NeuTouch由39个taxel（触觉像素）组成，运动通过石墨烯基压阻层进行传导；你可以把它想象成机器人指尖的前部。它被一种叫做Ecoflex的人造皮肤覆盖，有助于放大刺激，并由3D打印的“骨骼”支撑。然后可以将指尖添加到夹持器上。
但使这些传感器新颖的是它们传递信息的方式。这不是连续进行的，每个传感器在给定的时间步长中按顺序报告其状态，这太慢了。传感器阵列也不是网状的，虽然对许多电子系统来说很好，但对于他们试图制造的强健的机器人皮肤来说，这太危险了；如果皮肤受损，可能会导致太多的传感器失效。
相反，Benjamin Tee和他的同事开发了异步编码的电子皮肤（ACES）。
它使用一个导体从（潜在的）数万个受体携带信号。该技术与地址事件表示（AER）有一些相似之处，基本上，如果压力变化超过某个阈值，每个传感器都会发出一个正尖峰或负尖峰。与AER一样，这些峰值是异步发送的，只基于真实世界中发生的事情；没有时钟来调节它们。然而，它不是点对点路由，而是一个多对一网络。每个传感器的“尖峰”实际上是唯一的代码（一系列尖峰），而且，由于尖峰是异步的，相对来说是备用的，它们可以沿着一根导线向下传播，并在以后与单独的尖峰列解相关。
喜忧参半
在他们去年发表的实验中，研究小组能够将来自触觉阵列中的压力和温度传感器的数据结合起来，但从那时起，他们已经能够展示出更复杂的传感器融合。具体来说，Harold Soh的团队已经将NeuTouch手指尖与Prophesee事件视觉传感器结合起来，并使用生成的数据（单独和一起）训练近似于反向传播的基于峰值的网络[2]。
图1。机器人配备了Prophesee摄像头和NeuTouch增强型夹持器，准备拿起下面的豆浆纸盒。额外的摄像机跟踪实验，但它们的数据不用于分类任务。
经过训练，机器人能够捡起装有不同数量液体的各种容器（如罐、瓶和图1所示的豆浆），机器人不仅能够确定它举起的是什么，而且能够在30克以内确定它的重量。
也许更重要的是，这两个传感器的结合使机器人在进行所谓的滑动测试时有了真正的优势。在这种情况下，机器人需要用足够的压力来抓握物体，而这个压力不足以安全地承受物体的重量，因此它有下降的趋势。在这里，触觉和视觉数据的使用似乎真的有助于快速识别滑动（见图2）。
图2。在滑动任务中，视觉/触觉数据的加权尖峰计数（物体下落是因为没有足够的力维持物体状态）提高了机器人在早期阶段（大约0.03秒）发生滑动的确定性。
这在一定程度上要归功于他们在模型中使用的一种称为加权峰值计数的数量，以鼓励早期分类。从功能上讲，这可以改善机器的反应时间，使其有更好的机会将掉落物体的可能性和后果降到最低。
该小组已经将他们的数据集提供给其他可能想改进所用学习模型的研究人员。
电力效益
在这些实验中，训练是用传统技术完成的，但是网络是在Intel Loihi芯片上运行的。公布的结果显示，功率效率提高了50倍，但这已经得到了改善。
根据NUS的haroldsoh的说法，自从论文发表以来，“我们一直在微调我们的神经模型和分析。与GPU相比，我们最新的滑动检测模型在神经形态硬件上运行时功耗减少了1900倍，同时保持了推理速度和准确性。我们的机器人把注意力放在了更高的水平上，比如机器人的目标转换和低水平。更广泛地说，我们相信事件驱动的多感官智能是朝着值得信赖的机器人迈出的重要一步，我们觉得与机器人一起工作很舒服。”
参考文献：[1] W. W. Lee et al., “A neuro-inspired artificial peripheral nervous system for scalable electronic skins,” Sci. Robot., vol. 4, no. 32, 2019, doi: 10.1126/scirobotics.aax2198。
[2] F. Gu, W. Sng, T. Taunyazov, and H. Soh, “TactileSGNet: A Spiking Graph Neural Network for Event-based Tactile Object Recognition,” 2020, [Online]. Available: http://arxiv.org/abs/2008.08046。
