人类定期解决和解决各种复杂的视觉空间问题。相比之下，迄今为止开发的大多数机器学习和计算机视觉技术都旨在解决单个任务，而不是将一组功能应用于多个任务。

加拿大约克大学的研究人员一直在尝试，用更好地理解使人类能够主动观察环境，并解决他们每天遇到的广泛感知任务，以期为开发更复杂的计算机视觉系统提供信息。在arXiv上预先发表的一篇论文中，他们提出了一种称为PESAO（针对主动观察者的心理物理实验装置）的新实验装置，该装置专门用于研究人类如何主动观察周围的世界并与之互动。

“人类视觉的标志是其普遍性，”进行这项研究的研究人员之一约翰·K·托索斯教授告诉TechXplore。“相同的大脑和视觉系统允许人们打网球，开车，进行手术，查看相册，看书，凝视亲人的眼睛，上网购物，解决1000片拼图玩具，寻找丢失的钥匙，追赶他/她的小女儿出现危险时的追捕行动等等。现实是，迄今为止，人工智能取得了令人难以置信的成功，但令人沮丧的是，人们仍然需要去走多远。”

Tsotsos的研究实验室进行的这项研究的主要目的是要使人们更好地理解可以解决各种问题的机制和过程。这可以为机器学习系统的开发提供信息，该系统可以在多个任务上实现类似于人类的性能，而不是专门研究单个应用程序。

Tsotsos表示：“一个人不能拿起Google自动驾驶汽车的视觉系统来解决拼图游戏，也不能要求任何表现最好的图像分类系统充当网球机器人的视觉组件。”说过。“成功一直是一个单一的功能（它们具有一个功能），而人类视觉系统是一个多任务处理程序，可以教给系统的任务似乎是无限的。我们的研究实验室对理解和开发可以实现这些复杂功能的算法很感兴趣。 。”

几年前，Tsotsos和他的博士生Markus D. Solbach开始寻找过去的研究，这些研究提供了关于人类如何解决感知任务的宝贵见解，并且失望地发现几乎没有东西。到目前为止，实际上，心理学家和神经科学家从未进行过在阶段性3D环境中人类解决复杂任务的实验。他们最近的研究目标是通过开发可以支持这些实验的实验装置来填补文献中的空白。

“据我们所知，PESAO是同类产品中的第一款，因为它结合了全3-D的精确头部运动跟踪和微秒分辨率的凝视跟踪，而对象却完全不受束缚，可以自由自然地移动。”这项研究的首席研究员告诉TechXplore。“这些特征对于探索活跃的人类视觉感知至关重要，这种强大的能力使人类在每天的每一个清醒时刻都有显着的能力，但是令人惊讶的是，人们对此知之甚少。”

在设计PESAO时，Solbach和Tsotsos试图确保其通用性和可调整性，因为他们想确保其他研究团队也能够使用它，以使其适应他们的需求。PESAO已公开发布，现在其他团队可以在http://data.nvision2.eecs.yorku.ca/PESAO/进行访问。

他们使用PESAO装置进行的第一个实验着眼于一个特定的视觉空间问题，该问题涉及确定两个对象是相同还是不同。这是大多数人每天自动执行的操作，并且机器人在理想情况下也应该能够执行此操作。他们收集的结果表明，即使不是不可能，使用单个算法也很难解决这个问题。

Tsotsos说：“执行此任务的人类受试者表现出一系列策略，这些策略取决于任务的呈现方式，例如对象和观察者的起始位置。” “我们关于视觉空间问题的早期理论结果与这样的问题分解是一致的，因为可以证明一般问题是棘手的。此外，人类在解决任务过程中的移动方式的可变性表明，任何纯机器学习策略都是如果没有不切实际的巨大计算能力，这是不可能的。”

尽管过去的许多研究都探索了人类如何处理不同的感知任务，但他们通常是通过在屏幕上向参与者呈现2-D内容来实现的，而不是要求他们参与真实的3-D环境。因此，将来PESAO可以开展新型研究，从而在更现实的环境中评估人类的感知能力。

到目前为止，由Solbach和Tsotsos开发的实验装置跨越了400cm x 300cm的区域，可用于以120Hz的频率跟踪人体。此外，PESAO还记录了人类受试者的头部运动，注视，眼睛运动，第一人称视角和鸟瞰视频片段，角速度和实验者笔记；所有这些都以微秒的分辨率同步。

至此，研究人员使用PESAO来研究单个感知任务，但他们现在计划进行进一步的研究，以研究人类活动对象的识别能力。活动对象识别是一项至关重要的视觉功能，可以增强旨在帮助人类在家中或在制造，客户服务和医疗保健领域的潜在应用的任何机器人系统的性能。

“对于PESAO，我们计划扩展带有光传感器的设置，以测量场景和刺激下的实际光强度，” Solbach说。“不用说，没有光，我们的视觉系统就无法运行；因此，测量光对于广泛的视觉研究可能是有用的。”

在他们即将进行的实验中，Solbach和Tsotsos将要求受试者完成“空间关系任务”和“隐藏模式任务”。其中的第一个任务是观察者尝试确定3-D环境中对象之间的空间关系（即哪个对象更靠近它们，哪个对象更远，更高，更低，向左或向左）。对等）。另一方面，“隐藏图案”任务要求人们确定在较大的3D模式中是否嵌入了3D模式，例如在一个模式伪装成另一个模式的样本中。