自动识别视频或文本中表达的整体情绪可能在很多应用程序中都很有用。例如，它可以帮助公司或政党筛选大量的在线内容，了解公众对其产品、服务、竞选活动或倡议的看法。

帕多瓦大学(University of Padua)、开放大学(Open University)和哥本哈根大学(University of Copenhagen)的研究人员最近推出了一个基于量子物理理论的视频情绪分析新框架。该框架在《爱思唯尔信息融合杂志》上发表的一篇论文中提出，它融合了不同类型的视频特征，并分析了它们之间复杂的交互作用。

该研究人员小组进行的研究是QUARTZ（量子信息访问和检索理论）项目的一部分，该项目是由欧盟的MarieSkłodowskaCurie Actions计划资助的一项更广泛的研究工作。QUARTZ项目的主要目的是探索量子力学在设计有效信息检索系统（例如Web搜索引擎）中的潜在用途。

“作为QUARTZ项目的一部分，我们一直在解决许多问题，从纯粹的理论问题到实验研究，”进行这项研究的研究人员之一Qiuchi Li告诉TechXplore。“我们最近的研究扎根于这两个领域，因为它考虑了代表多模式信息的基本问题，并通过科学实验检验了所提出方法的有效性。”

在过去的十多年里，人们发现量子理论框架在解释人类认知的某些方面比经典概率论有许多优势。尽管有这些优势，研究人员到目前为止只开发了几个有效的量子启发模型，可以实现人类在认知任务上的表现。

在他们的研究中，李和他的同事着手开发一个量子启发的模型，该模型在情绪分析任务上表现良好，而这些任务通常是由人类完成的。他们的总体目标是确定这样一个框架是否能达到与人类相当的性能。

“我们之前为基于文本的情绪分析建立了模型，但本文关注于多模态上下文中的情绪分析，并提出了一种量子驱动的方法来解决多模态融合的关键任务，”Li解释说。与其他多模态情绪分析系统一样，该模型接受话语的多模态特征，并将其情绪预测为输出。

这个框架是由李和他的同事开发的，它可以根据一些特征来分析视频，包括文字、视觉和声学元素。与传统的最先进的模型依赖于人工神经网络(ANNs)相比，新的框架从与量子物理理论一致的角度分析视频内容。

该模型将单词视为复合系统中的纯状态，将话语映射到组成话语的量子混合中，并通过量子测量过程对话语中表达的情感进行预测。由模型生成的地图然后被用来建立一个复杂值神经网络，可以产生书面文字和话语的多模态表示。这些表征随后被用于对视频进行情绪分析。

“为了促进这样的量子观点，我们设计了一个神经网络，它像经典的神经网络一样运行，但是有复杂值，数值约束层来忠实地实现量子概念和过程，”李说。“复杂值神经网络在两个基准数据集上的表现堪比最先进的模型，但它的量子观点在理解对预测情绪的贡献方面带来了独特的优势。”

Li和他的同事在两个数据集上评估了他们的框架，发现它取得了非常有希望的结果。虽然它的性能和准确性与传统的基于神经网络的模型相似，但它表现出的独特品质使它有别于过去引入的框架。

事实上，量子启发的模型使用了一个理论概念，即降低密度矩阵。这个元素允许它在不需要连续再训练的情况下对部分数据(即只与一到两种感觉模式相关的特征)进行预测，这是很难用几乎所有传统的基于神经网络的模型来实现的。

这个独特的特征允许模型高精度地确定文本和视觉特征，或者两者的结合，对视频中表达的最终情感有多大的贡献。另一方面，经典的基于ann的模型在关注不同的模态或模态组合时，经常需要中断它们的分析，因为它们的结构需要重新训练，以将中间表示映射到输出标签上。然而，由于训练过程中固有的随机性，以这种方式进行再训练的模型会产生偏差，从而影响其实际表现。

“我们相信这项工作对量子理论框架的应用有着深远的影响，”李说。“我们已经证明了量子框架能够处理多模态数据，就像最先进的经典模型一样，并且进一步确认了它在理解对情绪判断的贡献方面的独特优势。”

这项研究可以激发对多模态情绪分析和自然语言处理(NLP)量子理论框架潜力的进一步研究。此外，他们开发的量子模型最终可以用来分析视频，并自动确定他们的整体情感品质。

“我们下一步研究的主要焦点将是进一步提高量子启发模型的性能，这样它们就可以击败经典的深度学习模型，”李说。为了实现这一点，我们计划遵循NLP中最成功的预训练范例，并为文本数据和多模态数据设计受量子启发的预训练模型。同时，我们也计划探索用量子启发元素替代高级神经网络元件，如递归层和注意力元件。更具体地说，我们计划从量子进化的概念中寻求帮助，构建这些组件的量子理论版本，并将它们集成到本文的框架中，以实现更细粒度的建模和更好的性能。”