研究者提出了一种从可穿戴传感器记录的惯性信号中提取鲁棒生物特征的d-向量方法。d-vector方法使用由卷积神经网络组成的深度学习架构生成身份表示。该架构包括两个卷积层，用于从惯性信号频谱学习特征。

这些图层使用来自154名受试者的数据进行了预先训练。之后再附加完全连接的层进行用户识别和验证，考虑36个新受试者。该研究将提出的d-vector方法与以往提出的利用野外记录在不同场景下的算法进行了比较。

这些结果也在实验室条件下得到了验证，改善了之前的工作报告的性能。所有的分析都是使用无线传感器数据挖掘实验室记录的公共数据集进行的。本文以“Robust Biometrics from Motion Wearable Sensors Using a D-vector Approach”为题于2020年9月7日发布于《Neural Processing Letters》杂志上。

    研究背景  

在过去的几年里，基于计算机的系统已经利用多传感器网络来模拟不同应用中的人类行为。其中两个应用程序主要关注基于生物识别的访问管理:人员识别和验证。

一方面，人的身份识别是一个1到n的匹配任务，其中个人的生物特征与可能的身份数据库进行比较，以识别人。这一应用程序用于警察在边境检查时扫描指纹进行身份识别。另一方面，验证是一个一对一的匹配任务，需要确定用户是否是他所说的他。例如，当一个人使用用户说出的pin码来解锁他的智能手机，验证说话者就是他所说的人时，就可以使用验证应用程序。

传统的生物识别系统通常有一个固定的位置来控制对定位资源的访问，例如计算机系统或边界控制。这些系统是根据一次拍摄来决定的，而不是长时间监控被摄者的身份。然而，在这个快速发展的数字世界，由于可穿戴生物识别系统(包括腕带、智能手表和智能手机等可穿戴设备)，独立于研究者的位置的个人身份识别和验证成为可能。

这些应用程序在不同的情况下都很有用，比如在商店付款或访问云中的应用程序或个人数据。可穿戴设备允许使用触摸模式或指纹定期进行身份检查，要求输入PIN码。这些策略被用于登录或解锁智能手机，但它们在安全性(如果PIN被复制)和干扰性(用户必须停止引入PIN或指纹的行为)方面存在一些限制。这些限制阻碍了持续识别监督的执行。

如今，大多数人每天都佩戴智能手机或智能手表，这样就可以在日常活动中收集生物信号(生理或惯性信号)。这些设备可以执行连续的识别和验证，而不需要用户做任何动作。持续的身份监控允许开发医疗保健应用程序，比如在住宅或智能家居中对人进行监控:有可能在跟踪设备位置的同时确保携带可穿戴设备的人的身份。

与其他生物信号相比，可穿戴传感器记录的运动信号具有优势:惯性传感器干扰较少，在执行特定动作时不会干扰受试者。总之，基于运动的生物识别技术是实现非侵入性和连续身份监控的最自然的方法。

该研究主要研究基于步态的生物识别技术，因为这种动作非常常见，而且几乎涉及到全身，增加了被复制的难度。该研究提出了一种基于运动可穿戴传感器的健壮的基于gait的生物特征识别方法。提出的解决方案是一种新的适应和改进的d向量方法(之前在说话人识别领域中使用)，以产生主题嵌入(d向量)使用可穿戴惯性传感器。

这种适应需要执行一个信号预处理步骤来处理不同的频率范围，并引入卷积层来组合几个惯性信号。提出的深度学习架构还包括用于识别和验证任务的全连接层，而不是像原始方法那样使用向量距离。

深度学习系统可以在神经网络之前包含一个独立的特征提取模块，该模块利用先前提取的特征作为输入来执行识别/验证任务，或者直接使用惯性信号作为神经网络的输入。在第二种情况下，神经网络同时执行两项任务：从输入中学习特定特征和执行识别/验证任务。第二种策略得到了更广泛的扩展，因为从深度学习算法中学习到的特征(使用了足够多的数据)比手工构建的特征获得了更好的结果。

该研究提出了一种基于说话人识别领域的d向量方法。从运动可穿戴传感器记录的惯性信号。D-向量方法生成模拟用户身份的嵌入(d-向量)。这些d向量包括深层神经网络的第一层学习到的最相关的特征。

在深度学习结构的第二部分，这些d向量被用来识别或验证一个人。该建议与其他策略(从以前的工作)比较在更现实的条件：使用野生录音，考虑到几个物理活动，更多的用户(36和51取决于实验)，几个数据分布(进入注册，验证和测试子集)和系统调整对一个验证集(不同于用于报告最终结果的测试集)。

首先，研究者描述了几种传统的机器学习算法，包括特征提取和分类两个主要模块。然后，研究者从说话人识别领域出发，提出了该研究提出的d-向量方法.该方法是基于CNNs的深度学习。最后，研究者详细介绍了实验中使用的数据集和用于比较不同策略的评估指标。

该研究所分析的传统机器学习算法需要一个先前的模块来提取手工构造的特征作为分类器的输入。传统的算法有随机森林算法(RF)、高斯混合模型-通用背景模型(GMM-UBM)和I-向量方法.这些算法在以往的工作中已经证明了良好的性能。

该研究中评价的第一个机器学习算法是随机森林算法。该算法基于多个决策树的组合(在该研究中为10)，是使用python函数RandomForestClassfier从python skLearning包实现的。

第二种方法是在以前的工作中提出的GMM-UBM系统。在该算法中，每个被试都用一个GMM建模，相当于一个1状态隐马尔可夫模型(HMM)。马尔可夫模型是一种有限状态机，可以对变化系统进行建模。GMM模型使用高斯混合来模拟观测序列(从运动记录中提取的特征向量序列)的概率密度函数。在这项工作中使用的GMM-UBM系统与先前工作中提出的系统是相同的。

第三种算法是基于i-向量的。在这种情况下，每个用户都由一个i向量表示.这种方法基于联合因子分析，其中GMM超向量(用户模型中所有高斯均值的级联)可以被分解成几个项(方程)：m是用户超向量，m是UBM超向量，T是总变异矩阵，w是用户i-向量。T矩阵同时建模用户和信道的可变性，并包含总变异协方差矩阵中最大特征值的特征向量。该研究中使用的i向量系统来自说话人验证领域。

该研究提出的d-向量方法是基于先前在说话人识别领域中使用的d-向量策略。该方法由一个能够从输入信号中学习相关特征的深度学习体系结构组成。这些特征是在一个名为d-向量的向量中提供的。

 图为包括卷积层和完全连接层的深度学习结构

一旦对特征学习子网进行了训练，就会使用一种新的CNN结构来开发特定的识别/验证应用程序。新应用程序的开发和评估需要三个主要步骤：注册、验证和测试。新的CNN结构包括在以前的结构中预先训练的特征学习子网，以及三个新的分类层(完全连接的层和减少的单元数)。在结束时添加了这些附加层，以执行识别或验证任务。

 图为用于注册、验证和测试的深度学习结构，包括卷积层和完全连接层

研究者分析了用于识别和验证这两项任务的不同方法在处理野生记录时的鲁棒性。在此分析中，研究者使用了WISDM_WILD数据集。首先，研究者分析了注册所用数据量的影响，观察了在减少这一数据量以生成用户模型时所遭受的退化。其次，研究者评估了不同数据分布对注册、验证和测试子集的影响。

 图为入学时间和模型对准确度的影响

 图为AUC的演化取决于招生时间和模型

AUC分析显示了类似的行为：RF性能急剧下降，但这种减少在其他方法中不太重要。在这种情况下，建议的d向量方法报告的AUC从99.99%(注册时间的7.8分钟)略微下降到99.73%(注册时间的1.1分钟)，在所有注册时间中都优于其他系统的结果。

利用实验室采集的数据对d矢量系统的性能进行了分析，并与以往的实验结果进行了比较。对于这一分析，研究者使用了WISDM实验室也获得的实验室数据集。结果表明，该研究提出的d-向量方法在实验室场景中的性能明显优于以往的工作。

    研究结论  

使用运动可穿戴传感器的人员身份识别和验证可以通过d-vector方法得到有效解决。该研究提出了一种从可穿戴传感器记录的惯性信号中获取鲁棒生物特征的d-向量策略。d-vector方法使用基于CNNs的深度学习架构来学习特征向量(d-vector)。

该方法基于这些d-向量生成身份表示，并根据用户的运动记录对用户的身份进行分类或验证。该研究将该方法与文献中提出的其他策略进行了比较。这种比较是使用来自公共数据集的野外记录来完成的，模拟真实的场景(无线传感器数据挖掘、WISDM数据集)。

在这些分析中，研究者提出了几个方面(对性能)的影响:注册时间的数量、在注册时分配数据的不同策略、验证和测试子集，以及实验中考虑的活动数量(仅步行，或步行、慢跑和楼梯等多种活动)。在招生时间方面，d-vector方法获得了与招生时间无关的最佳结果。当注册时间减少时，其他方法的性能下降更快。

采用所有方法对单次活动(步行)和多次活动(步行、慢跑和爬楼梯)方案进行评估，并将分离的数据分配到登记、验证和测试子集。结果证明了d-vector系统在野外条件下的稳健性:单活性和多活性分别获得97.69%和94.16%的准确率(用于鉴定)和99.89%和99.67%的AUCs(用于验证)。

此外，研究者使用同一实验室的公共数据集在实验室条件下对d-vector方法进行了评估:d-vector方法的性能明显优于以往使用相同数据集的工作。对于未来的工作，分析一种称为x向量的d向量方法的变化将是很有趣的。这些主题嵌入包括来自几个封闭帧的上下文信息和通过时滞神经网络(TDNN)获得的时间信息。

参考文献：Manuel Gil-Martín, Rubén San-Segundo, Ricardo de Córdoba & José Manuel Pardo Robust Biometrics from Motion Wearable Sensors Using a D-vector Approach   Neural Processing Letters 2109–2125(2020)