一种融合多模态数据特征的移动群智感知任务推荐方法

摘要

任务推荐是目前移动群智感知研究的热点和难点，现有的任务推荐忽略了历史数据模态的多样性，以及为了弥补异质性差异，目前的方法大多遵循通过构建公共空间来融合多模态数据特征，导致不同模态缺乏了在不同粒度的特征融合。针对以上的不足，本发明通过对感知用户的历史任务数据进行交叉引导自注意力挖掘出不同粒度的数据融合特征，实现了模态内和模态间的互补性，降低了融合不相关数据的风险。本发明提出的方法从多模态角度研究移动群智感知的任务推荐问题，通过对多种模态的历史数据的融合，生成了与感知用户偏好更匹配的任务推荐，不仅提高了系统性能，同时也提高了感知用户参与任务的积极性，保障了感知数据质量。

说明书

技术领域

本发明属于移动群智感知领域，具体涉及一种融合多模态数据特征的移动群智感知任务推荐方法。

背景技术

随着拥有丰富传感器的移动设备的迅速普及，移动群智感知(Mobile CrowdSensing, MCS)作为一种新型的众包范式，已经成为当今一种新兴的、有前景的传感技术。MCS利用全球范围内可用的智能手机的感知能力，例如GPS、相机和数字指南针，来收集分布式的感知数据。与传统的固定部署感知模式相比，MCS具有部署灵活、感知数据多源异构、覆盖范围广泛均匀和高扩展多功能等诸多优点。

在通信技术的快速发展下，现已实现了各种MCS服务的信息采集与传播。然而，大规模传感收集的数据通常包括各种模态的数据。我们所处的环境是多元的，我们对这个世界的感知也包含多种因素，这通过语言、视觉、声音、动作、触觉共同完成。人类通过将视觉、听觉、触觉、嗅觉、味觉等不同感官模式的信息整合为连贯的表征，形成有意义的感知体验。由于来自不同感觉模态的信息可以相互补充，提供更丰富的信息，因此多模态数据分析越来越受到重视。

任务推荐在MCS的一个基本问题，对MCS系统的效率和有效性至关重要。在现有的感知系统中，感知用户会执行许多不同的感知任务并上传感知数据，随着时间的推移，感知数据会在系统中产生严重的信息过载，这就需要从众多不同模态的数据信息中找到感知用户感兴趣的信息，以此将合适的感知任务推荐给感知用户。因此，如何设计高效的多模态数据融合机制准确地将感知用户的的历史任务与新任务进行关联以降低感知成本、提高系统性能还有待进一步研究。

目前移动群智感知任务推荐忽略了历史数据的多样性，如在感知任务执行的过程中需要的传感器类型可以是速度加速器、摄像头、麦克风等。因此，需要充分挖掘和理解潜在的跨模态相关性，这就需要一种理解和推理多模态数据的能力。然而，不同模态数据之间存在语义差距，这给处理多模态数据带了很大的困难。为了弥补异质性差异，现有的方法大多遵循通过构建公共空间来融合多模态数据特征，通过在公共空间中的特征距离来衡量多模态数据的相似性。但是，这种方法通过将多模态数据嵌入到公共空间来学习多模态特征，缺乏了偏好和注意机制，容易导致不相关的数据融合，并且忽略了不同模态在不同粒度上的特征融合，故而降低了数据融合的效率和准确性。本发明通过对感知用户的历史任务数据进行交叉引导自注意力机制提取出多模态数据特征，然后进行跨模态层次融合对不同粒度的融合特征进行联合优化，从而实现了模态内和模态间的互补性，并降低了融合不相关数据的风险，进一步提高感知用户历史任务信息融合的准确度。最后通过计算历史任务与新任务之间的任务相似度，来判断新任务是否适合推荐给感知用户。该方法综合了多种模态的历史数据，生成了与感知用户偏好更匹配的任务推荐，不仅可以提高感知用户参与任务的积极性，同时也保障了感知数据质量。

发明内容

本发明的目的是针对现有技术的不足，提出一种融合多模态数据特征的移动群智感知任务推荐方法。

本发明是通过以下技术方案来实现的：一种融合多模态数据特征的移动群智感知任务推荐方法，捕捉多模态数据之间的相关性，挖掘多种模态在不同粒度上的融合特征，对不同粒度的融合特征进行联合优化，通过对感知用户的多模态历史数据进行融合，计算历史任务与新任务之间的任务相似度，进而为感知用户推荐与偏好更加匹配的新任务。

本发明的总体逻辑框架如图1所示，主要包括交叉引导自注意力框架(CrossGuided Self-Attention, CGSA)，CGSA框架的具体实现细节如图2所示。CGSA包含了以下步骤：对多模态历史数据进行特征提取，实现多模态引导自注意力进行语义对齐，对不同的特征进行跨模态层次融合。

对多模态历史数据进行特征提取：本发明提取文本信息特征和图像信息的区域特征，然后将提取的特征分别使用自注意力机制进行特征自我注意。

实现多模态引导自注意力进行语义对齐：对不同模态的自注意特征分别使用引导自注意力机制进行交叉引导，进行语义对齐。

对不同的特征进行跨模态层次融合：对多模态数据的自注意特征和引导自注意特征进行跨模态层次融合，通过联合优化在不同粒度上的融合特征，最终得到多模态历史数据的融合特征。

与现有技术相比，本发明的有益效果是：针对现有的多模态融合方法大多遵循通过构建公共空间来融合多模态数据特征，导致缺乏偏好和注意机制，且忽略了不同模态在不同粒度上的特征融合，本发明首先使用自注意力(Self-Attention)机制生成自注意特征，使模态捕捉自身内部的相关性。然后实现了交叉引导注意力机制生成引导注意特征，实现了在模态间共享模态各自重要的信息，有效降低了融合不相关模态特征的风险；采用了跨模态层次融合方法捕获单个模态内的隐式特征和多个模态间的互补特征，对不同粒度的融合特征进行联合优化，从而实现了模态内和模态间的互补性，进一步提高感知用户历史任务信息融合的准确度；通过从多模态角度研究移动群智感知的任务推荐问题，融合多模态历史数据的有效信息，最终使得对感知任务的融合更准确，产生与感知用户偏好更匹配的任务推荐，有效提高了MCS系统性能，同时也提高了感知用户的积极性，保障了感知数据质量。

附图说明

图1为本发明的总体逻辑框架。

图2为交叉引导自注意力框架。

图3为文本引导图像注意过程。

具体实施方式

对于文本信息，采用预训练的BERT编码器对文本T进行特征提取，得到文本特征向量F

将提取出的文本特征F

为了将文本和图像信息进行语义对齐，实现了交叉引导自注意机制，有利于模态之间将各自重要的信息进行相互补充。

假设文本注意特征F

文本引导图像特征过程如图3所示。在这个过程中，将{t

故而，可以计算出q

将归一化后的值分别与对应的value向量v

重复上述计算过程，我们就可以得到由{t

这个过程也能表达为矩阵运算。文本注意特征F

相同的，在图像引导注意特征的计算过程中，应将{i

至此，经过交叉引导自注意力，我们得到了文本引导主义特征F

我们将多模态自注意特征和多模态引导注意特征进行跨模态层次融合，对不同粒度的融合特征进行联合优化，可以捕获单个模态内的隐式特征和多个模态间的互补特征，使框架充分考虑到了模内和模间的互补性。将文本注意特征F

在特征采样层，将对这四种特征进行采样，保证维度相同以便后续的融合。分别得到F'

跨模态融合层对采样出的四种特征进行四种融合操作，可以表示为：F

全局融合层用于融合跨模态融合层输出的所有融合特征向量，最终的融合结果表示为F

采用联合优化方法对预测结果的总损失L=L(F

通过以上方法将多模态历史数据进行融合后，得到了感知用户的历史数据融合特征，该融合特征隐式包含了感知用户对完成任务的偏好。因此，使用此特征融合结果来计算历史任务与新任务之间的相似度更加合理，并设置一个过滤阈值，当相似度高于这个阈值时，认为该新任务适合推荐给感知用户。

综上所述，本发明提出的一种融合多模态数据特征的移动群智感知任务推荐方法，为MCS领域提供了一种高效的多模态融合机制。本发明通过这种融合机制，有效地融合感知用户的多模态历史数据，从而生成与感知用户偏好更匹配的任务推荐，以此提高了MCS系统的性能，同时增加了感知用户完成感知任务的兴趣，提高感知用户的积极性，进而为感知数据质量提供了保障。

上述实施方法为本发明较佳的实施方式，但本发明的实施方式并不受上述方法的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。