融合多模态学习与多粒度结构学习的谣言检测方法及装置

摘要

本发明公开一种融合多模态学习与多粒度结构学习的谣言检测方法及装置，该方法步骤包括：S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据；S02.分别提取文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到多模态特征表示；S03.从多模态特征表示中，提取文本模态和图像模态的数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；S04.根据数据结构特征以及跨模态特征关系，得到所有新闻信息的融合多模态特征表示；S05.将融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。本发明具有实现方法简单、检测效率与精度高且抗干扰性强等优点。

说明书

技术领域

本发明涉及智能谣言检测技术领域，尤其涉及一种融合多模态学习与多粒度结构学习的谣言检测方法及装置。

背景技术

随着越来越多的人们倾向于在社交平台上浏览新闻、分享见闻、表达自己的观点，社交平台上的谣言传播也变得更加广泛和迅速。谣言，通常意味着低质量的包含虚假错误信息的新闻。谣言的传播不仅会破坏信息的可信性，误导人们相信虚假的内容，甚至还可能会造成恐慌。因此，为了提高信息的可信度和减弱谣言可能带来的危害，有效的谣言检测方法是非常必要和急需的。

传统的谣言检测方法通常是依赖于新闻的文本内容来判断其是否为谣言，即将若干人工定义的文本语法特征或语义特征组合作为新闻的特征，比如词频统计、大小写数目、特殊符号、表情符号、情感倾向、评论词汇等等，通过提取这类特征来判断新闻是否为谣言。但是由于人工定义的文本特征通常高度依赖于文本的写作习惯和文本内容所属的特定领域，而社交网络上的文本数据量巨大，且是来源于各个不同的领域，仅仅使用文本特征来检测社交网络上来自各个领域的不同出处的谣言明显是不够高效的。

随着图像和视频等视觉信息在社交平台上的广泛使用，研究者们开始探索同时结合新闻的文本和图像信息的谣言检测方式。由于相比于文本内容，图像和视频等视觉信息更能吸引人们的注意力，因此在检测谣言方面，视觉信息比文本更加具有可识别性，因而结合文本与图像信息可以实现更为有效的谣言检测。但是，针对于结合新闻的文本和图像信息实现谣言检测，目前通常都是先各自学习文本和图像两个不同模态的单模态特征，然后简单地拼接单模态特征后用于谣言检测，或者简单的使用VAE(变分自动编码器)重构特征来获得新闻的多模态特征后用于谣言检测，上述方式仍然会存在以下问题：

1、仅能够获取文本和图像模态的单模态特征，而无法捕获文本和图像模态内部的更细粒度的特征，而单模态特征易于被另一个模态中的噪声信息所影响，直接基于单模态特征进行谣言检测的检测精度不高；

2、仅能够获取文本和图像模态在各自模态下的特征，无法有效捕获跨模态的特征，因而不能够充分的表征新闻信息在文本模态与图像模态之间的跨模态特征特性，致使影响最终的谣言检测精度。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、检测效率与精度高且抗干扰性强的融合多模态学习与多粒度结构学习的谣言检测方法及装置。

为解决上述技术问题，本发明提出的技术方案为：

一种融合多模态学习与多粒度结构学习的谣言检测方法，步骤包括：

S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据；

S02.分别提取所述文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；

S03.从所述多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；

S04.根据所述单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；

S05.将所述融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。

进一步的，所述步骤S03中，使用基于度量的三元组学习方式，提取得到所述文本模态和图像模态的单模态数据结构特征，所述基于度量的三元组学习方式中通过学习所述文本模态、图像模态中一种模态内三元组样本之间的距离关系，并使用学习到的距离关系指导学习另一个模态内对应的三元组样本之间的特征关系。

进一步的，所述使用基于度量的三元组学习方式，提取得到所述文本模态和图像模态的单模态数据结构特征的步骤包括：

S301.从所述多模态特征表示中分别选取多组对应文本模态的三元组样本、多组对应图像模态的三元组样本，所述三元组样本中包括目标样本、正样本和负样本；

S302.取所述图像模态、文本模态中一种作为指导模态、另一种作为被指导模态；

S303.计算当前的指导模态所对应的各三元组样本中所述目标样本与所述正负样本之间的距离关系；

S304.使用一个预设距离函数作用于当前的被指导模态所对应的各三元组样本中目标样本和正负样本上，并使用步骤S303得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的特征关系；

S305.更换所述图像模态、文本模态所对应的指导模态、被指导模态的类型，返回步骤S303，以重新使用更换后的指导模态的所述距离关系，指导学习被指导模态中的所述目标样本和所述正负样本之间的特征关系。

进一步的，所述步骤S304中，使用步骤S303得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的关系包括：如果当前的指导模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，则指导被指导模态中目标样本和正负样本之间的关系应当满足

进一步的，所述步骤S03中，使用基于对照的二元组学习方式捕获所述跨模态特征关系，其中通过基于所述图像模态、文本模态的样本形成包含正负样本对的二元组，使用所述正负样本对的对照关系指导二元组中样本之间相似性关系的学习。

进一步的，所述使用基于对照的二元组学习方式捕获所述跨模态特征关系的步骤包括：

S311.从所述多模态特征表示中选取两个新闻样本，将其中一个新闻样本所对应的目标样本、正样本形成正样本对、将所述目标样本与另一个新闻样本所对应的负样本形成负样本对，所述目标样本、正样本对应不同的模态，由所述正样本对、负样本构成一个二元组；

S312.根据所述二元组中正负样本对的对照关系，指导使用一个预设相似性度量函数分别计算所述二元组中目标样本和正样本以及目标样本和负样本之间的相似性。

进一步的，所述步骤S04中，使用自注意力机制得到待检测数据集中所有新闻信息的所述融合多模态特征表示，具体步骤包括：

S401.将文本模态所对应的多模态特征表示

S402.根据所述拼接多模态特征表示

其中，W

S403.根据所述拼接多模态特征表示

其中W

进一步的，所述步骤S2中，先将新闻信息的文本模态数据、图像模态数据输入到自然语言预处理模型中，初步得到文本模态、图像模态所对应的单模态特征，然后将得到的文本模态、图像模态所对应的单模态特征输入至多模态映射网络中，得到文本模态、图像模态所对应的所述多模态特征表示。

一种融合多模态学习与多粒度结构学习的谣言检测装置，包括：

获取模块，用于获取待检测数据集中新闻信息的文本模态数据和图像模态数据；

多模态学习模块，用于分别初步提取所述文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；

多粒度结构学习模块，用于从所述多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；

融合模块，用于根据所述单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；

检测模块，用于将所述融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。

一种计算机设备，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。

与现有技术相比，本发明的优点在于：

1、本发明融合多模态学习和多粒度结构学习方式来共同实现谣言检测，根据多模态数据的特点，首先获取初步的新闻文本模态和图像模态表示，将不同模态的数据特征映射到相同空间后得到多模态特征表示，以便于后续进行多粒度结构学习；然后从多模态特征表示中提取出单模态数据结构特征以及捕获出细粒度的跨模态特征关系，最终得到新闻的融合多模态特征表示进行谣言检测，能够融合文本和图像模态的单模态数据结构特征与跨模态特征关系，降低单模态内可能存在的噪声对多模态特征学习的影响，同时充分学习细粒度的跨模态特征，有效提高谣言检测的精度，实现快速、精准的谣言检测。

2、本发明进一步基于度量的三元组学习方式进行单模态特征提取，通过学习一种模态内三元组样本之间的距离关系，同时由学习的距离关系再用于指导另一个模态内三个样本之间特征关系的学习，能够学习每种单模态内部的数据结构关系，有效捕获单模态内部更细粒度的结构特征，同时将学习到的特征传递到另一个模态，使得单模态内样本特征表示的学习中能够利用另一个模态传递过来的补充信息，实现更有效的多模态特征学习，降低单模态内可能存在的噪声对多模态特征学习的影响。

3、本发明进一步使用基于对照的二元组学习方式，捕获跨模态的数据关系特征，通过提取并强化来自不同模态的二元组样本之间的对照关系，能够加强不同模态间对应样本间的联系，增大同模态中不同样本的差异，从而使得模型学习到的多模态特征表示能够充分反映细粒度的跨模态数据关系。

附图说明

图1是本实施例融合多模态学习与多粒度结构学习的谣言检测方法的实现流程示意图。

图2是本实施例融合多模态学习与多粒度结构学习的谣言检测方法的实现原理示意图。

图3是本发明在具体应用实施例中多粒度结构学习中三元组学习(对应图(a))与二元组学习(对应图(b))的实现原理示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1、2所示，本实施例融合多模态学习与多粒度结构学习的谣言检测方法的步骤包括：

S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据；

S02.分别提取文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；

S03.从多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；

S04.根据单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；

S05.将融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。

本实施例融合多模态学习和多粒度结构学习方式来共同实现谣言检测，根据多模态数据的特点，首先获取初步的新闻文本模态和图像模态表示，将不同模态的数据特征映射到相同空间后得到多模态特征表示，以便于后续进行多粒度结构学习；然后从多模态特征表示中提取出单模态数据结构特征以及捕获出细粒度的跨模态特征关系，最终得到新闻的融合多模态特征表示进行谣言检测，能够融合文本和图像模态的单模态数据结构特征与跨模态特征关系，降低单模态内可能存在的噪声对多模态特征学习的影响，同时充分学习细粒度的跨模态特征，从而有效提高谣言检测的精度，实现快速、精准的谣言检测。

一个目标新闻样本，通常包含一条文本数据，而同时对应多张图片数据。根据谣言检测任务的特点，本实施例步骤S1首先获取待检测任务数据集中新闻信息的文本模态数据和对应的图像模态数据，具体对待检测任务数据集中所有新闻信息，为每一条新闻样本确定对应的一条文本模态数据和一张图像模态数据，图像模态数据可采用随机选择新闻样本的一张图片的方式确定，即随机选取一张图片作为目标新闻样本的图像模态数据，将选择的图像模态数据与文本数据对应，形成该目标新闻样本的文本模态数据与图像模态数据。当然图像模态数据的选取也可以不采用随机选取的方式，如可以根据实际需求采用预设的选取规则进行选取。

本实施例中，步骤S2中，先将新闻信息的文本模态数据、图像模态数据输入到自然语言预处理模型中，初步得到文本模态、图像模态所对应的单模态特征，然后将得到的文本模态、图像模态所对应的单模态特征输入至多模态映射网络中，得到文本模态、图像模态所对应的多模态特征表示。

在具体应用实施例中，可以利用自然语言预处理模型(如Word2Vec、Bert、XLNet等)和图像预处理模型(如VGG-19、ResNet等)初步获取新闻信息的文本单模态特征和图像单模态特征，然后利用多模态映射网络作用于单模态特征来得到多模态特征表示，具体包括以下步骤：

S201.将新闻信息的文本数据{T

S202.将步骤S201得到的文本单模态特征和图像单模态特征分别输入文本多模态映射网络f

多模态任务中，不同单模态通常包含不同的细粒度结构特征。本实施例步骤S03中，使用基于度量的三元组学习方式，提取得到文本模态和图像模态的单模态数据结构特征，基于度量的三元组学习方式中通过学习文本模态、图像模态中一种模态内三元组样本之间的距离关系，并使用学习到的距离关系指导学习另一个模态内对应的三元组样本之间的特征关系，即当学习图像模态中三元组样本之间的距离关系后，使用图像模态学习到的距离关系指导学习文本模态内样本之间的特征关系，当学习文本模态中三元组样本之间的距离关系后，使用文本模态学习到的距离关系再指导学习图像模态内样本之间的特征关系，使得最终能够学习到文本、图像模态单模态内部的细粒度的结构特征。上述三元组包括目标样本、正样本和负样本，其中正样本为属于指定类别的样本，负样本为不属于指定类别的样本，目标样本、正样本和负样本可预先按照类型进行标记。

本实施例基于度量的三元组学习方式进行单模态特征提取，通过学习一种模态内三元组样本之间的距离关系，同时由学习的距离关系再用于指导另一个模态内三个样本之间特征关系的学习，通过这种距离关系的学习和指导，能够学习每种单模态内部的数据结构关系，有效捕获单模态内部更细粒度的结构特征，并将学习到的结构特征传递到另一个模态，使得单模态内样本特征表示的学习中能够利用另一个模态传递过来的补充信息，实现更有效的多模态特征学习，降低单模态内可能存在的噪声对多模态特征学习的影响。

本实施例中在多粒度学习过程中，如图3所示中图(a)所示，使用基于度量的三元组学习方式，提取得到文本模态和图像模态的单模态数据结构特征的具体步骤包括：

S301.从多模态特征表示中分别选取多组对应文本模态的三元组样本、多组对应图像模态的三元组样本，三元组样本中包括目标样本、正样本和负样本；

S302.取图像模态、文本模态中一种作为指导模态、另一种作为被指导模态；

S303.计算当前的指导模态所对应的各三元组样本中目标样本与正负样本之间的距离关系；

S304.使用一个预设距离函数作用于当前的被指导模态所对应的各三元组样本中目标样本和正负样本上，并使用步骤S303得到的距离关系指导学习当前的被指导模态中目标样本和正负样本之间的特征关系；

S305.更换图像模态、文本模态所对应的指导模态、被指导模态的类型，返回步骤S303，以重新使用更换后的指导模态的距离关系，指导学习被指导模态中的目标样本和正负样本之间的特征关系。

本实施例上述通过迭代的方式，使用一种模态内部结构特征指导另一种模态的关系学习，能够充分捕获文本、图像每个单模态内部的结构特征。

本实施例上述步骤S301中，具体从待检测任务数据集的映射后的多模态特征表示中选取若干三元组样本<(h

上述步骤S302中，具体取图像模态为指导模态，则文本模态为被指导模态，步骤S304中则更换为文本模态为指导模态、图像模态为被指导模态。当然也可以在步骤S302中取指导模态为文本模态、图像模态为被指导模态，在步骤S304中再更换图像模态为指导模态、文本模态为被指导模态。

上述步骤S303中具体计算当前的指导模态(以图像模态为例)所对应的各三元组样本中目标样本与正负样本之间的欧式距离，即为：

其中，

上述步骤S304中，距离函数具体为具备可学习能力的距离函数，距离函数类型具体可以根据实际需求配置。使用距离函数计算被指导模态(以文本模态为例)内目标样本和正负样本之间的关系，具体可采用以下计算公式：

其中，

经过上述步骤的迭代后即可得到文本模态、图像模态内部样本之间的关系，捕获到单模态内部更细粒度的结构特征。

在具体应用实施例中，上述使用基于度量的三元组学习方式，提取得到文本模态和图像模态的单模态数据结构特征的详细步骤为：

本实施例步骤S304中，使用步骤S303得到的距离关系指导学习当前的被指导模态中目标样本和正负样本之间的关系包括：如果当前的指导模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，则指导被指导模态中目标样本和正负样本之间的关系应当满足

在具体应用实施例中，上述使用基于度量的三元组学习方式，提取得到文本模态和图像模态的单模态数据结构特征的详细步骤为：

步骤(1)按照式(1)、(2)分别计算三元组内图像模态中目标样本和正负样本之间的距离关系。

步骤(2)按照式(3)、(4)用一个可学习的距离函数D计算文本模态中目标样本和正负样本之间的关系，

步骤(3)根据三元组中图像模态内目标样本与正负样本之间的距离关系，指导文本模态中目标样本与正负样本之间的关系。具体而言，在本实施例中，如果图像模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，也就是

步骤(4)计算文本模态数据中目标样本和正负样本之间的距离关系

步骤(5)重复步骤(1)-(5)，迭代使用一种模态距离关系指导另一种模态中关系学习，使得每个单模态内部的结构特征能够被充分提取和表示。

本实施例步骤S03中，多粒度学习过程中具体使用基于对照的二元组学习方式捕获跨模态特征关系，二元组学习过程如图3中图(b)所示，其中通过基于图像模态、文本模态的样本形成包含正负样本对的二元组，使用正负样本对的对照关系指导二元组中样本之间相似性关系的学习，即使用基于对照的二元组学习方式，捕获跨模态的数据关系特征，通过提取并强化来自不同模态的二元组样本之间的对照关系，能够加强不同模态间对应样本间的联系，增大同模态中不同样本的差异，使得模型学习到的多模态特征表示能够充分反映细粒度的跨模态数据关系。

本实施例上述使用基于对照的二元组学习方式捕获跨模态特征关系的截图步骤包括：

S311.从多模态特征表示中选取两个新闻样本，将其中一个新闻样本所对应的目标样本、正样本形成正样本对、将目标样本与另一个新闻样本所对应的负样本形成负样本对，目标样本、正样本对应不同的模态，由正样本对、负样本构成一个二元组；

S312.根据二元组中正负样本对的对照关系，指导使用一个预设相似性度量函数分别计算二元组中目标样本和正样本以及目标样本和负样本之间的相似性。

上述步骤S311中，具体从待检测任务数据集映射后多模态特征表示的某种模态数据(以文本模态为例)中选取若干目标样本，得到如<(h

上述步骤S312中具体使用一个具有可学习能力的相似性度量函数，分别计算二元组中目标样本和正样本以及目标样本和负样本之间的相似性，将一个包含目标样本h

其中，W

根据二元组中正负样本对的对照关系指导上述目标样本和正样本以及目标样本和负样本之间相似性关系的学习。具体计算所有二元组中正负样本对的相似性得分差值，确保二元组中正样本对的相似性得分高于负样本对的相似性得分一个预设固定值m，即；

本实施例通过上述基于对照的二元组学习方式，能够进一步加强跨模态的二元组中正样本对之间的相似性，增大正负样本对之间的差异性，使得模型学习到更丰富的跨模态信息。

经过上述步骤的多粒度结构学习之后，提取得到本模态和图像模态的单模态数据特征和跨模态特征的多模态特征，进一步则融合文本模态和图像模态的多模态特征，即可得到所有新闻信息的融合多模态特征表示。

本实施例步骤S04中，具体使用自注意力机制得到待检测数据集中所有新闻信息的融合多模态特征表示，步骤包括：

S401.将文本模态所对应的多模态特征表示

S402.根据拼接多模态特征表示

其中，W

S403.根据拼接多模态特征表示

其中W

上述如拼接多模态特征表示、贡献度以及融合多模态特征表示的具体计算公式，当然也可以根据实际需求采用其他的表达方式，或者在上述表达式的基础上进行适应性调整、优化以满足不同的应用需求。

经过上述步骤即可得到充分融合文本模态、图像模态的多模态特征的融合多模态特征表示，以使得能够充分表征新闻信息的多模态特性，提高谣言检测的精度，将上述得到的新闻的融合多模态特征表示输入一个谣言检测网络中，即可判断出输入新闻是否为谣言。上述谣言检测网络具体可以采用多层前馈神经网络等构建实现。

综上，本实施例首先使用自然语言预处理模型和图像预处理模型对新闻的文本和图像两个模态的数据进行初步处理，然后用两种模态的多模态映射网络将两种模态的特征表示映射到同一个多模态空间，便于后续的多粒度结构学习，然后借助基于度量的三元组学习方式学习每种单模态内部的数据结构关系，能够有效捕获单模态内部更细粒度的结构特征，同时降低单模态内可能存在的噪声对多模态特征学习的有害影响，基于对照的二元组学习方式则能够捕获跨模态的关系，增强新闻数据中跨模态的数据之间的联系，并增加不同样本的差异性，充分学习细粒度的跨模态特征，最终得到新闻的融合多模态特征表示，通过将该表示输入一个谣言检测网络即可精准、快速的判断其是否为谣言。

以下以在具体应用实施例中采用本发明上述方法实现谣言检测为例，对本发明上述方法进行进一步说明。如图2、3所示，本实施例实现谣言检测的详细步骤为：

步骤一：根据目标任务数据集中新闻数据同时包含文本模态数据和图像模态数据的特点，先用在大规模文本数据集上训练过的自然语言预处理模型，如Word2Vec、Bert、XLNet等，提取新闻的文本单模态特征{h

步骤二：分别使用文本多模态映射网络和图像多模态映射网络作用于步骤一中得到的文本和图片的单模态特征，得到文本的多模态特征表示{h

步骤三：使用基于度量的三元组学习方式捕获文本和图像单模态内细粒度的结构特征。

步骤3.1从步骤二中映射之后的所有文本和图像模态的多模态特征表示里选取若干所需三元组样本，得到如<(h

步骤3.2分别按照式(1)、(2)计算三元组内某种模态数据(以图像模态为例)中目标样本和正负样本之间的距离关系

步骤3.3用一个可学习的距离函数D按照(3)、(4)计算另一种模态中(文本模态)目标样本和正负样本之间的关系

步骤3.4根据三元组中图像模态内目标样本与正负样本之间的距离关系，指导文本模态中目标样本与正负样本之间的关系：如果图像模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，也就是

步骤3.5计算文本模态数据中目标样本和正负样本之间的距离关系

步骤3.6重复步骤3.2-3.5，迭代使用一种模态距离关系指导另一种模态中关系学习，使得每个单模态内部的结构特征能够被充分提取和表示。

步骤四：使用基于对照的二元组学习方式捕获跨模态的关系信息。

步骤4.1从步骤二映射之后得到的文本模态的多模态特征表示中选取的目标样本，得到如<(h

步骤4.2按照式(5)、(6)分别计算步骤4.1中选取的若干二元组中正负样本对的相似性

步骤4.3按照式(7)计算所有二元组中正负样本对的相似性得分差值，确保二元组中正样本对的相似性得分高于负样本对的相似性得分一个预设固定值m。

经过上述步骤三和步骤四的多粒度结构学习，文本多模态特征表示

步骤五：使用自注意力机制得到目标任务数据集中所有新闻数据的融合多模态特征表示。

步骤5.1按照式(8)拼接文本多模态特征表示

步骤5.2按照式(9)计算文本多模态特征和图像多模态特征表示各自对融合多模态特征表示的贡献度。

步骤5.4根据步骤5.1和5.2的计算结果，按照式(10)计算待检测数据集中所有新闻的融合多模态特征表示h

步骤六：将待检测数据集中所有新闻的融合多模态特征表示输入谣言检测网络，判断输入新闻是否为谣言，最终实现能够快速准确对输入新闻是否为谣言进行判断的目的。

本实施例还提供一种融合多模态学习与多粒度结构学习的谣言检测装置，包括：

获取模块，用于获取待检测数据集中新闻信息的文本模态数据和图像模态数据；

多模态学习模块，用于分别初步提取文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；

多粒度结构学习模块，用于从多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；

融合模块，用于根据单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；

检测模块，用于将融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。

本实施例融合多模态学习与多粒度结构学习的谣言检测装置与上述融合多模态学习与多粒度结构学习的谣言检测方法为一一对应，在此不再一一赘述。

本实施例还提供计算机设备，包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，处理器用于执行计算机程序以执行如上述融合多模态学习与多粒度结构学习的谣言检测方法。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。