用于生成用户生成内容的标签的方法、设备和介质

摘要

本公开的实施例涉及一种用于生成用户生成内容的标签的方法、设备和介质，包括：获取用户生成内容对应的内容数据；将所获取的内容数据分类为第一内容数据以及第二内容数据；基于第一内容分析工具提取所述第一内容数据的第一特征并且基于第二内容分析工具提取所述第二内容数据的第二特征；将所述第一特征以及所述第二特征交互，从而获取交互的第三特征；以及根据所述内容数据的时间相关性，基于所述第一特征、所述第二特征以及所述第三特征生成用户生成内容的标签。

说明书

技术领域

本公开的实施例总体涉及计算机技术领域，并且更具体地涉及一种用于生成用户生成内容(UGC)的标签的方法、计算设备和计算机可读存储介质。

背景技术

标签，也称话题标签(hashtag)，常应用于社交媒体中，使用同一话题的内容会基于该话题自动聚合到一起，使得用户可以围绕同一个话题进行相关内容的讨论。

随着Web2.0时代的到来，各种社交媒体应运而生，社交媒体平台上的各种多媒体数据(图像、视频、音频)呈现爆炸式的增长，我们进入了社交多媒体大数据时代。社交媒体(微博、优酷等)允许用户自生产内容(User Generated Content，UGC)，并通过社交网络进行发布、分享、交流和传播。而以多媒体为信息载体通常能够表达更丰富和生动的内容，因此越来越多的多媒体内容出现在社交媒体上。

现有技术中可使用的用户生成内容的标签通常是基于以下方式生成的：第一种，用户编辑内容时，手动输入话题并进行内容关联。这种情况下不同的用户即使是针对同一话题中心点发表内容，但可能会因为不同用户的表述习惯而添加不同的话题标签，该话题可关联的内容有限，局限性较大。第二种，可以根据用户手动输入的话题标签，通过自定义规则或机器学习的方式生成新的话题，该类方法所需模板依赖于大量的先验知识，成本较高，难以快速有效地进行迁移。

综上，所述传统的用于生成用户生成内容的标签的方案所存在的不足之处在于：依赖用户编辑或者大量的先验知识，成本较高，难以快速有效地进行迁移。

发明内容

针对上述问题，本公开提供了一种用于生成用户生成内容的标签的方法、设备和介质。基于以上方案，可以高效地基于UGC中的不同模态特征(例如文本、图像或视频)内容准确生成用户期望的话题标签，这样可以既保持不同模态特征的差异性，又可以将一种模态放入另一模态背景下进行理解，从而提升话题标签的准确性。

根据本公开的第一方面，提供了一种用于生成用户生成内容的标签的方法，包括：获取用户生成内容对应的内容数据；将所获取的内容数据分类为第一内容数据以及第二内容数据；基于第一内容分析工具提取所述第一内容数据的第一特征并且基于第二内容分析工具提取所述第二内容数据的第二特征；将所述第一特征以及所述第二特征交互，从而获取交互的第三特征；以及根据所述内容数据的时间相关性，基于所述第一特征、所述第二特征以及所述第三特征生成用户生成内容的标签。

根据本公开的第二方面，提供了一种计算设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开的第一方面的方法。

在本公开的第三方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中计算机指令用于使计算机执行本公开的第一方面的方法。

在一些实施例中，将所获取的内容数据分类为第一内容数据以及第二内容数据包括：将所分类的第二内容数据确定为图像数据、包括多个图像的图像数据集以及视频数据中的一类。

在一些实施例中，基于第二内容分析工具提取所述第二内容数据的第二特征包括：响应于所述第二内容数据为图像数据，将所述图像数据输入至卷积神经网络；基于神经网络学习，抽取出图像特征；以及对所抽取出的图像特征执行降维处理，从而获取第二特征。

在一些实施例中，基于第二内容分析工具提取所述第二内容数据的第二特征包括：响应于所述第二内容数据为包括多个图像的图像数据集，将所述图像数据集按批次输入至卷积神经网络；基于神经网络学习，抽取出多个图像特征；获取对应于多个图像的图像权重；以及对所抽取出的多个图像特征执行降维处理并且基于所获取的图像权重执行融合，从而获取第二特征。

在一些实施例中，基于第二内容分析工具提取所述第二内容数据的第二特征包括：响应于所述第二内容数据为视频数据，将视频数据根据所述内容数据的时间相关性执行抽帧处理，从而获取多帧图像数据；将所获取的多帧图像数据输入至卷积神经网络；基于神经网络学习，抽取出多个图像特征；以及对所抽取出的多个图像特征执行降维处理执行融合，从而获取第二特征。

在一些实施例中，将所述第一特征以及所述第二特征交互从而获取交互的第三特征包括：将第一特征和第二特征相联结，得到融合特征；将所述融合特征输入至图神经网络；以及获取图神经网络输出的特征向量，从而作为交互的第三特征。

在一些实施例中，根据所述内容数据的时间相关性基于所述第一特征、所述第二特征以及所述第三特征生成用户生成内容的标签包括：针对所述第一特征、所述第二特征以及所交互的第三特征，分别设置第一权重、第二权重以及第三权重；基于所述内容数据的时间相关性，调整所述第一权重、第二权重以及第三权重之间的关系；以及基于所调整的第一权重、第二权重以及第三权重，利用多模态融合标签生成器生成用户生成内容的标签。

在一些实施例中，基于所述内容数据的时间相关性调整所述第一权重、第二权重以及第三权重之间的关系包括：基于所述内容数据的时间相关性，确定搜索内容数据为时间信息强依赖数据和时间信息弱依赖数据；响应于所述内容数据为时间信息强依赖数据，提升所述第二权重；以及响应于所述内容数据为时间信息弱依赖数据，提升所述第一权重。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。

图1示出了用于实现根据本发明的实施例的用于检索用户信息的方法的系统的示意图。

图2示出了根据本公开的实施例的用于生成用户生成内容的方法200的流程图。

图3示出了根据本公开的实施例的基于第二内容分析工具提取第二内容数据的第二特征的方法300的流程图。

图4示出了根据本公开的实施例的基于第二内容分析工具提取第二内容数据的第二特征的方法400的流程图。

图5示出了可以用来实施本公开内容的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如前文所描述，用户编辑内容时可以手动输入话题并进行内容关联。这种情况下不同的用户即使是针对同一话题中心点发表内容，但可能会因为不同用户的表述习惯而添加不同的话题标签，该话题可关联的内容有限，局限性较大。或者可以根据用户手动输入的话题标签，通过自定义规则或机器学习的方式生成新的话题，该类方法所需模板依赖于大量的先验知识，成本较高，难以快速有效地进行迁移。

综上，所述传统的用于生成用户生成内容的标签的方案所存在的不足之处在于：依赖用户编辑或者大量的先验知识，成本较高，难以快速有效地进行迁移。机器学习所生成的标签不能综合多模态特征，从而导致所生成的标签不准确。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于生成用户生成内容的标签的方案。本发明提出的用于生成用户生成内容的标签的方法可以基于多模态的UGC内容(帖子)理解，标注相关标签。这些标签的生成不局限于帖子文本里的关键词，而是结合了多模态信息，例如文本、图像、视频，从而实现对UGC内容进行多角度的理解，使得标注准确性和相关性上升。

图1示出了用于实现根据本发明的实施例的用于生成用户生成内容的标签的方法的系统的示意图。如图1中所示，系统包括计算设备110和用户生成内容数据管理设备130和网络140。计算设备110、用户生成内容数据管理设备130可以通过网络140(例如，因特网)进行数据交互。

用户生成内容数据管理设备130，其例如可以存储有一份或多份用户生成内容数据文件数据。用户生成内容数据管理设备130还可以将所存储的用户生成内容数据发送给计算设备110。用户生成内容数据管理设备例如而不限于是：电子计算机、网络服务器、存储计算器等。用户生成内容数据管理设备130例如收集来自多个来源的用户生成内容数据文件信息，例如用户的撰写的文本(帖子)、图像、视频等。

关于计算设备110，其例如用于获取来自用户生成内容数据管理设备130的用户生成内容数据；并且接收待推送的用户生成内容数据并对数据进行推送。通过处理待处理的用户生成内容数据，可以实现对用户生成内容数据的针对性的标签生成。计算设备110可以接收来自用户或者用户生成内容数据管理设备130的待推送的数据。通过应用本公开公开提供的方法，计算设备110可以对用户生成内容数据执行标签生成处理。

计算设备110可以具有一个或多个处理单元，包括诸如GPU、FPGA和ASIC等的专用处理单元以及诸如CPU的通用处理单元。另外，在每个计算设备110上也可以运行着一个或多个虚拟机。在一些实施例中，计算设备110与用户生成内容数据管理设备130可以集成在一起，也可以是彼此分立设置。在一些实施例中，计算设备110例如包括获取模块112、预处理模块114、绘制模块116、控制点模块118、平滑处理模块120。

获取模块112，所述获取模块112配置成获取用户生成内容对应的内容数据。

分类模块114，所述分类模块114配置成将所获取的内容数据分类为第一内容数据以及第二内容数据。

提取模块116，所述提取模块116配置成基于第一内容分析工具提取所述第一内容数据的第一特征并且基于第二内容分析工具提取所述第二内容数据的第二特征。

交互模块118，所述交互模块118配置成将所述第一特征以及所述第二特征交互，从而获取交互的第三特征。

生成模块120，所述生成模块120配置成根据所述内容数据的时间相关性，基于所述第一特征、所述第二特征以及所述第三特征生成用户生成内容的标签。

图2示出了根据本公开的实施例的用于生成用户生成内容的方法200的流程图。方法200可由如图1所示的计算设备110执行，也可以在图5所示的电子设备500处执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤202中，计算设备110配置成获取用户生成内容对应的内容数据。

在一个实施例中，如上所述用户生成内容可以是在社交媒体上出现的各类多媒体内容，例如文字、声音、图像、图像集(例如，同一贴下的多个图像)、视频。计算设备110可以获取以上多媒体内容并提取其中的内容数据以供下文分析。在本公开提供的方法，诸如文字、声音、图像、图像集(例如，同一贴下的多个图像)、视频的内容数据都可以处理从而生成标签。

在步骤204中，计算设备110配置成将所获取的内容数据分类为第一内容数据以及第二内容数据。

在一个实施例中，计算设备110可以将在步骤202中所获取的内容数据分类为第一内容数据以及第二内容数据。具体而言，第一内容数据可以指文字或者通过音频识别识别为文字的声音或者通过图像识别识别为文字的图像。即，第一内容数据可以对应于文本信息。第二内容数据可以指纯粹的图像、图像集、视频等。即，第二内容数据可以对应于视觉信息。

计算设备还可以将所分类的第二内容数据确定为图像数据、包括多个图像的图像数据集以及视频数据中的一类。

下文将对以上内容进行详细介绍。

在步骤206中，计算设备110配置成基于第一内容分析工具提取所述第一内容数据的第一特征并且基于第二内容分析工具提取所述第二内容数据的第二特征。

在一个实施例中，计算设备110可以针对第一内容数据，利用诸如ernie的神经网络框架的第一内容分析工具提取独立的文本特征，从而作为第一特征。同时，在视觉上，计算设备110可以针对第二内容数据，利用诸如transformer的神经网络框架的第二内容分析工具来提取独立的视频特征，或者利用注意力机制的神经网络框架的第二内容分析工具来提取图像或图像集里图像的质量和内容筛选图像特征形成独立的图像特征，从而将视频特征或图像特征作为第二特征。

下文将对以上内容进行详细介绍。

在步骤208中，计算设备110配置成将所述第一特征以及所述第二特征交互，从而获取交互的第三特征。

在一个实施例中，计算设备110可以将在步骤206中获取的针对文本的第一特征和针对视觉的第二特征相联结，得到融合特征。融合可以本领域常用的特征融合手段。本公开利用卷积神经网络学习图像的视觉语义特征，而并且利用图神经网络学习语义特征表达。

随后计算设备110可以将所述融合特征输入至图神经网络(Graph NeuralNetworks，GNN)，例如递归图神经网络，卷积图神经网络，图自动编码器。以Transformer这一图神经网络框架为例，融合特征可以被输入至图神经网络的encoder，从而获取encoder输出的递归向量或者特征向量。

可选地，可以通过将所获取的递归向量执行聚合或者执行求均值，从而获取交互的第三特征，或者可以直接将特征向量作为第三特征。具体来说，可以利用图神经网络融合抽取出的第一特征和卷积神经网络抽取第二特征。具体而言，计算设备110可以将文本内容表示成第一特征(第一特征向量)，随后将第一特征表与该文本内容在社交网络上的视觉第二特征堆叠(stack)在一起作为encoder的输入。经过多层自注意力(self-attention)，例如六层自注意力或共注意力(co-attention)网络获取融合向量。所获取的融合向量可以作为交互的第三特征。在此步骤中，还可以对所获取的融合向量执行求均值或者聚合。求均值可以补充在随后步骤的decoder的输入，也可以将时间相关性中的时间弱依赖的数据进行更好地表示。

在步骤210中，计算设备110配置成根据所述内容数据的时间相关性，基于所述第一特征、所述第二特征以及所述第三特征生成用户生成内容的标签。

在一个实施例中，计算设备110可以针对所述第一特征、所述第二特征以及所交互的第三特征，分别设置第一权重、第二权重以及第三权重。例如将针对所述第一特征的第一权重设置为0.4、针对所述第二特征的第二权重为0.3以及针对所述第三特征的第三权重为0.3。结合社交场景下UGC帖包含时间信息强依赖和时间信息弱依赖的特性，将以上特征有机结合作为标签生成器的输出。利用例如decoder的多模态融合标签生成器生成用户生成内容的标签。注意的是，本公开提供的标签生成方法所生成的标签可以为一个或多个，即，可以利用本公开的方法为一组UGC内容生成包括多个标签的标签集合。所生成的标签集合可以使用诸如beam search的算法挑选最相关或最符合用户期望的标签。

在一个实施例中，计算设备110可以基于所述内容数据的时间相关性，确定搜索内容数据为时间信息强依赖数据和时间信息弱依赖数据。视频内容如果随着时间快速变化，为强时间依赖；反之，如果视频里场景或内容都没怎么变，例如社交帖子里的吉他弹唱视频或一些幻灯片，则为时间信息弱依赖的视频。

响应于所述内容数据为时间信息强依赖数据，提升所述针对视觉的第二权重，例如将第二权重从0.3提升到0.5，并且将第一权重和第三权重相应调整。响应于所述内容数据为时间信息弱依赖数据，提升针对文本的第一权重，例如将第一权重从0.4提升到0.6，并且将第一权重和第三权重相应调整。

利用以上技术手段，可以融合针对视觉和针对文本的多模态特征，并且集合原本的视觉特征和文本特征一起生成用户期望的标签。实现了多模态信息对UGC进行多角度的理解，提升了标签的准确性。

图3示出了根据本公开的实施例的基于第二内容分析工具提取第二内容数据的第二特征的方法300的流程图。方法300可由如图1所示的计算设备110执行，也可以在图5所示的电子设备500处执行。应当理解的是，方法400还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤302中，计算设备110配置成响应于所述第二内容数据为图像数据，将所述图像数据输入至卷积神经网络。例如，可以将图像数据输入到诸如Resnet-inception的卷积神经网络，从而获取图像特征。

在步骤304中，计算设备110配置成基于神经网络学习，抽取出图像特征。图像特征利用通用的预先训练好的图像卷积神经网络抽取在该步骤中抽取出的图像特征往往维度较高(1536维)。

在步骤306中，计算设备110配置成对所抽取出的图像特征执行降维处理，从而获取第二特征。计算设备110可以通过两个全连接层将其降低到较低维度(512维)，作为针对视觉的第二特征，以便于上文所述的特征融合。

图4示出了根据本公开的实施例的基于第二内容分析工具提取第二内容数据的第二特征的方法400的流程图。方法400可由如图1所示的计算设备110执行，也可以在图5所示的电子设备500处执行。应当理解的是，方法400还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤402中，计算设备110配置成响应于所述第二内容数据为包括多个图像的图像数据集，将所述图像数据集按批次输入至卷积神经网络。例如，可以将图像数据输入到诸如Resnet-inception的卷积神经网络，从而获取图像特征。在第二内容数据为多张图片(例如4张)的图片集时，可以将图像数据集分批次输入至卷积神经网络。

在步骤404中，计算设备110配置成基于神经网络学习，抽取出多个图像特征。图像特征利用通用的预先训练好的图像卷积神经网络抽取,该步骤中抽取出的图像特征往往维度较高(1536维)。

在步骤406中，计算设备110配置成获取对应于多个图像的图像权重。针对包括多个图像的图像数据集，可以利用两个注意力块(Attention blocks)调整图像数据集中的多个图像的权重。注意力块可以自适应地聚合特征向量，以便于在两个块所跨越的凸包中形成单个特征可以根据每张图片的重要程度分别设置不同的权重，从而提升该图像的图像特征的权重。

在步骤408中，计算设备110配置成对所抽取出的多个图像特征执行降维处理并且基于所获取的图像权重执行融合，从而获取第二特征。计算设备110可以通过两个全连接层将其降低到较低维度(512维)，作为针对视觉的第二特征，以便于上文所述的特征融合。

在一个实施例中，响应于所述第二内容数据为视频数据，计算设备110可以将视频数据根据所述内容数据的时空相关性执行抽帧处理，从而获取多帧图像数据。例如抽取10s的视频中的多帧(例如，5帧)。将多帧图像按照如上所述的方法进行处理。例如，将所获取的多帧图像数据输入至诸如Transformer的图神经网络；基于神经网络学习，抽取出多个图像特征；以及对所抽取出的多个图像特征执行降维处理并且基于所述内容数据的时空相关性执行融合，从而获取第二特征。

利用以上技术手段，可以在处理视频模态时基于Transformer来提取视频特征，处理图片集模态时结合注意力机制提取图片集的特征，然后不同模态的特征之间进行融合后获得encoder的输出，从而多模块生成社交场景下的多模态UGC内容的标签。

图5示出了可以用来实施本公开内容的实施例的示例电子设备500的示意性框图。例如，如图1所示的计算设备110可以由电子设备500来实施。如图所示，电子设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机存取存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器503中，还可存储电子设备500操作所需的各种程序和数据。中央处理单元501、只读存储器502以及随机存取存储器503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

电子设备500中的多个部件连接至输入/输出接口505，包括：输入单元506，例如键盘、鼠标、麦克风等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法200、300和400可由中央处理单元501执行。例如，在一些实施例中，方法200、300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到随机存取存储器503并由中央处理单元501执行时，可以执行上文描述的方法200、300和400的一个或多个动作。

本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。