基于电子商务直播的图像互动信息处理方法、系统及平台

摘要

本公开实施例提供一种基于电子商务直播的图像互动信息处理方法、系统及平台，根据线上互动直播商品的直播图形互动标签确定图像互动区域，然后获取图像互动区域对应的各个直播观众账号的互动行为序列和互动类型转换信息，而后提取各个直播观众账号的第一互动特征向量和各个直播观众账号的第二互动特征向量，并对其进行融合得到目标互动特征向量后，确定各个直播观众账号对应线上互动直播商品的直播互动热点节点，由此进行直播商品推荐信息的推送。如此，能够基于观众在线上互动直播商品的直播过程中的图形互动情况对观众的互动行为特征进行有效挖掘，从而为观众推送其可能感兴趣的直播商品推荐信息，以便于减少观众的搜索成本和查找成本。

说明书

技术领域

本公开涉及电子商务及图像互动技术领域，具体而言，涉及一种基于电子商务直播的图像互动信息处理方法、系统及平台。

背景技术

随着互联网和移动通信技术的快速发展，互联网视频直播可以将电子商务商品等内容现场发布到互联网上，利用互联网的直观、快速，表现形式好、内容丰富、交互性强、地域不受限制、受众可划分等特点，加强电子商务商品的互动效果。

目前，在发起互动的线上互动直播商品的直播过程中，作为观众而言通常会在视频直播区域进行相应的图形互动，例如针对某个区域、某个节点、某个位置发起图形互动，这些图形互动通常体现了观众对线上互动直播商品的直播过程中的关注要点和兴趣趋向。基于此，如何基于观众在线上互动直播商品的直播过程中的图形互动情况对观众的互动行为特征进行有效挖掘，从而为观众推送其可能感兴趣的直播商品推荐信息，以便于减少观众的搜索成本和查找成本，是本领域亟待解决的技术问题。

发明内容

为了至少克服现有技术中的上述不足，本公开的目的在于提供一种基于电子商务直播的图像互动信息处理方法、系统及平台，能够基于观众在线上互动直播商品的直播过程中的图形互动情况对观众的互动行为特征进行有效挖掘，从而为观众推送其可能感兴趣的直播商品推荐信息，以便于减少观众的搜索成本和查找成本。

第一方面，本公开提供一种基于电子商务直播的图像互动信息处理方法，应用于与多个视频直播终端通信连接的云计算平台，所述方法包括：

获取所述视频直播终端发起互动的线上互动直播商品，并根据所述线上互动直播商品的直播图形互动标签确定图像互动区域，获取所述图像互动区域对应的各个直播观众账号的互动行为序列和互动类型转换信息；

将所述互动行为序列和所述互动类型转换信息分别输入至训练得到的信息推送网络，通过所述信息推送网络的第一特征向量提取层提取各个直播观众账号的第一互动特征向量，通过所述信息推送网络的第二特征向量提取层提取各个直播观众账号的第二互动特征向量；

通过所述信息推送网络的特征向量融合层对所述第一互动特征向量和所述第二互动特征向量进行融合得到目标互动特征向量；

根据所述目标互动特征向量确定各个直播观众账号对应所述线上互动直播商品的直播互动热点节点，并根据所述直播互动热点节点分别生成对应的各个直播观众账号的直播商品推荐信息，将所述直播商品推荐信息发送给对应的视频直播终端。

在第一方面的一种可能的实现方式中，所述互动类型转换信息包括互动节点、转换类型和互动图像位置；

所述通过所述信息推送网络的第一特征向量提取层提取各个直播观众账号的第一互动特征向量，通过所述信息推送网络的第二特征向量提取层提取各个直播观众账号的第二互动特征向量的步骤，包括：

将所述互动行为序列输入至第一特征向量提取层，对所述互动行为序列中的互动行为进行特征提取，得到对应的互动行为特征；

利用所述第一特征向量提取层和所述直播图形互动标签相应的互动偏向参数对所述互动行为特征进行特征偏移处理，得到特征偏移处理后的互动行为特征；

根据所述特征偏移处理后的互动行为特征提取各个直播观众账号的第一互动特征向量； 以及

将所述互动类型转换信息输入至第二特征向量提取层，对所述互动类型转换信息进行特征抽取，得到互动节点特征、互动图像位置特征和转换类型特征；

利用所述第二特征向量提取层和所述直播图形互动标签相应的互动偏向参数对所述互动节点特征、互动图像位置特征和转换类型特征进行特征偏移处理，得到互动类型转换信息阵列；

获取所述互动行为序列对应的互动行为特征，将所述互动行为特征输入至所述互动类型转换信息阵列进行特征融合，得到融合后的特征向量阵列，根据所述特征向量阵列提取各个直播观众账号的第二互动特征向量。

在第一方面的一种可能的实现方式中，所述通过所述信息推送网络的特征向量融合层对所述第一互动特征向量和所述第二互动特征向量进行融合得到目标互动特征向量的步骤，包括：

通过所述信息推送网络的特征向量融合层对所述第一互动特征向量和所述第二互动特征向量分别各自一一对应的特征向量节点进行融合得到目标互动特征向量。

在第一方面的一种可能的实现方式中，所述根据所述目标互动特征向量确定各个直播观众账号对应所述线上互动直播商品的直播互动热点节点的步骤，包括：

从所述目标互动特征向量中获取由参与所述线上互动直播商品的互动的互动项目对应的互动项目特征数据，其中，所述互动项目特征数据通过采用与相应互动项目的互动项目关联商品匹配的特征表达形式，对所述目标互动特征向量中的互动项目过程向量进行特征嵌入式表达得到；

按照与各特征表达形式分别匹配的特征映射方式，对相应各个互动项目发送的互动项目特征数据进行特征映射，得到相应的互动项目过程向量；

对各所述互动项目过程向量分别进行互动规律分析，确定与各所述互动项目对应的互动规律兴趣度，其中，所述互动规律兴趣度用于反映参与所述线上互动直播商品的互动项目的互动的兴趣程度；

从各所述互动项目对应的互动规律兴趣度中筛选出互动规律最高兴趣度，并按照各所述互动项目对应的互动规律兴趣度分别与所述互动规律最高兴趣度间的对比值，确定各所述互动项目分别对应的互动规律比较度；其中，所述互动项目对应的互动规律比较度与相对应的所述对比值呈正相关；

对互动规律比较度大于设定互动规律比较度的互动项目的互动项目过程向量进行节点源追溯，得到各个直播观众账号对应所述线上互动直播商品的直播互动热点节点，其中，所述直播互动热点节点用于表示在互动过程中的互动对象或者互动结果。

在第一方面的一种可能的实现方式中，所述对各所述互动项目过程向量分别进行互动规律分析，确定与各所述互动项目对应的互动规律兴趣度的步骤，包括：

将各互动项目过程向量分别划分成多于一个向量单位的单位向量序列，并对各单位向量序列进行互动规律检测，对于每路互动项目过程向量，确定所包括的单位向量序列中出现互动频繁次数大于设定频繁次数的互动过程节点的数量，对于每路互动项目过程向量，根据所述互动项目过程向量中互动过程节点的数量与所述互动项目过程向量所包括单位向量序列的总数量，确定所述互动过程节点的占比，根据所述互动过程节点的占比，确定与各所述互动项目对应的互动规律兴趣度；或者

将各互动项目过程向量分别划分成多于一个向量单位的单位向量序列，并对各单位向量序列进行互动规律检测，确定所述单位向量序列中出现互动频繁次数大于设定频繁次数的互动过程节点，并确定各所述互动过程节点对应的互动持续数量，并根据各所述互动项目过程向量所包括的互动过程节点中互动持续数量大于等于能量阈值的有效互动过程节点的数量，确定与各所述互动项目对应的互动规律兴趣度；或者

将各互动项目过程向量分别划分成多于一个向量单位的单位向量序列，并计算各所述单位向量序列分别对应的有向带权图的兴趣权重，对于每路互动项目过程向量，对所述互动项目过程向量所包括的各单位向量序列分别对应的有向带权图的兴趣权重进行加权求和，得到与所述互动项目过程向量对应的描述向量值，将各互动项目过程向量分别对应的描述向量值，作为与各所述互动项目对应的互动规律兴趣度。

在第一方面的一种可能的实现方式中，所述将各互动项目过程向量分别划分成多于一个向量单位的单位向量序列，并计算各所述单位向量序列分别对应的有向带权图的兴趣权重的步骤，包括：

对于每个互动成员各自对应的互动项目过程向量，分别将相应的互动项目过程向量划分成多于一个向量单位的处于有向带权图对应的有向空间的单位向量序列；

生成各单位向量序列在所述有向带权图中的图节点的计算结果对应的兴趣热力图，并确定各所述单位向量序列分别对应的兴趣热力图中所包括的多于一个的兴趣热力单元；

对于各单位向量序列中的每个兴趣热力单元，分别基于所述兴趣热力单元所包括兴趣热力点的热力值，确定与所述兴趣热力单元对应的兴趣热力单元热力图谱；

对于各单位向量序列中当前处理的当前向量序列中的当前兴趣热力单元，确定所述当前向量序列中与当前兴趣热力单元相关联的预设数量的关联兴趣热力单元，并将所述关联兴趣热力单元与所述当前兴趣热力单元共同构成兴趣热力单元序列，按照与所述兴趣热力单元序列对应的权重，对所述兴趣热力单元序列中各兴趣热力单元的兴趣热力单元热力图谱进行加权求和处理，得到当前向量序列中当前兴趣热力单元对应的独热编码热力图谱；

对当前向量序列的在前帧中对应相同兴趣热力单元序号的过往兴趣热力单元的独热编码热力图谱、以及当前向量序列中当前兴趣热力单元的独热编码热力图谱进行加权求和处理，得到当前中当前兴趣热力单元对应的兴趣关系热力图谱；

从不同单位向量序列中对应相同兴趣热力单元序号的兴趣热力单元所对应的兴趣关系热力图谱中，筛选出最小热力值作为相应兴趣热力单元序号的各兴趣热力单元所对应的热力比较值，对于各单位向量序列中当前处理的当前向量序列中的当前兴趣热力单元，将所述当前兴趣热力单元的兴趣关系热力图谱与热力比较值的商，作为当前向量序列中当前兴趣热力单元所对应的热力强度比值；

当所述热力强度比值大于预设阈值时，将第一预设数值作为与所述当前向量序列中当前兴趣热力单元对应的互动规律参考值；

当所述热力强度比值小于或等于所述预设阈值时，将第二预设数值作为与所述当前向量序列中当前兴趣热力单元对应的互动规律参考值；所述第二预设数值小于所述第一预设数值；

获取在所述当前向量序列之前的过往向量序列中，与所述当前兴趣热力单元对应相同兴趣热力单元序号的过往兴趣热力单元的互动规律密度，并对所述过往兴趣热力单元对应的互动规律密度和所述当前兴趣热力单元对应的互动规律参考值，进行加权求和处理，得到当前向量序列中当前兴趣热力单元对应的互动规律密度；

将第一预设密度与所述互动规律密度的差值作为相应兴趣热力单元所对应的参考密度；

对于各单位向量序列中当前处理的当前向量序列中的当前兴趣热力单元，获取所述当前向量序列的过往向量序列中与当前兴趣热力单元对应相同兴趣热力单元序号的过往兴趣热力单元所对应的密度估计值，并对所述过往兴趣热力单元所对应的密度估计值和所述当前向量序列中当前兴趣热力单元对应的互动规律密度的第一乘积，与所述当前向量序列中当前兴趣热力单元所对应的兴趣热力单元热力图谱和参考密度的第二乘积，进行求和运算，得到当前向量序列中当前兴趣热力单元对应的密度估计值，基于所述兴趣热力单元热力图谱和密度估计值，确定各所述兴趣热力单元对应的兴趣热力单元描述值；

根据各所述单位向量序列所包括的兴趣热力单元分别对应的兴趣热力单元描述值，计算各所述单位向量序列分别对应的有向带权图的兴趣权重。

在第一方面的一种可能的实现方式中，所述根据所述直播互动热点节点分别生成对应的各个直播观众账号的直播商品推荐信息的步骤，包括：

获取所述直播互动热点节点对应的待处理热点互动信息，其中，所述待处理热点互动信息包括至少一个热点互动记录；

计算所述待处理热点互动信息所对应的推荐类别置信度，其中，所述推荐类别置信度表示在待推荐模拟过程所述待处理热点互动信息属于每个设定推荐类别的概率；

若所述推荐类别置信度大于或等于设定置信度阈值，则计算所述待处理热点互动信息在正式推荐过程的推荐范围度集合，其中，所述推荐范围度集合包括目标总推荐度以及目标单位推荐度中的至少一种，所述目标总推荐度表示所述待处理热点互动信息属于所述每个设定推荐类别的概率，所述目标单位推荐度表示所述待处理热点互动信息中最大单位推荐度所对应热点互动记录属于所述每个设定推荐类别的概率；

根据所述推荐范围度集合确定所述待处理热点互动信息所对应的热点互动解析结果，并根据所述热点互动解析结果生成对应的各个直播观众账号的直播商品推荐信息。

在第一方面的一种可能的实现方式中，所述计算所述待处理热点互动信息所对应的推荐类别置信度的步骤，包括：

提取所述待处理热点互动信息所对应的第一互动关系向量序列，其中，所述第一互动关系向量序列包括至少一个第一互动关系向量，每个第一互动关系向量对应一个热点互动记录；

提取所述第一互动关系向量序列所对应的第一互动关系偏好向量值序列，其中，所述第一互动关系偏好向量值序列包括至少一个第一互动关系偏好向量值，每个第一互动关系偏好向量值对应一个第一互动关系向量；

根据所述第一互动关系偏好向量值序列以及所述第一互动关系向量序列，生成第二互动关系向量序列，其中，所述第二互动关系向量序列包括至少一个第二互动关系向量，每个第二互动关系向量对应一个热点互动记录；

提取第二互动关系向量序列所对应的第三互动关系向量序列，其中，所述第三互动关系向量序列包括至少一个第三互动关系向量，每个第三互动关系向量对应一个第二互动关系向量；

提取所述第三互动关系向量序列所对应的第一特征向量集合，其中，所述第一特征向量集合包括至少一个第一特征向量，每个第一特征向量对应一个第三互动关系向量；

对所述第一特征向量集合进行特征融合，得到第二特征向量；

计算所述第二特征向量所对应的推荐类别置信度，其中，所述推荐类别置信度表示在待推荐模拟过程所述待处理热点互动信息属于每个设定推荐类别的概率。

在第一方面的一种可能的实现方式中，所述推荐范围度集合包括所述目标单位推荐度； 所述计算所述待处理热点互动信息在正式推荐过程的推荐范围度集合的步骤，包括： 计算所述待处理热点互动信息在所述正式推荐过程的目标单位推荐度，其中，所述目标单位推荐度为单位推荐度集合中的最大值，所述单位推荐度集合包括至少一个单位推荐度，每个单位推荐度对应一个热点互动记录； 所述根据所述推荐范围度集合确定所述待处理热点互动信息所对应的热点互动解析结果的步骤，包括： 若所述目标单位推荐度大于或等于第二推荐度阈值，则确定所述待处理热点互动信息属于第一类热点互动信息； 若所述目标单位推荐度小于所述第二推荐度阈值，则确定所述待处理热点互动信息属于第二类热点互动信息；或者

所述推荐范围度集合包括所述目标总推荐度； 所述计算所述待处理热点互动信息在正式推荐过程的推荐范围度集合，包括： 获取所述待处理热点互动信息在所述正式推荐过程的所述目标总推荐度； 所述根据所述推荐范围度集合确定所述待处理热点互动信息所对应的热点互动解析结果的步骤，包括： 若所述目标总推荐度大于或等于第二推荐度阈值，则确定所述待处理热点互动信息属于第一类热点互动信息； 若所述目标总推荐度小于所述第二推荐度阈值，则确定所述待处理热点互动信息属于第二类热点互动信息；或者

所述推荐范围度集合包括所述目标单位推荐度以及所述目标总推荐度； 所述计算所述待处理热点互动信息在正式推荐过程的推荐范围度集合的步骤，包括： 获取所述待处理热点互动信息在所述正式推荐过程的所述目标单位推荐度以及所述目标总推荐度，其中，所述目标单位推荐度为单位推荐度集合中的最大值，所述单位推荐度集合包括至少一个单位推荐度，每个单位推荐度对应一个热点互动记录； 所述根据所述推荐范围度集合确定所述待处理热点互动信息所对应的热点互动解析结果的步骤，包括：若所述目标单位推荐度以及所述目标总推荐度中的至少一项大于或等于第二推荐度阈值，则确定所述待处理热点互动信息属于第一类热点互动信息； 若所述目标单位推荐度与所述目标总推荐度均小于所述第二推荐度阈值，则确定所述待处理热点互动信息属于第二类热点互动信息；

其中，所述第二类热点互动信息与所述第一类热点互动信息属于不同的热点互动信息，当所述待处理热点互动信息属于第一类热点互动信息，所述待处理热点互动信息所对应的热点互动解析结果为与所述待处理热点互动信息关联的互动推荐项目，所述待处理热点互动信息属于第二类热点互动信息，所述待处理热点互动信息所对应的热点互动解析结果为与所述待处理热点互动信息关联的互动推荐项目以及所述互动推荐项目关联的其它互动推荐项目。

在第一方面的一种可能的实现方式中，所述信息推送网络通过以下方式训练得到：

获取多个用户的过往互动行为序列和过往互动类型转换信息，利用所述过往互动行为序列和所述过往互动类型转换信息生成训练数据；

获取多个用户的直播图形互动标签，利用所述直播图形互动标签生成训练标签，并提取所述过往互动行为序列的互动行为特征，提取所述过往互动类型转换信息的互动类型转换信息阵列；

将所述互动行为特征和所述互动类型转换信息阵列输入至预设的人工智能网络，得到训练结果；

基于所述训练结果与所述训练标签的差异，调整所述人工智能网络的参数并继续训练，直至满足训练条件时结束训练，得到所述信息推送网络。

第二方面，本公开实施例还提供一种基于电子商务直播的图像互动信息处理装置，应用于与多个视频直播终端通信连接的云计算平台，所述装置包括：

获取模块，用于获取所述视频直播终端发起互动的线上互动直播商品，并根据所述线上互动直播商品的直播图形互动标签确定图像互动区域，获取所述图像互动区域对应的各个直播观众账号的互动行为序列和互动类型转换信息；

提取模块，用于将所述互动行为序列和所述互动类型转换信息分别输入至训练得到的信息推送网络，通过所述信息推送网络的第一特征向量提取层提取各个直播观众账号的第一互动特征向量，通过所述信息推送网络的第二特征向量提取层提取各个直播观众账号的第二互动特征向量；

融合模块，用于通过所述信息推送网络的特征向量融合层对所述第一互动特征向量和所述第二互动特征向量进行融合得到目标互动特征向量；

生成模块，用于根据所述目标互动特征向量确定各个直播观众账号对应所述线上互动直播商品的直播互动热点节点，并根据所述直播互动热点节点分别生成对应的各个直播观众账号的直播商品推荐信息，将所述直播商品推荐信息发送给对应的视频直播终端。

第三方面，本公开实施例还提供一种基于电子商务直播的图像互动信息处理系统，所述基于电子商务直播的图像互动信息处理系统包括云计算平台以及与所述云计算平台通信连接的与多个视频直播终端；

获取所述视频直播终端发起互动的线上互动直播商品，并根据所述线上互动直播商品的直播图形互动标签确定图像互动区域，获取所述图像互动区域对应的各个直播观众账号的互动行为序列和互动类型转换信息；

将所述互动行为序列和所述互动类型转换信息分别输入至训练得到的信息推送网络，通过所述信息推送网络的第一特征向量提取层提取各个直播观众账号的第一互动特征向量，通过所述信息推送网络的第二特征向量提取层提取各个直播观众账号的第二互动特征向量；

通过所述信息推送网络的特征向量融合层对所述第一互动特征向量和所述第二互动特征向量进行融合得到目标互动特征向量；

根据所述目标互动特征向量确定各个直播观众账号对应所述线上互动直播商品的直播互动热点节点，并根据所述直播互动热点节点分别生成对应的各个直播观众账号的直播商品推荐信息，将所述直播商品推荐信息发送给对应的视频直播终端。

第四方面，本公开实施例还提供一种云计算平台，所述云计算平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个视频直播终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行第一方面或者第一方面中任意一个可能的设计中的基于电子商务直播的图像互动信息处理方法。

第五方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的基于电子商务直播的图像互动信息处理方法。

基于上述任意一个方面，本公开根据线上互动直播商品的直播图形互动标签确定图像互动区域，然后获取图像互动区域对应的各个直播观众账号的互动行为序列和互动类型转换信息，而后提取各个直播观众账号的第一互动特征向量和各个直播观众账号的第二互动特征向量，并对其进行融合得到目标互动特征向量后，确定各个直播观众账号对应线上互动直播商品的直播互动热点节点，由此进行直播商品推荐信息的推送。如此，能够基于观众在线上互动直播商品的直播过程中的图形互动情况对观众的互动行为特征进行有效挖掘，从而为观众推送其可能感兴趣的直播商品推荐信息，以便于减少观众的搜索成本和查找成本。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本公开实施例提供的基于电子商务直播的图像互动信息处理系统的应用场景示意图；

图2为本公开实施例提供的基于电子商务直播的图像互动信息处理方法的流程示意图；

图3为本公开实施例提供的基于电子商务直播的图像互动信息处理装置的功能模块示意图；

图4为本公开实施例提供的用于实现上述的基于电子商务直播的图像互动信息处理方法的云计算平台的结构示意框图。

具体实施方式

下面结合说明书附图对本公开进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。

图1是本公开一种实施例提供的基于电子商务直播的图像互动信息处理系统10的互动示意图。基于电子商务直播的图像互动信息处理系统10可以包括云计算平台100以及与所述云计算平台100通信连接的视频直播终端200。图1所示的基于电子商务直播的图像互动信息处理系统10仅为一种可行的示例，在其它可行的实施例中，该基于电子商务直播的图像互动信息处理系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

本实施例中，视频直播终端200可以包括移动设备、平板计算机、膝上型计算机等或其任意组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理、游戏设备等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。

本实施例中，基于电子商务直播的图像互动信息处理系统10中的云计算平台100和视频直播终端200可以通过配合执行以下方法实施例所描述的基于电子商务直播的图像互动信息处理方法，具体云计算平台100和视频直播终端200的执行步骤部分可以参照以下方法实施例的详细描述。

为了解决前述背景技术中的技术问题，图2为本公开实施例提供的基于电子商务直播的图像互动信息处理方法的流程示意图，本实施例提供的基于电子商务直播的图像互动信息处理方法可以由图1中所示的云计算平台100执行，下面对该基于电子商务直播的图像互动信息处理方法进行详细介绍。

步骤S110，获取视频直播终端200发起互动的线上互动直播商品，并根据线上互动直播商品的直播图形互动标签确定图像互动区域，获取图像互动区域对应的各个直播观众账号的互动行为序列和互动类型转换信息。

步骤S120，将互动行为序列和互动类型转换信息分别输入至训练得到的信息推送网络，通过信息推送网络的第一特征向量提取层提取各个直播观众账号的第一互动特征向量，通过信息推送网络的第二特征向量提取层提取各个直播观众账号的第二互动特征向量。

步骤S130，通过信息推送网络的特征向量融合层对第一互动特征向量和第二互动特征向量进行融合得到目标互动特征向量。

步骤S140，根据目标互动特征向量确定各个直播观众账号对应线上互动直播商品的直播互动热点节点，并根据直播互动热点节点分别生成对应的各个直播观众账号的直播商品推荐信息，将直播商品推荐信息发送给对应的视频直播终端200。

本实施例中，线上互动直播商品可以是任意进行商品宣传和展示的商品，例如可以是但不限于电子产品、农产品、婴幼儿产品、孕妇产品等等，但不限于此。

本实施例中，直播图形互动标签可以是指观众在发起直播图形互动时产生的互动控件类型，例如可以是指在某个线上互动直播商品的某个互动区域中的互动控件类型，或者也可以是指某个线上互动直播商品的某个互动时间节点的互动控件类型，互动控件类型可以表示互动过程中的控件类别，例如“点赞”、“喜欢”等。

本实施例中，图像互动区域可以根据直播图形互动标签所在的节点具体确定，例如直播图形互动标签所在的节点为线上互动直播商品A在直播过程中的互动区域B，那么图像互动区域则为该互动区域B。

本实施例中，互动行为序列可以用于表征具体产生的互动行为（例如弹幕行为、礼物行为等），互动类型转换信息可以用于表征具体产生的互动行为类型的前后转换过程，例如从弹幕行为切换到礼物行为过程中的信息。

本实施例中，直播互动热点节点可以用于表示针对每个直播观众账号而言所对应的兴趣点信息，例如针对某个线上互动直播商品A的直播过程中的关联商品C，或者临时提及到的下一次发布的线上互动直播商品D等，在此不作具体限定。

基于上述步骤，本实施例根据线上互动直播商品的直播图形互动标签确定图像互动区域，然后获取图像互动区域对应的各个直播观众账号的互动行为序列和互动类型转换信息，而后提取各个直播观众账号的第一互动特征向量和各个直播观众账号的第二互动特征向量，并对其进行融合得到目标互动特征向量后，确定各个直播观众账号对应线上互动直播商品的直播互动热点节点，由此进行直播商品推荐信息的推送。如此，能够基于观众在线上互动直播商品的直播过程中的图形互动情况对观众的互动行为特征进行有效挖掘，从而为观众推送其可能感兴趣的直播商品推荐信息，以便于减少观众的搜索成本和查找成本。

在一种可能的实现方式中，针对步骤S110，互动类型转换信息具体可以包括互动节点、转换类型和互动图像位置。

其中，互动节点可以是指互动类型转换时的时间节点或者区域节点，转换类型可以是指互动类型转换前的互动类型和互动类型转换后的互动类型，互动图像位置可以是指互动类型转换时互动图像所在的位置。

在此基础上，针对步骤S120，可以通过以下示例性子步骤具体实现，详细描述如下。

子步骤S121，将互动行为序列输入至第一特征向量提取层，对互动行为序列中的互动行为进行特征提取，得到对应的互动行为特征。

子步骤S122，利用第一特征向量提取层和直播图形互动标签相应的互动偏向参数对互动行为特征进行特征偏移处理，得到特征偏移处理后的互动行为特征。

子步骤S123，根据特征偏移处理后的互动行为特征提取各个直播观众账号的第一互动特征向量。

子步骤S124，将互动类型转换信息输入至第二特征向量提取层，对互动类型转换信息进行特征抽取，得到互动节点特征、互动图像位置特征和转换类型特征。

子步骤S125，利用第二特征向量提取层和直播图形互动标签相应的互动偏向参数对互动节点特征、互动图像位置特征和转换类型特征进行特征偏移处理，得到互动类型转换信息阵列。

子步骤S126，获取互动行为序列对应的互动行为特征，将互动行为特征输入至互动类型转换信息阵列进行特征融合，得到融合后的特征向量阵列，根据特征向量阵列提取各个直播观众账号的第二互动特征向量。

在一种可能的实现方式中，针对步骤S130，为了提高融合效率，本实施例可以通过信息推送网络的特征向量融合层对第一互动特征向量和第二互动特征向量分别各自一一对应的特征向量节点进行融合得到目标互动特征向量。

在一种可能的实现方式中，针对步骤S140，为了准确确定各个直播观众账号对应所述线上互动直播商品的直播互动热点节点，可以通过以下示例性子步骤具体实现，详细描述如下。

子步骤S141，从目标互动特征向量中获取由参与线上互动直播商品的互动的互动项目对应的互动项目特征数据，其中，互动项目特征数据通过采用与相应互动项目的互动项目关联商品匹配的特征表达形式，对目标互动特征向量中的互动项目过程向量进行特征嵌入式表达得到。

子步骤S142，按照与各特征表达形式分别匹配的特征映射方式，对相应各个互动项目发送的互动项目特征数据进行特征映射，得到相应的互动项目过程向量。

子步骤S143，对各互动项目过程向量分别进行互动规律分析，确定与各互动项目对应的互动规律兴趣度。其中，互动规律兴趣度用于反映参与线上互动直播商品的互动项目的互动的兴趣程度。

子步骤S144，从各互动项目对应的互动规律兴趣度中筛选出互动规律最高兴趣度，并按照各互动项目对应的互动规律兴趣度分别与互动规律最高兴趣度间的对比值，确定各互动项目分别对应的互动规律比较度。其中，互动项目对应的互动规律比较度与相对应的对比值呈正相关。

子步骤S145，对互动规律比较度大于设定互动规律比较度的互动项目的互动项目过程向量进行节点源追溯，得到各个直播观众账号对应线上互动直播商品的直播互动热点节点，其中，直播互动热点节点用于表示在互动过程中的互动对象或者互动结果。

示例性地，针对子步骤S143，具体可以通过以下实施方式（1）或者实施方式（2）或者实施方式（3）来实现。

（1）将各互动项目过程向量分别划分成多于一个向量单位的单位向量序列，并对各单位向量序列进行互动规律检测，对于每路互动项目过程向量，确定所包括的单位向量序列中出现互动频繁次数大于设定频繁次数的互动过程节点的数量，对于每路互动项目过程向量，根据互动项目过程向量中互动过程节点的数量与互动项目过程向量所包括单位向量序列的总数量，确定互动过程节点的占比，根据互动过程节点的占比，确定与各互动项目对应的互动规律兴趣度。

（2）将各互动项目过程向量分别划分成多于一个向量单位的单位向量序列，并对各单位向量序列进行互动规律检测，确定单位向量序列中出现互动频繁次数大于设定频繁次数的互动过程节点，并确定各互动过程节点对应的互动持续数量，并根据各互动项目过程向量所包括的互动过程节点中互动持续数量大于等于能量阈值的有效互动过程节点的数量，确定与各互动项目对应的互动规律兴趣度。

（3）将各互动项目过程向量分别划分成多于一个向量单位的单位向量序列，并计算各单位向量序列分别对应的有向带权图的兴趣权重，对于每路互动项目过程向量，对互动项目过程向量所包括的各单位向量序列分别对应的有向带权图的兴趣权重进行加权求和，得到与互动项目过程向量对应的描述向量值，将各互动项目过程向量分别对应的描述向量值，作为与各互动项目对应的互动规律兴趣度。

例如，对于每个互动成员各自对应的互动项目过程向量，可以分别将相应的互动项目过程向量划分成多于一个向量单位的处于有向带权图对应的有向空间的单位向量序列。在此基础上，可以生成各单位向量序列在有向带权图中的图节点的计算结果对应的兴趣热力图，并确定各单位向量序列分别对应的兴趣热力图中所包括的多于一个的兴趣热力单元。

由此，对于各单位向量序列中的每个兴趣热力单元，分别基于兴趣热力单元所包括兴趣热力点的热力值，确定与兴趣热力单元对应的兴趣热力单元热力图谱。接着，对于各单位向量序列中当前处理的当前向量序列中的当前兴趣热力单元，确定当前向量序列中与当前兴趣热力单元相关联的预设数量的关联兴趣热力单元，并将关联兴趣热力单元与当前兴趣热力单元共同构成兴趣热力单元序列，按照与兴趣热力单元序列对应的权重，对兴趣热力单元序列中各兴趣热力单元的兴趣热力单元热力图谱进行加权求和处理，得到当前向量序列中当前兴趣热力单元对应的独热编码热力图谱。

在此基础上，可以对当前向量序列的在前帧中对应相同兴趣热力单元序号的过往兴趣热力单元的独热编码热力图谱、以及当前向量序列中当前兴趣热力单元的独热编码热力图谱进行加权求和处理，得到当前中当前兴趣热力单元对应的兴趣关系热力图谱。然后，从不同单位向量序列中对应相同兴趣热力单元序号的兴趣热力单元所对应的兴趣关系热力图谱中，筛选出最小热力值作为相应兴趣热力单元序号的各兴趣热力单元所对应的热力比较值，对于各单位向量序列中当前处理的当前向量序列中的当前兴趣热力单元，将当前兴趣热力单元的兴趣关系热力图谱与热力比较值的商，作为当前向量序列中当前兴趣热力单元所对应的热力强度比值。

这样，当热力强度比值大于预设阈值时，可以将第一预设数值作为与当前向量序列中当前兴趣热力单元对应的互动规律参考值。再例如，当热力强度比值小于或等于预设阈值时，可以将第二预设数值作为与当前向量序列中当前兴趣热力单元对应的互动规律参考值。可以理解，第二预设数值应小于第一预设数值。

而后，可以获取在当前向量序列之前的过往向量序列中，与当前兴趣热力单元对应相同兴趣热力单元序号的过往兴趣热力单元的互动规律密度，并对过往兴趣热力单元对应的互动规律密度和当前兴趣热力单元对应的互动规律参考值，进行加权求和处理，得到当前向量序列中当前兴趣热力单元对应的互动规律密度，从而可以将第一预设密度与互动规律密度的差值作为相应兴趣热力单元所对应的参考密度。

接着，对于各单位向量序列中当前处理的当前向量序列中的当前兴趣热力单元，获取当前向量序列的过往向量序列中与当前兴趣热力单元对应相同兴趣热力单元序号的过往兴趣热力单元所对应的密度估计值，并对过往兴趣热力单元所对应的密度估计值和当前向量序列中当前兴趣热力单元对应的互动规律密度的第一乘积，与当前向量序列中当前兴趣热力单元所对应的兴趣热力单元热力图谱和参考密度的第二乘积，进行求和运算，得到当前向量序列中当前兴趣热力单元对应的密度估计值，基于兴趣热力单元热力图谱和密度估计值，确定各兴趣热力单元对应的兴趣热力单元描述值。如此，可以根据各单位向量序列所包括的兴趣热力单元分别对应的兴趣热力单元描述值，计算各单位向量序列分别对应的有向带权图的兴趣权重。

基于上述设计，可以有效结合兴趣关系计算各单位向量序列分别对应的有向带权图的兴趣权重，从而便于后续各个直播观众账号对应所述线上互动直播商品的直播互动热点节点的确定。

在一种可能的实现方式中，仍旧针对步骤S140，在根据直播互动热点节点分别生成对应的各个直播观众账号的直播商品推荐信息的过程中，具体可以通过以下子步骤进一步实现，详细描述如下。

子步骤S146，获取直播互动热点节点对应的待处理热点互动信息，其中，待处理热点互动信息包括至少一个热点互动记录。

子步骤S147，计算待处理热点互动信息所对应的推荐类别置信度，其中，推荐类别置信度表示在待推荐模拟过程待处理热点互动信息属于每个设定推荐类别的概率。

子步骤S148，若推荐类别置信度大于或等于设定置信度阈值，则计算待处理热点互动信息在正式推荐过程的推荐范围度集合，其中，推荐范围度集合包括目标总推荐度以及目标单位推荐度中的至少一种，目标总推荐度表示待处理热点互动信息属于每个设定推荐类别的概率，目标单位推荐度表示待处理热点互动信息中最大单位推荐度所对应热点互动记录属于每个设定推荐类别的概率。

子步骤S149，根据推荐范围度集合确定待处理热点互动信息所对应的热点互动解析结果，并根据热点互动解析结果生成对应的各个直播观众账号的直播商品推荐信息。

示例性地，在子步骤S147中，可以通过以下实施方式示例性实现。

（1）提取待处理热点互动信息所对应的第一互动关系向量序列，其中，第一互动关系向量序列包括至少一个第一互动关系向量，每个第一互动关系向量对应一个热点互动记录。

（2）提取第一互动关系向量序列所对应的第一互动关系偏好向量值序列，其中，第一互动关系偏好向量值序列包括至少一个第一互动关系偏好向量值，每个第一互动关系偏好向量值对应一个第一互动关系向量。

（3）根据第一互动关系偏好向量值序列以及第一互动关系向量序列，生成第二互动关系向量序列，其中，第二互动关系向量序列包括至少一个第二互动关系向量，每个第二互动关系向量对应一个热点互动记录。

（4）提取第二互动关系向量序列所对应的第三互动关系向量序列，其中，第三互动关系向量序列包括至少一个第三互动关系向量，每个第三互动关系向量对应一个第二互动关系向量。

（5）提取第三互动关系向量序列所对应的第一特征向量集合，其中，第一特征向量集合包括至少一个第一特征向量，每个第一特征向量对应一个第三互动关系向量。

（6）对第一特征向量集合进行特征融合，得到第二特征向量。

（7）计算第二特征向量所对应的推荐类别置信度，其中，推荐类别置信度表示在待推荐模拟过程待处理热点互动信息属于每个设定推荐类别的概率。

在一种可能的实现方式中，当上述的推荐范围度集合包括目标单位推荐度时，则可以计算待处理热点互动信息在正式推荐过程的目标单位推荐度。其中，目标单位推荐度为单位推荐度集合中的最大值，单位推荐度集合包括至少一个单位推荐度，每个单位推荐度对应一个热点互动记录。由此，若目标单位推荐度大于或等于第二推荐度阈值，则确定待处理热点互动信息属于第一类热点互动信息。 若目标单位推荐度小于第二推荐度阈值，则确定待处理热点互动信息属于第二类热点互动信息。

又例如，当上述的推荐范围度集合包括目标总推荐度时，则可以获取待处理热点互动信息在正式推荐过程的目标总推荐度。由此，若目标总推荐度大于或等于第二推荐度阈值，则确定待处理热点互动信息属于第一类热点互动信息。若目标总推荐度小于第二推荐度阈值，则确定待处理热点互动信息属于第二类热点互动信息。

又例如，当上述的推荐范围度集合包括目标单位推荐度以及目标总推荐度时，则可以获取待处理热点互动信息在正式推荐过程的目标单位推荐度以及目标总推荐度，其中，目标单位推荐度为单位推荐度集合中的最大值，单位推荐度集合包括至少一个单位推荐度，每个单位推荐度对应一个热点互动记录。由此，若目标单位推荐度以及目标总推荐度中的至少一项大于或等于第二推荐度阈值，则确定待处理热点互动信息属于第一类热点互动信息。 若目标单位推荐度与目标总推荐度均小于第二推荐度阈值，则确定待处理热点互动信息属于第二类热点互动信息。

其中，第二类热点互动信息与第一类热点互动信息属于不同的热点互动信息，当待处理热点互动信息属于第一类热点互动信息，待处理热点互动信息所对应的热点互动解析结果为与待处理热点互动信息关联的互动推荐项目，待处理热点互动信息属于第二类热点互动信息，待处理热点互动信息所对应的热点互动解析结果为与待处理热点互动信息关联的互动推荐项目以及互动推荐项目关联的其它互动推荐项目。

在一种可能的实现方式中，上述的信息推送网络可以通过以下方式训练得到：

（1）获取多个用户的过往互动行为序列和过往互动类型转换信息，利用过往互动行为序列和过往互动类型转换信息生成训练数据。

（2）获取多个用户的直播图形互动标签，利用直播图形互动标签生成训练标签，并提取过往互动行为序列的互动行为特征，提取过往互动类型转换信息的互动类型转换信息阵列。

（3）将互动行为特征和互动类型转换信息阵列输入至预设的人工智能网络，得到训练结果。

（4）基于训练结果与训练标签的差异，调整人工智能网络的参数并继续训练，直至满足训练条件时结束训练，得到信息推送网络。

图3为本公开实施例提供的基于电子商务直播的图像互动信息处理装置300的功能模块示意图，本实施例可以根据上述云计算平台100执行的方法实施例对该基于电子商务直播的图像互动信息处理装置300进行功能模块的划分，也即该基于电子商务直播的图像互动信息处理装置300所对应的以下各个功能模块可以用于执行上述云计算平台100执行的各个方法实施例。其中，该基于电子商务直播的图像互动信息处理装置300可以包括获取模块310、提取模块320、融合模块330以及生成模块340，下面分别对该基于电子商务直播的图像互动信息处理装置300的各个功能模块的功能进行详细阐述。

获取模块310，用于获取所述视频直播终端发起互动的线上互动直播商品，并根据所述线上互动直播商品的直播图形互动标签确定图像互动区域，获取所述图像互动区域对应的各个直播观众账号的互动行为序列和互动类型转换信息。其中，获取模块310可以用于执行上述的步骤S110，关于获取模块310的详细实现方式可以参照上述针对步骤S110的详细描述即可。

提取模块320，用于将所述互动行为序列和所述互动类型转换信息分别输入至训练得到的信息推送网络，通过所述信息推送网络的第一特征向量提取层提取各个直播观众账号的第一互动特征向量，通过所述信息推送网络的第二特征向量提取层提取各个直播观众账号的第二互动特征向量。其中，提取模块320可以用于执行上述的步骤S120，关于提取模块320的详细实现方式可以参照上述针对步骤S120的详细描述即可。

融合模块330，用于通过所述信息推送网络的特征向量融合层对所述第一互动特征向量和所述第二互动特征向量进行融合得到目标互动特征向量。其中，融合模块330可以用于执行上述的步骤S130，关于融合模块330的详细实现方式可以参照上述针对步骤S130的详细描述即可。

生成模块340，用于根据所述目标互动特征向量确定各个直播观众账号对应所述线上互动直播商品的直播互动热点节点，并根据所述直播互动热点节点分别生成对应的各个直播观众账号的直播商品推荐信息，将所述直播商品推荐信息发送给对应的视频直播终端。其中，生成模块340可以用于执行上述的步骤S140，关于生成模块340的详细实现方式可以参照上述针对步骤S140的详细描述即可。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块310可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上获取模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

图4示出了本公开实施例提供的用于实现上述的控制设备的云计算平台100的硬件结构示意图，如图4所示，云计算平台100可包括处理器110、机器可读存储介质120、总线130以及收发器140。

在具体实现过程中，至少一个处理器110执行所述机器可读存储介质120存储的计算机执行指令（例如图3中所示的基于电子商务直播的图像互动信息处理装置300包括的获取模块310、提取模块320、融合模块330以及生成模块340），使得处理器110可以执行如上方法实施例的基于电子商务直播的图像互动信息处理方法，其中，处理器110、机器可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的视频直播终端200进行数据收发。

处理器110的具体实现过程可参见上述云计算平台100执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述的图4所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，DSP)、专用集成电路(英文：ApplicationSpecificIntegrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

机器可读存储介质120可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线130可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

此外，本公开实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上基于电子商务直播的图像互动信息处理方法。

上述的可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。