金融从业人员行为识别与风险内控方法、装置、电子设备及存储介质

摘要

本发明提供一种金融从业人员行为识别与风险内控方法、装置、电子设备及存储介质。其中，方案可包括：从监控视频中获取出目标对象的语音数据和动作图像数据；采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标；利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。通过本发明的处理方案，可对场景中存在的行为进行智能识别，有利于提高识别效率和准确性。

说明书

技术领域

本发明涉及人工智能技术领域，具体涉及一种金融从业人员行为识别与风险内控方法、装置、电子设备及存储介质。

背景技术

目前，在监控要求较高的应用场景中，比如银行营业网点大厅，比如公共交通出入场所等，通常都安装有用于监控的多个摄像设备，这些摄像设备可实时采集到场景中的视频数据，通常这些视频数据中同时包含有图像数据和音频数据，从而通过监控这些视频数据，比如人工查看这些视频数据，比如通过预先录制好的背景视频数据监测这些视频数据，可发现场景中是否出现违规情况。

但是，这些视频数据可能因受到实际应用场景中各种外部因素的影响，而无法直接用于监测，比如人工监测，比如简单对比监测等。

例如，在营业大厅中，音频数据通常受到的影响很大，如嘈杂的环境噪声几乎掩盖了人们交流时的语音，如人在说话时变动距离、位置而影响了语音的强度，如人说话时由于心理、生理出现变化而影响了语速、语调等。

例如，在露天场所中，图像数据通常受到影响很大，如受到光照、视角和背景等影响。

因此，不管是通过人工监测，还是简单比对监测，这些现有方案虽然可以先对这些视频数据进行一些预处理，比如去噪处理，但识别的效率和准确性的提高并不理想。

因此，亟需一种新的行为识别方案。

发明内容

有鉴于此，本发明提供一种金融从业人员行为识别与风险内控方法、装置、电子设备及存储介质，可对场景中存在的行为(比如违规的语言行为和动作行为)进行智能识别。

本发明提供以下技术方案：

本发明提供一种金融从业人员行为识别与风险内控方法，包括：从采集的视频数据中提取音频数据和动态图像数据；从所述音频数据中获取目标对象的语音数据，从所述动态图像数据中获取所述目标对象的动作图像数据；采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标；利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。

本发明还提供一种金融从业人员行为识别与风险内控装置，包括：提取模块，从采集的视频数据中提取音频数据和动态图像数据；获取模块，从所述音频数据中获取目标对象的语音数据，从所述动态图像数据中获取所述目标对象的动作图像数据；转换模块，采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标；识别模块，利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。

本发明还提供一种用于金融从业人员行为识别与风险内控的电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

从采集的视频数据中提取音频数据和动态图像数据；

从所述音频数据中获取目标对象的语音数据，从所述动态图像数据中获取所述目标对象的动作图像数据；

采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标；

利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。

本发明还提供一种用于金融从业人员行为识别与风险内控的计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令设置为：

从采集的视频数据中提取音频数据和动态图像数据；

从所述音频数据中获取目标对象的语音数据，从所述动态图像数据中获取所述目标对象的动作图像数据；

采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标；

利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。

与现有技术相比，本发明采用的上述至少一个技术方案能够达到的有益效果至少包括：

通过从监控视频中提取出目标对象在场景中所表现出来的语言行为和动作行为，进而利用预设模型进行识别处理，可最大程度地、有针对性地获得目标对象在应用场景中的行为结果，为监控场景提供智能化地识别方案，可提高识别效率和准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明提供的一种金融从业人员行为识别与风险内控方法的功能架构示意图。

图2是本发明提供的一种金融从业人员行为识别与风险内控方法的流程示意图。

图3是本发明提供的一种金融从业人员行为识别与风险内控方法中人体关节点模型的示意图。

图4是本发明提供的一种金融从业人员行为识别与风险内控方法中用于违规动作识别的神经网络模型搭建示意图。

图5是本发明提供的一种金融从业人员行为识别与风险内控方法中采用方言训练语音识别模型的示意图。

图6是本发明提供的一种金融从业人员行为识别与风险内控方法中截取关键词的示意图。

图7是本发明提供的一种金融从业人员行为识别与风险内控方法中处理音频数据的示意图。

图8是本发明提供的一种金融从业人员行为识别与风险内控方法中进行语言违规识别的示意图。

图9是本发明提供的一种金融从业人员行为识别与风险内控方法中进行违规动作识别的示意图。

图10是本发明提供的一种金融从业人员行为识别与风险内控装置的结构示意图。

图11是本发明提供的一种用于金融从业人员行为识别与风险内控的电子设备的结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

现有方案中，依靠人工监测或者是作简单对比，对视频中的人员的行为识别效果并不理想，比如效率低，比如准确性不高，比如智能化水平较低。

因此，发明人通过利用智能化手段，对现有方案进行改进，比如有针对性地进行语音识别，比如有针对性地进行人体动作的识别等，提出一种基于语音和图像的行为识别方案，可提高针对应用场景中人员的行为识别效率和准确性。

图1为本发明提供的一种金融从业人员行为识别与风险内控方案框图。

如图1所示，应用场景中的监控设备实时采集监控视频(即视频数据)，其中该视频数据可包括有音频和动态图像的视频数据；然后从视频数据中分别提取出音频和动态图形加以处理，可根据目标对象的特征来获取对应的语音数据和动作图像数据；针对语音数据，可利用预设词库通过预先训练好的预设语音识别模型对语音数据匹配目标词，即识别目标对象的语音中是否存在匹配的目标词(比如业务的敏感词)；针对动作图像数据，可利用预设的人体关节点模型识别动作中的关节点对应的坐标，并利用预设的映射模型根据关节点的坐标将该坐标对应的动作进行分类，其中映射模型包括人体关节点坐标与该坐标对应动作的映射关系。

实施中，还可在目标词匹配和/或动作分类后，根据处理结果输出对应的识别结果，以便于根据识别结果进行场景应用，比如合规提醒、违规监控等。

以下结合附图，说明本申请各实施例提供的技术方案。

图1为本发明提供的一种金融从业人员行为识别与风险内控方法的流程示意图。

如图1所示，在该金融从业人员行为识别与风险内控方法中，可包括：

步骤S202、从采集的视频数据中提取音频数据和动态图像数据。

实施中，可采用场景中安装的监控摄像设备实时采集场景中的视频数据，其中该视频数据可为包括有音频和动态图像的监控视频。

具体实施中，可采用现有的提取技术从该监控视频中提取音频和动态图像。

在一些实施方式中，可从采集的监控视频中提取音频和动态图像，比如从银行营业厅中的监控视频中提取音频和动态图像数据。

在一些实施方式中，可将视频格式下的视频数据转换为音频格式来提取音频数据，比如采用转换工具将视频格式的文件转换为音频格式文件，比如wav格式、MP3格式等音频格式的文件。

步骤S204、从所述音频数据中获取目标对象的语音数据，从所述动态图像数据中获取所述目标对象的动作图像数据。

实施中，可预先确定目标对象(即需要进行监测的对象)，比如营业厅中的业务人员，然后根据该目标对象的特征来提取目标对象对应的语音数据和动作图像数据。比如根据目标对象的语音特征，比如说话时的语音特征，快速从音频数据中提取吃对应的语音数据，比如根据目标对象的人体特征，比如体型特征，快速地从动态图像数据中提取出对应的动作图像数据。

步骤S206、采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标。

在一些实施方式中，人体关节点模型可采用openpose公开的人体关节点识别模型，如图3所示，人体主要关节位置包括双耳、双眼、鼻子、双肩、双肘、双手、中心、胯部左右两侧、双膝、双踝共18个节点(图中分别标记为节点0至节点17)，因而可采用18个点来表达人体关节点模型，这样每个关节点可对应有相应的坐标值，从而可将坐标值与动作之间关系来构建出对应的人体动作识别模型。

步骤S208、利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。

实施中，语音识别模型可对语音数据进行语音识别，而且该模型可为根据词库和/或语音数据库等预先训练好的语音识别模型。

需要说明的是，语音识别模型可为采用自然语言处理技术构建的模型。

实施中，词库可为针对应用场景而预设的关键词、敏感词等词语的集合；映射模型可为针对应用场景中人体关节点的动作与对应坐标之间的映射关系的模型。

实施中，映射关系可为根据人体关节点坐标与该坐标对应动作之间的关系，预先建立的映射模型。

例如，针对违规监测场景，比如金融行业的营业厅场景，可根据场景中的人体所做违规动作及该动作对应的关节点在人体关节点模型中的坐标值，进而建立出动作及坐标之间的映射关系，这里的动作可包括但不限于：拍照、站立、行走和坐着等动作。

通过步骤S200-S208，从监控视频中获取目标对象对应的音频和动作图像，进而有针对性地对场景中的目标对象的行为(如语音行为和动作行为)进行识别，可准确地识别出目标对象的行为。

在一些实施方式中，反映坐标值与对应动作之间关系的映射模型，可采用神经网络来构建，即映射模型可为神经网络模型。

本发明提供一种用于识别金融从业人员违规动作的神经网络模型，该神经网络模型为针对金融从业人员的违规动作而构建的神经网络模型，用于识别其他动作的神经网络模型也可参考以下步骤进行构建，这里不再一一列举。

实施中，如图4所示，该神经网络模型的构建步骤可包括：

步骤S401、拍摄人体所作的违规动作对应的视频，用这些视频构建动作视频训练集trainset。

实施中，进行动作合规识别应用中，主要是识别屏幕所拍照人员违规行为，通常这类行为鲜有发生，因而可找不同人从不同角度录制多段对着屏幕拍照的视频。

例如，为兼顾后期增加员工频繁离开工位等行为的识别，将银行提供的视频和录制的视频动作划分为拍照、站立、行走和坐着4个动作，方便后续采用神经网络对4个动作的关节位置进行训练及识别。

步骤S403、采用openpose模型，识别视频中每帧图像中的人体关节点，获得18个关节点的坐标；

步骤S405、利用训练集进行人体关键点(即关节点)识别；

步骤S407、构建18个关节点的二维坐标与动作标签的映射关系，其中以关节点的二维坐标为输入、动作标签为输出，利用该映射关系来搭建多层深度神经网络模型；

步骤S409、利用动作视频训练集trainset，训练所述多层深度神经网络模型，可得到用于识别违规动作的识别模型。

通过场景中人体违规动作的图像数据，并采用人体节点模型识别出动作对应的二位坐标值，进而构建出网络模型，并经过大量样本进行训练后，得到违规动作识别模型，从而可将该识别模型用于违规监测的应用中，比如银行营业厅中柜员行为的合规监测。

相应地，词库也可为由合规监测中业务存在违规情形下的用词所构成的词库，比如银行营业厅的柜员合规监测中，可将银行柜台业务对应的敏感词构成词库，比如“积分”、“流水”、“网贷”等等。

在一些实施方式中，可在图像动作识别的基础上，做违规行为预警。

实施中，根据动作分类结果，可进一步判断动作是否属于违规行为。

例如，如果连续5秒识别出拍照动作，算作出现拍照违规行为。这样，即使识别中出现10秒的长时间拍照(这种情况极少可能出现)，也只是预警两次，不会给后期审核带来重复预警的困扰，另一方面由于画面动作识别误差难以避免，可以有效规避误预警的情况发生。

在一些实施方式中，可在词库匹配出目标词后，做违规行为预警。

例如，在针对银行营业厅中柜员的话语监测中，匹配出柜员的语言行为中出现“网贷”敏感词，这时可将该柜员的这一语言行为作为违规行为进行预警。

在一些实施方式中，为了尽量完整的检测，同时不造成过度检测，兼顾统计学意义上的第一类错误概率和第二类错误概率，检测的输出结果可划分成两类，比如为疑似违规行为和明确违规行为。

例如，在匹配出柜员的语言行为中存在关键词“积分”时，可算作疑似违规行为，而出现“给/帮×××领积分”则可算作明确违规行为。

在一些实施方式中，可采用语音数据库对构建的语音识别模型进行训练。

例如，针对中文的语音识别，可采用多个中文语音数据库训练该语音识别模型。

实施中，可根据应用场景的实际需要，有针对性地采用以下一个或多个中文语音数据库训练该语音识别模型，如Thchs30(包含了1万余条语音文件，大约40小时的中文语音数据，内容以文章诗句为主，全部为女声)、Aishell(包含约178小时的开源版数据，含有400个来自中国不同地区、具有不同的口音的人的声音)、Primewords(包含了大约100小时的中文语音数据)、STCMDS(包含10万余条语音文件，大约100余小时的语音数据。数据内容以平时的网上语音聊天和智能语音控制语句为主，855个不同说话者，同时有男声和女声)和aidatatang_1500zh(包含有长达200小时的语料，其中包含不影响语音识别的背景噪音，参与者的性别和年龄均匀分布)等免费的中文语音数据库。

在一些实施方式中，可采用上述的Thchs30、Aishell、Primewords、STCMDS和aidatatang_1500zh共同训练语音识别模式，可提高模式在不同应用场景中的适应性和识别性能。

在一些实施方式中，鉴于各地区应用场景中，可能存在方言语境，这时还可采用方言的语料素材对语音识别模型进行训练，可提高模型的适应能力和识别准确性。

实施中，如图5所示，所述金融从业人员行为识别与风险内控方法还可包括：

步骤S501、采集所述词库中各个词对应的目标方言的发音数据；

步骤S503、将所述发音数据构建方言训练集；

步骤S505、采用所述方言训练集训练所述语音识别模型。

通过将词库中的各词形成对应的方言语料，并将这些语料用于训练语音识别模型，可提高语音识别模型对方言的识别性能，从而在目标对象的语音数据在经语音识别模型后，仍可以最大程度地将语音数据中在词库中存在的词保留下来，可提高语音行为的识别效果和准确性。

在一些实施方式中，语音识别模式可采用基于深度学习实现的识别模型，从而提高模型的适应性和学习能力。

需要说明的是，本领域的技术人员可以根据应用需要，选用基于规则模型、统计模型等结构的深度学习模型来构建语音识别模型，这里不对基于深度学习的语音识别模型作限定。

在一些实施方式中，词库通常根据应用场景而预设，而本发明中，可在语音识别模型对语音数据进行识别后，从识别结果中截取若干词，进而将截取的词添加到词库中。

例如，在银行营业厅柜员人员违规监测场景中，词库中的关键词通常可有银行提供并预设好。实施中，如在识别出关键词“积分”，并已确定该词为应用场景中的敏感词，可将“积分”作为词库所需的词加入到词库中。

例如，如图6所示，在对银行营业厅中柜员行为进行合规监测中，为兼顾到可能存在方言语境，如天津地区的营业厅，需要同时兼顾普通话和方言语境，可根据语音识别结构(如对普通话识别、天津方言识别)截取相应的关键词，如“流水”、“网贷”、“积分”、“换购”等。

通过不断将识别结果增加到词库中，可提高词库的词量和增强词库自学习能力，更好地满足模糊匹配、精确匹配等场景应用需要。

在一些实施方式中，在利用语音识别模型进行识别前，可对音频数据进行预处理，获取出干净的人声数据。

实施中，如图7所示，可采用以下步骤进行预处理：

步骤S710、将视频数据转换为音频数据，即从视频中提取吃音频数据。

步骤S720、对音频数据进行降噪、排外音等处理，提取出干净的语音数据(即人说话所对应的人声数据)。

步骤S730、去除背景噪声，并去除“无声”阶段的数据，进一步对音频数据进行预处理。

通过对音频数据的处理，可获得干净的人声数据，方便语音识别模型进行识别，提高识别效率和准确性。

为便于理解，下面以针对金融从业人员(比如银行营业厅中柜员)是否存在违规行为进行监测为例进行示意说明。

图8为针对柜员的语言行为进行监测的流程示意图。

如图8所示，从监控视频中获取到视频数据，进而将视频数据转为音频数据，对音频数据进行预处理以获得柜员对应的语音数据，比如音频降噪、排外音(如排除非人声，如排除非该柜员的声音等)，比如去除背景噪声、“无声”阶段等，然后利用语音识别基础模型(比如利用公开的语音数据库训练过的语音识别模型，比如利用方言的语料训练过的语音识别模型等)，针对该柜员对应的语音音频，利用词库(比如根据银行柜台业务的敏感词构建的词库)进行敏感词检测，即对语音的音频数据检索匹配敏感词，从而可根据匹配结果判断柜员的语言行为是否存在违规情况。

图9为针对柜员的动作行为进行监测的流程示意图。

如图9所示，通过拍摄违规动作构成视频集，作为训练集trainset，以及利用openpose模型，识别监控视频中每一帧图像中该柜员的人体关节点，获得关节点坐标，从而可利用训练集获得大量的人体关节点的坐标以及动作标签之间的映射关系，进而基于映射关系构建用于识别人体动作的神经网络模型，即以关节点坐标为输入、动作标签为输出来搭建多层深度神经网络。在搭建模型后，可利用训练集训练神经网络模型，来得到违规动作识别模型，当然还可利用实时采集的监控视频动态图像进一步训练该模型。最后，利用该模型对采集的监控视频的动态图像进行识别，以将视频中的违规动作进行分类后输出，并判断这些动作是否存在违规情况。

基于相同发明构思，本发明还提供与前述方法对应的行为识别与风险内控装置、电子设备即计算机存储介质。

图10为本发明提供的一种金融从业人员行为识别与风险内控装置。

如图10所示，该金融从业人员行为识别与风险内控装置可包括以下处理功能模块：提取模块901，从采集的视频数据中提取音频数据和动态图像数据；获取模块903，从所述音频数据中获取目标对象的语音数据，从所述动态图像数据中获取所述目标对象的动作图像数据；转换模块905，采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标；识别模块906，利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。

可选地，所述映射模型包括神经网络模型，所述神经网络模型的构建包括：采集人体动作对应的视频，将所述人体动作对应的视频构建动作视频训练集；对所述动作视频训练集进行人体关节点识别，构建18个关节点的二维坐标与动作标签的映射关系，其中以关节点的二维坐标为输入、动作标签为输出，搭建多层深度神经网络模型；利用动作视频训练集，训练所述多层深度神经网络模型，以将训练后的神经网络模型用于人体动作的分类。

可选地，采集人体动作对应的视频包括采集人体进行违规动作对应的视频。

可选地，从采集的视频数据中提取音频数据和动态图像数据，包括：从采集的银行监控视频中提取音频和动态图像数据。

可选地，所述目标对象包括银行柜员，所述词库包括由银行柜台业务对应的敏感词构成的词库；利用预设的映射模型根据所述目标坐标进行动作分类，包括：利用预设的映射模型根据所述目标坐标识别所述银行柜员的违规动作。

可选地，所述语音识别模型包括采用多个中文语音数据库训练得到的语音识别模型。

可选地，所述多个中文语音数据库包括Thchs30、Aishell、Primewords、STCMDS和aidatatang_1500zh。

可选地，所述金融从业人员行为识别与风险内控装置还可包括：方言训练模块(图中未示出)，用于采集所述词库中各个词对应的目标方言的发音数据，将所述发音数据构建方言训练集，以及采用所述方言训练集训练所述语音识别模型。

可选地，从采集的视频数据中提取音频数据，包括：将采集的视频数据转换为音频格式的音频数据。

可选地，从采集的视频数据中提取音频数据，包括：从采集的视频数据中获取音频数据；对所述音频数据进行降噪、排外音处理，以提取人声对应的音频数据。

可选地，所述金融从业人员行为识别与风险内控装置还可包括：输出模块(图中未示出)，用于根据所述目标词匹配的结果和/或所述动作分类的结果，输出识别结果。

可选地，所述识别结果包括疑似违规行为和明确违规行为。

可选地，所述金融从业人员行为识别与风险内控装置还可包括：词库更新模块(图中未示出)，将所述明确违规行为所对应的语音识别模型识别的语义作为关键字添加到所述词库中。

图11为本发明还提供一种用于金融从业人员行为识别与风险内控的电子设备的结构示意图，图中示出了电子设备100的结构，以用于实现本发明提供任意一个实施方案，这里电子设备100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来限定。

如图11所示，在电子设备100中，可包括：至少一个处理器110；以及，

与所述至少一个处理器通信连接的存储器120；其中，

所述存储器存储120有可被所述至少一个处理器110执行的指令，所述指令被所述至少一个处理器110执行，以使所述至少一个处理器110能够：

从采集的视频数据中提取音频数据和动态图像数据；

从所述音频数据中获取目标对象的语音数据，从所述动态图像数据中获取所述目标对象的动作图像数据；

采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标；

利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。

需要说明的是，电子设备100可以以通用计算设备的形式表现，例如其可以为服务器设备。

实施中，电子设备100的组件可以包括但不限于：上述至少一个处理器110、上述至少一个存储器120、连接不同系统组件(包括存储器120和处理器110)的总线130，其中总线130可包括数据总线、地址总线和控制总线。

实施中，存储器120可以包括易失性存储器，例如随机存取存储器(RAM)1201和/或高速缓存存储器1202，还可以进一步包括只读存储器(ROM)1203。

存储器120还可以包括具有一组(至少一个)程序模块1204的程序工具1205，这样的程序模块1204包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器110通过运行存储在存储器120中的计算机程序，从而执行各种功能应用以及数据处理。

电子设备100也可以与一个或多个外部设备140(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口150进行。并且，电子设备100还可以通过网络适配器160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信，网络适配器160通过总线130与电子设备100中的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

本发明还提供一种用于金融从业人员行为识别与风险内控的计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令设置为：

从采集的视频数据中提取音频数据和动态图像数据；

从所述音频数据中获取目标对象的语音数据，从所述动态图像数据中获取所述目标对象的动作图像数据；

采用预设的人体关节点模型识别所述动作图像数据中人体关节点进行目标动作对应的目标坐标；

利用预设的词库通过预设的语音识别模型对所述语音数据进行目标词匹配，利用预设的映射模型根据所述目标坐标进行动作分类，其中所述映射模型包括人体关节点坐标与所述人体关节点坐标对应动作的映射关系。

需要说明的是，所述计算机存储介质可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以提供将数据处理实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行前述任意一个实施例所述方法中的若干步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明中的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的方法实施例而言，由于其与系统是对应的，描述比较简单，相关之处参见系统实施例的部分说明即可。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。