面试影像自动评价模型管理方法、系统以及计算机可读介质

摘要

本发明涉及一种面试影像自动评价模型管理方法、系统以及计算机可读介质，本发明一实施例的评价模型管理方法在设置有一个以上的处理器及一个以上的存储器的服务器系统中执行，针对受评价人员的面试影像提供自动评价结果，上述评价模型管理方法包括：影像评价结果学习步骤，根据针对在受评价人员进行网上面试时拍摄到的面试影像产生的多个评价人员的影像评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的评价模型进行学习；以及录用评价结果学习步骤，根据相应受评价人员在应聘企业的实际录用面试中产生的录用评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的上述评价模型进行学习，上述评价模型包括一个以上的人工神经网络模型。

说明书

技术领域

本发明涉及一种面试影像自动评价模型管理方法、系统以及计算机可读介质，更详细地涉及如下的面试影像自动评价模型管理方法、系统以及计算机可读介质，即，在进行网上面试并针对面试影像提供自动评价结果的服务器系统中，可提供实际符合企业的实际评价、录用、考核等的自动评价结果，可在最大限度减少提供学习数据的评价人员的偏见所造成的影响的情况下使评价模型进行学习。

背景技术

面试通常由通过面试接受评价的面试人员以及对面试人员进行评价的面试官构成，以面试官进行提问以及面试人员做出答辩的方式进行，由对整个问题与回答做出综合评价来构成。

面试的目的在于通过提问及回答来了解及掌握面试人员的专业知识、专业技术或信息应用能力等硬能力(hard skill)，不仅如此，还了解及掌握面试人员的态度、人际沟通能力等软能力(soft skill)。

另一方面，对于软能力而言，实际很难提供客观评价结果，尤其，只有作为多领域面试官的经验丰富的评价人员才能够做出准确的评价。尤其，在进行基于面试影像的网上面试的情况下，存在很难对软能力做出准确评价的问题。

并且，软能力属于根据面试官的主观经验和直觉产生不同结果的范畴，不同的面试官可使用不同的评价标准及评价方法等。由于评价方法根据面试官的主观意志来变得不同，存在很难对面试人员的软能力做出客观评价的问题。

另一方面，在企业通过网上面试收集多个应聘者的面试影像的情况下，存在很难全部一一进行确认的问题。并且，在就此通过评价模型来对多个应聘者的面试影像导出并提供自动评价结果的情况下，存在如下的问题，即，评价模型的结果可能与对应聘者的实际评价不符，或者可能与应聘企业的人才标准不符，或者可能与实际录用后的业绩、考核等不符。

并且，软能力涉及多种要素，用于提供与之相关的结果的方式也非常重要。不能单纯地停留在内向型或外向型这种评价水平，而是需使面试应聘者能够详细了解掌握自身的整体不足之处。并且，需使面试应聘者了解掌握在面试过程中的哪个时间点存在不足。

发明内容

要解决的技术问题

本发明的目的在于提供如下的面试影像自动评价模型的管理方法、系统以及计算机可读介质，即，在执行网上面试并针对面试影像提供自动评价结果的服务器系统中，提供实际符合企业的实际评价、录用、考核等的自动评价结果，可在最大限度减少提供学习数据的评价人员的偏见所造成的影响的情况下使评价模型进行学习。

解决问题的技术方案

为了实现如上所述的目的，本发明一实施例提供如下的评价模型管理方法，本发明的评价模型管理方法在设置有一个以上的处理器及一个以上的存储器的服务器系统中执行，针对受评价人员的面试影像提供自动评价结果，上述评价模型管理方法包括：影像评价结果学习步骤，根据针对在受评价人员进行网上面试时拍摄到的面试影像产生的多个评价人员的影像评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的评价模型进行学习；以及录用评价结果学习步骤，根据相应受评价人员在应聘企业的实际录用面试中产生的录用评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的上述评价模型进行学习，上述评价模型包括一个以上的已机器学习的详细评价模型。

在本发明一实施例中，上述评价模型管理方法还可包括如下的考核评价结果学习步骤，即，根据相应受评价人员在被应聘企业实际录用后针对业务能力产生的考核评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的评价模型进行学习。

在本发明一实施例中，上述评价模型管理方法还可包括如下的评价结果提供步骤，即，针对所接收到的面试影像，向面试影像中所要应聘的企业方提供基于上述评价模型导出的自动评价结果，可按照受评价人员所要申请网上面试的企业来在上述服务器系统分别设置有上述评价模型。

在本发明一实施例中，上述评价模型可包括：共同评价模型，针对面试影像导出共同特征信息；影像评价结果预测模型，基于上述共同特征信息，导出与上述影像评价结果相关的评价结果；以及录用评价结果预测模型，基于上述共同特征信息，导出与上述录用评价结果相关的评价结果，可根据多个上述评价人员的综合评价结果，使得上述共同评价模型及上述影像评价结果预测模型进行学习，可根据多个上述评价人员的录用评价结果，使得上述共同评价模型及上述录用评价结果预测模型进行学习。

在本发明一实施例中，上述评价模型可包括：共同评价模型，针对面试影像导出共同特征信息；影像评价结果预测模型，基于上述共同特征信息，导出与上述影像评价结果相关的评价结果；录用评价结果预测模型，基于上述共同特征信息，导出与上述录用评价结果相关的评价结果；以及考核评价结果预测模型，基于上述共同特征信息，导出与上述考核评价结果相关的评价结果，可根据多个上述评价人员的综合评价结果，使得上述共同评价模型及上述影像评价结果预测模型进行学习，可根据多个上述评价人员的录用评价结果，使得上述共同评价模型及上述录用评价结果预测模型进行学习，可根据多个上述评价人员的考核评价结果，使得上述共同评价模型及上述考核评价结果预测模型进行学习。

在本发明一实施例中，上述评价模型可包括共同评价模型，针对面试影像导出共同特征信息，上述共同评价模型可包括：第一深度神经网络，提取用于从上述面试影像的多个帧的图像信息导出多个影像特征信息的空间特征信息；第二深度神经网络，提取用于从上述面试影像的多个声音信息导出多个声音特征信息的空间特征信息；第一循环神经网络模块，通过接收多个上述影像特征信息来导出第一特征信息；以及第二循环神经网络模块，通过接收多个上述声音特征信息来导出第二特征信息。

在本发明一实施例中，上述评价模型管理方法还可包括如下的评价结果提供步骤，即，针对所接收到的面试影像，向面试影像中所要应聘的企业方提供基于上述评价模型导出的自动评价结果，上述自动评价结果可包含与上述影像评价结果相关的评价预测结果以及与上述录用评价结果相关的评价预测结果。

在本发明一实施例中，上述评价模型管理方法还可包括如下的评价结果提供步骤，即，针对所接收到的面试影像，向面试影像中所要应聘的企业方提供基于上述评价模型导出的自动评价结果，上述自动评价结果可包含以根据上述影像评价结果学习的一个以上的详细评价模型的评价值以及根据上述录用评价结果学习的一个以上的详细评价模型的评价值为基础来产生的针对面试影像的综合评价结果。

为了实现如上所述的目的，本发明的一实施例提供一种评价模型管理方法，在设置有一个以上的处理器及一个以上的存储器的服务器系统中执行，针对受评价人员的面试影像提供自动评价结果，上述评价模型管理方法包括：影像评价结果学习步骤，根据针对在受评价人员进行网上面试时拍摄到的面试影像产生的多个评价人员的影像评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的评价模型进行学习；以及考核评价结果学习步骤，根据相应受评价人员在被应聘企业实际录用后针对业务能力产生的考核评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的评价模型进行学习，上述评价模型包括一个以上的已机器学习的详细评价模型。

为了实现如上所述的目的，本发明一实施例提供一种管理评价模型的服务器系统，针对受评价人员的面试影像提供自动评价结果，上述管理评价模型的服务器系统包括：影像评价结果学习部，根据针对在受评价人员进行网上面试时拍摄到的面试影像产生的多个评价人员的影像评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的评价模型进行学习；以及录用评价结果学习部，根据相应受评价人员在应聘企业的实际录用面试中产生的录用评价结果，使得上述服务器系统的针对面试影像提供自动评价结果的上述评价模型进行学习，上述评价模型包括一个以上的已机器学习的详细评价模型。

为了实现如上所述的目的，本发明一实施例提供一种计算机可读记录介质，即，记录有用于执行上述评价模型管理方法的程序。

为了实现如上所述的目的，本发明一实施例提供一种评价模型学习方法，在设置有一个以上的处理器及一个以上的存储器的服务器系统中执行，针对受评价人员的面试影像提供自动评价结果，上述评价模型学习方法包括：面试影像存储步骤，向用户终端发送预设的提问套系中的一个以上的提问信息，从上述用户终端接收并存储对上述提问信息做出回答的面试影像；评价信息收集步骤，针对相应的面试影像收集多个评价人员的评价信息；可信度计算步骤，根据多个上述评价人员的评价信息计算针对多个评价人员的可信度信息；以及评价模型学习步骤，利用所计算出的上述可信度信息及上述评价信息来使上述评价模型进行学习。

在本发明一实施例中，上述评价模型学习方法可包括如下的评价结果提供步骤，即，针对相应的面试影像，基于上述评价模型来向上述面试影像的拍摄者所要应聘的应聘机构的用户终端提供自动评价结果，上述服务器系统可包括按照各个应聘机构划分的各个评价模型，在上述评价模型学习步骤中，可根据与上述应聘机构相对应的评价人员的评价信息来使上述评价模型进行学习。

在本发明一实施例中，上述评价信息可以为多个评价人员针对相应面试影像做出的由多个评价人员对多个评价项目分别输入的评价分数。

在本发明一实施例中，上述可信度信息可以为按照评价人员、评价项目划分的可信度分数。

在本发明一实施例中，在上述可信度计算步骤中，与针对相应面试影像的特定评价项目上的多个评价人员的平均评价分数之间的差越大，可将可信度分数计算得越低。

在本发明一实施例中，上述可信度计算步骤可包括：第一步骤，通过对特定评价项目应用多个评价人员的各个可信度分数及多个评价人员的各个评价分数来导出推定分数；第二步骤，基于所计算出的上述推定分数和各个评价人员的评价分数来更新各个评价人员的可信度分数；以及第三步骤，基于在上述第一步骤中当前导出的推定分数和之前导出的一个以上的推定分数来判断推定分数是否收敛在预设的范围内，若在上述第三步骤中判断为推定分数收敛在预设的范围内，则将所计算出的各个评价人员的可信度分数计算成可信度信息，若在上述第三步骤中判断为推定分数未收敛在预设的范围内，则可重复进行上述第一步骤、第二步骤以及第三步骤。

在本发明一实施例中，在上述评价模型学习步骤中，对于针对相应评价项目的多个评价人员的多个评价分数，将上述可信度信息中所包含的各个评价人员的可信度分数反映成加权值，来导出综合评价分数，基于所导出的综合评价分数及相应面试影像，来使上述评价模型针对上述相应评价项目进行学习。

为了实现如上所述的目的，本发明一实施例提供一种服务器系统，执行使得针对受评价人员的面试影像提供自动评价结果的评价模型进行学习的方法，上述服务器系统包括：面试影像存储部，向用户终端发送预设的提问套系中的一个以上的提问信息，从上述用户终端接收并存储对上述提问信息做出回答的面试影像；面试影像评价部，通过利用机器学习形成的评价模型，生成针对上述面试影像的自动评价信息；评价信息收集部，针对相应的面试影像收集多个评价人员的评价信息；可信度计算部，根据多个上述评价人员的评价信息计算针对多个评价人员的可信度信息；以及评价模型学习部，利用所计算出的上述可信度信息及上述评价信息来使上述评价模型进行学习。

在本发明一实施例中，本发明提供一种计算机可读记录介质，即，记录有用于执行上述评价模型学习方法的程序。

发明的有益效果

本发明具有可提供如下的面试影像自动评价模型的管理方法、系统以及计算机可读介质的效果，即，在执行网上面试并针对面试影像提供自动评价结果的服务器系统中，提供实际符合企业的实际评价、录用、考核等的自动评价结果，可在最大限度减少提供学习数据的评价人员的偏见所造成的影响的情况下使评价模型进行学习。

附图说明

图1简要示出本发明一实施例的面试影像自动评价模型管理方法的整体系统形态。

图2简要示出本发明一实施例的服务器系统的内部结构。

图3简要示出本发明一实施例的使评价模型学习的多个步骤。

图4简要示出本发明一实施例的基于面试影像存储部的工作的受评价人员终端中的画面。

图5简要示出本发明一实施例的面试影像评价部的工作。

图6简要示出本发明一实施例的构成评价模型的多个内部模型。

图7简要示出本发明一实施例的评价模型的内部结构。

图8简要示出本发明一实施例的使评价模型学习的多个步骤。

图9简要示出本发明一实施例的共同评价模型的内部结构。

图10简要示出本发明一实施例的部分评价模型的内部结构。

图11示出本发明一实施例的基于评价结果提供部的工作的用户终端中的显示画面的一例。

图12示出本发明一实施例的基于评价结果提供部的工作的用户终端中的显示画面的一例。

图13示出本发明一实施例的基于评价结果提供部的工作的用户终端中的显示画面的一例。

图14简要示出本发明一实施例的提供面试准备服务的方法的整体系统形态。

图15简要示出本发明一实施例的服务器系统的内部结构。

图16简要示出本发明一实施例的基于提问套系设定部的执行结果的用户终端中的显示画面。

图17简要示出本发明一实施例的基于评价结果提供部的综合评价提供部的执行结果的用户终端中的显示画面。

图18简要示出本发明一实施例的基于评价结果提供部的性格特性提供部的执行结果的用户终端中的显示画面。

图19简要示出本发明一实施例的基于评价结果提供部的帧级分析提供部的执行结果的用户终端中的显示画面。

图20简要示出本发明一实施例的基于评价结果提供部的帧级分析提供部执行视线处理结果提供的用户终端中的显示画面。

图21简要示出本发明一实施例的基于评价结果提供部的帧级分析提供部执行头部动作结果提供的用户终端中的显示画面。

图22简要示出本发明一实施例的基于评价结果提供部的帧级分析提供部执行情绪结果提供的用户终端中的显示画面。

图23简要示出与本发明多个实施例的评价模型学习相关的多个步骤。

图24简要示出本发明多个实施例的评价信息收集部所接收到的评价人员的评价信息的数据形态。

图25示出本发明的多个评价人员的评价信息数据的一例。

图26简要示出本发明一实施例的可信度计算部的多个执行步骤。

图27简要示出本发明一实施例的评价模型学习部的工作。

图28简要示出本发明一实施例的评价信息管理部的内部结构。

具体实施方式

以下，参照附图详细说明本发明的实施例，以使得本发明所属技术领域的普通技术人员轻松实施本发明。但是，可通过多种不同的实施方式实施本发明，本发明并不限定于在此进行说明的实施例。而且，为了在附图中明确说明本发明，省略了与说明无关的部分，在说明书全文中，对于相似的部分赋予了相似的附图标记。

在说明书全文中，当记述成某个部分与其他部分“相连接”时，这不仅包括“直接连接”的情况，还包括以在其中间设置其他器件的方式“电连接”的情况。并且，当记述成某个部分“包括”某个结构要素时，只要没有特别相反的记述，就意味着还可包括其他结构要素，而不是排除其他结构要素。

并且，包含“第一”、“第二”等序数的术语可用于说明多种结构要素，但多个上述结构要素并不限定于多个上述术语。多个上述术语仅用于区分一个结构要素和其他结构要素。例如，在不脱离本发明的保护范围的情况下，第一结构要素可被命名为第二结构要素，相似地，第二结构要素也可被命名为第一结构要素。“和/或”这一术语包括多个相关记述内容中的多个项目的组合或多个相关记述内容中的多个项目之中的某个项目。

在本说明书中，“部”包括可通过硬件实现的单元(unit)、可通过软件实现的单元、利用以上两者实现的单元。并且，1个单元可通过利用2个以上的硬件来实现，2个以上的单元可通过1个硬件来实现。另一方面，“～部”的含义并不限定于软件或硬件，“～部”还能够以存在于可编址的存储介质的方式构成，也能够以可再生一个或一个以上的多个处理器的方式构成。因此，作为一例，“～部”包括多个软件结构要素、多个对象指向软件结构要素、多个层结构要素以及多个表结构要素等的结构要素和多个过程、多个函数、多个属性、多个程序、多个子程序、程度代码的多个段、多个驱动程序、固件、微码、电路、数据、数据库、多个数据结构、多个表、多个阵列以及多个参数。在多个结构要素和“～部”中提供的功能可由数量更少的多个结构要素及多个“～部”结合而成，或可进一步分离成追加性的多个结构要素和多个“～部”。不仅如此，多个结构要素及多个“～部”还能够以再生设备或安全多媒体卡内的一个或一个以上的中央处理器(CPU)的方式实现。

以下提及的“用户终端”可由可通过网络与服务器或其他终端相连接的计算机或便携式终端来体现。其中，计算机的例可包括搭载网页浏览器(WEB Browser)的笔记本电脑、台式计算机(desktop)、膝上型计算机(laptop)等，便携式终端为保障便携性和移动性的无线通信装置，便携式终端的例可包括个人通信系统(PCS，Personal CommunicationSystem)终端、全球移动通信系统(GSM，Global System for Mobile communications)终端、个人数字蜂窝电话(PDC，Personal Digital Cellular)终端、个人手持电话系统(PHS，Personal Handyphone System)终端、个人数字助理(PDA，Personal Digital Assistant)终端、国际移动通信(IMT，International Mobile Telecommunication-2000)终端、码分多址(CDMA，Code Division Multiple Access-2000)终端、宽带码分多址(W-CDMA，W-CodeDivision Multiple Access)终端、无线宽带互联网(Wibro，Wireless Broa数据库andInternet)终端等基于多种手持式(Handheld)的无线通信装置。并且，“网络”可由局域网(Local Area Network；LAN)、广域网(WideArea Network；WAN)或增值网(Value AddedNetwork；VAN)等有线网络或者移动无线通信网(mobile radio communication network)或卫星通信网等所有种类的无线网络来实现。

面试影像自动评价模型的管理方法、系统以及计算机可读介质

图1简要示出基于本发明一实施例的执行网上面试或管理面试影像自动评价模型方法的服务器系统1000的整体形态。

图1所示的服务器系统1000可通过自动化方式从受评价人员终端接收面试影像，针对面试影像，可向已连接的会员、应聘机构(企业)、评价人员终端等提供通过机器学习后的评价模型形成的对于软能力等的自动评价结果。在本发明的优选实施例中，上述服务器系统1000可用于执行实际的网上面试，受评价人员终端可相当于所要应聘相应企业的用户的终端，评价人员终端可相当于针对由上述受评价人员终端提供的面试影像提供评价结果或对于相应面试影像中的应聘者提供评价结果的终端。

即，图1所示的服务器系统1000还可用作应聘者执行与特定机构相关的实际网上面试的系统。在此情况下，可向机构的终端发送从受评价人员终端接收的面试影像等的面试结果。

并且，图1所示的服务器系统1000能够以通过与评价人员终端相连接来输入评价信息的形态来使用。在此情况下，服务器系统1000的评价模型学习部1600可基于从评价人员终端等输入的评价信息来使自动评价模型进行学习以及得到改善。

如上所述，图1所示的服务器系统1000可从受评价人员终端接收面试影像，可向机构终端、评价人员终端及受评价人员终端中的一个以上发送针对面试影像的自动评价信息。同时，上述服务器系统1000可执行通过从评价人员终端等接收的评价结果来使服务器系统1000的评价模型进行学习或得到改善的综合功能。

以下，以上述服务器系统1000用于实际网上面试并之后通过多种学习数据来改善及管理自动评价模型的方法为中心，对本发明的服务器系统1000进行说明。

图1中的受评价人员终端、评价人员终端可相当于上述的用户终端，服务器系统1000可相当于包括一个以上的处理器及一个以上的存储器的计算装置。

评价人员终端可相当于网上面试中的录用方，即，可相当于企业方负责人使用的终端，或者可相当于用于向服务器系统1000发送针对面试影像或应聘者的评价结果的终端。

受评价人员终端或评价人员终端可通过浏览器程序连接到上述服务器系统1000，或可通过专用应用程序连接到服务器系统1000。

受评价人员终端或评价人员终端可通过用户各自的账号登录到上述服务器系统1000来利用上述服务器系统1000的服务。

受评价人员终端或评价人员终端可分别通过不同形态的账号登录到上述服务器系统1000，例如，可通过应聘者(受评价人员)类型的账号、评价人员类型的账号以及机构类型(要进行录用的企业等)的账号进行登录。

图2简要示出本发明一实施例的服务器系统1000的内部结构。

本发明的服务器系统1000还可用作实际与企业进行网上面试的系统。具体地，应聘者可通过受评价人员终端向服务器系统1000传送面试影像，服务器系统1000可向机构的终端(评价人员终端)提供所接收到的面试影像和/或自动化的评价信息等。

同时，本发明的服务器系统1000可执行进一步改善自动生成评价信息的评价模型的工作。

另一方面，在物理层面上，本发明的服务器系统1000可形成包括多个服务器的形态，而不是单个服务器。例如，可使得评价模型学习部1600由单独的物理服务器构成。并且，数据库(DB)中所包括的评价模型也可由单独的服务器构成。

提问套系设定部1100构建与为了接收面试影像而在受评价人员终端再生的提问内容相关的提问套系。

优选地，若受评价人员输入与所要应聘的机构相关的信息，则上述提问套系设定部1100可根据由相应机构设定的提问信息来确定提问套系。

按照执行网上面试的各个企业，在上述服务器系统1000存储有企业将在网上面试中进行提问的提问内容，如上所述的提问内容可通过文本、影像、声音中的一种以上方式来实现。

即，在服务器系统1000执行实际网上面试的情况下，提问套系设定部1100将基于与应聘者所要应聘的企业相关的提问列表来生成提问套系。

之后，面试影像存储部1200将依次或随机提取提问套系中的提问来向受评价人员终端传送，用户将在通过受评价人员终端了解掌握相应提问后向服务器系统1000传送相应的回答影像。

面试影像存储部1200向受评价人员终端发送一个以上的提问信息或提问内容，从上述受评价人员终端接收并存储对上述提问信息做出回答的面试影像。

上述提问信息可通过提问文本、提问声音以及提问影像中的一种以上的形态来实现。

具体地，受评价人员终端提供用于显示或再生与提问信息相关的提问的界面，从受评价人员终端向服务器系统1000发送通过设置于用户终端的摄像头及麦克风拍摄的面试影像，来与针对相应面试影像的识别信息一同存储在数据库。

评价信息接收部1300接收与执行网上面试相关的评价结果或用于使评价模型进行学习的影像面试或针对相应应聘者的评价结果。如上所述的评价信息接收部1300可从图1所示的评价人员终端接收评价结果，或者可通过服务器系统1000的管理者接收评价结果。

面试影像评价部1400通过利用机器学习的评价模型来生成针对上述面试影像的自动评价信息。优选地，上述评价模型可包括基于机器学习的一个以上的详细评价模型，更优选地，可包括基于深度学习的一个以上的详细评价模型。

即，服务器系统1000在接收上述面试影像后利用评价模型来自动执行评价，由此生成自动评价信息。自动评价信息可包含以下内容中的一种以上：与面试相关的影像评价结果，包含好感度、专注度、可靠感、活力、沉着、沟通能力、对视、亲切感、是否使用口头禅及愉快感中的一种以上；录用评价结果，包含相应应聘者在实际接受企业的录用审核的情况下判断的应聘动机、挑战精神、专业性、协作性、企业人才标准符合信息中的一种以上；以及考核评价结果，包含当相应应聘者被应聘企业实际录用后接受考核评价时判断的工作诚实度、管理能力、业务能力、综合考核等级中的一种以上。更优选地，上述自动评价结果可包含通过考虑上述影像评价结果、上述录用评价结果以及上述考核评价结果中的两种以上来计算的综合评价结果。

上述影像评价结果还可包含如下内容中的一种以上：性格特征，包含开朗、诚实、外向、亲和及敏感中的一种以上；以及定量信息，与视线处理、头部动作、声音高低、声音大小及情绪中的一种以上的态度特征相关。

优选地，上述评价模型包括一个以上的基于深度学习已学习的人工神经网络模块。上述评价模型不仅包括已学习的人工神经网络模块，还可包括基于预设规则的详细评价模型。即，在本发明一实施例中，上述评价模型可相当于综合利用已学习的人工神经网络模块及基于规则的详细评价模型的形态。

上述评价结果提供部1500将基于上述自动评价信息来向用户终端提供自动评价结果。具体地，上述评价结果提供部1500向用户终端(例如，企业的人事部的终端)传送自动评价信息或对上述自动评价信息进行加工的形态的数据(与实现反映出自动评价信息的界面相关的数据)，将根据用户的选择来在用户终端的浏览器及专用应用程序显示多种评价信息。

上述服务器系统1000的基本工作为通过针对从受评价人员终端接收的面试影像自动导出评价信息来在执行网上面试的过程中减轻影像确认给评价人员方带来的负担。

另一方面，在本发明一实施例中，服务器系统1000还可用于使评价模型进行学习。将由评价模型学习部1600执行如上所述的功能。即，评价模型学习部1600将执行使得针对受评价人员的面试影像提供自动评价结果的评价模型进行学习的方法。

上述评价模型学习部1600包括以下结构要素的一种以上：影像评价结果学习部1610，根据针对在受评价人员进行网上面试时拍摄到的面试影像产生的多个评价人员的影像评价结果，使得上述服务器系统1000的针对面试影像提供自动评价结果的评价模型进行学习；录用评价结果学习部1620，根据相应受评价人员在应聘企业的实际录用面试中产生的录用评价结果，使得上述服务器系统1000的针对面试影像提供自动评价结果的上述评价模型进行学习；以及考核评价结果学习部1630，根据相应受评价人员在被应聘企业实际录用后针对业务能力产生的考核评价结果，使得上述服务器系统1000的针对面试影像提供自动评价结果的评价模型进行学习。

优选地，上述评价模型学习部1600基础性地包括影像评价结果学习部1610，另外包括上述录用评价结果学习部1620及考核评价结果学习部1630中的一种以上。

评价模型学习部1600将基于上述评价人员的评价信息来使得利用上述机器学习的评价模型进行学习。在本发明一实施例中，服务器系统1000可向评价人员终端发送面试影像，可从评价人员终端接收针对如上所述的影像的评价。从如上所述的评价人员终端接收的评价结果将用在网上面试，用作与录用相应面试影像中的应聘者相关的评价要素，同时，可用在使得服务器系统1000的用于计算自动评价结果的评价模型进行学习。

通过如上所述的评价模型学习部1600的工作，可产生如下的效果，即，在进行网上面试的过程中，同时使得服务器系统1000持续自动改善评价模型的性能。

另一方面，可在上述服务器系统1000的数据库1700存储有从受评价人员终端接收的面试影像、在面试影像评价部1400中针对相应面试影像产生的自动评价信息、从上述评价信息接收部1300接收的评价信息(针对影像的评价信息、针对相应应聘者的与录用结果相关的信息、相应应聘者的实际入职后的考核信息)、受评价人员或评价人员的用户信息、与需在面试影像中进行回答的提问相关的提问信息以及用于使上述面试影像评价部1400对面试影像进行评价且通过上述评价模型学习部1600进行追加学习的评价模型。

除了所示的结构要素之外，图2所示的服务器系统1000还可包括多个其他结构要素，但为了便于进行说明，仅示出了本发明的多个实施例的与进行网上面试以及评价模型学习相关的多个结构要素。

图3简要示出本发明一实施例的使评价模型学习的多个步骤。

本发明一实施例的对于针对受评价人员的面试影像提供自动评价结果的评价模型进行管理的方法在设置有一个以上的处理器及一个以上的存储器的服务器系统1000中执行。

在步骤S10中，向受评价人员终端提供提问内容，从受评价人员终端接收面试影像。

在步骤S11中，从评价人员终端等接收针对上述面试影像的影像评价结果。优选地，应聘者所要应聘的企业的人事部负责人或与相应企业相关的多个录用负责人针对上述面试影像做出的评价可相当于上述影像评价结果。或者，还可由提供上述服务器系统1000的服务的一方提供如上所述的影像评价结果，但为了使得相应企业录用符合人才标准的人才并使得与之相关的评价模型进行学习，优选地由了解相应企业的录用基准等的相应企业的有关人员执行。

在步骤S12中，将执行影像评价结果学习步骤，即，根据针对在受评价人员进行网上面试时拍摄到的面试影像产生的多个评价人员的影像评价结果，使得上述服务器系统1000的针对面试影像提供自动评价结果的评价模型进行学习。由此，可在评价模型中反映出执行相应企业的网上面试的评价人员或相应企业的录用判断基准。

另一方面，在步骤S20中，可在将上述影像评价结果等考虑在内的情况下进行实际网上面试，可在网上面试之后实际进行线下面试等的实际面试。相应企业将通过实际面试来针对相应面试影像中的应聘者做出评价，在步骤S13中，可从企业的系统、企业的录用相关负责人的终端接收相应面试影像中的应聘者的录用评价结果。或者，能够以由服务器系统1000的服务管理者输入由上述企业的负责人所传输的录用评价结果的方式来执行步骤S13。

优选地，上述录用评价结果相当于在实际结束针对相应应聘者的评价的状态下由企业做出评价的结果。上述录用评价结果也可包含针对上述面试影像的评价中的一部分，但实际上可相当于在相应企业最终确定是否录用相应应聘者的过程中判断的对于一个以上的项目所形成的指标。

即，录用评价结果可相当于有可能部分包含或不包含针对面试影像的评价的用于确定企业是否实际录用相应应聘者的评价结果。

在步骤S14中，将执行录用评价结果学习步骤，即，根据相应受评价人员在应聘企业的实际录用面试中产生的录用评价结果，使得上述服务器系统1000的针对面试影像提供自动评价结果的上述评价模型进行学习。

通过如上所述的学习步骤，将在上述评价模型中反映出执行网上面试的评价人员的判断、实际负责企业的录用的人事部负责人的判断以及实际线下面试中的针对相应应聘者的能力的判断等。通过如上所述的步骤，上述评价模型可学习到面试影像与实际面试结果之间的关联性，可由此根据面试影像预测实际面试结果，同时，影像评价结果的预测也会变得更加精准。

之后，在步骤S20中，可在相应应聘者被录用之后，例如经过1年或2年的时间之后，相应录用企业可计算针对相应应聘者的考核。之后，在步骤S15中，将接收针对相应评价人员的考核评价结果。同样，在步骤S15中，可从企业的系统、企业的考核评价相关负责人的终端接收相应面试影像中的应聘者的录用评价结果。或者，能够以由服务器系统1000的服务管理者输入由上述企业的负责人所传输的录用评价结果的方式来执行步骤S15。

在步骤S16中，将执行考核评价结果学习步骤，即，根据相应受评价人员在被应聘企业实际录用后针对业务能力产生的考核评价结果，使得上述服务器系统1000的针对面试影像提供自动评价结果的评价模型进行学习。

通过如上所述的学习步骤，不仅在上述评价模型中反映出执行网上面试的评价人员的判断、实际负责企业的录用的人事部负责人的判断以及实际线下面试中的针对相应应聘者的能力的判断，还将反映出在相应面试影像中的应聘者被实际录用后的针对能力的实际判断。通过如上所述的步骤，上述评价模型可学习到面试影像与实际业务的业务能力之间的关联性，可由此根据面试影像预测实际业务的业务能力，同时，影像评价结果的预测也会变得更加精准。

之后，在步骤S17中，通过已经过如上所述的步骤进行学习的评价模型来计算针对之后的面试影像的自动评价结果，并向企业方进行提供。通过以上的步骤S11至步骤S16，评价模型可对导出企业实际所需的人才进行更加准确的判断。

尤其，通过步骤S13，评价模型可仅根据面试影像就能以高准确度导出应聘者在实际线下面试等之后产生的最终录用评价结果，并且，通过步骤S15，评价模型可仅根据面试影像就能够以高准确度导出应聘者实际在相应企业上班时的业务能力、输出能力值等。并且，可通过步骤S13及步骤S15产生如下的效果，即，能够以符合实际的方式提高经上述步骤S12之后的用于导出影像评价结果的评价模型的准确度。

图4简要示出本发明一实施例的基于面试影像存储部1200的执行结果的用户终端中的显示画面。

在本发明一实施例中，根据用户的输入，上述面试影像存储部1200向受评价人员终端传送与用户所要应聘的企业相关的提问套系中所包含的提问，在受评价人员终端中再生与相应提问相关的内容，在执行图4的(A)部分、(B)部分所示的步骤之后，向服务器系统1000传送所拍摄到的面试影像，之后服务器系统1000将存储所接收到的面试影像。

在图4的(A)部分中，显示在将提问显示在当前拍摄影像中的同时进行倒计时的显示要素。具体地，图4的(A)部分中的“7”为告诉用户将在7秒后进行拍摄的标志。

图4的(B)部分示出在图4的(A)部分中的画面结束后开始进行影像拍摄的画面。在图4的(B)部分中，用户将对之前画面中的提问进行回答，受评价人员终端将对此进行影像拍摄并向服务器系统1000传送。

图5简要示出本发明一实施例的面试影像评价部1400的工作。

面试影像评价部1400将利用已学习的评价模型来对相应面试影像进行分析。

上述评价模型可包括针对面试影像进行评价的多种详细评价模型。上述详细评价模型可相当于能够将基于深度学习已学习的评价模型作为基础来进行评价的详细评价模型，或者可相当于根据不是学习方式的预设的程序或算法导出特征信息(例如，视线的位置)并对所导出的特征信息进行评价的详细评价模型。

在本发明一实施例中，上述面试影像评价部1400基础性地接收包含影像信息及声音信息的面试影像，通过借助深度学习等的机器学习技术已学习的评价模型来导出自动评价信息。

并且，追加性地，上述面试影像评价部1400还可根据不是机器学习方式的预设规则分析影像并导出多个特定评价值。

上述详细评价模型可通过从视频方式的面试影像提取声音信息及影像信息并分别向详细评价模型进行输入来导出结果值，或者还可综合声音信息及影像信息并向详细评价模型进行输入来导出结果值。

优选地，本发明一实施例的详细评价模型还可包括如下的模块，即，通过嘴的形状来推导是否处于说话的状态，将这考虑在内来评价面试影像中的受评价人员。具体地，特定详细评价模型包括如下的模块，即，对于面试影像中的面部，单独检测嘴的形状部分，利用包含循环神经网络(RNN)、长短期记忆人工神经网络(LSTM)、门控循环单元(GRU)等时间概念的人工神经网络技术来区分是否处于正在说话的状态，可基于这种信息自动调节将以何种程度的加权值来对影像信息和声音信息的评价产生影响，能够以对如上所述的加权值也进行学习的方式构成模型。

即，在如上所述的结构中，若在面试影像中通过嘴的形状判断成并不是受评价人员或说话者说话的状态，则可自动将更侧重处理(赋予相比于普通状态更高的加权值)影像信息，并可相对淡化声音信息的处理(赋予相比于普通状态更低的加权值)。

优选地，上述评价模型可包括在面试影像的多个帧中提取用户的视线的多个位置信息的模块，由此，可通过上述评价结果提供部1500、1400来在受评价人员终端中提供与视线的位置现状及视线的移动现状相关的信息。

优选地，上述详细评价模型可包括在面试影像的多个帧中提取用户的头部动作的模块，由此，可通过上述评价结果提供部1500来在受评价人员终端中提供与头部动作相关的信息。

优选地，上述详细评价模型可包括在多个帧中提取声音高低、声音大小等声音的音特性值的模块，由此，可通过评价结果提供部1500来在受评价人员终端中提供与声音相关的信息。

优选地，上述详细评价模型可包括按面试影像的区间提取多个情绪要素的强度的模块。由此，可通过评价结果提供部1500、1400来在受评价人员终端中提供与情绪相关的信息。在此情况下，可使用基于借助上述深度学习已学习的人工神经网络的详细评价模型。

如上所述，上述评价模型可包括一个以上的详细评价模型，上述详细评价模型的一部分还可以为基于规则的详细评价模型，但优选地，上述评价模型包括一个以上的已机器学习的详细评价模型，在本发明一实施例中，使评价模型进行学习意味着使上述详细评价模型进行学习。

图6简要示出本发明一实施例的在服务器系统1000中构建的多个评价模型。

如上所述，执行上述评价模型管理方法的服务器系统1000包括评价结果提供部1500，即，针对所接收到的面试影像，向面试影像中所要应聘的企业方提供基于上述评价模型导出的自动评价结果。

优选地，按照受评价人员所要申请网上面试的企业来在上述服务器系统1000分别设置上述评价模型。

通过如上所述的方式，各个企业所需的人才基准将分别在服务器系统1000中构建成评价模型，根据各个企业的评价结果来使评价模型进行学习。例如，若假设A企业、B企业使用服务器系统1000，则在服务器系统1000中构建A企业及B企业各自的评价模型，在使A企业的评价模型进行学习的情况下，以反映出A企业的多个有关人员针对应聘A企业的多个应聘者的面试影像导出的影像评价结果、录用评价结果、考核评价结果的方式使A企业的评价模型进行学习，从而以能够做出几乎与A企业的人事部的评价结果相似的评价结果的方式使A企业的评价模型进行学习。

通过如上所述的方式，上述评价模型可仅根据面试影像对于相应企业的人事部无法预测的企业中的实际业务能力进行预测。

图7简要示出本发明一实施例的评价模型的内部结构。

上述评价模型可包括多个详细评价模型或评价模块。图8所示的详细评价模型(共同模型、第一评价模型等)相当于基于机器学习的评价模块。

本发明的多个实施例的评价模型不仅可包括图7所示的详细评价模型，还可包括基于规则执行评价的多个详细评价模型，但在以下内容中，将以与学习相关的详细评价模型为基准来进行说明。优选地，图7所示的评价模型相当于特定企业的评价模型。

上述评价模型包括：共同评价模型，针对面试影像导出共同特征信息；第一评价模型、第二评价模型等评价模型，基于上述共同特征信息，导出详细的评价结果。

优选地，上述第一评价模型、第二评价模型等评价模型包括：影像评价结果预测模型，基于上述共同特征信息，导出与上述影像评价结果相关的评价结果；录用评价结果预测模型，基于上述共同特征信息，导出与上述录用评价结果相关的评价结果；以及考核评价结果预测模型，基于上述共同特征信息，导出与上述考核评价结果相关的评价结果。

即，基于由共同评价模型根据面试影像导出的特征信息，影像评价结果预测模型、录用评价结果预测模型、考核评价结果预测模型可导出评价结果。

通过如上所述的方式，可根据影像评价结果、录用评价结果及考核评价结果来使共同评价模型同样进行学习。即，在以独立的形态构建导出影像评价结果、录用评价结果及考核评价结果的模型的情况下，无法学习各个评价结果的相关性或者无法实现共同评价模型的坚韧的学习，相反，图7所示的共同评价模型可实现学习各个评价结果的相关性或者可实现共同评价模型的坚韧的学习。

例如，在图7所示的评价模型中，可根据面试影像精准地预测与实际录用相应应聘者相关的评价及与实际业务中的能力相关的评价。并且，在学习方面，不仅可进行与针对表面影像的评价相关的学习，还可进行与隐藏在影像内部的实际录用时的结果及实际业务中的结果相关的学习。

图8简要示出本发明一实施例的使评价模型学习的多个步骤。

图8的(A)部分示出影像评价结果学习部1610基于相应面试影像及影像评价结果来使得详细评价模型中的共同模型及影像评价结果预测模型进行学习的情况，图8的(B)部分示出录用评价结果学习部1620基于相应面试影像及录用评价结果来使得详细评价模型中的共同模型及录用评价结果预测模型进行学习的情况，图8的(C)部分示出考核评价结果学习部1630基于相应面试影像及考核评价结果来使得详细评价模型中的共同模型及考核评价结果预测模型进行学习的情况。

通过如上所述的详细评价模型的结构及学习方法，通过哪种评价结果都能够使共同模型进行学习，可由此通过特定类别的评价结果来使用于导出其他类别的评价结果的评价模型进行学习。例如，在相应面试影像中的应聘者在实际入职后接受考核评价并基于由此产生的考核评价结果及相应应聘者的应聘时的面试影像来以图8的(C)部分所示的方式使评价模型学习的情况下，将使共同模型进行学习并可在影像评价结果的预测、录用评价结果的预测中也能够改善模型的准确性。

图8所示的共同模型、影像评价结果预测模型、录用评价结果预测模型及考核评价结果预测模型可相当于各自分离的人工神经网络模型，或者可相当于一个人工神经网络模型的子网络。即，本发明中的评价模型、详细评价模型、共同模型、影像评价结果预测模型、录用评价结果预测模型及考核评价结果预测模型等的术语应得到最广义的解释，即，不仅意味着各自分离的人工神经网络模型，还可意味着人工神经网络模型内部的子网络。

若图8所示的共同模型、影像评价结果预测模型、录用评价结果预测模型及考核评价结果预测模型分别相当于一个人工神经网络模型的多个子网络，则图8所示的共同特征可相当于上述人工神经网络模型内部中的中间结果值。

并且，若图8所示的共同模型、影像评价结果预测模型、录用评价结果预测模型及考核评价结果预测模型分别相当于一个人工神经网络模型的多个子网络，则共同模型、影像评价结果预测模型、录用评价结果预测模型及考核评价结果预测模型实际相当于一个人工神经网络模型，上述一个人工神经网络模型可导出由一个以上的参数构成的结果值，上述结果值可呈包含预测到的影像评价结果、预测到的录用评价结果、预测到的考核评价结果等全部的形态。在此情况下，在图8的(A)部分所示的学习过程中，将影像评价结果作为学习数据来输入，在图8的(B)部分所示的学习过程中，将录用评价结果作为学习数据来输入，在图8的(C)部分所示的学习过程中，将考核评价结果作为学习数据来输入。在此情况下，可将与人工神经网络模型相关的多个子网络作为中心来进行学习。

图9简要示出本发明一实施例的共同评价模型的内部结构。

对于图9所示的实施例的上述共同评价模型而言，上述共同评价模型包括：第一深度神经网络，提取用于从上述面试影像的多个帧的图像信息导出多个影像特征信息的空间特征信息；第二深度神经网络，提取用于从上述面试影像的多个声音信息导出多个声音特征信息的空间特征信息；第一循环神经网络模块，通过接收多个上述影像特征信息来导出第一特征信息；以及第二循环神经网络模块，通过接收多个上述声音特征信息来导出第二特征信息。

上述第一深度神经网络及第二深度神经网络可相当于卷积神经网络(CNN)模块等，在图9所示的一实施例中，第一深度神经网络可相当于第一卷积神经网络模块，第二深度神经网络可相当于第二卷积神经网络模块。

上述第一循环神经网络模块及第二循环神经网络模块可相当于长短期记忆人工神经网络模块等，在图9所示的一实施例中，第一循环神经网络模块可相当于第一长短期记忆人工神经网络模块，第二循环神经网络模块可相当于第二长短期记忆人工神经网络模块。

以下，基于图9所示的实施例来说明本发明一实施例的神经网络的工作。

多个上述帧可通过按照预设的时间间隔分割影像中的图像来生成。并且，优选地，按照时间序列向第一长短期记忆人工神经网络模块输入通过第一卷积神经网络模块导出的多个影像特征信息。

另一方面，优选地，向第二卷积神经网络模块输入与针对预设时间区间的声音相关的特征信息(频率、强度等)或声音自身的数据，按照时间序列向第二长短期记忆人工神经网络模块输入从第二卷积神经网络模块导出的声音特征信息。

另一方面，基于上述第一特征信息及第二特征信息导出作为共同模型的输出的特征信息(向量列)。作为最简单的方法，可通过单纯结合上述第一特征信息及第二特征信息来进行导出，或者还可应用加权值等来进行导出。

图10简要示出本发明一实施例的部分评价模型的内部结构。

图10所示的部分评价模型可相当于图8所示的影像评价结果预测模型、录用评价结果预测模型或考核评价结果预测模型。

针对从共同模型导出的特征信息，各个部分评价模型通过由多个全连通层(Fully-connected Layer)赋予已学习的加权值并由此导出中间结果(representativevector)的过程来导出针对各个评价类别的结果值。

例如，影像评价结果预测模型可导出针对包含好感度、专注度、可靠感、活力、沉着、沟通能力、对视、亲切感、是否使用口头禅及愉快感中的一种以上的与面试相关的影像评价结果的预测相关数据，上述录用评价结果预测模型可导出针对包含相应应聘者实际在企业中接受录用审核的情况下判断的应聘动机、挑战精神、专业性、协作性、企业人才标准符合信息中的一种以上的录用评价结果的预测相关数据，考核评价结果预测模型可导出与包含相应应聘者在被应聘企业实际录用后接受考核评价时判断的工作诚实度、管理能力、业务能力、综合考核等级中的一种以上的考核评价结果相关的数据。

优选地，在本发明一实施例中，还可包括如下的详细评价模型，即，针对面试影像，根据从上述共同模型导出的上述特征信息导出综合评价结果，或者可从上述影像评价结果预测模型、上述录用评价结果预测模型及上述考核评价结果预测模型中的一个以上导出综合评价结果。

图11示出本发明一实施例的基于评价结果提供部1500的工作的用户终端中的显示画面的一例。

上述评价结果提供部1500可根据在终端进行的输入来向相应应聘者的应聘企业方提供多种评价画面。图11示出提供针对相应面试影像的评价结果的画面(用户输入图11中的L3中的影像评价结果的情况)。

通过上述评价结果提供步骤提供的用户终端中的显示要素包括：影像层L1，可再生上述面试影像；影像信息层L2，可显示针对上述面试影像的识别信息、日期、说明信息等；类别层L3，可在2种以上的评价结果类别中进行选择；以及自动评价结果层L4，显示与在上述2种以上的评价结果类别中所选择的评价结果类别相关的自动评价结果。

即，通过上述评价结果提供步骤提供的用户终端中的画面包括：第一画面(图11)，以面试影像自身的评价要素为中心来进行显示；第二画面(图12)，以相应面试影像中的应聘者在被实际录用时的结果预测为中心来进行显示；以及第三画面(图13)，以相应面试影像中的应聘者在执行实际业务时的结果(或考核)预测为中心来进行显示。

可根据用户的输入来在上述影像层L1显示面试影像。

根据用户的输入，在上述类别层L3改变评价结果类别并转换提供画面。类别层L3的“影像评价”相当于用于提供针对相应面试影像的评价的画面。优选地，用于显示通过上述共同模型及影像评价结果预测模型的工作产生的录用推荐、好感度、专注度、可靠感等的与社交能力相关的评价结果的画面相当于“影像评价”。

在选择“影像评价”的图11中，在自动评价结果层L4显示与上述影像评价结果相关的评价预测结果(L4.2及L4.3)。优选地，上述自动评价结果层可包括综合评价层L4.1，以根据上述影像评价结果已学习的一个以上的详细评价模型及根据上述录用评价结果已学习的一个以上的详细评价模型的评价值为基础来显示针对面试影像的综合评价结果。

通过提供如上所述的信息，要进行录用的企业方可在进行网上面试时无需一一确认面试影像也能够直观地接收相应面试影像中的与社交能力相关的评价。

优选地，图11所示的L4.3相当于针对相应面试影像本身的评价要素。

图12示出本发明一实施例的基于评价结果提供部1500的工作的用户终端中的显示画面的一例。

图12为示出在L4.5显示上述评价模型根据相应面试影像预测的相应应聘者在接受录用评价时的结果值的画面，例如显示与应聘动机、挑战精神、专业性、协作性、企业人才标准符合程度中的一种以上相关的自动评价结果。如上所述，本发明的评价模型根据面试影像提供应聘者实际进行线下面试等来最终得到录用评价结果时的预测结果，由此提供难以通过网上面试得到确认的相应企业的实际录用评价时的评价预测，要进行录用的企业可有效进行网上面试。

优选地，图12所示的L4.4相当于与根据相应面试影像推导的实际录用结果相关的预测要素。

图13示出本发明一实施例的基于评价结果提供部1500的工作的用户终端中的显示画面的一例。

图13为示出在L4.6显示上述评价模型根据相应面试影像预测的相应应聘者在被实际录用并接受业务评价时的结果值的画面，例如显示与工作诚实度、管理能力、业务能力、综合考核中的一种以上相关的自动评价结果。如上所述，本发明的评价模型根据面试影像提供假设应聘者被实际录用时接受考核评价等针对业务能力的评价时的预测结果，由此提供难以通过网上面试得到确认的相应企业的实际业务中的评价预测，要进行录用的企业可有效进行网上面试。

优选地，图13所示的L4.5相当于与根据相应面试影像推导的实际业务评价相关的预测要素。

面试影像自动评价模型学习方法、系统以及计算机可读介质

图14简要示出本发明一实施例的提供面试准备服务或针对受评价人员的面试影像提供自动评价结果的整体系统形态。在图14所示的系统中，通过自动化方式从会员终端接收面试影像，可向会员终端或已连接的机构终端提供通过已机器学习的评价模型来针对面试影像形成的与软能力等相关的自动评价结果。可基于如上所述的评价模型来收集很多面试影像。

图14所示的服务器系统还能够以在会员终端看到针对自己的面试影像形成的自动评价并由此做出改善的形态使用，或者还可用作应聘者对于特定机构进行实际网上面试的系统。在此情况下，可向机构的终端发送从会员终端接收的面试影像等的面试结果。

并且，图14所示的服务器系统可用作通过由评价人员终端进行连接来输入评价信息的形态。在此情况下，服务器系统的评价模型学习部可基于从评价人员终端输入的评价信息来使自动评价模型进行学习及得到改善。

如上所述，图14所示的服务器系统可执行如下的综合功能，即，可向机构终端、评价人员终端及会员终端中的一个发送针对从会员终端接收的面试影像的结果等，可向机构终端发送从评价人员终端接收的评价结果，或者可基于评价结果改善服务器系统的自动评价模型。

以下，以从一个以上的评价人员终端接收评价结果并基于所接收到的评价结果来使服务器系统的评价模型进行学习的方法为中心，对本发明的服务器系统进行说明。

图14中的会员终端、评价人员终端及机构终端相当于上述的用户终端，服务器系统2000可相当于设置有一个以上的处理器及一个以上的存储器的计算装置。

会员终端、评价人员终端及机构终端可通过浏览器程序连接到上述服务器系统2000，或者可通过专用应用程序连接到服务器系统2000。

会员终端、评价人员终端及机构终端可通过用户各自的账号登录到上述服务器系统2000并利用上述服务器系统2000的服务。

会员终端、评价人员终端及机构终端可分别通过不同形态的账号登录到上述服务器系统2000，例如，可通过会员(或者应聘者)类型的账号、评价人员类型的账号以及机构类型(要进行录用的企业等)的账号进行登录。

以下，将更详细说明服务器系统2000的结构。

在实际进行网上面试的情况下，上述会员终端还可相当于实际应聘企业招聘等的应聘者终端。

图15简要示出本发明一实施例的服务器系统2000的内部结构。

本发明的服务器系统2000可提供可提高普通应聘者的与网上面试相关的面试技巧的培训服务。简单地来讲，可通过从上述会员终端接收面试影像并提供与之相关的评价信息，上述会员终端的用户可接收到针对自己的面试影像的反馈。

或者，本发明的服务器系统2000还可用作实际与企业进行网上面试的系统。例如，应聘者还可通过会员终端向服务器系统传送面试影像，服务器系统还可向机构终端提供所接收的面试影像和/或自动的评价信息等。

或者，本发明的服务器系统2000可执行对于在以上两个应用例中使用的用于自动生成评价信息的评价模型进一步进行改善的工作。

另一方面，在物理层面上，本发明的服务器系统可形成包括多个服务器的形态，而不是单个服务器。例如，可使得评价模型学习部2530由单独的物理服务器构成。并且，数据库2600中所包括的评价模型2660也可由单独的服务器构成。

提问套系设定部2100根据用户的输入来构成提问套系。

优选地，分步骤输入与用户所要应聘的机构相关的信息，上述服务器系统2000向用户提供与相应机构的信息相对应的多个提问(企业或企业类面试中已出题或可能出题的提问)。优选地，上述提问套系设定部2100向用户提供可按步骤输入机构的种类(例如，企业、公共机构等)、企业的名称(例如，三星电子、韩国银行)、职位(例如，软件岗、管理岗)的界面。

上述服务器系统2000存储有与对应于各个企业、职位等应聘信息的多个提问相关的信息，根据用户的输入来提供相应的提问列表。

之后，用户在整个提问套系中选择自身想要测试的多个提问，从而可生成提问套系。

或者，若服务器系统执行实际网上面试，则提问套系设定部2100将基于与应聘者所要应聘的企业相关的提问列表来生成提问套系。

之后，后述的面试影像存储部2200依次或随机提取提问套系的提问并向会员终端传送，用户在通过会员终端了解掌握相应提问之后，在会员终端中记录下相应的回答影像，由此向服务器系统2000进行传送。面试影像存储部2200的工作可与参照图4说明的面试影像存储部1200相对应。

另一方面，提问套系可不采用如上所述的方式，而是初期已有大部分的企业有可能提问的共同提问套系，或者还可在没有用户的详细输入的情况下在存储于服务器系统2000的提问中随机提取提问来构成提问套系。或者，若在用户不对提问套系进行设定的情况下直接运行面试影像存储部2200的功能，则生成基于预设规则的提问套系或基于预设规则的提问。

或者，在服务器系统2000实际执行网上面试的情况下，提问套系设定部2100将基于向应聘者所要应聘的企业分配的信息来生成提问套系。

面试影像存储部2200向用户终端发送预设的提问套系中的一个以上的提问信息，从上述用户终端接收并存储对上述提问信息做出回答的面试影像。其中，面试影像存储部的存储应得到最广义的解释，即，不仅包括存储于数据库的普通存储装置(例如，硬盘驱动器(HDD))的形态，还包括以可再生的程度进行高速存储的情况。

上述提问信息可通过提问文本、提问声音以及提问影像中的一种以上的形态来实现。

具体地，上述面试影像存储部2200向用户终端提供用于将基于提问信息的提问显示或再生在终端的界面，从用户终端接收通过设置于用户终端的摄像头及麦克风拍摄的面试影像，来与针对相应面试影像的标识符一同存储在数据库2600。

上述面试影像评价部2300通过利用机器学习的评价模型来生成针对上述面试影像的自动评价信息。

即，服务器系统2000在接收上述面试影像后利用评价模型来自动执行评价，由此生成自动评价信息。自动评价信息可包含以下内容中的一种以上：与面试相关的综合评价要素，包含好感度、专注度、可靠感、活力、沉着、沟通能力、对视、亲切感、是否使用口头禅及愉快感中的一种以上；性格特征，包含开朗、诚实、外向、亲和及敏感中的一种以上；以及定量信息，与视线处理、头部动作、声音高低、声音大小及情绪中的一种以上的态度特征相关。

优选地，上述评价模型包括一个以上的基于深度学习已学习的人工神经网络模块。上述评价模型可相当于综合利用已学习的人工神经网络模块和基于预设规则的评价模块的形态。如上所述的面试影像评价部2300可相当于参照图5说明的面试影像评价部1300。

上述评价结果提供部2400将基于上述自动评价信息来向用户终端提供自动评价结果。具体地，上述评价结果提供部2400向上述会员终端传送自动评价信息或对上述自动评价信息进行加工的形态的数据(与实现反映出自动评价信息的界面相关的数据)，将根据用户的选择来在会员终端的浏览器及专用应用程序显示多种评价信息。

优选地，上述评价结果提供部2400包括：综合评价提供部2410，提供与面试相关的综合评价要素，上述与面试相关的综合评价要素包含好感度、专注度、可靠感、活力、沉着、沟通能力、对视、亲切感、是否使用口头禅及愉快感中的一种以上；性格特性提供部2420，提供性格特征要素，上述性格特征要素包含开朗、诚实、外向、亲和及敏感中的一种以上；以及帧级分析提供部2430，按照面试影像的部分单位提供与视线处理、头部动作、声音高低、声音大小及情绪中的一种以上的态度特征等相关的要素。

上述帧级分析提供部2430可按照面试影像的部分单位提供特性评价信息，例如，基于帧、帧区间、时间、时间区间。术语“帧级分析提供部”中的帧并不是指单一帧，应理解为意味着面试影像的部分单位。

若在会员准备面试的情况下使用上述服务器系统，则向会员终端传送在上述评价结果提供部2400导出的自动评价结果，若通过使会员终端实际起到应聘者的终端的作用来进行与录用等相关的网上面试，则可向要进行录用等的机构终端传送自动评价结果。

本发明的基本工作为提供针对从会员终端接收的面试影像的自动评价服务。

另一方面，在本发明一实施例中，服务器系统还可用于使评价模型进行学习。如上所述的功能由评价信息管理部2500执行。即，评价信息管理部2500执行使得针对受评价人员的面试影像提供自动评价结果的评价模型进行学习的方法。

上述评价信息管理部2500包括：评价信息收集部2510，针对相应的面试影像，收集多个评价人员的评价信息；可信度计算部2520，根据多个上述评价人员的评价信息计算针对多个评价人员的可信度信息；以及评价模型学习部2530，利用所计算出的上述可信度信息及上述评价信息来使上述评价模型进行学习。

可向上述机构终端提供通过上述评价信息收集部2510收集的评价信息，更优选地，可用于通过上述评价模型学习部2530使评价模型进行学习。

更优选地，本发明可通过评价结果提供部的工作来确保多种面试影像，可对此通过评价模型学习部2530进一步改善评价模型。

评价模型学习部2530基于上述评价人员的评价信息来使利用上述机器学习的评价模型进行学习。即，若作为评价人员的人针对相应面试影像进行评价，则向机构终端或会员终端提供，不仅如此，在本发明中，将利用评价人员的评价信息来进一步加强评价模型。

会员可通过利用如上所述的评价信息管理部2500来接收更实际的面试评价，服务器系统2000可通过利用在这过程中生成的数据来可产生自动持续改善评价模型的性能的效果。

另一方面，可在上述服务器系统2000的数据库2600存储有从会员终端接收的面试影像2610、在面试影像评价部2300中针对相应面试影像产生的自动评价信息2620、由上述评价信息收集部2510收集的评价信息2630和/或评价人员的可信度信息、其他用户信息2640及作为与提问相关的信息的提问套系2650以及用于使上述面试影像评价部2300对面试影像进行评价且通过上述评价模型学习部2530进行追加学习的评价模型。

除了所示的结构要素之外，图15所示的服务器系统2000还可包括多个其他要素，但为了便于进行说明，仅示出了本发明的多个实施例的与进行网上面试、提供面试准备服务以及评价模型学习相关的多个结构要素。

图16简要示出本发明一实施例的基于提问套系设定部2100的执行结果的用户终端中的显示画面。

优选地，可对每个会员的账号生成及管理提问套系。图16的(A)部分示出基于提问套系设定部2100的会员终端的初始显示画面。

图16的(A)部分显示了已生成或初期提供的提问套系的信息。上述提问套系的信息可包括相应提问套系的提问、提问套系的识别信息以及提问套系的生成日期。并且，如第一框所示，可显示用户可生成提问套系的界面要素，如第二框所示，可随机生成提问套系，可直接显示使得面试影像存储部2200运行的界面要素。

图16的(B)部分示出用户在通过上述提问套系设定部2100提供的会员终端的如(A)部分所示的画面中输入第一框时的画面。

如在图16的(B)部分的上层所示，用户可对大类(机构种类)、中类(机构的名称)以及小类(机构中的职位)进行选择。

之后，在图16的(B)部分的中间层，可对提问库及自己制作的提问进行选择，若选择提问库，则将显示根据用户所选择的大类、中类及小类的已存储于服务器系统2000的多个提问。

其中，用户可在对于多个提问进行输入(例如，点击)的过程中在当前要设定的提问套系增加提问，如上所述，可通过在左侧层显示增加的提问来使得用户轻松设定将自身所要练习的多个提问包含在其中的提问套系。

若本发明的服务器系统2000执行实际网上面试，则上述提问套系设定部不提供如图16所示的界面，按照预设的规则向会员终端提供对于所要应聘的相应机构设定的多个提问。

图17简要示出本发明一实施例的基于评价结果提供部2400的综合评价提供部2410的执行结果的用户终端中的显示画面。

上述评价结果提供部2400可根据在会员终端、评价人员终端及机构终端等进行的输入来向会员终端提供多种评价画面。图17示出提供综合评价的画面(用户输入图17中的L3的AI综合的情况)。

根据上述评价结果提供步骤提供的用户终端中的显示要素包括：影像层L1，可再生上述面试影像；影像信息层L2，可显示针对上述面试影像的识别信息、日期、说明信息等；类别层L3，可在2种以上的评价结果类别中进行选择；以及自动评价结果层L4、L5、L6，显示与上述2种以上的评价结果类别中所选择的评价结果类别相关的自动评价结果。

可根据用户的输入来在上述影像层L1显示面试影像。

根据用户的输入，在上述类别层L3改变评价结果类别并转换提供画面。类别层L3的“AI综合”是指通过综合评价提供部2410提供评价结果，“性格特性”是指通过性格特性提供部2420提供评价结果，“帧级分析”是指通过帧级分析提供部2430提供评价结果。

即，通过上述评价结果提供步骤提供的用户终端中的画面包括：第一画面(通过综合评价提供部2410或性格特性提供部2420显示的图17、图18所示的画面)，显示与针对整个上述面试影像的评价相关的要素；以及第二画面(通过帧级分析提供部2430显示的图19至图22所示的画面)，显示与上述面试影像的部分单位的评价相关的要素。

将在图17中的自动评价结果层(可与L4、L5、L6相对应)显示多个评价信息，将显示基于上述自动评价信息的评价信息。

多个上述评价信息包括：定量数值，与好感度、专注度、可靠感、活力、沉着、沟通能力、对视、亲切感、是否使用口头禅及愉快感中的一种以上相关；综合评价分数、等级信息及推荐指数，基于上述定量数值形成；以及文本评价信息，基于多个上述评价信息来自动制作。

图18简要示出本发明一实施例的基于评价结果提供部2400的性格特性提供部2420的执行结果的用户终端中的显示画面。

上述评价结果提供部2400可根据在会员终端进行的输入来向会员终端提供多种评价画面。图18示出根据在会员终端进行的输入来提供性格特性评价的画面(用户输入图18中的L3中的性格特性的情况)。

通过上述评价结果提供步骤提供的用户终端中的显示要素包括：影像层L1，可再生上述面试影像；影像信息层L2，可显示针对上述面试影像的识别信息、日期、说明信息等；类别层L3，可在2种以上的评价结果类别中进行选择；以及自动评价结果层L7，显示与在上述2种以上的评价结果类别中所选择的评价结果类别相关的自动评价结果。

将在图18中的自动评价结果层L7显示多个评价信息，将显示基于上述自动评价信息的评价信息。

多个上述评价信息可包含与开朗、诚实、外向、亲和及敏感中的一种以上的性格特性相关的定量信息或等级信息。

图19简要示出本发明一实施例的基于评价结果提供部2400的帧级分析提供部2430的执行结果的用户终端中的显示画面。

基于用户的输入的通过上述评价结果提供部2400的帧级分析提供部2430显示的用户终端中的画面的一实施例的显示要素包括：影像层L1，可再生上述面试影像；影像信息层L2，可显示针对上述面试影像的识别信息、日期、说明信息等；类别层L3，可在2种以上的评价结果类别中进行选择；以及自动评价结果层L7，显示与上述面试影像的部分单位的评价相关的要素。

如图19所示，在上述影像层L1显示面试影像以及用于表示面试影像的时间或帧的位置的影像时间点要素E1，在上述自动评价层L7显示以曲线图的形式表示与基于面试影像的时间或帧的评价要素相关的定量数值的曲线图要素以及表示上述曲线图要素的时间或帧位置的曲线图时间点要素E2。

将在图19中的自动评价层L7显示基于时间或帧的进程的评价指标的曲线图，由此，可判断自己是否整体上一贯地维持相应评价指标，或在哪个时间点出现问题，或在哪个时间点表现很好等。

其中，在根据在用户终端进行的输入来改变上述影像时间点要素的情况下，例如，在用户通过点击影像时间点要素E1来进行拖拽的情况下，能够以与上述影像时间点要素E1的变化相对应的方式使上述曲线图时间点要素E2发生改变。

或者，在根据在用户终端进行的输入来改变上述曲线图时间点要素E2的情况下，能够以与上述曲线图时间点要素E2的变化相对应的方式使上述影像时间点要素E1发生改变。

例如，若用户在自动评价层L7中的特定区间内的相应评价指标不稳定，则将曲线图时间点要素E2移动到相应区间。在此情况下，上述影像层中的影像时间点要素E1将移动到与已经移动的上述曲线图时间点要素E2的位置相对应的时间点或帧位置，用户可通过在该状态下输入影像播放来直接了解掌握在相应区间内的自己的影像。

图19的(A)部分及(B)部分例示性地示出曲线图时间点要素E2和影像时间点要素E1的联动过程。如图19的(B)部分所示，在使曲线图时间点要素E2移动到特定位置的情况下，上述影像时间点要素E1将移动到与上述曲线图时间点要素E2的位置相对应的位置。

图20简要示出本发明一实施例的基于评价结果提供部2400的帧级分析提供部2430执行视线处理结果提供的用户终端中的显示画面。

通过上述的面试影像评价部2300导出的上述自动评价信息可包括面试影像的多个帧中的用户视线的多个位置信息。

即，上述面试影像评价部2300将以将用户的眼部图像信息等考虑在内的方式导出与帧级或特定时间区间级视线的位置相关的信息。

之后，评价结果提供部2400的帧级分析提供部2430可根据用户的输入来执行视线处理结果的提供，由此提供的用户终端中的显示要素可包括基于在自动评价层L7示出的时间区间或帧区间的视线的位置、变动量或视线处理的适合性程度。

优选地，通过上述视线处理结果的提供来显示的画面可包括：视线信息层L8，显示视线处理的累积结果；以及视线信息说明层L9，显示与视线处理结果相关的说明。

如图20所示，在上述视线信息层L8中，可在直接或间接表示视线中心的背景层重叠显示多个图像元素，多个上述图像元素根据上述用户的视线的多个位置信息来确定上述背景层中的位置。

根据如上所述的方式，用户可通过自动评价层L7确认基于时间的视线的变化信息，同时可通过视线信息层L8确认自己的视线平均位于哪个位置。并且，还可产生如下的效果，即，用户可在自动评价层L7确认视线变动严重的帧或时间点，若据此使曲线图时间点要素E2移动到相应时间点的位置，则影像层L1中的影像时间点要素E1将自动移动到相应位置，用户可仅通过点击影像再生按钮来快速了解掌握视线变动严重时的自己的样貌。

图21简要示出本发明一实施例的基于评价结果提供部2400的帧级分析提供部2430执行头部动作结果提供的用户终端中的显示画面。

通过上述的面试影像评价部2300导出的上述自动评价信息可包含面试影像的多个帧中的与用户的头部动作程度相关的信息。

即，上述面试影像评价部2300将以将用户的头部图像信息等考虑在内的方式导出与帧级或特定时间区间级头部动作的程度相关的信息。

之后，评价结果提供部2400的帧级分析提供部2430可根据用户的输入来执行头部动作结果的提供，由此提供的用户终端中的显示要素可包括基于在自动评价层L10示出的时间区间或帧区间的头部的平均位置、头部的平均高度或头部动作的程度。

根据如上所述的方式，用户可通过自动评价层L10确认基于时间的与头部动作相关的信息。并且，还可产生如下的效果，即，用户可在自动评价层L10确认头部动作严重的帧或时间点，若据此使曲线图时间点要素E2移动到相应时间点的位置，则影像层L1中的影像时间点要素E1将自动移动到相应位置，用户可仅通过点击影像再生按钮来快速了解掌握头部动作严重时的自己的样貌。

图22简要示出本发明一实施例的基于评价结果提供部2400的帧级分析提供部2430执行情绪结果提供的用户终端中的显示画面。

评价结果提供部2400的帧级分析提供部2430可根据用户的输入来执行针对情绪变化的结果的提供，由此提供的用户终端中的显示要素可包括情绪层L11，上述情绪层L11包含基于时间区间或帧区间的情绪曲线图。

可在上述情绪层L11显示基于时间区间或帧区间的各种情绪，例如，生气、畏惧、惊恐等的程度。

优选地，以用不同颜色表示各种情绪的方式在情绪层L11显示曲线图，并标注各种情绪的颜色。

将在情绪综合层L12显示与整个影像的情绪要素相关的信息，优选地，如图22所示，根据图像要素来显示各种情绪要素的比例。

通过如上所述的用户界面，用户可确认在面试过程中自己给对方呈现出带有何种情绪的样貌，同样，还可产生如下的效果，即，用户可在情绪层L11确认特定情绪强或差的帧或时间点，若据此使曲线图时间点要素E2移动到相应时间点的位置，则影像层L1中的影像时间点要素E1将自动移动到相应位置，用户可仅通过点击影像再生按钮来快速了解掌握特定情绪强或差时的自己的样貌。

图23简要示出与本发明多个实施例的评价模型学习相关的多个步骤。

参照图15说明的面试影像评价部2300将利用服务器系统2100的一个以上的评价模型来生成自动评价信息。另一方面，上述一个以上的评价模型可包括一个以上的已机器学习的评价模块，图17中的对于好感度、专注度、可靠感、活力、沉着、沟通能力、对视、亲切感、无(NO)口头禅、愉快感的评价和图18中的对于开朗、诚实、外向、亲和、敏感的评价以及图22中的对于情绪的评价相当于基于已机器学习的评价模块导出的自动评价结果。

以下，对进一步改善已机器学习的评价模块的方法进行说明。

本发明一实施例的使得针对受评价人员的面试影像提供自动评价结果的评价模型进行学习的方法可在设置有一个以上的处理器及一个以上的存储器的服务器系统2000中执行。在本发明一实施例中，可在图15所示的服务器系统2000的评价信息管理部2500中执行。

如上所述的评价模型学习方法包括：面试影像存储步骤S20、S21、S22，向用户终端发送预设的提问套系中的一个以上的提问信息，从上述用户终端接收并存储对上述提问信息做出回答的面试影像；提供步骤S23，向评价人员终端提供上述面试影像；评价信息收集步骤S24，针对相应的面试影像，收集多个评价人员的评价信息；可信度计算步骤S25，根据多个上述评价人员的评价信息计算针对多个评价人员的可信度信息；评价模型学习步骤S26，利用所计算出的上述可信度信息及上述评价信息来使上述评价模型进行学习；评价结果提供步骤S27，通过已学习的上述评价模型导出针对面试影像的自动评价结果；以及评价结果提供步骤S28、S29，向会员、评价人员等的用户终端传送包含自动评价结果的评价结果。

上述面试影像存储步骤S20、S21、S22可通过图2中的面试影像存储部2200来执行。

向评价人员终端提供上述面试影像的提供步骤S23、针对相应的面试影像收集多个评价人员的评价信息的评价信息收集步骤S24可通过图2中的评价信息收集部2510执行。评价信息收集部2510可形成以没有步骤S23的方式从评价人员终端收集评价信息的形态。

根据多个上述评价人员的评价信息计算针对多个评价人员的可信度信息的可信度计算步骤S25以及利用所计算出的上述可信度信息及上述评价信息来使上述评价模型进行学习的评价模型学习步骤S26可分别通过图2中的可信度计算部2520及评价模型学习部2530来执行。

通过已学习的上述评价模型导出针对面试影像的自动评价结果的评价结果提供步骤S27以及向会员、评价人员等的用户终端传送包含自动评价结果的评价结果的评价结果提供步骤S28、S29可分别通过图2中的面试影像评价部2300及评价结果提供部2400来执行。

本发明一实施例的上述评价模型学习方法包括如下的评价结果提供步骤，即，针对相应的面试影像，基于上述评价模型来向上述面试影像的拍摄者所要应聘的应聘机构的用户终端提供自动评价结果。如上所述的步骤可相当于图23中的步骤S29。在此情况下，服务器系统2000可起到执行实际网上面试的服务器的作用。

优选地，上述服务器系统2000可包括按照各个应聘机构划分的各个评价模型。即，在存在A企业、B企业、C企业的情况下，针对分别向A企业、B企业、C企业应聘的多个应聘者的面试影像，服务器系统2000将通过不同的评价模型形成自动评价结果并向A企业、B企业、C企业提供。即，各个企业可接收到通过反映出各个企业的人才评价基准的评价模型形成的自动评价结果。

在此情况下，在上述评价模型学习步骤中，上述评价模型将根据与上述应聘机构相对应的评价人员的评价信息来进行学习。

即，对于A企业的评价模型而言，根据A企业的评价人员对于面试影像的评价结果来进行学习或再学习，例如，根据A企业的人事部对于面试影像的评价结果来进行学习或再学习。根据如上所述的方式，本发明的服务器系统2000可产生如下的效果，即，能够以反映出各个企业的人才标准等的方式向人事部提供自动评价结果。

在以如上所述的方式来按照企业使评价模型进行学习的情况下，根据各个企业的多个评价人员的评价信息，评价模型将持续或临时进行学习。在本发明一实施例中，可在存在基础评价模型的情况下，之后按照企业来使评价模型通过服务器系统2000的评价信息管理部2500进行学习。

另一方面，在根据如上所述的各个企业的评价人员的评价信息来使得各个企业的用于导出自动评价结果的评价模型进行学习的情况下，若反映出各个企业的评价人员的偏见，则可造成评价模型的准确度下降。

尤其，将根据各个企业的管理来实现基于各个企业的评价资料形成的评价模型的加强，在此情况下，有可能以与提供服务器系统2000的服务的企业无关的方式独立进行，有可能形成错误学习。

在本发明一实施例中，为了防止产生如上所述的错误学习，在基于多个评价人员的评价结果来使评价模型进行学习的情况下，以在最大限度减少多个评价人员的偏见所造成的影响的情况下基于多个评价人员的临时协商结果的方式使评价模型进行学习。

并且，本发明一实施例的服务器系统2000的运行可将特定企业中的针对多个应聘者的实际网上面试的评价结果用于对是否实际录用多个应聘者进行确定的过程中，同时，还可用于对特定企业的用于针对网上面试导出自动评价结果的评价模型进行改善的过程。之后，特定企业的多个评价人员可在对学习或得到改善的评价模型的自动评价结果进行参考或利用的情况下进行网上面试。

对于本发明的服务器系统的工作而言，只要能够实现本发明的基于评价信息的评价模型学习以及基于已学习的评价模型提供评价结果，则上述图23中的多个步骤的顺序可在详细的多个步骤的顺序方面产生改变。

例如，可在对于多个面试影像执行步骤S22至步骤S26之后，对于之后输入的针对面试影像执行步骤S27及步骤S28。

并且，例如，在本发明的服务器系统中的工作中，可在并不局限在基于之前已学习的评价模型来执行步骤S20、步骤S21、步骤S22、步骤S27、步骤S28的应聘相应企业的应聘者的情况下，收集范围更广的面试影像，之后可通过对所收集到的多个面试影像执行步骤S23、步骤S24、步骤S25、步骤S26来使评价模型进一步进行学习。在此情况下，在本发明的其他实施例中，还可向各个评价人员或评价人员的机构传输在上述步骤S25中所计算出的各个评价人员的可信度信息或对于可信度的反馈信息。如上所述，在评价模型以反映出相应企业的评价人员的可信度及评价信息的方式进行学习之后，通过由相应机构(企业)执行实际网上面试来实际进行步骤S20、步骤S21以及步骤S27，并向相应企业提供步骤S28的结果。

即，图23中的多个步骤仅示出在本发明的服务器系统的运行或利用过程中的多个步骤的顺序方面的一实施例，本发明的范围并不限定于此。

图24简要示出本发明多个实施例的评价信息收集部2510所接收到的评价人员的评价信息的数据形态。

图24的(A)部分示出单个评价项目下的多个评价人员输入的评价信息。

图24的(B)部分示出多个评价项目下的多个评价人员输入的评价信息。即，在本发明一实施例中，如图24的(B)部分所示，上述评价信息可以为多个评价人员根据多个评价项目来由多个评价人员针对相应面试影像分别输入的评价分数。

上述评价信息的一个以上的项目可相当于图17以及图11所示的多种评价项目中的1种以上。服务器系统2000的评价信息收集部2510收集将如上所述的由多个评价人员对单个评价项目或多个评价项目做出的评价分数包含在内的评价信息。

图25示出本发明的多个评价人员的评价信息数据的一例。

在上述可信度计算步骤S25中，根据多个评价人员的评价信息计算针对多个评价人员的可信度信息。例如，假设存在作为相应企业的人事部成员的评价人员A、评价人员B、评价人员C、评价人员D，若针对相同的面试影像及评价项目做出的评价人员A、评价人员B、评价人员C的评价结果与评价人员D的评价结果之间存在很大差异，则有可能评价人员D的评价结果存在错误，或者有可能评价人员D做出了与相应企业的人事部的人才判断基准相去甚远的判断。

因此，在本发明一实施例中，不会直接利用评价人员的评价信息来使评价模型进行学习，而是接收多个评价人员的评价信息，基于多个评价人员的评价信息之间的关系来计算各个评价人员的可信度信息或可信度分数，基于反映出所计算出的可信度分数的评价信息来使评价模型进行学习。

在本发明一实施例中，可信度计算步骤中的可信度信息可包含按照评价人员、评价项目划分的可信度分数。优选地，假设已设定多个评价人员对特定评价项目的评价分数，则在上述可信度计算步骤中，与针对相应面试影像的特定评价项目上的多个评价人员的平均评价分数之间的差越大，可将可信度分数计算得越低。

例如，如图25的(A)部分、(B)部分所示，在评价人员A、评价人员B、评价人员C、评价人员D、评价人员E、评价人员F、评价人员G、评价人员H、评价人员I、评价人员J、评价人员K就特定评价项目对相同的面试影像进行评价的情况下，示出了各个评价人员的评价分数及所有评价人员的评价分数的平均值(平均线)。

图25的(A)部分相当于多个评价人员全部导出较相似的评价分数的情况，图25的(B)部分相当于评价人员E、评价人员H、评价人员J导出与其他评价人员差距较大的评价分数的情况。

服务器系统2000的可信度计算部2520对图25的(B)部分所示的评价人员E、评价人员H、评价人员J或评价人员E的评价信息、评价人员H的评价信息、评价人员J的评价信息计算出相对低的可信度分数，之后，评价信息管理部2500将以反映出如上所述的所计算出的可信度分数的方式使评价模型进行学习。

在本发明的最基本的实施例中，能够以对于与多个评价人员的评价分数的平均值之间的差或该差的平方成比例的方式分别导出多个评价人员的可信度分数。

例如，假设评价人员A、评价人员B、评价人员C、评价人员D、评价人员E对特定项目分别给出88、77、55、70、80的评价分数且可信度对于与评价分数的平均值之间的差的平方成比例，则通过如下的公式如下计算出各自的可信度。

可信度＝1/(评价分数-平均评价分数)

表1

图26简要示出本发明一实施例的可信度计算部2520的多个执行步骤或可信度计算步骤中的多个详细步骤。

图26所示的实施例采用如下方式，即，基于当前确定的多个评价人员的可信度来确定推定分数(Ground Truth)，基于所确定的推定分数和多个评价人员的评价分数来反复进行将可信度更新到预设基准以内的过程。

在步骤S100中，对于特定评价项目导出多个评价人员各自的初始可信度。在如上所述的初始可信度方面，多个评价人员可全部具有相同的值，或者可基于之前的评价结果等来计算。

之后，在步骤S110中，对于特定评价项目应用多个评价人员各自的可信度分数及多个评价人员各自的评价分数来导出推定分数的第一步骤。即，在步骤S110中，通过将当前分配的各个评价人员的可信度分数用于各个评价人员的评价分数来导出单一的推定分数。

优选地，对于评价人员的可信度分数高的评价人员，采用高加权值来导出推定分数。

在上述式中，y

之后，在步骤S120中，执行基于所计算出的上述推定分数(y

在本发明一实施例中，可通过如下的公式来更新可信度分数。

之后，在步骤S130中执行基于在上述第一步骤中当前导出的推定分数和之前导出的一个以上的推定分数来对推定分数是否收敛在预设范围进行判断的第三步骤。

之后，若在上述第三步骤中判断为推定分数收敛在预设范围，则将所计算出的各个评价人员的可信度分数计算成可信度信息，若在上述第三步骤中判断为推定分数未收敛在预设范围，则反复进行上述第一步骤、第二步骤及第三步骤。

可通过多种方法来实现上述可信度分数的计算及推定分数的计算。具体地，还可使用EM-方式的反复最佳化技法等。

例如，假设评价人员A、评价人员B、评价人员C、评价人员D、评价人员E对特定项目分别给出88、77、55、70、80的评价分数且评价人员A、评价人员B、评价人员C、评价人员D、评价人员E的初始可信度相同以及可信度对于与评价分数的平均值之间的差的平方成反比，则可通过如下的公式来在各个计算步骤中计算出如下的多个评价人员的可信度。

可信度＝1/(评价分数-平均评价分数)

表2

图27简要示出本发明一实施例的评价模型学习部2530的工作。

具体地，上述评价模型学习部2530基于多个评价人员的评价信息及多个评价人员的可信度信息来使评价模型再学习并更新成加强的评价模型。

在本发明一实施例中，针对相应评价项目，上述评价信息管理部2500将上述可信度信息中包含的各个评价人员的可信度分数作为加权值来反映到多个评价人员的多个评价分数，从而导出综合评价分数。

之后，评价信息管理部2500基于所导出的综合评价分数及相应面试影像来使上述评价模型对于上述相应评价项目进行学习。

具体地，在评价人员A、评价人员B、评价人员C、评价人员D、评价人员E对特定面试影像的特定项目分别给出88、77、55、70、80的评价分数且根据这些分数导出的各自的可信度为0.006、0.339、0.002、0.035、0.449的情况下，对于相应面试影像的特定项目的学习并不以88、77、55、70、80进行，而是可将对各个分数应用可信度的值作为学习值来进行输入，例如，78.353，即，((88*0.006+77*0.339+55*0.002+70*0.035+80*0.449)/(0.006+0.339+0.002+0.035+0.449))。

或者，在本发明的另一实施例中，还可通过将可信度信息作为加权值来应用于各个评价信息，从而基于各个评价人员的评价信息来使评价模型进行学习。

图28简要示出本发明一实施例的评价信息管理部的内部结构。

图28所示的评价信息管理部2500包括：评价信息收集部2510，针对相应的面试影像，收集多个评价人员的评价信息；可信度计算部2520，根据多个上述评价人员的评价信息计算针对多个评价人员的可信度信息；评价模型学习部2530，利用所计算出的上述可信度信息及上述评价信息来使上述评价模型进行学习；以及评价信息计算部2540，基于上述可信度信息及上述评价信息计算针对相应应聘者的评价信息。

在本发明一实施例中，上述服务器系统可用作执行网上面试的系统。首先，如上所述，评价模型学习部2530基于反映出评价人员的可信度信息的评价信息来使得相应企业的评价模型进行学习。

之后，在上述服务器系统执行网上面试的过程中，通过已学习的上述评价模型导出针对面试影像的自动评价结果，上述评价信息计算部2540将针对多个评价人员的评价信息第二次反映出在可信度计算部2520中所计算出的可信度，从而可计算出针对相应面试影像中的应聘者的综合分数。在一实施例中，上述综合分数可基于反映出所计算出的上述可信度的评价信息来计算，在另一实施例中，对于上述综合分数而言，可基于反映出所计算出的可信度的评价信息及通过上述评价模型所计算出的自动评价信息来计算综合分数。

如上所述的综合分数可由企业方在相应应聘者的面试过程中用作确定是否录用的要素。

本发明一实施例还可形成将由计算机执行的程序模块等的计算机可执行指令包含在其中的记录介质的形态。计算机可读介质可以为可由计算机访问的任意可用介质，包括所有易失性介质、非易失性介质、可移动介质、不可移动介质。并且，计算机可读介质可包括所有计算机存储介质及通信介质。计算机存储介质包括所有由用于对计算机可读指令、数据结构、程序模块或其他数据等的信息进行存储的任意方法或技术来实现的易失性介质及非易失性介质、可移动介质及不可移动介质。通信介质典型地包含计算机可读指令、数据结构、程序模块或载波等调制的数据信号的其他数据或其他传送机制，可包括任意信息传输介质。

虽然通过特定实施例说明了本发明的方法及系统，但其中的结构要素或者工作的一部分或全部可通过使用具备通用硬件结构的计算机系统来实现。

如上所述的本发明的说明仅属于例示，本发明所属技术领域的普通技术人员能够理解，可在不改变本发明的技术思想或必要特征的情况下，可轻松改变成其他具体实施方式。因此，以上记述的多个实施例在所有层面上都属于例示，应理解为不是限定性的。例如，也能够以分散形态形成以单一型说明的各个结构要素，同样，还能够以结合形态形成以分散型说明的多个结构要素。

本发明的范围由所附的发明要求保护范围来体现，而不是以上所述的详细说明，应解释成从发明要求保护范围的含义、范围以及其等同概念导出的所有变更或变形实施方式属于本发明的范围。