以现场空间中的动作识别为基础的满意度调查系统

摘要

本发明涉及以现场空间中的动作识别为基础的满意度调查系统，包括：影像获取部，获取通过上述摄像头装置拍摄的观看者影像，并一同获取上述观看者影像的拍摄信息；满意度提取部，通过从上述观看者影像识别观看者的动作来检测动作信号，提取与所检测到的动作信号相对应的满意度；属性提取部，通过从上述观看者影像或上述观看者影像的拍摄信息提取属性值，来以所提取的属性值设定相应满意度的属性；以及统计分析部，通过对上述满意度的多个数据进行统计分析来计算统计值，组合属性来按属性组合计算统计值。根据本发明，通过使观看者在出口通过简单的身体动作表示满意度并对此进行分析，来减少满意度调查所占的时间及费用并提高观看者的参与度。

说明书

技术领域

本发明涉及在从景区、展厅等的观看现场空间走出来的观看者在出口前通过手势、身体动作等动作进行评价的情况下通过视频摄像头拍摄相应动作并进行识别来对观看者的满意度进行调查的以现场空间中的动作识别为基础的满意度调查系统。

尤其，本发明涉及通过对由视频摄像头拍摄的观看者的外貌图像进行分析来提取性别、年龄等的观看者的特征并按所提取的特征对观看者分组来进行分组满意度调查的以现场空间中的动作识别为基础的满意度调查系统。

背景技术

近来，随着生活水平的提高，各种演出、展会、博览会等的举办次数日益增多，观看者也日趋增加。通常，观看者在选择演出或展会时，会借助先去观看的人的口碑或评价来决定是否去观看。

因此，为了招揽更多观看者、为了找到日后的改善之处，演出的主办方需调查观看者的满意度，并提供调查结果。

即，为了通过使服务提供方(企业、组织、个人、公共机构等)掌握服务利用者的满意度来改变或改善观看服务并由此确保竞争优势，因而对观看服务进行满意度调查。

以往，通过对结束观看的观看者进行问卷调查来实施了满意度调查。但是，由于观看者的参与度低而很难实现满意度结果的数值化。作为一例，通过在观看现场放置问卷，并请求观看者参与问卷调查。在此情况下，手动进行的问卷调查会因答卷过程而引起时间浪费等的情况，由于这种原因，观看者参与到调查的参与度非常低。因此，通过纸张等的问卷进行的满意度调查很难实现全面调查。

并且，还可通过委托满意度调查专业机构来执行满意度调查。在此情况下，为了对调查对象服务进行满意度调查，通常选择多种调查项目并对此进行满意度调查。尤其，可通过直接雇用调查专员来直接进行与观看者之间的面对面调查。但是，这存在委托专业机构的费用相当高且在COVID-19肆虐的局势下不愿意面对面的问题。在此情况下，因费用问题而很难实现全面调查。

并且，如上所述的现有技术的满意度调查无法实时收集或监控结果。即，只有经过根据单独的步骤将通过问卷得到的调查结果或调查员得到的调查结果输入到计算机并整合所输入的资料来分析满意度等的一连串繁琐的步骤，才能够最终确认分析结果。

为了解决如上所述的问题，提出了进行网上满意度调查的技术[专利文献1]。尤其，还提出了通过对满意度调查设置奖励来赋予参与动机的技术[专利文献2]。但是，如上所述的现有技术需使顾客亲自上网后填写问卷，因而很难适用于景区、展厅等的现场。

并且，提出了通过观看者的脸部表情进行观看满意度调查的技术[专利文献3]。但是，每个人的脸部表情各式各样，更多的时候无法根据人的个人性格来使脸部表情和满意度程度相匹配。即，仅通过脸部表情进行满意度分析，这实际上非常困难。

现有技术文献

专利文献

专利文献1：韩国公开专利公报第10-2012-0098149号(2012年09月05日公告)

专利文献2：韩国公开专利公报第10-2015-0114604号(2015年10月13日公告)

专利文献3：韩国公开专利公报第10-2015-0033173号(2015年04月01日公告)

专利文献4：韩国公开专利公报第10-1748579号(2017年06月19日公告)

专利文献5：韩国公开专利公报第10-1865253号(2018年05月31日公告)

发明内容

本发明用于解决如上所述的问题，本发明的目的在于提供在从观看现场空间走出来的观看者在出口前通过手势、身体动作等动作进行评价的情况下通过视频摄像头拍摄相应动作并进行识别来对观看者的满意度进行调查的以现场空间中的动作识别为基础的满意度调查系统。

并且，本发明的目的在于提供通过对由视频摄像头拍摄的观看者的外貌图像进行分析来提取性别、年龄等的观看者的特征并按所提取的特征对观看者分组来进行分组满意度调查的以现场空间中的动作识别为基础的满意度调查系统。

并且，本发明的目的在于提供仅在从由视频摄像头拍摄的图像中识别到动作信号的情况下获取观看者影像并从相应观看者影像分析观看者的特征的以现场空间中的动作识别为基础的满意度调查系统。

用于实现上述目的的本发明涉及通过网络来与在观看空间的出口所设置的至少一个摄像头装置及显示装置相连接的以现场空间中的动作识别为基础的满意度调查系统，本发明的特征在于，包括：影像获取部，获取通过上述摄像头装置拍摄的观看者影像，并一同获取上述观看者影像的拍摄信息；满意度提取部，通过从上述观看者影像识别观看者的动作来检测动作信号，提取与所检测到的动作信号相对应的满意度；属性提取部，通过从上述观看者影像或上述观看者影像的拍摄信息提取属性值，来以所提取的属性值设定相应满意度的属性；以及统计分析部，通过对上述满意度的多个数据进行统计分析来计算统计值，组合属性来按属性组合计算统计值。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，上述属性提取部仅对提取满意度的观看者影像提取属性值。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，上述观看区域由多个区域构成，上述摄像头装置分别设置于整体观看区域的至少一个出口以及各个区域的至少一个出口，上述拍摄信息包含区域信息，上述属性提取部将区域信息设定为属性。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，上述观看者的动作为基于手指的手势，通过张开的手指的数量来区分动作信号，按张开的手指的数量表示满意度的程度。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，上述属性提取部从上述观看者影像中提取观看者的脸部，从观看者脸部的图像提取观看者的年龄及性别，将所提取的年龄和性别的属性值设定为上述满意度的年龄属性及性别属性。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，若在相同的区域内随着时间段进行不同活动，则上述属性提取部利用上述拍摄信息的拍摄时间来设定上述满意度的活动属性，若拍摄时间属于相应活动的时间段，则将相应活动设定为活动属性的属性值。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，上述统计分析部通过组合属性来按所组合的属性计算满意度的统计值。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，每当接收新的满意度数据时，上述统计分析部重新计算统计值来生成实时统计值数据。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，上述以现场空间中的动作识别为基础的满意度调查系统还包括结果输出部，上述结果输出部向上述显示装置传送统计值数据，上述统计值数据包含所计算的满意度统计值的数值数据、表格或图表数据。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统的特征在于，上述以现场空间中的动作识别为基础的满意度调查系统还包括引导部，上述引导部向上述显示装置传送以动作信号表示满意度的引导影像，上述显示装置通过与上述摄像头装置相联动来仅在检测到观看者的情况下输出上述引导影像。

如上所述，本发明的以现场空间中的动作识别为基础的满意度调查系统具有如下的效果，即，通过使观看者在出口通过简单的身体动作表示满意度并对其进行识别及分析来减少满意度调查所占的时间及费用并提高观看者的参与度。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统具有如下的效果，即，可通过以性别、年龄等的外貌特征对由视频摄像头获取的观看者的外貌图像进行分组，来以没有个人信息等的追加提问的方式按组细分满意度，从而可更加精密地进行分析。

并且，本发明的以现场空间中的动作识别为基础的满意度调查系统具有如下的效果，即，仅在识别到由视频摄像头拍摄的图像中的动作信号的情况下获取观看者影像并由此从相应观看者影像分析观看者的特征，从而可减少运算量并提高运算速度。

并且，本发明具有如下的效果，即，在COVID-19肆虐的局势下，通过非面对面调查方式来获得高参与度。

附图说明

图1为用于实施本发明的整个系统的结构图。

图2和图3为示出本发明一实施例的设置有摄像头装置和显示装置的状态的例示图。

图4为示出本发明一实施例的以现场空间中的动作识别为基础的满意度调查系统的结构的框图。

图5为用于对本发明一实施例的在由细分区域构成的观看空间中设置于通行架的摄像头的分组进行说明的例示图。

图6为例示本发明一实施例的手指的手势的图。

图7为示出本发明一实施例的手势的动作信号与满意度之间的对应关系的表格。

图8为示出本发明一实施例的对基于拍摄时间的活动属性进行匹配的对应关系的表格。

图9为示出本发明一实施例的引导影像的例示图。

具体实施方式

以下，根据附图说明用于实施本发明的具体内容。

并且，在对本发明进行说明的过程中，对相同的部分赋予相同的附图标记，将省略其重复说明。

首先，参照图1至图3说明本发明第一实施例的整体系统的结构。

如图1至图3所示，本发明一实施例的整体系统包括：摄像头装置10，由视频摄像头构成；显示装置20，由监视器等的显示器构成；以及分析服务器30，通过从摄像头装置10接收观看者图像来调查满意度。追加性地，还可包括对必要的数据进行存储的数据库40或者由管理人员或观看者等进行使用的智能终端60。并且，智能终端60与分析服务器30可通过网络80进行数据通信。

首先，在观看空间1形成至少一个通行架2，摄像头装置10和显示装置20设置于各个通行架2。

观看空间1为展厅、展览会现场、活动现场、庆典现场、游乐场、咖啡厅、饭店等的设定成规定区域的空间，通行架2是指观看空间1中的多个出入口、出口、通道、区域之间的连接通道等。例如，可在展厅等的观看空间1形成可使观看者出来的出口或出入口，这种出口或出入口将形成通行架2。并且，展厅的观看空间1被划分为多个区域，各个区域具有一定的范围，当从一个区域向其他区域移动时，可形成用于在这些区域之间进行移动的连接通道。这种连接通道也可形成通行架2。

接着，摄像头装置10由用于拍摄观看者70的视频摄像头，将设置于观看空间1。优选地，摄像头装置10设置于出入门、通道、区间之间的连接通道等的通行架2的上端，拍摄靠近通行架2的人或多个观看者的图像。

并且，摄像头装置10通过网络(未图示)与调查服务器30相连接，向调查服务器30传送所获取的观看者图像。在此情况下，优选地，摄像头装置10还一同传送与拍摄时间或地点(区域)等相关的数据。

并且，摄像头装置10通过人体检测传感器或拍摄影像分析等来检测观看者，可在检测到观看者的情况下拍摄并传送影像。

并且，摄像头装置10设置有人体检测传感器(未图示)等，来对观看者70位于标记区间A内的情况进行检测，可仅在由人体检测传感器检测到观看者的情况下(即，标记区间内)，驱动视频摄像头来拍摄并获取观看者的图像。

或者，摄像头装置10以对标记区间A内侧范围进行拍摄的方式固定视频摄像头，仅在通过视频摄像头持续获取影像并捕捉到移动的情况下，向调查服务器30传送相应影像。

接着，显示装置20由监视器等的显示器构成，向显示器输出满意度调查引导信息或调查结果信息。并且，显示装置20也通过网络(未图示)与调查服务器30相连接，来与调查服务器30进行数据通信。尤其，显示装置20受到调查服务器30的控制，通过从调查服务器30接收显示信息来在显示器显示所接收的显示信息。

并且，显示装置20从调查服务器30接收满意度调查方法的引导影像，可输出或反复输出所接收的引导影像。尤其，优选地，在显示装置20以与摄像头装置10相联动的方式检测到观看者的情况下，将输出引导影像。

另一方面，优选地，摄像头装置10和显示装置20可形成一个组合，将设置于相同的通行架2。并且，摄像头装置10和显示装置20可通过相同的网络(未图示)来与调查服务器30进行通信。在此情况下，网络(未图示)可由无线保真等的近距离无线通信网构成。

并且，在观看空间1有多个出口或划分为多个区域的情况下，摄像头装置10和显示装置20的组合结构可分别设置于观看空间1的多个位置(或通行架)。

接着，调查服务器30不受观看空间1的内部或外部等的位置限制，将设置于管理人员能够进行整体监控的位置。并且，调查服务器30作为个人计算机(PC)或服务器装置等的具备计算处理功能的装置，可通过有线网络或无线网络与摄像头装置10及显示装置20相连接。尤其，调查服务器60可以是设置于中央管控室或中央控制室等的服务器。

并且，调查服务器30接收并收集由摄像头装置10拍摄的观看者的影像。并且，调查服务器30可通过传送指令来控制摄像头装置10。并且，调查服务器30可通过控制来向显示装置10传送显示信息或显示信息影像并使显示装置10输出显示信息。在此情况下，调查服务器30向显示装置10传送控制指令和显示数据。

具体地，调查服务器30从观看者的影像检测观看者的手势、手部动作、臂膀动作等的动作信号，提取与所检测到的动作信号相对应的满意度(或满意度数据)。

并且，针对检测到动作信号的影像，调查服务器30将推定观看者的特征(或者属性)。即，调查服务器30从观看者的影像推定观看者的性别、年龄等的观看者的特征(或者属性)，将所推定的特征设定成相应满意度的属性(或者属性值)。满意度的属性是指相应满意度的观看者特征(或者观看者属性)。

并且，调查服务器30以拍摄到观看者的影像的时间和地点(位置)来设定相应满意度的测定属性。即，满意度的测定属性由时间段、区域等构成。

并且，调查服务器30通过利用满意度数据以及相应满意度的属性等来分析满意度。

并且，调查服务器30将向显示装置20或者智能终端60传送满意度的分析结果。

接着，智能终端60为管理人员或者观看者使用的移动终端，是指智能手机、平板手机、平板电脑等常规的具有计算功能的移动终端。

智能终端60通过与调查服务器30相连接来利用由调查服务器30提供的满意度分析服务。满意度分析服务为对整体满意度或按各个属性分组的满意度等的统计信息进行浏览的服务。在此情况下，使用人员可选择性地浏览各个属性的满意度。

接着，数据库40可由对个别满意度数据进行存储的调查数据数据库41(DB)和对利用所调查到的满意度数据进行分析的结果进行存储的分析结果数据库42。但是，上述数据库40的结构仅属于优选的一实施例，在开发具体装置的过程中，通过将访问及搜索的便捷性及效率性等考虑在内来根据数据库构建理论构成不同结构。

接着，参照图4来更具体地说明本发明第一实施例的以现场空间中的动作识别为基础的满意度调查系统的结构。如同之前所说明的调查服务器30，本发明的满意度调查系统可由提供调查服务的服务器来体现。

如图4所示，本发明一实施例的以现场空间中的动作识别为基础的满意度调查系统30包括：影像获取部31，获取通过摄像头拍摄的观看者影像；满意度提取部32，从影像提取满意度；属性提取部33，提取满意度数据的属性；以及统计分析部34，对多个满意度数据进行统计分析。并且，追加性地，还可包括用于输出分析结果的结果输出部35或用于输出与满意度调查相关的引导影像的引导部36。

首先，影像获取部31接收并获取由摄像头装置10拍摄的观看者影像。在此情况下，优选地，将一同接收与所获取到的影像的拍摄时间及拍摄场所(或者区域信息)相关的拍摄信息。

摄像头装置10可设置于多个位置。在此情况下，各个摄像头可根据区域被分组。即，可在一个区域形成多个出口或者通行架2，在此情况下，若设置于相同区域的通行架2，则各个位置的摄像头将被设定在相同的组。

在图5所示的例中，将整体区域设为A0，整体区域A0被划分为各个细分区域A1、A2、A3、A4。在此情况下，与整体区域A0相对应的满意度调查将在出口G1、G2进行。并且，与细分区域A1相关的满意度调查将在出口G3、G4进行。并且，与细分区域A3相关的满意度调查将在出口G5、G6、G7进行，与细分区域A4相关的满意度调查将在出口G2进行。在此情况下，将2台摄像头装置10分别从两侧设置于在相邻的2个细分区域之间所形成的出口或者通行架2。例如，从两侧方向分别在出口G4、G5设置共2台摄像头装置10。

接着，满意度提取部32从观看者影像识别观看者的动作来检查动作信号，提取与所检测到的动作信号相对应的满意度。

观看者的动作为基于手指的手势、手部的特定动作、臂膀动作、嘴唇动作等。基于观看者的动作的动作信号以及与各个动作信号相对应的满意度程度将被事先设定。

优选地，如图6所示，观看者的动作为基于手指的手势。以下，以基于手势的动作信号进行说明。

从观看者影像识别手势动作的方法将采用已知的技术[专利文献4]。将省略对此的具体说明。

手势动作将根据张开的手指的数量来被设定动作信号(1～5)。手势动作(或者动作信号)及与之相对应的满意度的互相对应关系将事先被设定。尤其，优选地，以张开的手指的数量来表示满意度的程度。

图7例示了手势与满意度之间的对应关系。即，若张开1个手指，则表示满意度中的“非常不满意”，若张开2个手指，则表示满意度中的“不满意”。并且，若张开4个手指和5个手指，则分别表示满意度中的“满意”、“非常满意”。

接着，属性提取部33利用观看者影像或者观看者影像的拍摄信息来提取属性值(或者观看者属性)，将相应观看者影像的满意度数据的属性设定为相应观看者的属性值。

尤其，属性提取部33仅将检测到动作信号的观看者影像(或者提取满意度的观看者影像)作为对象来提取观看者的属性。即，将排除未检测到动作信号的观看者影像。

优选地，属性提取部33可通过从观看者影像分析观看者的头部、脸部、身高、穿着等来提取观看者的特征(或者属性)。尤其，属性提取部33可采用基于神经网络来提取观看者的特征的现有技术。

优选地，属性提取部33从观看者影像提取观看者的脸部，从观看者脸部的图像提取观看者的年龄及性别。从脸部图像提取观看者的年龄和性别的方法为已知的技术[专利文献5]。因此，省略具体说明。

将年龄和性别等的所提取的属性值设定成满意度数据的属性。即，将从相应观看者影像提取的年龄和性别(属性值)设定成与从相同的影像提取的满意度的数据相关的属性。在此情况下，年龄可按与事先规定的年龄范围相关的分组来设定。例如，年龄分组可按儿童、青少年、成人、老年人等分类的属性来设定。还可将各个属性称为满意度的年龄属性、性别属性。

并且，属性提取部33将根据相应观看者影像的拍摄时间、拍摄位置(或者区域信息)来设定满意度数据的测定属性。即，将相应观看者影像的拍摄时间及区域设定成与从相同的影像提取的满意度的数据相关的属性。还可将各个属性称为满意度的时间属性、区域属性。

并且，属性提取部33可利用时间属性来设定活动属性。即，若在相同的区域内进行特定活动，则可将活动设定为进行相应活动的时间段的属性。

另一方面，若在特定时间段进行特定活动，则可利用拍摄时间来设定活动属性。如图8所示，若在相同的场所或者区域内进行多种活动，则可将该时间段中的满意度调查细分为与相应活动有关的满意度。若没有特定的活动，则可设定基于设置在该场所的游乐设施的活动属性。

接着，统计分析部34将对于多个所提取的满意度数据计算总和或者平均值等的统计值。尤其，优选地，按属性计算统计值。

并且，统计分析部34将以表格或者图表的方式计算统计值。

例如，可通过各区域的平均满意度、性别平均满意度、年龄分组平均满意度、各时间段的平均满意度、区域和性别的平均满意度、区域和性别及年龄的平均分组满意度等的属性组合，来生成多种形态的与满意度(或者平均满意度)有关的统计数据或者相应统计数据的表格和图表。

优选地，每当接收新的满意度数据时，统计分析部34将通过计算统计值来生成实时统计值数据。

接着，结果输出部35将向显示装置20传送所计算的满意度统计值的数值数据或者表格或图表数据(以下称为统计值数据)。

或者结果输出部35将以网页或手机页面的形态生成满意度统计值数据，将根据智能终端60的请求来传送所生成的页面。

尤其，结果输出部35将生成并传送实时统计值数据。因此，各个观看者可实时了解满意度高的区域或活动等，因而可访问人气高的区域。并且，观看者可根据年龄或性别等来访问与自己相同的组喜欢的区域。

接着，引导部36将生成对与动作信号相关的内容等的满意度调查方法进行引导的影像或者图像，将向显示装置20传送所生成的引导影像。图9例示了引导影像的一例。引导影像还可制作成由引导员亲自进行演示的视频。

显示装置20可自动、反复输出引导影像，或能够以与摄像头装置10相联动的方式来在检测到观看者的情况下输出引导影像。

接着，具体说明本发明第二实施例的以现场空间中的动作识别为基础的满意度调查系统的结构。

本发明第二实施例中的结构与之前说明的第一实施例中的结构相同。但是，在本发明的第二实施例中，摄像头装置10和调查服务器30成为一个系统。

具体地，第一实施例中的影像获取部31和满意度提取部32的功能中的一部分功能可由摄像头装置10来实现。即，可仅在由摄像头装置10拍摄观看者影像并从所拍摄的观看者影像检测到动作信号(事先规定的动作信号)的情况下，向调查服务器30传送相应观看者影像和拍摄信息。

以上，根据实施例具体说明了本发明人研究出的发明，但本发明并不限定于本发明的实施例，可在不脱离本发明的主旨的范围内变更为多种实施方式，这是理所当然的。