首页> 中国专利> 机器人管理装置、机器人管理方法以及机器人管理系统

机器人管理装置、机器人管理方法以及机器人管理系统

摘要

本发明提供的服务器装置(4)管理对来访展厅的来访者群组进行服务的引导机器人。服务器装置(4)具有:设施内图像获取部(451),其获取由设置于展厅的顶棚的拍摄部拍摄的展厅内图像;来访者群组确定部(455),其根据展厅内图像来确定来访展厅的来访者群组;群组感情确定部(456),其基于展厅内图像对所确定出的来访者群组的各来访者的感情进行推定,并确定该来访者群组的群组感情;以及机器人移动指示部(457),其基于所确定出的群组感情,向引导机器人输出移动指令,以使引导机器人向来访者群组的近旁移动。

著录项

  • 公开/公告号CN112238454A

    专利类型发明专利

  • 公开/公告日2021-01-19

    原文格式PDF

  • 申请/专利权人 本田技研工业株式会社;

    申请/专利号CN202010642903.5

  • 申请日2020-07-06

  • 分类号B25J9/16(20060101);B25J11/00(20060101);G06K9/00(20060101);

  • 代理机构21212 大连东方专利代理有限责任公司;

  • 代理人李银姬;李馨

  • 地址 日本东京都港区南青山2丁目1番1号

  • 入库时间 2023-06-19 09:36:59

说明书

技术领域

本发明涉及一种机器人管理装置、机器人管理方法以及机器人管理系统。

背景技术

近来,作为解决人手不足的手段之一,提出了关于使用引导机器人的机器人控制系统的各种技术(参见例如专利文献1)。在专利文献1中记载的机器人控制系统中,引导机器人(交流机器人)向来访者例如介绍展品、指引展示会场。

但是,在来访设施的来访者中,有希望和设施方进行交流的,也有不希望进行交流的。另外,以群组来访设施的情况较多。作为设施方面,希望对这些人(群组)进行适当的接待,期望一种利用有限的引导机器人来实现设施方面对来访者群组进行适当接待的技术。

现有技术文献

专利文献1:特许第6142306号公报(JP6142306B)。

发明内容

本发明一技术方案为派遣对来访设施的来访者群组进行服务的、能够自己行走的引导机器人的机器人管理装置。机器人管理装置具有:设施内图像获取部,其获取由设置于设施的拍摄部拍摄的设施内图像;来访者群组确定部,其根据由设施内图像获取部获取的设施内图像来确定来访设施的来访者群组;群组感情确定部,其基于设施内图像对构成由来访者群组确定部确定出的来访者群组的一个或多个来访者的感情进行推定,并确定来访者群组的群组感情;以及机器人移动指示部,其基于由群组感情确定部确定出的群组感情,对引导机器人输出移动指令,以使引导机器人向来访者群组的近旁移动。

本发明的另一技术方案为管理对来访设施的来访者群组进行服务的、能够自己行走的引导机器人的机器人管理方法。机器人管理方法包括:获取由设置于设施的拍摄部拍摄的设施内图像的设施内图像获取步骤;根据在设施内图像获取步骤中获取的设施内图像来确定来访设施的来访者群组的来访者群组确定步骤;基于设施内图像对构成在来访者群组确定步骤中所确定的来访者群组的一个或多个来访者的感情进行推定,并确定来访者群组的群组感情的群组感情确定步骤;以及基于在群组感情确定步骤中所确定的群组感情,对引导机器人输出移动指令,以使引导机器人向来访者群组的近旁移动的机器人移动指示步骤。

本发明的又一技术方案的机器人管理系统,具有:上述机器人管理装置;拍摄部,其设置于设施,能够与机器人管理装置进行通信;以及引导机器人,其配置于设施,对来访该设施的来访者群组进行服务,能够自己行走且能够与机器人管理装置进行通信。

附图说明

本发明的目的、特征以及优点,通过与附图相关的以下实施方式的说明进一步阐明。

图1是使用构成本发明一实施方式的机器人管理装置的服务器装置的机器人管理系统的概略结构图。

图2是示意地示出构成图1所示的机器人管理系统的引导机器人的立体图。

图3是示出图1所示的机器人管理系统的主要部分结构的框图。

图4是示出图3所示的服务器装置的主要部分结构的框图。

图5是示出由图3的服务器装置的运算部执行的引导机器人派遣处理的一例的流程图。

图6是示出由图3的服务器装置的运算部执行的来访者确定处理的一例的流程图。

具体实施方式

以下参照图1~图6对本发明一实施方式进行说明。本发明一实施方式的机器人管理装置构成机器人管理系统的一部分,该机器人管理系统向来访设施的来访者派遣引导机器人,向来访者提供简单的引导等服务(以下称为机器人派遣引导服务)。

作为提供如上述的机器人派遣向导服务的企业,可以例举零售各种商品的销售店、美术馆、博物馆、画廊和艺术长廊等与美术相关的设施、科学馆、纪念馆、展览会、研讨会等。作为零售各种商品的销售店,可以例举百货商场、超市、专门销售店等。作为专门销售店,可以例举各种专门销售店、汽车销售店等。在以下的实施方式中,对由服务器装置构成机器人管理装置,将该服务器装置设置在汽车销售店,向来访汽车销售店的展厅的来访者派遣配置在该展厅的引导机器人的例子进行说明。

图1是具有构成本发明一实施方式的机器人管理装置的服务器装置4的机器人管理系统100的概略结构图。如图1所示,本实施方式的机器人管理系统100具有拍摄部11、引导机器人3以及服务器装置4。本实施方式的机器人管理装置主要由服务器装置4构成。具有本实施方式的服务器装置4的机器人管理系统100配置有能够在展出展示车辆2的汽车销售店的设施即展厅1自己行走的引导机器人3。然后,由汽车销售店所所有的服务器装置4根据由设置在展厅1的顶棚10的多个拍摄部11各自拍摄的展厅1的图像(以下称为展厅内图像或设施内图像)来确定来访展厅1的来访者群组。更详细地说,服务器装置4根据展厅内图像上映出的来访者各自的面部图像确定各来访者,确定由这些来访者构成的来访者群组。

服务器装置4还根据展厅内图像确定作为所确定的来访者群组的整个群组的感情的群组感情。更详细地说,根据展厅内图像推定所确定出的来访者各自的感情,根据推定出的各感情确定群组感情。引导机器人3根据所确定出的群组感情进行移动以靠近该来访者群组。引导机器人3优先被派遣给相对来说心情不好的来访者群组。

如图1所示,在由三个人的来访者A、B、C构成的友人组101、由两个人的来访者D、E构成的亲子组102来到展厅1的情况下,服务器装置4根据由多个拍摄部11拍摄的展厅内图像确定友人组101和亲子组102的群组感情。

服务器装置4推定构成友人组101的来访者A~C的感情,例如推定为来访者A和来访者B的心情好,来访者C的心情不好时,将友人组101的群组感情确定为“心情较好”。同样,服务器装置4推定构成亲子组102的来访者D、E的感情,例如来访者D(例如父母)的心情好,来访者E(例如孩子)的心情不好时,确定亲子组102的群组感情为“心情较差”。另外,能够根据来访者的举止、行为等推定各来访者的感情。

服务器装置4以向相对心情不好的来访者群组、即亲子组102派遣引导机器人3的方式指示引导机器人3向亲子组102所在的位置移动。向亲子组102所在的位置移动的引导机器人3提供与构成亲子组102的来访者D和来访者E进行交流的服务。例如引导机器人3通过成为来访者E的玩伴、向来访者D询问来访的主要需求、进行简单的介绍等方式来与亲子组102进行交流。

这里,参照图2简单地对引导机器人3进行说明。图2是示意地示出构成图1所示的机器人管理系统100的一部分的引导机器人3的立体图。如图2所示,引导机器人3形成为大致葫芦型,在中间细部302的上方构成头部301,在下方构成躯干部303。引导机器人3形成为头部301比躯干部303略大的大致头身两部分,整体呈可爱、热情的形状。引导机器人3身高为110cm左右。另外,引导机器人3没有手脚。

引导机器人3构成为能够利用设置于躯干部303的下端的行走装置304向前后方向和斜方向等0~360度的任意方向移动。需要说明的是,在这里省略对行走装置304的具体结构的说明。这样,引导机器人3呈头部301比躯干部303略大,且没有手脚的形状,因此形成例如孩子容易拥抱、容易与孩子进行交流的形状。还有,引导机器人3能够利用行走装置304向前后方向和左右方向摇摆,通过使引导机器人3摇摆,来访者容易注意到引导机器人3的靠近等。这样,引导机器人3能够实施容易地与来访者进行交流的动作等。

在引导机器人3的头部301设有在水平方向上长的大致椭圆形的面部305,面部305构成为能够显示引导机器人3的表情、简单的文字图像等。在引导机器人3的面部305显示象征眼睛的一对虚拟眼睛306,面部305构成为能够通过一对虚拟眼睛306表现各种表情。例如能够通过使一对虚拟眼睛306的形状发生变化,表现喜怒哀乐等表情。在面部305还显示象征嘴的虚拟嘴307,通过使一对虚拟眼睛306和虚拟嘴307的形状发生变化,容易了解表情的变化。

还有,引导机器人3构成为一对虚拟眼睛306能够在面部305内的位置移动。引导机器人3通过改变一对虚拟眼睛306在面部305内的位置,来表现移动视线的动作。引导机器人3通过在来访者面前改变一对虚拟眼睛306的位置表现移动视线的动作来吸引来访者的视线。此时,引导机器人3通过与移动视线的动作一起进行旋转动作、摇摆动作等更容易地吸引来访者的视线。

将如上所述构成的引导机器人3向例如亲子组102派遣。被派遣的引导机器人3成为来访者E的玩伴、向来访者D询问来访的主要需求、向来访者D简单地进行介绍。还有,向友人组101派遣引导机器人3,使得容易确定来访者A~C。例如在不能提取友人组101的来访者A~C中任一者的面部图像而不能确定来访者时,向友人组101派遣引导机器人3使来访者A~C的位置、姿势改变,使得拍摄部11容易地拍摄来访者A~C的面部。为了良好地实现这样的在汽车销售店提供的机器人派遣引导服务,本实施方式如下构成具有服务器装置4的机器人管理系统100。

图3是示出图1所示的机器人管理系统100的主要部分结构的框图。如图3所示,拍摄部11、引导机器人3以及服务器装置4与无线通信网、互联网、电话网等通信网络5连接。方便起见,图3中仅示出一个拍摄部11,但如图1所示,实际上有多个拍摄部11。同样,图3中仅示出一个引导机器人3,但还能配置多个引导机器人3。另外,当在展厅1内配置较多引导机器人3时,恐怕会给到场者带来压迫感,并且也增大汽车销售店方面的成本,因此优选引导机器人3的台数较少。

如图3所示,拍摄部11具有通信部111、相机部112、传感器部113、存储部114、运算部115。通信部111构成为能够通过通信网络5与服务器装置4和引导机器人3进行无线通信。相机部112为具有CCD、CMOS等摄像元件的相机,构成为能够拍摄来到展厅1的来访者。传感器部113为动态体检测传感器、人感传感器等传感器,构成为能够检测来到展厅1的来访者在展厅内的位置、动作。相机部112和传感器部113在展厅1的顶棚10配置多个,使得无论来到展厅1的来访者在展厅1内的任何位置都能对其进行拍摄和检测。

存储部114具有未图示的易失性或非易失性存储器。在存储部114存储各种数据、由运算部115执行的各种程序等。例如在存储部114暂时存储相机部112拍摄的展厅内图像和传感器部113检测出的来访者的位置信息。

运算部115具有CPU,基于通过通信部111从拍摄部11的外部接收到的信号和存储于存储部114的各种程序等执行规定的处理,将规定的控制信号向通信部111、相机部112、传感器部113以及存储部114输出。

例如运算部115基于通过通信部111从服务器装置4接收到的信号和规定的程序,向相机部112输出对展厅1进行拍摄的控制信号,并向传感器部113输出对来访者的位置进行检测的控制信号。然后,运算部115输出将拍摄的展厅内图像和检测出的来访者的位置信息通过通信部111向服务器装置4发送的控制信号。通过在运算部115执行的处理,对展厅1内进行拍摄的同时,对来访者的位置进行检测,将展厅内图像和来访者的位置信息发送至服务器装置4。

如图3所示,引导机器人3具有通信部31、输入部32、输出部33、相机部34、行走部35、传感器部36、存储部37、运算部38作为功能性结构。通信部31构成为能够通过通信网络5与服务器装置4和拍摄部11进行无线通信。输入部32具有在维护时等操作的各种开关按钮(未图示)以及能够输入来访者等的声音的话筒(未图示)等。

输出部33具有能够输出声音的扬声器(未图示)和能够显示图像的显示部331。显示部331构成引导机器人3的面部305,在显示部331显示上述一对虚拟眼睛306、文字图像等。显示部331构成为能够显示一对虚拟眼睛306、文字图像等即可,由液晶面板、投影仪和屏幕等构成。

相机部34构成为具有CCD、CMOS等摄像元件的相机,能够对来到展厅1的来访者进行拍摄。相机部34例如设置在引导机器人3的头部301。在头部301设置相机部34,由此变得容易对来访者的面部进行拍摄。还有,从对来访者的面部进行拍摄的观点出发,优选将相机部34设置在引导机器人3的一对虚拟眼睛306的附近。

行走部35由使引导机器人3自己行走的行走装置304构成。行走部35具有电池和马达,构成为利用电池的电来驱动马达行走。行走部35能够使用已知的电动技术来构成。传感器部36具有行走速度传感器、加速度传感器以及陀螺仪传感器等检测引导机器人3的行走和停止状态的传感器、障碍物传感器、人感传感器以及动态体传感器等检测引导机器人3周围的状态的传感器等各种传感器。

存储部37具有未图示的易失性或非易失性存储器。在存储部37存储各种数据、由运算部38执行的各种程序等。在存储部37还暂时存储与来访者的接待内容相关的数据等。例如暂时存储引导机器人3从来访者询问出的主要需求、引导机器人3实施的对来访者的说明等。

在存储部37存储展厅数据库(展厅D/B)371、交流用数据库(交流用D/B)372作为存储器承担的功能性结构的一例。在展厅数据库371存储与配置于展厅1内的展示车辆2、展台等配置相对应的数据。展厅数据库371供引导机器人3在展厅内移动时作为参照。在交流用数据库372存储与引导机器人3和来访者进行交流时执行的声音识别处理、声音输出处理相关的数据等。交流用数据库372供引导机器人3与来访者进行交流时作为参照。

运算部38具有CPU,基于通过通信部31从引导机器人3的外部接收到的信号、通过输入部32输入的信号、由传感器部36检测出的信号以及存储于存储部37的各种程序、各种数据等执行规定的处理,向通信部31、输出部33、相机部34、行走部35以及存储部37输出规定的控制信号。

更详细地说,运算部38基于通过通信部31从服务器装置4接收到的信号和传感器部36检测出的信号,向行走部35和存储部37输出控制信号。由此,向来访者派遣引导机器人3。运算部38还基于通过通信部31从服务器装置4接收到的信号向相机部34和通信部31输出控制信号。由此,拍摄来访者的面部,向服务器装置4发送所拍摄的面部图像。

由此,拍摄来访者的面部,向服务器装置4发送所拍摄的面部图像。

运算部38还基于通过通信部31从服务器装置4接收到的信号向输出部33(显示部331)输出控制信号。由此,使引导机器人3的表情发生变化,使一对虚拟眼睛306的视线发生变化。还有,运算部38基于通过输入部32输入的信号向输出部33和存储部37输出控制信号。由此,引导机器人3可与来访者进行交流。

图4是示出图3所示的服务器装置4的主要部分结构的框图。如图4所示,服务器装置4具有通信部41、输入部42、输出部43、存储部44以及运算部45。服务器装置4能够在云上使用虚拟服务器功能而构成,也能够分散各功能而构成。

通信部41构成为能够通过通信网络5与拍摄部11和引导机器人3进行无线通信(参照图3)。输入部42具有触控面板、键盘等用户能够操作的各种开关和能够输入声音的话筒等。需要说明的是,这里所说的用户是汽车销售店的店员。输出部43具有例如能够显示文字、图像的监视器、能够输出声音的扬声器等。

存储部44具有未图示的易失性或非易失性存储器。在存储部44存储各种数据、由运算部45执行的各种程序等。存储部44具有引导机器人数据库(引导机器人D/B)441、展厅数据库(展厅D/B)442、来访者数据库(来访者D/B)443作为存储器所承担的功能性结构。

在引导机器人数据库441存储在机器人派遣引导服务中使用的引导机器人3的机器人ID等与引导机器人3相关的基本信息和维护信息等。展厅数据库442存储配置于展厅1内的展示车辆2、与展台等配置相关的数据。需要说明的是,展厅数据库442具有与存储于引导机器人3所有的存储部37的展厅数据库371相同的结构。因此,机器人管理系统100还可以构成为具有展厅数据库442和展厅数据库371中的任一个。

来访者数据库443存储来访展厅1的来访者的信息(以下称为来访者数据)。在来访者数据中除了来访者的地址、姓名、年龄、职业、性别等来访者的基本信息外,还包含来访者的面部图像、来访记录等信息。来访记录中除了与来访者的商谈内容外,还包含商谈前的闲谈的内容等。

还有,在由来访者组成群组(以下称为来访者群组)来访的情况下,来访者数据库443将该来访者的来访者数据与该来访者群组的信息(以下称为来访者群组信息)建立对应关系地进行存储。来访者群组信息为能够识别来访者群组的信息。例如在来访者和家人一起来的情况下,将该来访者的来访者数据与能够识别该家庭的信息建立对应关系地进行存储。还有,例如在来访者和友人一起以多人组来访的情况下,将该来访者的来访者数据与能够识别该群组的信息建立对应关系地进行存储。

运算部45具有CPU,基于通过输入部42接收到的信号、通过通信部41从服务器装置4的外部接收到的信号以及存储于存储部44的各种程序、各种数据等执行规定的处理,向通信部41、输出部43以及存储部44输出控制信号。

如图4所示,运算部45具有设施内图像获取部451、机器人图像获取部452、机器人视线指示部453、来访者确定部454、来访者群组确定部455、群组感情确定部456、机器人移动指示部457作为功能性结构。

设施内图像获取部451获取由设置于展厅1内的多个拍摄部11拍摄的展厅内图像。具体地说,设施内图像获取部451通过通信部41输入包含由多个拍摄部11拍摄的展厅1的内部(展示着展示车辆2的空间)的图像的图像数据(包括静态图像数据和动态图像数据)。更具体地说,设施内图像获取部451通过通信部41向多个拍摄部11输出指示拍摄展厅内图像的信号,通过通信部41输入包含多个拍摄部11所拍摄的展厅内图像的图像数据。

机器人图像获取部452获取包含设置于展厅1的引导机器人3所拍摄的来访者的面部图像的图像。具体地说,机器人图像获取部452通过通信部41输入包含引导机器人3所拍摄的来访者的面部图像的图像数据(包括静态图像数据和动态图像数据)。更具体地说,机器人图像获取部452通过通信部41向引导机器人3输出指示拍摄来访者的面部图像的信号,通过通信部41输入包含引导机器人3所拍摄的来访者的面部图像的图像数据。

机器人视线指示部453对引导机器人3的一对虚拟眼睛306的视线方向进行指示。具体地说,机器人视线指示部453通过通信部41向引导机器人3输出用于控制引导机器人3的一对虚拟眼睛306的位置和动作的控制信号。

当通过通信部31从机器人视线指示部453输入上述控制信号时,引导机器人3基于所输入的控制信号对显示部331进行控制,使一对虚拟眼睛306的位置和动作发生变化。即,移动视线。当引导机器人3移动视线时,来访者被引导机器人3的视线吸引,看向引导机器人3的视线方向。这样,能够通过引导机器人3移动视线,吸引来访者的视线,促使来访者的位置或姿势发生变化。例如通过引导机器人3的视线朝向拍摄部11,来访者的视线能够朝向拍摄部11。由此,能够利用拍摄部11拍摄来访者的面部。

来访者确定部454根据设施内图像获取部451获取的展厅内图像确定来访展厅1的来访者。更详细地说,来访者确定部454从展厅内图像中提取出人物,再从提取出的人物中提取(识别)出面部图像。然后,从存储于来访者数据库443的来访者数据中检索具有与提取出的面部图像一致的面部图像的来访者数据,从而确定来访者。当没有具有与提取出的面部图像一致的面部图像的来访者数据时,将提取出的人物的面部图像作为新的来访者的来访者数据存储于来访者数据库443。

还有,来访者确定部454在不能识别从展厅内图像提取出的人物的面部图像,从而判定为不能确定来访者时,向机器人移动指示部457输出控制信号。当输入该控制信号时,机器人移动指示部457指示引导机器人3进行移动,使得向该人物派遣引导机器人3。具体地说,机器人移动指示部457通过通信部41向引导机器人3输出指示移动的信号,使得向该人物派遣引导机器人3。以下称该信号为移动指令。然后,机器人图像获取部452通过通信部41向引导机器人3输出指示拍摄该人物的面部图像的信号。包含引导机器人3拍摄的上述人物的面部图像的图像通过通信部41被输入到机器人图像获取部452,来访者确定部454使用输入到机器人图像获取部452的上述人物的面部图像以与上述相同的方法来确定来访者。

来访者群组确定部455根据设施内图像获取部451获取的展厅内图像来确定来访展厅1的来访者群组。更详细地说,来访者群组确定部455从展厅内图像中提取出多个来访者,根据这些来访者的距离感或面部朝向等,判定这些来访者是否构成群组。例如将超出规定时间保持一定距离的多个来访者确定为来访者群组。还有,例如将相互面对面进行交谈的多个来访者确定为来访者群组。此时,来访者群组确定部455还确定构成来访者群组的来访者的人数。另外,在从展厅内图像仅提取出一个人的来访者时,还可以判定为该来访者构成群组。在这种情况下,来访者群组确定部455将构成来访者群组的来访者的人数确定为1。

来访者群组确定部455还判定来访者确定部454所确定的来访者是否构成来访者群组,并确定来访者群组。更详细地说,来访者群组确定部455提取来访者确定部454所确定的各来访者的、与存储于来访者数据库443的来访者数据建立对应关系的来访者群组信息,根据提取出的来访者群组信息判定各来访者是否构成来访者群组。

群组感情确定部456基于展厅内图像对构成由来访者群组确定部455确定出的来访者群组的一个或多个来访者的感情进行推定,从而确定来访者群组的群组感情。群组感情确定部456确定例如来访者群组是心情好的群组(例如看上去高兴的群组)还是心情不好的群组(例如烦躁、生气的群组)。

群组感情确定部456基于推定出的来访者的感情的比例来确定群组感情。例如群组感情确定部456将群组内心情好的来访者的比例高(心情不好的来访者的比例低)的群组确定为心情好的群组,将心情不好的来访者的比例高(心情好的来访者的比例低)的群组确定为心情不好的群组。即,本实施方式的感情的比例是指群组内的各感情(心情不好、心情好等)的比例。

如图1所示,例如群组感情确定部456在由三个人的来访者A、B、C构成的友人组101和由两个人的来访者D、E构成的亲子组102来访展厅1的情况下,根据多个拍摄部11所拍摄的展厅内图像确定友人组101和亲子组102的群组感情。群组感情确定部456对构成友人组101的来访者A~C的感情进行推定,例如推定为来访者A和来访者B的心情好,来访者C的心情不好时,将友人组101的群组感情确定“心情较好”。同样,群组感情确定部456对构成亲子组102的来访者D、E的感情进行推定,例如推定为来访者D(例如父母)的心情好,来访者E(例如孩子)的心情不好时,将亲子组102的群组感情确定为“心情较差”。

群组感情在构成来访者群组的全体来访者的心情都好时,确定为“心情好”,在心情好的来访者相对较多时,确定为“心情较好”,心情好的来访者和心情不好的来访者为相同程度时,确定为“一般”,心情不好的来访者相对较多时,确定为“心情较差”,全体来访者的心情都不好时,确定为“心情差”。此时,在来访者为孩子的情况下,还可以以重视作为来访者的孩子的感情的方式来确定群组感情。此外,还可以将哪怕只是心情稍微不好的来访者存在的来访者群组确定为“心情较差”。

能够基于来访者的举止、行为等对各来访者的感情进行推定。因此,群组感情确定部456基于从展厅内图像提取出的表示来访者的面部图像、来访者的动作的图像等对来访者的感情进行推定。例如在来访者呈现出生气的面孔的情况下、一会环顾四周一会抖腿等不安的情况下等,群组感情确定部456推定为该来访者的心情不好。另一方面,在来访者呈现出高兴的面孔的情况下、来访者彼此正在交谈的情况下等,群组感情确定部456推定为心情好。另外,在存储部44存储表示预先决定的多个动作(抖腿、谈话的举止等)的图像,群组感情确定部456通过将展厅内图像和那些动作图像进行比较,从展厅内图像提取出表示来访者的动作的图像。

还有,群组感情确定部456基于机器人图像获取部452获取的机器人拍摄图像对来访者群组内的来访者的感情进行推定,并更新该来访者群组的群组感情。群组感情确定部456例如在由于基于展厅内图像不能确定来访者等理由,向来访者群组派遣引导机器人3,由引导机器人3对来访者进行了拍摄的情况下,基于引导机器人3拍摄的来访者的面部图像对该来访者的感情进行推定,基于推定出的感情更新群组感情。

机器人移动指示部457基于由群组感情确定部456确定出的群组感情指示引导机器人3进行移动,以使向来访者群组派遣引导机器人3。具体地说,机器人移动指示部457通过通信部41向引导机器人3输出向来访者群组的近旁移动的指令。

此时,机器人移动指示部457优先由群组感情确定部456确定出的群组感情相对较差的来访者群组,指示向该来访者群组的近旁的移动。例如存在群组感情为“心情差”的来访者群组和群组感情为“心情较差”的来访者群组时,优先群组感情为“心情差”的来访者群组,指示引导机器人3向该来访者群组的近旁的移动。

还有,机器人移动指示部457在由群组感情确定部456确定出的群组感情相同的来访者群组存在多个的情况下,优先人数较少的来访者群组,指示引导机器人3向该来访者群组的近旁的移动。例如机器人移动指示部457在群组感情被确定出为“心情较差”的来访者群组存在两个群组,其中一方的来访者群组由三个人构成,另一方的来访者群组由五个人构成时,优先由三个人构成的来访者群组,指示引导机器人3向该来访者群组的近旁的移动。

进一步地,机器人移动指示部457在来访者确定部454基于展厅内图像判定为不能确定来访者的情况下,指示引导机器人3进行移动,以使引导机器人3被派遣到判定为不能确定的来访者的近旁。例如当输入从来访者确定部454输出的表示不能确定来访者的信号时,机器人移动指示部457指示引导机器人3进行移动,以使引导机器人3被派遣到来访者确定部454从展厅内图像提取出的人物的近旁。

此时,机器人移动指示部457在由来访者确定部454从展厅内图像提取出的人物构成来访者群组的情况下,指示引导机器人3进行移动,以使引导机器人3被派遣到该人物所属的来访者群组的近旁。然后,机器人移动指示部457指示引导机器人3实施使判定为不能确定的来访者变为能够根据由设施内图像获取部451获取的展厅内图像确定那样的促使该来访者的位置或姿势发生变化的动作。更详细地说,机器人移动指示部457指示引导机器人3进行动作,以使判定为不能确定的来访者成为朝向拍摄部11的方向的位置或姿势。

例如机器人移动指示部457在拍摄部11位于引导机器人3的后方的状态下,指示引导机器人3向判定为不能确定的来访者的近旁移动。即,机器人移动指示部457指示引导机器人3进行移动,以使引导机器人3沿着将通过平面视图判定为不能确定的来访者和拍摄部11连接起来的路线移动。当判定为不能确定的来访者注意到靠近的引导机器人3时,看向引导机器人3的方向,因此能够由位于引导机器人3的后方的拍摄部11拍摄来访者的面部。此时,让引导机器人3进行容易引起判定为不能确定的来访者注意的动作即可。这样促使来访者的位置或姿势的改变。

还有,优选通过机器人视线指示部453指示引导机器人3的一对虚拟眼睛306的视线方向来吸引来访者的视线,从而促使该来访者的位置或姿势的改变。具体地说,优选通过使一对虚拟眼睛306的视线方向向拍摄部11的方向移动的动作,将来访者的视线吸引到拍摄部11的方向。此时,机器人移动指示部457还可以向引导机器人3输出指示与视线的移动联动的旋转动作、摇摆动作等的控制信号。由此,引导机器人3在移动视线的同时进行旋转动作等,因此变得容易吸引来访者的视线。需要说明的是,旋转动作是指以铅垂方向为旋转轴的旋转动作、将以来访者为中心的规定距离(例如1m)为半径的旋转动作(绕圈动作)。

图5是示出由图3的服务器装置4的运算部45执行的引导机器人派遣处理的一例的流程图。图5所示的引导机器人派遣处理例如当展厅1开始开馆时开始,实施到闭馆为止。当引导机器人派遣处理开始时,通过在设施内图像获取部451的处理,获取由设置在展厅1的多个拍摄部11拍摄的展厅内图像(设施内图像获取步骤)。需要说明的是,设施内图像获取步骤在实施引导机器人派遣处理的期间,以规定时间(例如10ms)为单位定期地实施。

如图5所示,首先在步骤S1中,执行根据在设施内图像获取步骤中获取的展厅内图像确定来访展厅1的来访者的来访者确定处理(来访者确定步骤)。

图6是示出由图3的服务器装置4的运算部45执行的来访者确定处理的一例的流程图。如图6所示,来访者确定处理首先在步骤S10中,通过在来访者确定部454的处理,从在设施内图像获取步骤中获取的展厅内图像中提取来访设施的人物。接下来,在步骤S11中,通过在来访者确定部454的处理判定是否能够提取出(能够识别)所提取的人物的面部图像。当步骤S11为否定(S11:否)时进入步骤S12,通过在机器人移动指示部457的处理,指示引导机器人3进行移动,以使引导机器人3被派遣到判定为不能提取的人物的近旁。

接下来,在步骤S13中,通过在来访者确定部454的处理,判定是否能够获取判定为不能提取的人物的面部图像。当步骤S13为否定(S13:否)时进入步骤S14,通过在机器人视线指示部453的处理,指示引导机器人3的一对虚拟眼睛306的视线方向,吸引来访者的视线促使来访者的位置或姿势的变化(机器人视线指示步骤)。

接下来,在步骤S15中,通过在来访者确定部454的处理,判定是否能够获取判定为不能提取的人物的面部图像。当步骤S15为否定(S15:否)时进入步骤S16,通过在机器人图像获取部452的处理,使引导机器人3拍摄面部,从而获取判定为不能提取的人物的面部图像(机器人图像获取步骤)。

另一方面,当步骤S11、步骤S13、步骤S15各自均为肯定(S11、S13、S15:是)时,或在步骤S16中获取判定为不能提取(不能确定)人物的面部图像时,在步骤S17中,通过在来访者确定部454的处理,提取(识别)来访者的面部图像。接下来,在步骤S18,通过在来访者确定部454的处理,确定来访者。

当执行来访者确定处理(来访者确定步骤)时,接下来在步骤S2中,通过在来访者群组确定部455的处理,确定在来访者确定步骤中所确定出的来访者。接下来,在步骤S3中,判定所确定出的来访者是否构成来访者群组。当步骤S3为否定(S3:否)时返回到步骤S1。另一方面,当步骤S3为肯定(S3:是)时进入步骤S4,确定来访者群组。以下称步骤S2~S4为来访者群组确定处理(来访者群组确定步骤)。

当执行来访者群组确定处理时,接下来在步骤S5中,通过在群组感情确定部456的处理,对构成来访者群组的来访者各自的感情进行推定(群组感情确定步骤)。接下来,在步骤S6中,通过在群组感情确定部456的处理,基于推定出的来访者各自的感情确定来访者群组的群组感情(群组感情确定步骤)。接下来,在步骤S7中,通过在机器人移动指示部457的处理,根据来访者群组的群组感情指示引导机器人3进行移动,以使引导机器人3被派遣到来访者群组的近旁(机器人移动指示步骤)。

接下来,在步骤S8中,判定是否为展厅1的闭馆时间,当步骤S8为否定(S8:否)时返回到步骤S1,重复步骤S1~S8。另一方面,当步骤S8为肯定(S8:是)时结束处理。

采用本实施方式能够起到如下的作用效果。

(1)管理对来访汽车销售店的展厅1的来访者群组进行接待等服务的能够自己行走的引导机器人3的服务器装置4。服务器装置4具有:设施内图像获取部451,其获取由设置于展厅1的顶棚10的拍摄部11拍摄的展厅内图像;来访者群组确定部455,其基于由设施内图像获取部451获取的展厅内图像来确定来访展厅1的来访者群组;群组感情确定部456,其根据展厅内图像对构成由来访者群组确定部455确定出的来访者群组的一个或多个来访者各自的感情进行推定,并确定该来访者群组的群组感情;以及机器人移动指示部457,其根据由群组感情确定部456确定出的群组感情向该引导机器人3输出移动指令,以使引导机器人3向来访者群组的近旁移动。

采用该结构,使用有限台数的引导机器人3,能够实现汽车销售店方面对来访汽车销售店的展厅1的来访者群组的适当的接待。例如通过优先向相对来说群组感情差(心情不好)的来访者群组派遣引导机器人3,使引导机器人3与该来访者群组进行交流,从而能够改善来访者群组的心情,抑制心情恶化。还有例如通过向被等待了很长时间而心情变差的来访者群组派遣引导机器人3,使引导机器人3与该来访者群组进行交流,从而能够使来访者群组的心情变好,抑制心情进一步恶化。由此,之后进行的汽车销售店的销售人员(例如营业员)等的商谈等接待变得能够顺利地进行。

还有,当在展厅1内配置较多引导机器人3时,恐怕会给到场者带来压迫感,并增大汽车销售店方面的成本。但是,通过根据来访者群组的群组感情派遣引导机器人3,能够利用有限台数的引导机器人3实现与来访者群组的高效的交流。例如通过优先向相对来说群组感情差(心情不好)的来访者群组派遣引导机器人3,能够利用有限台数的引导机器人3实现与来访者群组的高效的交流。

还有,能够使用引导机器人3预先询问来访者群组主要需求,或向来访者群组进行简单的介绍。例如能够使用引导机器人3预先向被等待了很长时间的来访者、预计需要长时间等待的来访者群组询问来访的主要需求等、或向该来访者群组进行简单的介绍。由此,之后销售人员(例如营业员)等能够进行有效的接待。

这样,通过使用本实施方式的服务器装置4,例如能够进行使用有限的引导机器人3的高效且顺利的接待。

(2)群组感情确定部456根据基于展厅内图像推定出的一个或多个来访者的感情的比例来确定群组感情。例如群组感情确定部456将群组内心情好的来访者的比例高(心情不好的来访者的比例低)的群组确定为心情好的群组,将心情不好的来访者的比例高(心情好的来访者的比例)的群组确定为心情不好的群组。由此,例如能够通过简单的结构来确定群组感情。

(3)来访者群组确定部455根据展厅内图像确定构成来访展厅1的来访者群组的来访者的人数。机器人移动指示部457在由群组感情确定部456确定出的群组感情彼此相同的来访者群组存在多个时,向该引导机器人3输出移动指令,以使从人数少的来访者群组开始,优先派遣引导机器人3。在构成来访者群组的人数少的情况下,相互交谈的对象少,因此各来访者的心情容易变差,群组感情容易恶化。因此,越是人数少的来访者群组越需要与引导机器人3的交流。因此,能够通过从人数少的来访者群组开始优先派遣引导机器人3,抑制来访者的心情变差,或使来访者的心情变好。

(4)服务器装置4还具有机器人图像获取部452,该机器人图像获取部452获取由引导机器人3对构成由来访者群组确定部455确定出的来访者群组的来访者进行拍摄的机器人拍摄图像。群组感情确定部456根据由机器人图像获取部452获取的机器人拍摄图像对来访者的感情进行推定,并确定由来访者群组确定部455确定出的来访者群组的群组感情。这样,通过使引导机器人3对来访者进行拍摄,能够准确地拍摄来访者的面部。由此,能够可靠地推定来访者的感情。其结果是,能够更可靠地确定群组感情。还有,在由于派遣引导机器人而来访者的感情发生了变化的情况下,也能够确定与该变化相对应的群组感情。也就是说,能够进行基于来访者的感情变化的群组感情的更新。

(5)管理向来访汽车销售店的展厅1的来访者群组进行服务的能够自己行走的引导机器人3的机器人管理方法。机器人管理方法包括:服务器装置4获取由设置于展厅1的多个拍摄部11拍摄的展厅内图像的设施内图像获取步骤;根据在设施内图像获取步骤中获取的展厅内图像来确定来访设施的来访者群组的来访者群组确定步骤;根据展厅内图像推定构成在来访者群组确定步骤中所确定的来访者群组的一个或多个来访者的感情,从而确定该来访者群组的群组感情的群组感情确定步骤;以及根据在群组感情确定步骤中所确定的群组感情,向引导机器人3输出移动指令,以使引导机器人3向来访者群组的近旁移动的机器人移动指示步骤。

采用该方法,如上述服务器装置4那样,能够使用有限的引导机器人3,实现汽车销售店方面对来访汽车销售店的展厅1的来访者群组的适当的接待。例如能够使用有限台数的引导机器人3进行高效且顺利的接待。

(6)机器人管理系统100具有:上述服务器装置4;拍摄部11,其能够与服务器装置4进行通信,并在展厅1设置多个;以及引导机器人3,其配置于展厅1,对来访展厅1的来访者群组提供服务、能够自己行走且能够与服务器装置4进行通信。由此,能够使用有限的引导机器人3,实现汽车销售店方面对来访汽车销售店的展厅1的来访者群组的适当的接待。例如能够进行使用有限的引导机器人3的高效且顺利的接待。

在上述实施方式中,服务器装置4的运算部45具备设施内图像获取部451、机器人图像获取部452、机器人视线指示部453、来访者确定部454、来访者群组确定部455、群组感情确定部456以及机器人移动指示部457而构成,但并不限于此。运算部45只要具有设施内图像获取部451、来访者群组确定部455、群组感情确定部456以及机器人移动指示部457即可。还有,优选运算部45具有机器人图像获取部452。

在上述实施方式中,服务器装置4的运算部45所有的群组感情确定部456推定多个来访者各自的心情的好坏,并据此确定了群组感情,但并不限于此。例如群组感情确定部还可以是推定多个来访者各自的喜怒哀乐,并据此确定群组感情的构成。

在上述实施方式中,在服务器装置4的运算部45执行的引导机器人派遣处理以包括设施内图像获取步骤、来访者确定步骤、来访者群组确定步骤、群组感情确定步骤以及机器人移动指示步骤的方式构成,但并不限于此。引导机器人派遣处理只要具有设施内图像获取步骤、来访者群组确定步骤、群组感情确定步骤以及机器人移动指示步骤即可。

在上述实施方式中,使用将机器人图像获取步骤包含在来访者确定处理中的结构来进行了说明,但并不限于此。例如还可以构成为使机器人图像获取步骤独立于来访者确定处理,而包含在引导机器人派遣处理中。在该情况下,可以是为了更新群组感情而执行机器人图像获取步骤的结构。

采用本发明,能够使用有限的引导机器人,实现设施方面对来访设施的来访者群组的适当的接待。

上文结合优选实施方式对本发明进行了说明,本领域技术人员应理解为能够在不脱离后述权利要求书的公开范围的情况下进行各种修改和变更。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号