一种房门值守系统和基于优先级的即时声音回应方法

摘要

本发明涉及一种房门值守系统和基于优先级的即时声音回应方法，本发明采用带有优先级的关键字对采集到的语音进行分析，用带有优先级的人脸图像对采集到的门外的人脸图像进行分析，人脸图像和语音识别并存时，规定了如何定义回应对象的方法。结合传感器组监测到的状态，可以实现更有针对性的即时声音回应策略和步骤，通过即时声音回应记录组的播放、情况通报模块以及门锁控制装置互相配合，进而使房门值守装置具备处理更多复杂情况的能力。

说明书

技术领域

本发明涉及一种房门值守系统及实现方法，是人工智能识别技术的一种具体应用，特别涉及借助人脸图像识别与语音识别技术获得的结果，在房门值守系统及实现方法的应用。

背景技术

对于房门值守装置，在门前人脸图像与语音往往是同时出现的，如能将人脸图像识别与语音识别技术同时应用到房门值守的过程方法中，可以提高即时声音回应、情况通报、门锁控制装置等防御措施设计的精准度，更加合理、及时、更加人性化。

发明内容

针对上述问题，本发明的目的在于提出一种房门值守系统和基于优先级的即时声音回应方法，本发明解决上述技术问题所采用的技术方案是：

一种房门值守系统，包括房门、锁芯、锁具及在房门、锁芯、锁具中设置的传感器组，其特征在于，所述房门外侧还设置有语音采集装置、人脸采集装置，房门内侧设置有控制器、人脸库、关键字库、声音播放装置、情况通报模块、门锁控制装置，其中，

所述声音播放装置与控制器连接，用于播放关键字声音回应记录组和人脸图像声音回应记录组，声音播放装置可安装在室内多个位置；

所述情况通报模块与控制器连接，用于对外报告发生的异常，报告的对象可以是移动通讯工具或其它联网的信息处理设备；

所述门锁控制装置与控制器连接，在需要加强防御时，由控制器发出命令，门锁控制装置执行进一步加强房门锁闭或锁定的操作；

所述语音采集装置与所述控制器连接，用于采集房门外的语音信息，并发送至所述控制器；

所述关键字库与所述控制器连接，将语音采集装置获得的语音信息与关键字库进行比对，寻找是否存在关键字库中的关键字；

所述人脸采集装置用于采集房门外侧的人脸图像，人脸采集装置与所述控制器连接，将采集房门外侧的人脸图像与人脸库进行比对，寻找是否存在人脸库中的人脸图像；

而且，所述人脸库和关键字库中的人脸图像和关键字分别设有优先级，用于规定被响应的顺序，通过人脸图像和关键字确定后续的操作，其中，优先级的层级数由应用的实际需要确定；所述声音播放装置播放所述关键字声音回应记录组和人脸图像声音回应记录组是处理房门异常的手段之一。

基于优先级的即时声音回应方法，其特征在于，关键字声音回应记录组带有的适用条件，包括：时间、地点、人物、事件；适用条件决定哪个关键字声音回应记录组会被执行，适用条件满足时，播放适用条件对应的关键字声音回应记录组是处理房门异常的手段之一；关键字与关键字声音回应记录组之间存在一对多的关系；对应同一关键字不同的声音回应记录组具有不同的适用条件，进而保证声音回应记录组的选择具有唯一性；

人脸图像声音回应记录组带有适用条件，适用条件可以包括：时间、地点、人物、事件；适用条件决定哪个人脸图像声音回应记录组会被执行，适用条件满足时，播放适用条件对应的人脸图像声音回应记录组是处理房门异常的手段之一；人脸图像与人脸图像声音回应记录组之间存在一对多的关系；对应同一人脸图像不同的声音回应记录组具有不同的适用条件，进而保证声音回应记录组的选择具有唯一性；

当监测到人脸图像和/或关键字时触发如下操作：

步骤S1：通过图像采集装置采集门外人的人脸图像，同时通过语音采集装置采集门外语音中的关键字，将人脸图像和关键字发送至控制器；

步骤S2：控制器将接收到的人脸图像和关键字分别与人脸库和关键字库中预存储的人脸图像和关键字进行逐一比对，找出当前唯一的回应对象；

步骤S3：控制器在人脸图像出现后，查找人脸图像对应的适用条件，当适用条件满足时，执行相应的操作；

而且，所述的基于优先级的即时声音回应方法，其特征在于，所述步骤S2，控制器确定当前唯一的回应对象时，包括如下四种情况：

1)如果找到匹配的人脸图像，并且接收到语音信息，同时找到匹配的关键字：则控制器按优先级对找出的关键字排序，优先级最高的关键字作为回应对象；

2)如果找到匹配的人脸图像，没有接收到语音信息：控制器按优先级对找出的人脸图像排序，优先级最高的人脸图像作为回应对象；

3)如果没有找到匹配的人脸图像，接收到语音信息中找出了匹配的关键字：控制器按优先级对找出的关键字排序，优先级最高的关键字作为回应对象；

4)如果找到匹配的人脸图像，接收到语音信息中没有找出匹配的关键字：控制器按优先级对找出的人脸图像排序，优先级最高的人脸图像作为回应对象；

而且，所述步骤S3适用条件满足时执行相应的操作，处理方法如下：

步骤S01：声音播放装置播放适用条件对应的声音回应记录组；

步骤S02：根据适用条件，由情况通报模块向适用条件中指定的人发出报告，报告适用条件中设定的并且房门现场已经发生的事件及过程数据；

步骤S03：如果房门、锁芯、锁具上设置的传感器组监测到试图异常进入房门的行为，由控制器发出命令，门锁控制装置执行进一步加强房门锁闭或锁定的操作，并通过情况通报模块再次对外报告；

而且，同时出现同一优先级的多个人脸图像，控制器选择离房门开启位置最近的人脸图像作为选定的人脸图像；同时出现同一个优先级的多个关键字,控制器选择出现时间最早的关键字作为选定的关键字。

而且，所述关键字声音回应记录组和人脸图像声音回应记录组分别拥有多条声音回应记录，每条所述声音回应记录带有相对应的适用条件，控制器通过房门、锁芯、锁具上设置的传感器组的状态以及发生状态变化的时间，与选定的声音回应记录组中声音回应记录的适用条件进行比对，确定适用的声音回应记录，通过声音播放装置进行播放。

而且，所述情况通报模块报告的对象至少包括：远程网络报警、110报警、物业报警；所述情况通报模块报告的内容至少包括：按优先顺序排列的关键字、按优先顺序排列的人脸图像、房门内外的音频及视频信息以及所述传感器组发现的其它异常、异常发生的日期及时间；情况通报模块报告的方式至少包括：无线发送至特定的云端、移动端或PC端；情况通报模块报告的时机至少包括：异常发生时、异常重复发生时、主人外出归来时、用户自定义的条件。

而且，人脸库和关键字库及优先级具有增删改编辑功能；关键字声音回应记录组及适用条件具有增删改编辑功能；人脸图像声音回应记录组及适用条件具有增删改编辑功能。

而且，人脸采集装置在房门前采集的人脸图像未在人脸库中找到，视为陌生人，并存储所述人脸图像。

本发明的优点在于：

本发明涉及一种房门值守系统和基于优先级的即时声音回应方法，本发明采用带有优先级的关键字对采集到的语音进行分析，用带有优先级的人脸图像对采集到的门外的人脸图像进行分析，方法中还就人脸图像和语音识别并存时，规定了如何定义回应对象的方法。

在一种房门值守系统和基于优先级的即时声音回应方法中，将基于人脸图像识别与语音识别技术同时应用到房门值守的过程方法中，结合传感器组监测到的状态，可以实现更有针对性的即时声音回应策略和步骤，通过即时声音回应记录组的播放、情况通报模块以及门锁控制装置互相配合，进而使房门值守装置具备处理更多复杂情况的能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统结构图

具体实施方式

一种房门值守系统包括房门、锁芯、锁具及在房门、锁芯、锁具中设置的传感器组，其特征在于，所述房门外侧还设置有语音采集装置、人脸采集装置，房门内侧设置有控制器、人脸库、关键字库、声音播放装置、情况通报模块、门锁控制装置，其中，

所述声音播放装置与控制器连接，用于播放关键字声音回应记录组和人脸图像声音回应记录组，声音播放装置可安装在室内多个位置；

所述情况通报模块与控制器连接，用于对外报告发生的异常，报告的对象可以是移动通讯工具或其它联网的信息处理设备；

所述门锁控制装置与控制器连接，在需要加强防御时，由控制器发出命令，门锁控制装置执行进一步加强房门锁闭或锁定的操作；

所述语音采集装置与所述控制器连接，用于采集房门外的语音信息，并发送至所述控制器；

所述关键字库与所述控制器连接，将语音采集装置获得的语音信息与关键字库进行比对，寻找是否存在关键字库中的关键字；

所述人脸采集装置用于采集房门外侧的人脸图像，人脸采集装置与所述控制器连接，将采集房门外侧的人脸图像与人脸库进行比对，寻找是否存在人脸库中的人脸图像；

而且，所述人脸库和关键字库中的人脸图像和关键字分别设有优先级，用于规定被响应的顺序，通过人脸图像和关键字确定后续的操作，其中，优先级的层级数由应用的实际需要确定；所述声音播放装置播放所述关键字声音回应记录组和人脸图像声音回应记录组是处理房门异常的手段之一。

一种基于优先级的即时声音回应方法，关键字声音回应记录组带有的适用条件，包括：时间、地点、人物、事件；适用条件决定哪个关键字声音回应记录组会被执行，适用条件满足时，播放适用条件对应的关键字声音回应记录组是处理房门异常的手段之一；关键字与关键字声音回应记录组之间存在一对多的关系；对应同一关键字不同的声音回应记录组具有不同的适用条件，进而保证声音回应记录组的选择具有唯一性；

人脸图像声音回应记录组带有适用条件，适用条件可以包括：时间、地点、人物、事件；适用条件决定哪个人脸图像声音回应记录组会被执行，适用条件满足时，播放适用条件对应的人脸图像声音回应记录组是处理房门异常的手段之一；人脸图像与人脸图像声音回应记录组之间存在一对多的关系；对应同一人脸图像不同的声音回应记录组具有不同的适用条件，进而保证声音回应记录组的选择具有唯一性；

当监测到人脸图像和/或关键字时触发如下操作：

步骤S1：通过图像采集装置采集门外人的人脸图像，同时通过语音采集装置采集门外语音中的关键字，将人脸图像和关键字发送至控制器；

步骤S2：控制器将接收到的人脸图像和关键字分别与人脸库和关键字库中预存储的人脸图像和关键字进行逐一比对，找出当前唯一的回应对象；

步骤S3：控制器在人脸图像出现后，查找人脸图像对应的适用条件，当适用条件满足时，执行相应的操作；

而且，所述的基于优先级的即时声音回应方法，其特征在于，所述步骤S2，控制器确定当前唯一的回应对象时，包括如下四种情况：

1)如果找到匹配的人脸图像，并且接收到语音信息，同时找到匹配的关键字：则控制器按优先级对找出的关键字排序，优先级最高的关键字作为回应对象；

2)如果找到匹配的人脸图像，没有接收到语音信息：控制器按优先级对找出的人脸图像排序，优先级最高的人脸图像作为回应对象；

3)如果没有找到匹配的人脸图像，接收到语音信息中找出了匹配的关键字：控制器按优先级对找出的关键字排序，优先级最高的关键字作为回应对象；

4)如果找到匹配的人脸图像，接收到语音信息中没有找出匹配的关键字：控制器按优先级对找出的人脸图像排序，优先级最高的人脸图像作为回应对象；

而且，所述步骤S3适用条件满足时执行相应的操作，处理方法如下：

步骤S01：声音播放装置播放适用条件对应的声音回应记录组；

步骤S02：根据适用条件，由情况通报模块向适用条件中指定的人发出报告，报告适用条件中设定的并且房门现场已经发生的事件及过程数据；

步骤S03：如果房门、锁芯、锁具上设置的传感器组监测到试图异常进入房门的行为，由控制器发出命令，门锁控制装置执行进一步加强房门锁闭或锁定的操作，并通过情况通报模块再次对外报告；

而且，同时出现同一优先级的多个人脸图像，控制器选择离房门开启位置最近的人脸图像作为选定的人脸图像；同时出现同一个优先级的多个关键字,控制器选择出现时间最早的关键字作为选定的关键字。

而且，所述关键字声音回应记录组和人脸图像声音回应记录组分别拥有多条声音回应记录，每条所述声音回应记录带有相对应的适用条件，控制器通过房门、锁芯、锁具上设置的传感器组的状态以及发生状态变化的时间，与选定的声音回应记录组中声音回应记录的适用条件进行比对，确定适用的声音回应记录，通过声音播放装置进行播放。

而且，所述情况通报模块报告的对象至少包括：远程网络报警、110报警、物业报警；所述情况通报模块报告的内容至少包括：按优先顺序排列的关键字、按优先顺序排列的人脸图像、房门内外的音频及视频信息以及所述传感器组发现的其它异常、异常发生的日期及时间；情况通报模块报告的方式至少包括：无线发送至特定的云端、移动端或PC端；情况通报模块报告的时机至少包括：异常发生时、异常重复发生时、主人外出归来时、用户自定义的条件。

而且，人脸库和关键字库及优先级具有增删改编辑功能；关键字声音回应记录组及适用条件具有增删改编辑功能；人脸图像声音回应记录组及适用条件具有增删改编辑功能。

而且，人脸采集装置在房门前采集的人脸图像未在人脸库中找到，视为陌生人，并存储所述人脸图像。

适用条件包括如下应用实施例：

应用例1：

小明13岁，是这家主人的儿子，在小明人脸图像对应的适用条件中约定：小明在没有征得家长同意的前提下，不可以带陌生人来家里。

门外发生的情况是小明与陌生人一同来到门前，准备进门。

声音播放装置：“小明，你身边这位是谁呀？，你妈不是嘱咐你不许带陌生人回家吗？”

小明：“这是我的朋友”(此人不在人脸图像库中)

情况通报模块：(对外向家长通报这边发生的情况)

声音播放装置：“小明，等等啊，我通报一声，咱先取得家长的同意。”

门锁控制装置：(必要时，如：发生钥匙开锁的情况，执行进一步锁闭房门的操作)

系统等待网络远端家长得知后，与小明直接沟通，等待人为干预后的决定，再做进一步的处理。

应用例2：公司李总事先约了公司的一位老客户周总到公司会面，并在周总人脸图像对应的适用条件中，说明周总来访的时间、会客地点、接待人、参加者等信息；

当周总出现在门前

声音播放装置：“周总好！您请进，您请到会客室稍坐一下，我已通报李总，他会稍后过来见您。”

情况通报模块：(立即向李总的PC端和/或移动端报告)“周总已到公司，安排在会客室等您”

情况通报模块：(立即向预先安排的其他人的PC端和/或移动端报告)“客户周总已到公司，请您即刻去会议室开会。”

如下所示的应用例3-8中，对于楼房公寓的房门，关键字库以及优先级可设计成：

优先级最高：着火、爆炸、糊味、跑水、漏水、冒烟、工厂停电

优先级次之：电表、煤气、水表、快递、快件、挂号信、桶装水、外卖、邻居、物业、居委、刘姐、老周、送水、保安

优先级最低：楼上、楼下、隔壁

应用例3：(傍晚6点至7点期间，人脸库中家中女主人出现在门前)

声音播放装置(小孩声音)：“来人了，是我妈妈回来了！”(传感器监测到敲门或按门铃或用钥匙开门)

声音播放装置(男者声音)：“听见了，正好儿饭熟了！”(传感器监测到房门打开的瞬间)

声音播放装置(男者声音)：“喊你爷爷一声，准备吃饭了！”

声音播放装置(小孩声音)：跑步声+“爷爷，吃饭了！”

应用例4：(门前出现的人脸不在人脸库中，(传感器监测到有人在试图用钥匙开门)

声音播放装置(男者声音)：快速走向房门的脚步声+“你是谁呀！走错门儿了吧？”

(如果传感器组发现门插销未锁闭，立即启动执行机构锁闭门内插销。)

(将对话过程及门外影像通报移动端或小区保安)

应用例5：(门前出现的人脸不在人脸库中，在敲门或按门铃)

声音播放装置(男者声音)：走向房门的脚步声+“你找谁呀！”

(如果门外继续敲门，或者之后的语音中没有出现关键字关键字库中的关键字)

声音播放装置(男者声音)：“你认错门儿了吧！”

(如果传感器组发现门插销未锁闭，立即启动执行机构锁闭门内插销。)

(如果传感器发现，门外的人还未离开)

声音播放装置(男者打电话的声音)：“喂！物业保安吗？你上我这来看看吧，有个不认识的人，总在我们这转悠，不知道是干吗的！”

(将对话过程及门外影像通报房主的移动端或小区保安)

应用例6：(收煤气的来了)

门外：敲门或按门铃

声音播放装置(老者声音)：“谁呀？”

门外：“收煤气费！”

声音播放装置(老者声音)：“哦，煤气表太高了，我看不见。”

门外：“开门我替你看看。”(也可能讲话的同时再次敲门或按门铃)

声音播放装置(老者声音)：“不麻烦你了，你先查别人家吧，我儿子一会儿就回来了。”(根据当前的时间段，预先知道快要有人回家了，这句话符合预置的适用条件)

(将对话过程及门外影像通报房间主人的移动端)

应用例7：

门外：敲门或按门铃

声音播放装置(老者声音)：“找谁呀？”

门外：“我是物业的刘姐，你们楼下邻居反映厕所的房顶湿了，看看是不是你们家漏水了？”

声音播放装置(老者声音)：“是吗！漏水了，我现在就打电话让我儿子赶紧回来看看。”

情况通报模块：(对话过程及门外影像通报房间主人的移动端)

应用例8：(女士回家，发现被人尾随或被胁迫时，在开锁的过程中，主动讲出事先约定的暗语，关键字“厂里停电”)

(女士在门外用钥匙开门)

声音播放装置(室内男人声音)：“谁回来了？”(传感器组监测到钥匙插入)

女士门外：“厂里停电，提前下班了。”(以下是关键字“厂里停电”触发的回应)

声音播放装置(室内男人声音)：“正好，小周他们都在咱家了！”

声音播放装置(室内另一个男人声音)：脚步声+“哎呦！弟妹回来了。。。”(传感器组监测打开房门的瞬间，屋里播放)

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。