一种安全事件识别上报系统及安全事件识别上报方法

摘要

本发明公开了一种安全事件识别上报系统，包括多个摄像头、中央服务器、多个处理终端和多个射频识别阅读器，中央服务器通过内部网络与多个摄像头、多个处理终端、多个射频识别阅读器相连接。通过多种方式建立正负样本，并优选使用患者本人的样本图像进行分类器训练，提高了分类器的准确性；同时，对于样本稀少时，能够生成模拟样本图像，增大了训练数据，提高了分类器的训练效果。

说明书

技术领域

本发明涉及图像处理领域，具体涉及一种安全事件上报系统及安全事件识别上报方法。

背景技术

随着互联网+医疗的发展，医疗中的人工智能处理越来越多，但现有的医疗事件处理时中绝大部分还依赖于人工处理，人工处理效率慢，且不安全；而即使有人工智能进行辅助处理，但其通常只是简单自动化，其正确性不高，容易引起误报。

而本申请通过利用图像分析处理技术，自动分析相应的安全事件，自动采集安全事件并自动上报，方便医疗安全事件的快速处理，并为以后追溯提供基础。

发明内容

(一)解决的技术问题

针对现有医疗安全事件中进行图像自动分析，提高了互联网+医疗的自动化，并通过样本数据库的建立提高自动分析判断的准确性。

(二)技术方案及有益效果

以上目的本发明通过以下技术方案予以实现：

一种安全事件识别上报系统，包括多个摄像头、中央服务器、多个处理终端和多个射频识别阅读器，中央服务器通过内部网络与多个摄像头、多个处理终端、多个射频识别阅读器相连接；

多个摄像头能够被中央服务器远程控制，多个摄像头设置在病床、病房门口、诊室、手术室和走廊位置；多个摄像头能够接收中央服务器的采集指令，并根据采集指令进行图像采集，并将采集的图像传送给中央服务器；

多个射频识别阅读器，其与中央服务器通过内部网络连接，且多个射频识别阅读器安装在病房、诊室、手术室和走廊；在带有RFID标签的患者靠近多个射频识别阅读器中的其中一个时，多个射频识别阅读器中的其中一个能够识别该RFID标签，并将识别的RFID标签信息通过网络传送给中央服务器，其中该RFID标签包含患者信息；

多个处理终端连接有打印机，当医生通过多个处理终端的一个来为患者办理住院手续时，通过医生的打印操作，根据患者信息来控制打印机打印生成一包含患者信息的RFID标签，并将该RFID标签粘贴在患者衣服或者手环上；

中央服务器，其包含样本数据库、安全事件判断系统和医疗信息管理系统，中央服务器能够接收多个摄像头传送的采集图像并将其保存到样本数据库或传送给安全事件判断系统进行安全事件判断；还能够接收多个射频识别阅读器传送的RFID标签信息，并记录通过RFID标签信息获得的患者信息以及识别该RFID标签信息的射频识别阅读器的ID，且中央服务器事先记录了每个射频识别阅读器的ID与其安装位置的关联关系；

安全事件判断系统能够对其接收的图像判断图像中是否有安全事件发生，并在判断发生安全事件时，将安全事件报警信息、当前判断的图像、患者信息和安全事件类型发送给医疗信息管理系统；

医疗信息管理系统接收并记录安全事件，并查询安全事件对应的患者所对应的人员，然后将安全事件、患者信息发送给对应的人员，同时对安全事件进行保存和统计；

其中，样本数据库包括正样本图像和负样本图像，其中正样本图像包含拟合得到的多个模拟正样本图像，其中拟合得到多个模拟正样本图像通过以下方式拟合：

a)建立对抗生成网络，该对抗生成网络包括鉴别器和生成器，鉴别器为深度卷积神经网络，其包括三个卷积层和一个输出层，其输入为随机向量和一标准输入图像，输出为一模拟图像，其中标准输入图像通过一计算器模拟生成；鉴别器为反神经网络，其包括五层，前三层为卷积层，第四层为全连接层，最后一层为输出层，其输入为生成器输出的模拟图像，其通过参考真实图像来输出模拟图像是真实的，还是模拟的；

b)交替优化鉴别器和生成器，最后达到平衡；

c)利用b)优化的对抗生成网络将一个标准输入图像生成一副模拟图像，重复执行该步骤得到多个模拟图像成为多个模拟正样本图像。

优选的：安全事件判断系统包括以下装置：

训练模块，其从样本数据库中选择正、负样本图像，使用选择的负样本图像和正样本图像训练得到一分类器；

判断模块，将接收的图像输入上述训练的分类器，输出分类结果，并在分类结果为存在安全事件时，发送报警信息给医疗信息管理系统。

优选的：样本数据库按照以下方式建立：

建立负样本图像：带有RFID标签的患者靠近病床后，病床设置的射频识别阅读器识别该RFID标签，并将识别的RFID标签信息通过网络传送给中央服务器；中央服务器识别出该RFID标签信息包括的患者信息和识别该RFID标签信息的射频识别阅读器的ID，并进一步地根据事先记录的每个射频识别阅读器的ID与其安装位置的关联关系，获得识别该RFID标签信息的射频识别阅读器的安装位置，然后中央服务器判断该识别出的患者信息是否是首次被识别且该射频识别阅读器的安装位置是否是病床，如果该识别出的患者信息是首次被识别且该射频识别阅读器的安装位置是病床，则中央服务器发送图像采集命令到射频识别阅读器的安装位置对应的摄像头，摄像头开始采集图像并将采集的图像传送给中央服务器，中央服务器将采集的图像保存为患者信息对应的负样本图像到样本数据库；

建立正样本图像：当安全事件判断系统判断发生安全事件时的图像保存到样本数据库中并作为正样本图像；通过其他图像数据库获取发生安全事件的正样本图像；拟合得到多个模拟正样本图像保存到样本数据库中。

一种利用安全事件识别上报系统的安全事件识别上报方法，其中，安全事件识别上报系统包括多个摄像头、中央服务器、多个处理终端和多个射频识别阅读器，中央服务器通过内部网络与多个摄像头、多个处理终端、多个射频识别阅读器相连接；其特征在于，所述方法包括：

S1、建立样本数据库：

建立负样本图像：带有RFID标签的患者靠近病床后，病床设置的射频识别阅读器识别该RFID标签，并将识别的RFID标签信息通过网络传送给中央服务器；中央服务器识别出该RFID标签信息包括的患者信息和识别该RFID标签信息的射频识别阅读器的ID，并进一步地根据事先记录的每个射频识别阅读器的ID与其安装位置的关联关系，获得识别该RFID标签信息的射频识别阅读器的安装位置，然后中央服务器判断该识别出的患者信息是否是首次被识别且该射频识别阅读器的安装位置是否是病床，如果该识别出的患者信息是首次被识别且该射频识别阅读器的安装位置是病床，则中央服务器发送图像采集命令到射频识别阅读器的安装位置对应的摄像头，摄像头开始采集图像并将采集的图像传送给中央服务器，中央服务器将采集的图像保存为患者信息对应的负样本图像到样本数据库；

建立正样本图像：当安全事件判断系统判断发生安全事件时的图像保存到样本数据库中并作为正样本图像；通过其他图像数据库获取发生安全事件的正样本图像；拟合得到多个模拟正样本图像保存到样本数据库中；

拟合得到多个模拟正样本图像包括以下步骤：

a)建立对抗生成网络，该对抗生成网络包括鉴别器和生成器，鉴别器为深度卷积神经网络，其包括三个卷积层和一个输出层，其输入为随机向量和一标准输入图像，输出为一模拟图像，其中标准输入图像通过一计算器模拟生成；鉴别器为反神经网络，其包括五层，前三层为卷积层，第四层为全连接层，最后一层为输出层，其输入为生成器输出的模拟图像，其通过参考真实图像来输出模拟图像是真实的，还是模拟的；

b)交替优化鉴别器和生成器，最后达到平衡；

c)利用b)优化的对抗生成网络将一个标准输入图像生成一副模拟图像，重复执行该步骤得到多个模拟图像成为多个模拟正样本图像；

S2、采集患者实时图像：

安全事件判断系统自动通过中央服务器向所有患者对应的病床的摄像头发送实时图像采集指令，摄像头将采集到的实时图像发送给中央服务器的安全事件判断系统，安全事件判断系统对于每一副实时图像，均执行以下S3训练步骤和S4判断步骤；

S3、训练步骤：

S31，从样本数据库中选择样本图像：

从S1中建立的样本数据库中选择第一预定数量的负样本图像和第二预定数量的正样本图像：根据步骤S2中获得的实时图像，获得该实时图像对应的当前患者信息，根据该当前患者信息，从样本数据库中选择该当前患者信息对应的负样本图像和正样本图像；

S32，使用步骤S31选择的负样本图像和正样本图像训练分类器；

S4，判断步骤：

将步骤S2中获得的实时图像输入到步骤S3训练得到的分类器进行安全事件判断，当分类器输出属于安全事件时，安全事件判断系统向中央服务器的医疗信息管理系统发出警报，同时将采集的实时图像、患者信息和安全事件类型也一并发送，医疗信息管理系统保存该安全事件，并根据患者信息查找到患者的主治医师和主管护士，向主治医生和主管护士的手机发送警报信息，同时一并发送实时图像、患者信息和安全事件类型，主治医生和主管护士通过实时图像进行判断，并发送响应信息给医疗信息管理系统。

优选的，步骤S4中，若医疗信息管理系统在一定时间内未收到主治医生和主管护士的响应信息，则将警报信息以及实时图像、患者信息和安全事件类型发送给第二医生和第二护士，也可发送给上级医生和上级护士。

优选的，当S4步骤中判断出安全事件时，将安全事件对应的实时图像、患者信息、安全事件类型发送给样本数据库，样本数据库将其保存为正样本图像；同时，当S4步骤中判断未存在安全事件时，将实时图像、患者信息发送给样本数据库，样本数据库将其保存为负样本图像。

优选的，当样本数据库中某一患者的负样本图像或正样本图像的数量超过预定的数量时，采集的该某一患者的实时图像不再更新到样本数据库，同时对于该某一患者后续采集的实时图像无不再执行步骤S3，直接使用以前训练得到的该患者的分类器进行分类，直接执行步骤S4。

优选的，所述步骤S31中选择样本图像具体包括：

根据步骤S2中获得的实时图像，获得该实时图像对应的当前患者信息，根据该当前患者信息，从样本数据库中选择该当前患者信息对应的第一预定数量的负样本图像和第二预定数量的正样本图像，首先从样本数据库中获得的当前患者的负样本图像和当前患者的正样本图像，若该获得的负样本图像的第一数量小于第一预定数量，则再获得其他患者的第二数量的负样本数量，使得第一数量与第二数量的和等于第一预定数量；若获得的正样本图像的第三数量小于第二预定数量，则再获取从公共图像数据库中和模拟正样本图像中随机选择第四数量的正样本数量，使得第三数量与第四数量的和等于第二预定数量。

通过上述方案，使得本申请能够达到以下技术效果：

1)通过射频识别自动采集实时图像，使得摄像头能够智能触发操作，且能远程控制；

2)建立样本数据库，且通过多种方式建立正负样本，并优选使用患者本人的样本图像进行分类器训练，提高了分类器的准确性；同时，对于样本稀少时，能够生成模拟样本图像，增大了训练数据，提高了分类器的训练效果。

3)通过图像分析处理自动分析安全事件，且自动发送报警信息给相应人员，从而使得相应人员快速处理，提高了处理效率，也提高了安全性。

附图说明

图1为本发明的安全事件识别上报系统；

图2为本发明的安全事件识别上报方法；

图3为本发明的人工录入安全事件界面；

图4为本发明的安全事件查询界面；

图5为本发明的安全事件统计界面。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，安全事件上报系统包括多个摄像头、中央服务器、多个处理终端，其中中央服务器通过内部网络与多个摄像头、多个处理终端相连接，且多个摄像头能够被中央服务器远程控制，多个摄像头位于病床、病房门口、诊室、手术室和走廊等位置。

医疗智能系统还包括多个射频识别阅读器，该多个射频识别阅读器与中央服务器通过内部网络连接，且多个射频识别阅读器安装在病房、诊室、手术室和走廊等位置。多个处理终端还连接有打印机，当医生通过多个处理终端的一个来为患者办理住院手续时，通过医生的打印操作，根据患者信息来控制打印机打印生成一包含患者信息的RFID标签，并将该RFID标签粘贴在患者衣服或者手环上。所述在带有RFID标签的患者靠近多个射频识别阅读器中的其中一个时，多个射频识别阅读器中的其中一个能够识别该RFID标签，该RFID标签包含患者信息，从而将识别的RFID标签信息通过网络传送给中央服务器，中央服务器记录通过RFID标签信息获得的患者信息以及识别该RFID标签信息的射频识别阅读器的ID。而中央服务器事先记录了每个射频识别阅读器的ID与其安装位置的关联关系。

中央服务器包含样本数据库、安全事件判断系统和医疗信息管理系统。

如图2所示，安全事件判断系统执行安全事件判断方法，该方法包括建立样本数据库、采集患者实时图像、训练步骤和判断步骤。

S1、建立样本数据库。

样本图像包括正样本图像和负样本图像，正样本图像包括发生医疗安全事件的图像，该医疗安全事件包括患者呼吸异样、患者苏醒、患者坠床、导管操作、患者吃药、输液完成等；负样本图像为不发生安全事件的图像。样本数据库中除了保存样本图像之外，还保存样本图像属于正负样本{+1,_1}、对应的患者信息、安全事件类型，其中安全事件类型包括患者呼吸异样、患者苏醒、患者坠床、导管操作、患者吃药、输液完成。

在进行样本图像采集时，负样本图像的获取有两种来源：

第一种，是在患者办理入院手续后，在带有RFID标签的患者靠近病床后，病床设置的射频识别阅读器识别该RFID标签，并将识别的RFID标签信息通过网络传送给中央服务器；中央服务器识别出该RFID标签信息包括的患者信息和识别该RFID标签信息的射频识别阅读器的ID，并进一步地根据事先记录的每个射频识别阅读器的ID与其安装位置的关联关系，获得识别该RFID标签信息的射频识别阅读器的安装位置，然后中央服务器判断该识别出的患者信息是否是首次被识别且该射频识别阅读器的安装位置是否是病床，如果该识别出的患者信息是首次被识别且该射频识别阅读器的安装位置是病床，则中央服务器发送图像采集命令到射频识别阅读器的安装位置对应的摄像头，摄像头开始采集图像并将采集的图像传送给中央服务器，中央服务器将采集的图像保存为患者信息对应的负样本图像到样本数据库。优选的，摄像头每隔一段时间定期采集一次图像并传送给中央服务器，中央服务器保存所有采集的图像到样本数据库作为负样本图像，并将采集的图像与患者信息相关联。

该种方式也可直接由医生或护士执行负样本采集工作，具体实现时，在患者办理完住院手续后，医生或护士操作多个处理终端中的一个，向中央服务器发送负样本图像采集指令，然后中央服务器发送图像采集命令到患者病床位置的摄像头，摄像头将采集的图像发送给中央服务器，中央服务器将采集的图像、患者信息保存到样本数据库作为负样本图像，其中，医生或护士可发送多次采集指令，以采集患者不同角度、不同姿势的图像。

第二种，通过中央服务器的样本数据库获取所需数量的已保存的其他患者的负样本图像，而其他患者的负样本图像是在其他患者办理住院手续时根据上述第一种方式获得的负样本图像。

正样本图像的获取有三种来源：

第一种，当中央服务器的安全事件判断系统判断发生安全事件时，所使用的采集图像，也就是说，当采集的图像输入到安全事件判断系统中，该安全事件判断系统判断发生安全事件时，将此采集的图像保存到样本数据库中并作为正样本图像，同时记录安全事件的类型，该类型包括患者呼吸异样、患者苏醒、患者坠床、导管操作、患者吃药、输液完成，同时还记录采集图像对应的患者信息。

第二种，由于前述第一种发生的概率较小，由此采集到的发生安全事件的图像较少，特别地，在安全事件判断系统初始使用时，上述第一种方式采集的正样本图像还不存在，此时需要首先通过公共样本数据库获得一些发生安全事件的正样本图像，并人工标记一下患者信息和安全事件的类型，也可通过其他方式获得获取发生安全事件的多个图像，作为正样本图像。

第三种，由于上述第二种获得的正样本图像比较困难，且数量少，其会降低安全事件判断系统的正确率，因此我们需要在第二种获取得到的正样本图像的基础上拟合得到多个模拟正样本图像，拟合方法采用对抗生成网络来完成，具体方法为：

a)建立对抗生成网络，该对抗生成网络包括鉴别器和生成器，鉴别器为深度卷积神经网络，其包括三个卷积层和一个输出层，其输入为随机向量和一标准输入图像，输出为一模拟图像，其中标准输入图像通过一计算器模拟生成；鉴别器为反神经网络，其包括五层，前三层为卷积层，第四层为全连接层，最后一层为输出层，其输入为生成器输出的模拟图像，其通过参考真实图像来输出模拟图像是真实的，还是模拟的。

b)交替优化鉴别器和生成器，最后达到平衡。

c)然后利用优化的对抗生成网络将一个标准输入图像生成一副模拟图像，重复执行该步骤得到多个模拟图像成为多个模拟正样本图像。

S2、采集患者实时图像阶段

安全事件判断系统一直处于工作状态，其自动通过中央服务器向所有患者对应的病床的摄像头发送实时图像采集指令，其具体可轮询方式处理，也就是说，每次采集一个病床的患者的实时图像，依次采集所有病床的患者的实时图像，而后间隔固定时间再依次采集所有病床的实时图像，摄像头将采集到的实时图像发送给中央服务器的安全事件判断系统，安全事件判断系统对于每一副实时图像，均执行以下训练步骤和判断步骤。

S3、在训练阶段，其包括如下步骤：

S31，从样本数据库中选择样本图像。

从S1中建立的样本数据库中选择第一预定数量的负样本图像和第二预定数量的正样本图像：

根据步骤S2中获得的实时图像，获得该实时图像对应的当前患者信息，根据该当前患者信息，从样本数据库中选择该当前患者信息对应的负样本图像和正样本图像，即优先选择样本数据库中以第一种方式获得的当前患者的负样本图像和以第一种方式获得的当前患者的正样本图像。若以第一种方式获得的负样本图像的第一数量小于第一预定数量，则再以第二种方式获得第二数量的负样本数量，使得第一数量与第二数量的和等于第一预定数量；若以第一种方式获得的正样本图像的第三数量小于第二预定数量，则再以第二种方式和第三种方式随机获得第四数量的正样本数量，使得第三数量与第四数量的和等于第二预定数量。

S32，使用步骤S31选择的负样本图像和正样本图像训练分类器，该训练方式可以采用深度神经网络的方式进行。

优选的，根据负样本图像和正样本图像对应的安全事件类型分别训练相应类型的安全事件分类器。

S4，判断步骤：

将步骤S2中获得的实时图像输入到步骤S3训练得到的分类器进行安全事件判断，当分类器输出属于安全事件时，安全事件判断系统向中央服务器的医疗信息管理系统发出警报，同时将采集的实时图像、患者信息和安全事件类型也一并发送，医疗信息管理系统保存该安全事件，并根据患者信息查找到患者的主治医师和主管护士，向主治医生和主管护士的手机发送警报信息，同时一并发送实时图像、患者信息和安全事件类型，主治医生和主管护士通过实时图像进行判断，并发送响应信息给医疗信息管理系统，若医疗信息管理系统在一定时间内未收到主治医生和主管护士的响应信息，则将警报信息以及实时图像、患者信息和安全事件类型发送给第二医生和第二护士，也可发送给上级医生和上级护士。

优选的，当S4步骤中判断出安全事件时，将安全事件对应的实时图像、患者信息、安全事件类型等发送给样本数据库，样本数据库将其保存为正样本图像；同时，当S4步骤中判断未存在安全事件时，也可将实时图像、患者信息等发送给样本数据库，样本数据库将其保存为负样本图像。

优选的，当样本数据库中某一患者的负样本图像或正样本图像的数量足够大时，例如超过预定的数量时，采集的该某一患者的实时图像不再更新到样本数据库，同时对于该某一患者后续采集的实时图像无需进行训练，即步骤S3不再执行，直接使用以前训练得到的该患者的分类器进行分类，即直接执行步骤S4。

优选的，步骤S32以神经网络进行训练，也可以有监督的SVM进行。

作为补充，当安全事件判断系统未判断出安全事件，但医生或护士通过现场判断出安全事件时，医生或护士可直接通过医疗信息管理系统录入安全事件，可如图3所示。

医疗信息管理系统可提供接口供医疗人员进行安全事件的查询和统计，具体可见图4和5所示。

优选的，医疗信息管理系统还接收射频识别阅读器识别的RFID标签信息，并判断该射频识别阅读器的识别位置，如果识别位置位于医院门口或者患者未被允许进入的位置，则发送警报信息到主治医生或主治护士。