一种咽拭子采样有效性检测方法及自助式咽拭子采样方法

摘要

本发明提供一种咽拭子采样有效性检测方法及自助式咽拭子采样方法，其中，前者包括以下步骤：通过摄像机实时采集被采样人员的口腔视频数据；识别出所述口腔视频数据中用于咽拭子采样的器官特征，并作为咽拭子采样靶点；令被采样人员自行进行咽拭子采样，在所述口腔视频数据中识别和跟踪咽拭子棉签的头部；当所述头部和所述咽拭子采样靶点在口腔内的深度在设定阈值范围内，同时所述头部和咽拭子采样轨迹重合，则判定咽拭子棉签在咽拭子采样靶点上擦拭成功，则认为咽拭子采样成功。被采样人员可以根据示教内容对自己进行咽拭子采样，避免使用价格昂贵的机械手，咽拭子采样的合格率高，便于推广。

说明书

技术领域

本发明涉及咽拭子采样技术，具体涉及一种咽拭子采样有效性检测方法及自助式咽拭子采样方法。

背景技术

在目前咽拭子采样进程中，通常情况下，一个咽拭子采样点需配备三名以上医护人员，实现扫码、消毒、采样等作业功能。对一个普通小区进行全员咽拭子采样则需要配备大量的医护人员、安保人员、后勤人员，亦需要大量的物资准备。医护人员大量的重复性劳动，导致大量的人力物力资源消耗。常态化疫情防控下需按规定频次定期进行咽拭子采样，咽拭子采样常态化后，需有效防止病毒传播，节省人力物力。

为代替人工进行咽拭子采样，CN202010697547.7 一种用于咽拭子采样采样的机器人，在采样过程中，通过机械手对被采用人员进行咽拭子采样，机械手价格昂贵，且采样时易对被采样人员的口腔造成损伤。而在采样过程中，被采样人员需要在医生的指导下才能完成咽拭子采样，该方案只是减轻了医护人员的劳动强度，但是还是需要一个医护人员在现场对每个被采样人员进行指导，可见，每台设备均需配备一位医护人员，依然消耗人力成本。

CN 215129085 U一种自助咽拭子取样设备，包括舱室、密封舱门、控制系统和与所述控制系统连接的摄像监控系统和显示器，所述摄像监控系统包括口腔监测摄像头；所述密封舱门连接于所述舱室，所述舱室与所述密封舱门闭合时形成一密闭的取样空间；所述口腔监测摄像头设置于所述取样空间内用于拍摄被取样者的口腔影像，所述口腔监测摄像头连接所述显示器用于向所述显示器传输口腔影像信息；所述显示器安装于所述舱室，所述显示器的显示屏用于向所述取样空间展示所述口腔影像信息。采用上述设置结构时，人工后台处理系统的医务人员可远程观察口腔影像，医务人员能够在观察口腔影像后通过对讲设备来与被取样者及时沟通指导，完成取样。这种方式，个人盲目采样缺乏有效性，医务人员指导则又效率低。另外，其说明书第0058段中公开了有关视频示教的技术手段“能自动识别口腔影像信息的电脑具有专门开发的用于识别会咽部图像的程序，能够自行识别判断咽拭子的拭子头是否与相应部位充分接触，用以判断被取样者的取样结果是否合格并提供必要的指导。”，但是并没有公开其实现该目的的具体方法。

发明内容

针对现有技术中的问题，本发明提供一种咽拭子采样有效性检测方法及自助式咽拭子采样方法，目的在于实现被采样人员的自助式咽拭子采样，降低咽拭子采样的成本，咽拭子采样的合格率高，便于推广和使用；并咽拭子采样有效性进行检测及对被测采样人员进行视频示教，提高咽拭子采样的效率。

一种咽拭子采样有效性检测方法，包括以下步骤：

步骤1：通过摄像机实时采集被采样人员的口腔视频数据；

步骤2：识别出所述口腔视频数据中用于咽拭子采样的器官特征，并作为咽拭子采样靶点；

步骤3：令被采样人员自行进行咽拭子采样，在所述口腔视频数据中识别和跟踪咽拭子棉签的头部；

步骤4：当所述头部和所述咽拭子采样靶点在口腔内的深度在设定阈值范围内，同时所述头部和咽拭子采样轨迹重合，则判定咽拭子棉签在咽拭子采样靶点上擦拭成功，则认为咽拭子采样成功，否则执行步骤3。

进一步：所述器官特征包括悬雍垂外形特征、左扁桃体外形特征和右扁桃体外形特征，将所述器官特征作为咽拭子采样靶点目标，通过目标识别算法构建咽拭子采样靶点目标识别网络，初始化咽拭子采样靶点目标识别网络的参数，输入咽拭子采样靶点目标的数据集并对所述咽拭子采样靶点目标识别网络进行参数训练；所述控制器通过所述咽拭子采样靶点目标识别网络识别所述器官特征。

进一步：通过所述咽拭子采样靶点目标识别网络识别所述口腔视频数据中咽拭子采样靶点目标，咽拭子采样靶点目标为视频数据中的器官特征，并在所述显示器的画面内标识出覆盖所述器官特征的目标框，将所述目标框的中心点作为咽拭子采样靶点，并将通过所述咽拭子采样靶点的轨迹作为所述咽拭子采样轨迹。

进一步：判定所述头部和所述咽拭子采样靶点在口腔内的深度在设定阈值范围内的过程为，通过最大外接矩阵计算得到所述口腔视频数据中所述头部的第一最大外接轮廓框，通过最小外接矩形函数计算得到所述第一最大外接轮廓框内所述头部的最小外接矩形的宽度，并将该宽度记为P，所述摄像机距离所述头部的距离为

进一步：采集医护人员进行咽拭子采样时的P值并组成数据集，计算并保存该数据集的平均值A，当被采样人员进行咽拭子采样时的P值小于该平均值A时，认为该P值有效并用于所述D值的计算，否则重新计算P值。

进一步：所述

进一步：在计算所述第一最大外接轮廓框和第二最大外接轮廓框之前，先将所述口腔视频数据进行阈值处理并得到二值图像。

进一步：结合所述器官特征之间的相对位置关系构建器官特征之间的空间语义关系，通过所述空间语义关系计算得到被遮挡的所述器官特征。

进一步：在所述摄像机的下侧固定安装有激光测距仪，通过该激光测距仪测得人脸嘴唇下部到所述摄像机的距离M，根据实验人员采样时的舒适性和所述口腔视频数据的清晰度通过实验得到距离M的标准区间，并在被采样人员采样时指导被采样人员移动至所述标准区间内。

一种自助式咽拭子采样方法，包括以下步骤：

步骤1：通过扫描器获取被采样人员的身份信息；

步骤2：通过咽拭子棉签供应装置为被采样人员供应咽拭子棉签；

步骤3：通过摄像机实时采集被采样人员的口腔视频数据并通过显示器显示；

步骤4：识别出所述口腔视频数据中用于咽拭子采样的器官特征，在显示器的画面内示意关于所述器官特征的咽拭子采样靶点和咽拭子采样轨迹；

步骤5：当被采样人员根据所述咽拭子采样靶点和咽拭子采样轨迹自行进行咽拭子采样时，通过所述口腔视频数据识别和跟踪咽拭子棉签的头部，当所述头部和所述咽拭子采样靶点在口腔内的深度在设定阈值范围内，同时所述头部和咽拭子采样轨迹重合，则判定咽拭子棉签在咽拭子采样靶点上擦拭成功并进行下一步骤，否则重复步骤5；

步骤6：通过咽拭子棉签收集装置收集被采用人员的咽拭子棉签。

本发明的有益效果：一种咽拭子采样有效性检测方法，通过摄像机实时采集被采样人员进行咽拭子采样时的口腔内视频数据，并对口腔内视频数据内咽拭子棉签头部进行识别和跟踪，通过深度信息和运动轨迹判断咽拭子棉签的头部是否成功的擦拭咽拭子采样靶点，从而辅助被采样人员实现自助式咽拭子采样，避免使用人工成本高的医护人员进行核酸采样。

一种自助式咽拭子采样方法，通过在显示器的画面内示意关于所述器官特征的咽拭子采样靶点和咽拭子采样轨迹，以此对被采样人员进行示教，被采样人员可以根据示教内容对自己进行咽拭子采样，直观易学习且易操作，采样效率高，咽拭子采样的合格率高，不用医护人员值守；通过对咽拭子棉签的头部的识别和跟踪，判断咽拭子棉签的头部是否成功的擦拭用于咽拭子采样的器官特征，从而实现被采样人员的自助式咽拭子采样，避免使用价格昂贵的机械手，从而大幅降低制造成本，便于推广。

附图说明

图1为本发明中咽拭子采样有效性检测方法的流程图；

图2为本发明中自助式咽拭子采样方法的流程图；

图3为本发明中轨迹预测模型的结构图。

具体实施方式

下面结合附图对本发明做详细说明。下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明实例中的左、中、右、上、下等方位用语，仅是互为相对概念或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。

一种咽拭子采样有效性检测方法，如图1所示，包括以下步骤：

步骤1：通过摄像机实时采集被采样人员的口腔视频数据；

步骤2：识别出所述口腔视频数据中用于咽拭子采样的器官特征，并作为咽拭子采样靶点；

步骤3：令被采样人员自行进行咽拭子采样，在所述口腔视频数据中识别和跟踪咽拭子棉签的头部；

步骤4：当所述头部和所述咽拭子采样靶点在口腔内的深度在设定阈值范围内，同时所述头部和咽拭子采样轨迹重合，则判定咽拭子棉签在咽拭子采样靶点上擦拭成功，则认为咽拭子采样成功，否则执行步骤3。

其中，所述器官特征包括悬雍垂外形特征、左扁桃体外形特征和右扁桃体外形特征，将所述器官特征作为咽拭子采样靶点目标，通过目标识别算法构建咽拭子采样靶点目标识别网络，初始化咽拭子采样靶点目标识别网络的参数，输入咽拭子采样靶点目标的数据集并对所述咽拭子采样靶点目标识别网络进行参数训练；所述控制器通过所述咽拭子采样靶点目标识别网络识别所述器官特征，咽拭子采样靶点目标为视频数据中的器官特征。通过所述咽拭子采样靶点目标识别网络识别所述口腔视频数据中咽拭子采样靶点目标，并在所述显示器的画面内标识出覆盖所述器官特征的目标框，目标框为便于识别的红色或者是黄色，将所述目标框的中心点作为咽拭子采样靶点，咽拭子采样靶点的颜色为与目标框相同的颜色，并将通过所述咽拭子采样靶点的轨迹作为所述咽拭子采样轨迹，咽拭子采样轨迹的颜色可以为与目标框颜色相同的颜色或者为与目标框不同的颜色，且咽拭子采样轨迹可以为带方向箭头的曲线。

判定所述头部和所述咽拭子采样靶点在口腔内的深度在设定阈值范围内的过程为，通过最大外接矩阵计算得到所述口腔视频数据中所述头部的第一最大外接轮廓框，通过最小外接矩形函数计算得到所述第一最大外接轮廓框内所述头部的最小外接矩形的宽度，并将该宽度记为P，所述摄像机距离所述头部的距离为

为便于提取咽拭子的轮廓信息，可将彩色图像处理为仅有两个值的二值图像，所以在计算所述所述第一最大外接轮廓框和第二最大外接轮廓框之前，先将所述口腔视频数据进行阈值处理并得到二值图像。

在咽拭子棉签伸入口腔后会遮挡住某个器官特征，为避免影响对该咽器官特征对应的拭子采样靶点深度的判断，结合所述器官特征之间的相对位置关系构建器官特征之间的空间语义关系，通过所述空间语义关系计算得到被遮挡的所述器官特征，从而计算出该器官特征对应的拭子采样靶点深度，从而使系统可以正常判断咽拭子棉签是否成功擦拭该器官特征。

另外，为便于被采样人员能快速进行咽拭子采样，在所述摄像机的下侧固定安装有激光测距仪，通过该激光测距仪测得人脸嘴唇下部到所述摄像机的距离M，根据实验人员采样时的舒适性和所述口腔视频数据的清晰度通过实验得到距离M的标准区间，并在被采样人员采样时指导被采样人员移动至所述标准区间内。

与现有技术相比，通过在显示器的画面内示意关于所述器官特征的咽拭子采样靶点和咽拭子采样轨迹，以此对被采样人员进行示教，被采样人员可以根据示教内容对自己进行咽拭子采样，直观易学习且易操作，采样效率高，不用医护人员值守；通过对咽拭子棉签的头部的识别和跟踪，判断咽拭子棉签的头部是否成功的擦拭用于咽拭子采样的器官特征，从而实现被采样人员的自助式咽拭子采样，避免使用价格昂贵的机械手，从而大幅降低制造成本，便于推广。另外，被采样人员自行采样时可有效避免对口腔造成损伤，咽拭子采样本身不是很复杂的采样过程，所以具备一定动手能力的人员通过显示器的示教内容进行学习后可快速掌握。本发明可主要应用于青年和中年人群，其它人群可在医护或第三方人员陪同的情况下使用，从而可大幅缓解咽拭子采样人员需求压力，同时降低咽拭子采样的成本；所以，本发明主要应用于医院、高年级的学校和工业集聚区的企事业单位。

一种自助式咽拭子采样方法，如图2所示，包括以下步骤：

步骤1：通过扫描器获取被采样人员的身份信息，该身份信息可以为手机扫描登记信息网站进行登记而生成的咽拭子采样预约二维码，扫描器对二维码信息进行提取并发送至控制器，控制器接收到被采样人员的二维码信息后并保存，且将该被检测人员的身份信息与咽拭子棉签收集装置中当前试管的信息进行标记，开始执行采样咽拭子程序；

步骤2：控制器通过咽拭子棉签供应装置为被采样人员供应咽拭子棉签，并提醒用户拿取咽拭子棉签后将口腔对准摄像机；

步骤3：通过摄像机实时采集被采样人员的口腔视频数据并通过显示器显示；

步骤4：识别出所述口腔视频数据中用于咽拭子采样的器官特征，在显示器的画面内示意关于所述器官特征的咽拭子采样靶点和咽拭子采样轨迹，被采样人员通过显示器清楚的看见自己口腔，根据所示的咽拭子采样靶点和咽拭子采样轨迹，清楚地了解该怎么样对自己进行咽拭子采样；

步骤5：当被采样人员根据所述咽拭子采样靶点和咽拭子采样轨迹自行进行咽拭子采样时，通过所述口腔视频数据识别和跟踪咽拭子棉签的头部，当所述头部和所述咽拭子采样靶点在口腔内的深度在设定阈值范围内，同时所述头部和咽拭子采样轨迹重合，则判定咽拭子棉签在咽拭子采样靶点上擦拭成功并进行下一步骤，否则重复步骤5；

步骤6：通过咽拭子棉签收集装置收集被采用人员的咽拭子棉签，将咽拭子棉签的头部收集至与被采用人员身份信息相统一的试管中，单采时，一位被采样人员采样结束后，通过咽拭子棉签收集装置为下一位被采样人员供应新的试管；混采时，多位被采样人员采样结束后，通过咽拭子棉签收集装置为下一位被采样人员供应新的试管。

在一种咽拭子采样有效性检测方法及自助式咽拭子采样方法中，均需要对咽拭子棉签的头部进行跟踪和预测出咽拭子采样轨迹，从而对咽拭子采样进行有效性检测，一种咽拭子头部的跟踪与轨迹预测方法，包括以下步骤：

步骤1：实时采集被采样人员进行咽拭子采样过程中口腔内的视频数据，并将该视频数据在显示器上实时显示；

步骤2：截取所述视频数据存在有咽拭子棉签头部的第t-1视频帧和第t视频帧，通过目标识别算法对所述视频帧中咽拭子棉签头部进行目标检测并得到咽拭子棉签头部的位置框，将所述位置框的中心点作为咽拭子棉签头部的识别锚点；获取第t-1视频帧中的识别锚点并作为第t-1识别锚点，获取第t视频帧中的识别锚点并作为第t识别锚点，所述t=2；直接通过位置框的中心点作为所述识别锚点，减少计算量且方便后续轨迹点的跟踪和预测；

步骤3：根据所述第t-1识别锚点的均值通过状态转移矩阵估计第t预测锚点的均值，并计算出所述第t识别锚点和第t预测锚点的均值误差，并通过所述均值误差更新所述第t预测锚点的协方差；

步骤4：当所述协方差小于设定阈值时，则计算所述第t预测锚点的均值向量并将该均值向量的坐标数据作为第t跟踪锚点的位置坐标，并在显示屏上通过标识点显示该位置坐标且执行步骤5；否则执行步骤3；

步骤5：令t=t+1，并同时执行步骤2和步骤6；

步骤6：将t-1跟踪锚点至t+1跟踪锚点的位置坐标进行归一化处理并输入以长短期记忆网络LSTM为主干构建的轨迹预测模型中并输出轨迹点；

步骤7：将所述轨迹点进行并联拟合成一个完整的轨迹线，并在显示器上的所述视频数据中实时显示和更新所述轨迹线。

其中，所述预测锚点的均值通过四维向量

矩阵元素

通过检测锚点和预测锚点的差值实现咽拭子目标的跟踪，考虑到视频数据目标检测过程中不可避免的预测锚点与检测锚点相对与咽拭子真实位置的误差问题，为了得到准确的跟踪位置数据，通过计算预测锚点与检测锚点差值的方式，利用数据训练得到最优的差值范围，使得到的跟踪锚点位置相对于咽拭子真实位置的误差最小。

所述归一化处理的公式为：

如图3所示，所述轨迹预测模型包括两层LSTM网络、输入层、输出层、全连接层和卷积层，输入层经所述两层LSTM网络后再经全连接层与输出层连接，在所述卷积层的输入端与所述输入层和LSTM网络的公共端相连接，所述卷积层的输出端与所述全连接层的输入端连接。

其中，轨迹预测模型的输入为轨迹点向量

公式中

公式中，

公式中

在轨迹预测模型的训练之前，需要将训练集切分为相同步长的多个数组，

轨迹预测模型训练的损失函数为

时间误差是指两条航迹中对应航迹点的时间差值；

模型的训练过程，就是不断更新网络中各个权重的值，使得神经网络的输出不断接近真实值的过程。

将t-1跟踪锚点至t+1跟踪锚点的位置坐标进行归一化处理并输入训练好的轨迹预测模型中并输出轨迹点；将所述轨迹点进行并联拟合成一个完整的轨迹线。

另外，为证明轨迹预测模型和方法的有效性，使用水平误差和时间误差评估模型，水平误差为预测轨迹点C和真实轨迹点T在二维平面下的欧式距离：

时间误差是指两条航迹中对应航迹点的时间差值；

依据上述误差评估方式构建轨迹预测模型训练的损失函数：

公式中

通过平均位移误差（ADE）和最终位移误差（FDE）两个指标来评价训练得到的轨迹预测模型性能的好坏，即有效性。计算公式如下：

公式中，

1、关于咽拭子棉签头部的跟踪方面：

现有基于视觉的目标跟踪检测方法通过计算目标预测的锚框和检测的锚框的大小与位置交并比IOU值，此过程需要通过锚框宽、高、顶点坐标、宽高比等特征数据来进行差值计算，获得最优跟踪锚框，计算量较大。

而咽拭子目标检测采用的是锚点，与锚框不同的，锚点仅包含目标的位置信息，即视频帧图像中的坐标（x，y）。由于在核酸检测咽拭子目标跟踪和预测过程中，不需要咽拭子的大小形状信息，因此在目标识别数据集准备阶段就用锚点进行标注，标注点位于咽拭子图像特征的重心位置。本专利方法计算前后视频帧中预测锚点与检测锚点的坐标位置距离，通过数据训练得到最优的距离范围，设定阈值，在阈值范围内则为有效预测锚点，即跟踪锚点。

本专利方法仅进行位置坐标的计算，在保证目的效果相同的情况下，极大地减少了视频处理过程中目标跟踪的计算量，提高方法实时性，降低设备成本，便于低成本的嵌入式主控制器设备部署。

2、关于咽拭子棉签头部的轨迹预测方面：

首先，咽拭子目标轨迹预测的目的是通过实时轨迹数据和预测模型完成对咽拭子运动轨迹的提前规划和显示。

现有类似基于视觉的车辆轨迹预测和基于视觉的人体行走轨迹预测方法，都是在固定的如公路、街道等场景下，在此场景下运动目标如车辆、行人都有一定的轨迹分布规律。在大量视频数据的训练下进行车辆和行人轨迹数据分布的计算分析，通过深度网络训练从大数据的轨迹分布数据先验来得到规定场景下的目标运动规则进行轨迹分布预测，从而预测出轨迹数据。

本专利轨迹预测方法，在算法层面，构建的深度学习的网络模型，其网络层的设计是基于预测过程对于先验轨迹数据的依赖，这里先验轨迹数据即实时的真实轨迹数据，即在

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。