一种基于人工智能的困难气道评估方法及装置

摘要

本发明涉及一种基于人工智能的困难气道评估方法和装置，方法包括以下步骤：获取各种姿势的面部图像；构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。本发明能够精准的对临床麻醉中困难气道做出预警。

说明书

技术领域

本发明涉及计算机辅助技术领域，特别是涉及一种基于人工智能的困难气道评估方法及装置。

背景技术

气管插管是麻醉医生对全身麻醉状态下的患者进行气道管理的重要手段，在保持气道通畅、通气供氧、呼吸支持、维持氧合等方面起到了重要的作用。然而，尽管气管插管技术和设备有了很大的进步和改进，但是困难气道导致的围手术期并发症和伤残的发生率并没有得到很好的改善，特别是对于未预知的困难气道。目前，评估困难气道的方法一般包括Mallampatti分级、LEMON评分、Wilson评分、颈部放疗史及辅助CT、MRI、US等，过程复杂且阳性评估值不高，均存在一定局限性。

发明内容

本发明所要解决的技术问题是提供一种基于人工智能的困难气道评估方法及装置，能够精准的对临床麻醉中困难气道做出预警。

本发明解决其技术问题所采用的技术方案是：提供一种基于人工智能的困难气道评估方法，包括以下步骤：

(1)获取各种姿势的面部图像；

(2)构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；

(3)构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。

所述步骤(1)中各种姿势的面部图像为能够反映困难气道的姿态图像，包括正面中立位面部图像、抿嘴微笑面部图像、仰头面部图像、低头面部图像、左侧面面部图像、右侧面面部图像、张口不伸舌面部图像、张口伸舌面部图像和下牙齿咬上嘴唇面部图像。

所述步骤(2)中采用深度学习特征提取网络，所述深度学习特征提取网络由m层神经网络构成，每层网络为卷积层、池化层、转置卷积层、全连接层中的若干种，且第i层和第j层有连接，其中，1

面部识别任务的损失函数采用人脸识别损失函数，所述人脸识别损失函数采用ArcFace损失函数，所述ArcFace损失函数为：

所述步骤(3)中的困难气道分类器在进行训练时，以科马克-汉勒评分为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以科马克-汉勒评分为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分，作为分类器的输出结果，所述面部图像的特征信息以及患者的身高、年龄、体重信息作为输入。

困难气道分类器为基于决策树的模型，决策树根据增益最大的原则进行分裂，直到达到终止条件为止。困难气道分类器可以采用多颗决策树进行集成，对多颗决策树的结果进行投票表决，得到最终的评估结果。

本发明解决其技术问题所采用的技术方案是：提供一种基于人工智能的困难气道评估装置，包括：图像信息获取模块：用于获取各种姿势的面部图像；数据记录模块，用于存储所述面部图像以及困难气道信息；特征提取模块，用于构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；评估模块，用于构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。

所述获取模块获取的各种姿势的面部图像包括：正面中立位面部图像、抿嘴微笑面部图像、仰头面部图像、低头面部图像、左侧面面部图像、右侧面面部图像、张口不伸舌面部图像、张口伸舌面部图像和下牙齿咬上嘴唇面部图像。

所述特征提取模块采用深度学习特征提取网络，所述深度学习特征提取网络由m层神经网络构成，每层网络为卷积层、池化层、转置卷积层、全连接层中的若干种，且第i层和第j层有连接，其中，1

所述人脸识别损失函数采用ArcFace损失函数，所述ArcFace损失函数为：

所述评估模块对所述困难气道分类器训练时，以科马克-汉勒评分为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以科马克-汉勒评分为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分，作为分类器的输出结果，所述面部图像的特征信息以及患者的身高、年龄、体重信息作为输入。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明利用基于面部识别的特征提取网络提取患者的特征信息，避免人工选取特征，标记图像，具有自动化的优点；利用机器学习方法构建的分类器进行困难气道严重程度评分，避免过拟合的现象，从而能够精准的对临床麻醉中困难气道做出预警。

附图说明

图1是本发明实施方式的流程图；

图2是本发明实施方式中9种不同姿势的面部图像示意图；

图3是本发明实施方式中特征提取网络和困难气道分类器的示意图；

图4是本发明实施方式中人脸识别任务准确率示意图；

图5是本发明实施方式中困难气道分数模型预测的ROC曲线图；

图6是本发明实施方式的结构示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于人工智能的困难气道评估方法，如图1所示，包括以下步骤：获取各种姿势的面部图像；构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。

其中，获取各种姿势的面部图像具体为：搭建了一个摄影棚来收集招募患者的多模态数据，这些数据包括患者正面和侧面不同姿态的面部图像。患者进入摄影棚内，首先由医生核对身份，登记患者姓名、性别、年龄、住院号、就诊科室、床号、门诊号、身高、体重、种族及手术类型等一系列信息。然后患者被要求做不同的面部动作和头部动作。如图2所示，这些动作包括正面中立位、正面抿嘴微笑、仰头、低头、头颈侧面旋转、张口伸舌、张口不伸舌、下牙齿咬上嘴唇。患者所做的9种不同动作都是重复做3次，采集的患者最佳的极限动作。

图片数据整理：

数据命名及归类，同一个受试者九个不同姿态的图片存放在同一文件夹中并以筛选号命名文件夹，患者的其它信息如年龄、性别、身高、体重、各项困难气道评分等级以及根据cormack-lehane score给出的得分结果(假设I、II级为0分，III、IV级为1分)等信息存放在数据库中，序号与图片文件夹的名称对应。

滤除照片背景信息，由通过图像自动截取程序实现，由医生将照片的背景信息滤除，只保留用于AI深度学习的患者不同姿势的照片。该过程可以减少深度学习时除面部信息以外的信号干扰。

数据清洗，进行图片命名，大小写、空格统一处理，剔除信息不全的样本(图片缺失、评分评级等信息缺失)，合并多批数据库的与图片，将图片整理成人脸识别任务的数据集。

训练集和测试集数据拆分与验证公正性：我们的训练集和测试集样本量按照8：2拆分，为了解决训练集和测试集数据拆分平衡及测试集验证的公正性问题，我们特征提取和分类器的训练都是在患者训练集中进行的。然后使用与训练集完全不同的患者即测试集来测试分类器，将原始数据划分为训练集和测试集是随机的。

本实施方式由特征提取网络和困难气道分类器结合构成(见图3)。该模型输入的信息为病人不同姿态的图片、身高、体重、性别、年龄，气道相关病史等信息；输出任务为困难气道严重程度分数。困难气道分数是以C-L分级为标准，将C-LⅠ-Ⅱ级定义为非困难气道即0分，将C-LⅢ-Ⅳ级定义为困难气道即1分，模型利用面部特征及信息的回归分析算法形成一个能够进行困难气道严重程度打分的模型，然后将特征提取网络运用到测试集中进行验证，对困难气道进行打分，分数越接近1分，表示困难程度越高。

特征提取网络由m层神经网络构成，每层网络为卷积层、池化层、转置卷积层、全连接层中的若干种，且第i层和第j层可以有连接(1

按照人脸识别损失函数来训练所述的特征提取网络，损失函数为：

其中，s为人工设置的参数，W

数据增广：为了提高基于深度学习的人脸识别准确性，对原始图像进行了随机裁剪(保持长宽比)、水平和垂直翻转的处理，以增广图像数据，提高人脸识别算法的性能，最终所有图片进行变换以后都变成112×112的图片用来训练基于人脸识别任务的特征提取网络。

特征提取网络采用随机梯度下降法进行训练，采用了权重衰减以及动量的方式，训练包含在训练集上迭代100轮(epoch)。

困难气道分类器采用随机森林算法，输入为特征提取网络输出的每个患者的特征，有36864维，加上性别、年龄、身高、体重，共36868维。真实标签维以C-L为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以C-L为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分。

对于患者的输入特征，对特征进行了归一化处理，即对每一维特征减去均值，除以方差。

在训练困难气道分类器时，对输入的患者样本进行均衡采用处理，使得输入模型的困难气道和简单气道患者样本数量相当。

训练随机森林模型可以采用600颗决策树，评估的方式选为交叉熵，在训练中对不同的决策树，从样本中有放回随机抽样进行训练。

利用面部特征及信息的算法形成一个能够进行困难气道严重程度评分的模型，根据该评分模型通过设置分界点的方式可以对困难气道进行分类。随机森林算法具有不容易过拟合、能够评估各个特征的重要性、很好的抗噪声能力等优点。其基本原理就是随机森林通过多颗决策树对患者面部特征和困难气道相关病史等信息进行重要度排序，随机森林集成了学习判断困难气道的思想，由多颗决策树投票表决该患者困难气道的概率，所有决策树表决的平均概率作为最终的评分结果。

在2020年8月至2021年1月的5个月时间里，我们记录了4474例患者。其中3931例患者可以得到进行困难气道评分训练的基本事实。表1显示了本研究中使用的患者人群的基线特征。

表1分数模型的患者人群的基线特征

最终3931例患者纳入AI分析，经过反复训练测试，当我们的人脸识别模型训练参数为学习率：0.003；权重衰减：0.0005；动量：0.9时能够达到最佳面部识别。人脸识别任务准确率可以达到92％以上(如图4)。

将训练集和测试集样本量按照8：2随机拆分，经过随机抽样，进行困难气道评分训练的训练集总共3144人，其中非困难气道组(C-L为Ⅰ-Ⅱ级)2911人，困难气道组(C-L为Ⅲ-Ⅳ级)233人；测试集共787人，其中非困难气道组(C-L为Ⅰ-Ⅱ级)729人，困难气道组(C-L为Ⅲ-Ⅳ级)58人(见表2)。

表2模型训练集和测试集中不同标签的样本数量

图5为困难气道分数模型在数据集中进行困难气道识别的ROC曲线，AUC值为0.78，以约登指数为困难气道评估的最佳分界值时，困难气道的最佳分界值为0.22分。

本实施方式中，根据约登指数确定分数模型评估困难气道的分界值，分界阈值为0.22分(见图5)，以模型评分≥0.22分为预测结果为困难气道，以模型评分＜0.22分为预测结果为非困难气道。则模型在包括787例患者的测试集中预测的真阳性病人有48人，假阴性病人10人，真阴性病人506人，假阳性病人233人，分数模型预测困难气道的灵敏度为82.8％,特异度为69.4％，阳性预测值为18％，阴性预测值为98％，表现出较好的识别性能(见表3)。

表3金标准*模型预测结果交叉列表

本发明的实施方式还涉及一种基于人工智能的困难气道评估装置，如图6所示，包括：获取模块：用于获取各种姿势的面部图像；数据记录模块，用于存储所述面部图像以及困难气道信息；特征提取模块，用于构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；评估模块，用于构建基于随机森林算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。

所述获取模块获取的各种姿势的面部图像包括：正面中立位面部图像、抿嘴微笑面部图像、仰头面部图像、低头面部图像、左侧面面部图像、右侧面面部图像、张口不伸舌面部图像、张口伸舌面部图像和下牙齿咬上嘴唇面部图像。利用光学成像设备采集患者头颈部特定姿态的图像，患者位于图像正中央，无干扰背景。

所述数据记录模块利用数据库储存了患者的面部图像、困难气道信息、以及身高、体重、性别等信息。

所述特征提取模块从数据记录模块中导入患者的面部图像以及患者的身份编号，在计算机上运行相应的程序，利用人脸识别损失函数构建的基于面部识别的特征提取网络。利用特征提取网络，可以输出对应于患者面部图像的特征。

所述评估模块运行相应的计算机程序，输入为特征提取模块通过患者不同姿态的图像提取的特征，以及患者的年龄、性别、身高及体重信息，真实标签为数据记录模块中患者的困难气道信息，并以C-L为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以C-L为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分，将所有特征输入模型，训练基于机器学习方法的分类器，利用评估模块可以输出患者的困难气道程度。

不难发现，本发明利用基于面部识别的特征提取网络提取患者的特征信息，避免人工选取特征，标记图像，具有自动化的优点；利用机器学习方法构建的分类器进行困难气道严重程度评分，避免过拟合的现象，从而能够精准的对临床麻醉中困难气道做出预警。