基于神经网络算法的色素性皮肤病皮损面积量化诊断系统

摘要

本发明公开了一种基于神经网络算法的色素性皮肤病皮损面积量化诊断系统，其特征在于，包括图像获取单元；标定比色卡；图像预处理单元；深度神经网络；内参标定单元；三维位姿关系结算单元；皮损区域真实面积计算单元。将比色卡放置色素性皮损旁对皮损区域进行拍摄，随后上传照片至本发明公开的系统即可自动解算出皮损区域面积。本发明能够定量地评估色素性皮肤病患者皮损区域面积，相对于医师肉眼评估及计算机传统算法更为精确、更为便捷。

说明书

技术领域

本发明涉及一种色素性皮肤病皮损面积量化诊断系统。

背景技术

色素性皮肤病是以色素改变为特征的皮肤病的总称,包括如白癜风、贫血痣、黄褐斑、雀斑、咖啡斑、黑变病、太田痣等。对于色素性皮肤病的病情跟踪，发病皮损面积的大小是重要的评判依据。以白癜风为例，以往通常利用描摹白癜风发病区域到特制的方块纸上，计算发病区域的面积并以之作为白癜风病人的病情量化依据，如图1所示。

而现阶段国内大部分的医疗机构对于白癜风等色素性皮肤病患者皮损面积的病情跟踪及评估，依旧停留在医生的肉眼临床评估或基于图1的数格子面积评估，也称涂片法。也有通过对患者皮损部位拍照并做前后比对的方式进行粗略定性的分析。这些方式粗糙繁琐，难以实现对患者病情的细致量化跟踪。简言之，为了让色素性皮肤病的病情评估更加系统化、精确化，亟需一套快捷便利轻量的色素性皮肤病皮损面积评估系统，能以低升级成本对色素性皮肤病如白癜风的医疗现状加以优化改善。

发明内容

本发明的目的是：利用深度神经网络算法对色素性皮肤病病患图片自动识别并测量色素性皮损面积。

为了达到上述目的，本发明的技术方案是提供了一种基于神经网络算法的色素性皮肤病皮损面积量化诊断系统，其特征在于，包括：

图像获取单元，用于获取含发病区域的图像；

标定比色卡，在图像获取单元获取含发病区域的图像之前，将标定比色卡放置在发病区域，包括由N×N个图像块排列而成的正方形队列，该正方形队列四个角部的图像块分别为定位块，其他图像块为不同颜色的肤色对比块，其中，定位块用于定位标定比色卡，同时用于解算发病区域与图像获取单元之间的空间相对位置姿态关系；

图像预处理单元，用于将图像获取单元获得的图像转化为与深度神经网络适配的图像色彩数据；

深度神经网络：将图像预处理单元输出的图像色彩数据输入训练好的深度神经网络后，由深度神经网络输出发病区域的分割结果图像；

内参标定单元，用于对图像获取单元的光学模型内参进行标定，获得图像获取单元的内参矩阵；

三维位姿关系结算单元，用于借助位姿解算算法，使用定位块解算发病区域与图像获取单元之间的空间相对位置姿态关系；

皮损区域真实面积计算单元，基于深度神经网络输出的发病区域的分割结果图像结合三维位姿关系结算单元获得的空间相对位置姿态关系，分析计算出皮损区域的面积，以达到自动量化评估色素性皮肤病皮损区域发病程度的效果。

优选地，所述定位块由AprilTag二维码标签视觉基准系统中tag16h5类别中的0、1、2及3号标签构成。

优选地，所述图像预处理单元对图像获取单元获得的图像进行尺度归一化、色彩空间转换、色彩尺度归一化处理。

优选地，所述深度神经网络以多层神经网络构成的Resnet101作为分割骨干网络，以提取含发病区域的图像的高层语义特征，再将高层语义特征嵌入到deeplabv3+的架构，由deeplabv3+的架构输出最终的分割结果图像。

将比色卡放置色素性皮损旁对皮损区域进行拍摄，随后上传照片至本发明公开的系统即可自动解算出皮损区域面积。本发明能够定量地评估色素性皮肤病患者皮损区域面积，相对于医师肉眼评估及计算机传统算法更为精确、更为便捷。

附图说明

图1(a)及图1(b)为Visitrak system对白癜风的量化跟踪；

图2为色素性皮损量化系统流程图；

图3(a)为含发病区域的色素性皮损(白癜风)图像示例；

图3(b)为深度神经网络预测色素性皮损区域，如图所示，深度神经网络预测区域基本与人工标注区域重合；

图4为传统算法实验结果展示，其中第一行是含发病区域的图像，第二行是对应使用传统算法皮损区域的结果(深色区域)；

图5为深度学习算法训练结果展示；

图6为不同算法测试结果对比；

图7为本系统的标定比色卡；

图8(a)为含有标定比色卡的发病区域图片示例；

图8(b)为解算后得到的发病区域与相机的相对空间关系；

图9示意了借助标定比色卡解算出的皮损区域面积；

图10示意了神经网络离线训练过程；

图11示意了标注软件labelme的使用界面示例；

图12为标注图像示例；

图13为数据库文件和实例展示；

图14为相机内参矩阵标定所需的标定图以及采集得到的不同角度图像；

图15示意了相机内参矩阵标定结果

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图2所示，本发明公开的一种基于神经网络算法的色素性皮肤病皮损面积量化诊断系统包括：

图像获取单元，用于获取含发病区域的图像。本实施例中，含发病区域的图像示例如图3(a)所示。

图像预处理单元，对图像获取单元获得的图像进行尺度归一化、色彩空间转换、色彩尺度归一化等预处理后，转化为与深度神经网络适配的图像色彩数据。本实施例中，进行图像尺度归一化时将每张图像通过双三次插值法统一放缩到3648*1680尺寸。进行色彩空间转换时，将每张图像从RGB格式转为BGR格式便于深度神经网络处理。计算色彩尺度归一化时，计算所有图像每个色彩通道的均值方差，所有图像像素值减去均值再除以方差实现色彩尺度归一化。

深度神经网络，将预处理后的图像色彩数据输入训练好的深度神经网络后，由深度神经网络输出发病区域的分割结果，如图3(b)所示。

本实施例中，以多层神经网络构成的Resnet101作为分割骨干网络以提取含发病区域的图像的高层语义特征，将高层语义特征嵌入到deeplabv3+的架构，作为最终的深度神经网络，适合处理高分辨率的图像。在离线时，输入图像和标注到深度神经网络进行训练，训练好的深度神经网络可以直接用于在线输入图像并输出色素性皮损区域的分割预测，较好地圈出输入网络的图像中的发病区域以供后续皮损区域面积计算。

对于色素性皮肤病皮损的识别分割，是一个很经典的医学图像处理课题。传统的算法主要利用的是色彩空间变换、阈值滤波器、边缘检测或者形态学检测等，然而由于传统算法泛化性弱等问题，使用条件较为苛刻。具体而言，传统算法以及本系统使用的神经网络算法之间的对比如下：

传统算法

对图像进行颜色空间转换，在不同颜色空间下的图像进行基于阈值及边缘检测，并基于投票机制进行病灶区域识别分割。

优点：基于人为归纳的模式去识别，算法结构可解释性强，且算法复杂度低，运行时对计算资源消耗低，当图像适合算法的要求内运行结果近乎完美。

缺点：泛化性较弱，无法应对图像的多样性，容易受背景、光线以及目标部位的不同等因素的影响。

神经网络算法

利用卷积神经网络，搭建深度学习框架，将之前采集并预处理好的图像和对应的金标准作为训练集送入网络进行训练，让网络自动学习分割算法。

利用训练好的深度学习网络，可以对网络没有见过的图像进行病灶的预测分割，圈出病灶区域供后续的计算病灶面积，提供辅助诊断信息。

优点：多层神经网络构成的深度学习模型可以较好的挖掘输入图像的高层特征信息，相比于传统算法来说，其学习能力和发掘信息的能力具有更高度的非线性，可以更好地提取到更为复杂的语义信息，供网络更好地拟合，因此深度学习网络可以灵活应对多种多样含不同发病情况的输入样本，对不同的输入实例都有较好的分割预测性能。当训练样本足够多，算法识别效果能够很好应对图像的多样性，可抵抗背景、光线及目标部位的不同等因素的影响。

缺点：需要准备并标注较多数据，算法具备解释性相对低，运行消耗较高。

考虑到含发病区域图像中色素性皮损区域面积有大有小、尺度不同，需要解决多尺度训练的问题。本发明所采用的Deeplabv3+和resnet101的结构在传统的卷积神经网络基础上，增加了跳跃连接、空洞卷积、特征金字塔池等结构，适合用于色素性皮损光学图像分割任务。其特征金字塔池和空洞卷积的结构能从不同尺度来提取图像特征，从多个不同维度捕捉图像特性信息，基于数据驱动，能更好地提取到图像里的高级语义特征，并把低级图像特征和高级语义特征结合，使得所提取到的信息更好的供神经网络反馈学习，提高网络的学习能力、鲁棒性和泛化性，能够预测输出泛化性更强的分割结果。不同图像中色素性皮损区域大小不一，尺度各异，而特征金字塔池和空洞卷积的结构能从不同尺度来提取图像特征，因此能够取得比传统算法更好的效果。

将本发明的深度神经网络进行迭代训练，让算法的结果尽可能与金标准吻合，如图5所示，训练得到的网络的预测结果与医生标记的金标准基本吻合。

对比图6中传统算法和深度学习方法的测试结果可以看出，病患区域过于白的情况下，在传统算法中会被当做背景去除了，而深度学习算法则正确识别。传统算法识别错误多；深度学习算法在若不考虑光线问题，比较符合判定要求。

标定比色卡，包括由N×N个图像块排列而成的正方形队列，该正方形队列四个角部的图像块分别为定位块，其他图像块为不同颜色的肤色对比块。如图7所示，本实施例中，标定比色卡包括由3×3个图像块排列而成的正方形队列。位于四个角部的定位块由AprilTag二维码标签视觉基准系统中tag16h5类别中的0、1、2及3号标签构成，用于让程序能够方便地定位识别到标定比色卡，而其中间包含的5个肤色对比块，则用于做肤色量化算法使用，此处仅做提及，并不深入介绍其作用。通过图像获取单元获取含发病区域的图像时，将标定比色卡放置在发病区域，再利用图像获取单元获取含发病区域以及标定比色卡的图像。

内参标定单元，用于对图像获取单元(本实施例中为“相机”)的光学模型内参进行标定，得拍摄出含发病区域以及标定比色卡的图像的图像获取单元的内参矩阵。

三维位姿关系结算单元，用于借助AprilTag二维码标签位姿解算算法，使用定位块解算发病区域与图像获取单元之间的空间相对位置姿态关系。如图8(a)所示为带标定比色卡的图片，图8(b)所示为解算结果。

皮损区域真实面积计算单元，基于深度神经网络输出的发病区域的分割图结合三维位姿关系结算单元获得的空间相对位置姿态关系，分析计算出皮损区域的面积，以达到自动量化评估色素性皮肤病皮损区域发病程度的效果

如图9所示，本发明基于得到的内参矩阵，即可借助AprilTag二维码标签位姿解算算法，计算标定比色卡与相机的相对三维位姿关系，从而能够进一步地借助几何学的相似性原理，以及识别算法中识别分割的皮损区域，计算出皮损区域的真实面积。

上述系统的具体实施过程如下

(1)深度神经网络的离线训练过程

在线测试时，可按流程图逐步输出。而神经网络算法需要额外的离线训练过程，需要大量人工标注的数据作为教师训练模型以至收敛，训练过程如图10所示，其中损失函数采用交叉熵损失和Dice系数损失以更好地训练分割网络。

(2)人工标注的获得以及数据库的建立

神经网络是数据驱动的，其训练过程需要大量的人工标注来指导网络提取高级语义分割特征。人工标注的获得采用labelme标注软件，界面如图11所示，由经验丰富的专业医生通过逐点描边的方式获取标注。

本实施例中，基于数据标注要求，准备用于为图像数据做标注的软件程序为labelme，并针对性地将软件优化设计为汉化绿色免安装版，无需经历繁琐的程序运行环境搭建、程序运行，可双击直接运行，并在Windows、OSX、Linux等系统下皆制作了相应的软件包。

以下是使用labelme软件进行数据采集的详细过程：

工具：优化设计过的labelme软件

步骤：

a)描点成线条，形成多变形；

b)保存为.json文件；

c)通过自行编写的json2png程序转换成label图像供后续训练深度学习网络使用。

数据库的建立包括以下步骤：

a)每幅标记好被保存成json格式的文件经过json2png程序都将生成图12所示的几幅图；

b)如图12所示，“img.png”对应原图、“label.png”是分割金标准(即划定的准确的病灶区域)、“label_viz.png”显示的是标注好的皮损区域在原图上的位置(红色高亮部分)；

c)最终送入深度学习网络中训练的数据为img和label，即建立了相应的数据库，如图13所示。

(3)面积解算算法

正如前文所阐述的面积解算算法流程，在为色素性皮肤病患者的病患区域拍照时，需将特制的比色卡贴合在患者皮损区边上，注意保持比色卡需要和拍摄的皮肤区域保持同个平面上，否则会导致大小的归一化出现偏差，甚至可能由于光线角度的不同导致比色卡上的肤色样本与患者皮肤的光照条件不同而进一步导致色彩归一化的失效。

得到了符合要求的照片之后，需要对相机的光学成像模型参数即内参矩阵进行标定测算，具体而言，需要将相机保持方才采集患者的图像时的相机参数设置(包括焦距、分辨率)不变，并对如图14所示的格子大小为25*25mm的9×7棋盘格进行不同角度的拍摄。

利用算法中的内参解算程序，可以得到内参矩阵，如图15所示。当然对于相机的标定过程可以提前完成，只要保证拍摄时不要调节分辨率即可保证内参矩阵具备误差内的准确度。

最后利用内参矩阵，利用AprilTag标签系统的识别算法及位姿解算程序，可以解算出图片中所有正确完整拍摄到的标定比色卡的定位块的位姿变换关系，并且进一步的，基于该位姿变换关系，也就是俗称的相对空间关系，即可根据几何学推算出被拍摄的皮损皮肤与经过相机的镜头，在相机成像光学模型下，所形成的图片的对应关系，进而能从皮损识别算法分割出来的图像块反推出实际其识别到的皮损区域的真实面积。