一种阴道微生态形态学自动分析方法和系统

摘要

本发明的目的是提供一种阴道微生态形态学自动分析方法和系统，针对通过常规设备获取的低分辨率涂片图像，先对其进行超分辨率放大重建，使其更为清晰，为后续的分类奠定基础，再应用神经网络技术对重建后的高分辨率图像进行图像判断和识别，并一步输出微生物的种类和密度，以实现对阴道微生态形态学进行自动分析和计算机辅助识别的目的，从而可以对阴道微生态系统进行客观准确的临床评价。

说明书

技术领域

本发明涉及微生态形态学分析方法和系统，尤其涉及一种对阴道微生态形态学图像进行自动分析和计算机辅助识别的方法和系统。

背景技术

女性生殖道感染和性传播感染是女性常见疾病，也是全球性的社会及公共卫生问题，具有发病率高、复发率高、流行范围广的特点。感染是多种疾病的源头，如果生殖道感染得不到及时诊断和正确治疗，可引起艾滋病感染和发生宫颈癌的风险增加、不孕症、异位妊娠、流产、死胎、死产、早产、先天感染及新生儿感染、慢性腹痛等并发症，影响两代人的健康。

建立阴道微生态临床评价体系是阴道感染诊断治疗思路的新突破。它能够指导妇产科临床医师从微生态角度重新审视妇科感染性疾病，全面评价感染及治疗后的阴道微生态状况，指导临床不仅追求治疗病原，而且以达到恢复阴道微生态环境正常这一最终目标。

建立阴道微生态临床评价体系，需要对阴道微生态中的微生物进行识别、半定量和分析，而目前微生物种类、数量的识别主要依赖于人类专家的主观阅读，这个过程耗时且易于出错。由于微生物学数据天然的模糊性，对相同领域内的或跨领域的专家之间，人工微生物读片的结果容易产生很大的可变性，且培训阅片人员需要时间，且基层医院无法配备有资质的检验人员进行阅片，而使常见的生殖道感染性疾病误诊误治。为了应付不断增加的数据量，实现更加客观和定量化的精确测量，以及获得可重复的结果，减少数据分析过程中的人为干预非常重要。

现有的计算机图像识别技术，例如Wavelet PCA方法(即基于小波变换的主成分分析，Wavelet Principal Component Analysis)，能够比较快的进行图像特征的提取，但是该方法对图像的处理较为简单，只是依靠先验的细菌特征知识进行分类，对于变化多样的细菌涂片图像则识别能力极为有限。而使用人工智能的方法进行图像识别，虽然有较高的准确率，但是运算复杂，往往需要有大型的并行运算能力才能完成，且现有获取患者涂片的设备所获得的图像分辨率都相对较低，无法有效进行神经网络学习等人工智能的运算，而获取高分辨率图像的设备成本 较高，处理时间较长，不适合于临床面对大量病人的涂片检查。

发明内容

本发明的目的是提供一种阴道微生态形态学自动分析方法和系统，针对通过常规设备获取的低分辨率涂片图像，先对其进行超分辨率放大重建，使其更为清晰，为后续的分类奠定基础，再应用神经网络技术对重建后的高分辨率图像进行图像判断和识别，并一步输出微生物的种类和密度，以实现对阴道微生态形态学进行自动分析和计算机辅助识别的目的，从而可以对阴道微生态系统进行客观准确的临床评价。

本发明一方面提供一种阴道微生态形态学自动分析方法，所述方法包括：先对待检测患者涂片的图像进行超分辨率放大重建，再应用深度卷积神经网络技术对重建后的所述图像进行图片识别。

进一步的，本发明提供一种阴道微生态形态学自动分析方法，所述方法包括：

(1)利用基于稀疏表示的超分辨率重构算法，对低分辨率的待检测患者涂片的图像进行放大重建，形成高分辨率的待检测患者涂片的图像；

(2)通过深度卷积神经网络技术，对步骤(1)中得到的所述高分辨率的图像进行特征数据提取和图像识别，获得图像中阴道微生物的位置和类别信息。

进一步的，本发明提供一种阴道微生态形态学自动分析方法，所述方法包括：

一、对待检测患者涂片进行超分辨率放大重建，包括：

预先收集高分辨率图像，将其分割为高分辨率图像块X_h，同时通过对所述高分辨率图像进行模糊采样和插值运算，得到其相对应的低分辨率图像块X_l；利用字典训练算法训练上述高分辨率图像块X_h及其所对应的低分辨率图像块X_l，分别获得高分辨率字典D_h和低分辨率字典D_l；

将待检测患者涂片的图像进行分块和特征提取，得到所述图像的特征图像块X_a；将所述特征图像块X_a通过上述高分辨率字典D_h和低分辨率字典D_l进行稀疏表示和稀疏表示系数提取，经过反向投影滤波器得到重建后的待检测患者涂片图像。

二、应用深度卷积神经网络技术对待检测患者涂片进行图片识别，包括搭建框架、训练深度卷积神经网络、重叠矩形框合并、图像识别4个步骤，具体为：

1.搭建框架：

预先收集已知细菌的高分辨率图像，并将图像分割成S*S的单元格；每个单元格输出B个矩形框，每个所述矩形框带有4个位置信息和1个物体概率信息Pr(Germs)；每个单元格再输出C个类别条件概率信息Pr(Class|Germs)，其中C为细菌类别的数量；最终输出层具有S*S*(B*5+C)个单元；每个矩形框的细菌类别识别概率Pr(Class)信息为：

Pr(Class＝Pr(Class|Germs)*Pr(Germs)

另外，如果一个细菌的中心落入一个单元格中，则该单元格上的B个矩形框的位置信息均为该细菌的位置信息。

2.训练深度卷积神经网络：

1)整个深度卷积神经网络的最终输出层为线性激活，其他层都是Leaky Rectified Linear激活：

$\phi \left(x\right)=\left(\begin{array}{cc}x,& \begin{array}{cc}if& x>0\end{array}\\ 0.1x,& otherwise\end{array}\right)$

引入两个参数λ_coord＝5，λ_noger＝0.5，整个网络的代价函数为：

$\left(\begin{array}{c}J={\lambda }_{coord}\underset{i=0}{\overset{s^2}{\Sigma }}\underset{j=0}{\overset{B}{\Sigma }}{\gamma }_{ij}^{ger}[{(x_i-\widehat{x_i})}^2+{(y_i-\widehat{y_i})}^2]\\ +{\lambda }_{coord}\underset{i=0}{\overset{s^2}{\Sigma }}\underset{j=0}{\overset{B}{\Sigma }}{\gamma }_{ij}^{ger}[{(\sqrt{w_i}-\sqrt{\widehat{w_i}})}^2+{(\sqrt{h_i}-\sqrt{\widehat{h_i}})}^2]\\ +\underset{i=0}{\overset{s^2}{\Sigma }}\underset{j=0}{\overset{B}{\Sigma }}{\gamma }_{ij}^{ger}{(C_i-\widehat{C_i})}^2\\ +{\lambda }_{coord}\underset{i=0}{\overset{s^2}{\Sigma }}\underset{j=0}{\overset{B}{\Sigma }}{\gamma }_{ij}^{noger}{(C_i-\widehat{C_i})}^2\\ +\underset{i=0}{\overset{s^2}{\Sigma }}{\gamma }_i^{ger}\underset{c\in class}{\overset{B}{\Sigma }}{\left(p_i\right(c)-\widehat{p_i}(c\left)\right)}^2\end{array}\right)$

2)建立样本训练集，并将训练集数据进行标注，之后将标注好的训练集投入到网络中对网络进行训练。

3.重叠矩形框合并：

对于重叠区域进行优化，即对同一个物体识别出的多个有重叠的矩形框进行优化，删除并合并重叠的矩形框，具体步骤为：根据每个矩形框的细菌类别识别 概率Pr(Class)大小进行排序；取概率最大的矩形框为一个细菌的框，记为A；在剩下的矩形框中，去掉与框A重叠率大于特定阈值的矩形框，保留其他矩形框；在保留的其它矩形框中，重复上述步骤，直到没有矩形框为止；之后选出合适的矩形框。

4.图像识别：

将步骤一经过超分辨率重建的高分辨率的待测患者涂片图像，输入到上述步骤二2建立的深度卷积神经网络中，得到包含细菌的多个待定矩形框，然后对矩形框进行上述步骤二3的矩形框优化，得到最终的细菌种类和位置，进而统计细菌的密度，输出图片识别结果。

另一方面，本发明提供一种阴道微生态形态学自动分析系统，所述系统包含数据分析模块，所述数据分析模块采用上述阴道微生态形态学自动分析方法对所采集的阴道分泌物染片进行微生态数据检测分析，并对微生态检测指标进行保存。

进一步的，本发明所述阴道微生态形态学自动分析系统还包含人工识别模块，所述人工识别模块用于对不能通过上述阴道微生态形态学自动分析方法进行识别的染色片，如染色后比较模糊的图片，实现专业检验医师的人工识别及识别结果的数据库保存。

在一个优选的方案中，本发明所述阴道微生态形态学自动分析系统包含患者信息录入模块、病例采集模块、数据分析模块、人工识别模块、打印表单模块，所述患者信息模块用于实现患者身份、检查情况等信息的录入；所述病例采集模块用于输入需分析的油镜下荧光染色图片；所述数据分析模块用于对所采集的阴道分泌物染片进行微生态数据检测分析，并对微生态检测指标进行保存；所述人工识别模块用于对不能自动识别的染色片，进行人工识别；所述打印表单模块用于对检测完数据进行报表的打印。

本发明的有益效果主要有以下几个方面：

本发明的阴道微生态形态学自动分析方法和系统能够减轻临床工作人员的劳动强度，缩短人员培养周期，减少主观误差，使阴道微生态检测客观化、系统化、规范化，它的推广，能够填补微生态诊治领域的空白，提高对于妇科感染这一临床常见病、多发病的诊治水平，规范化的诊治将会减轻群众医药费用负担， 带来巨大的经济效益和社会效应。

附图说明

图1：实施例1中识别图片中的细菌是滴虫的示意图。其中右上图的矩形框为检测到的细菌，矩形框右上角汉字标注细菌的类别，矩形框左上角数字标注细菌的位置编号。

图2：实施例2的阴道微生态形态学自动分析系统的主界面和打印表单界面。

具体实施方式

下面实施例对本发明进一步详细说明，本领域技术人员应当意识到在不脱离本发明的范围和精神的情况下所作的改动，均属于本发明的范围。

本发明所述的高分辨图像和低分辨图像是相对概念，其中高分辨率图像的分辨率是低分辨率图像的4倍以上。

实施例1：本发明的阴道微生态形态学自动分析方法

一、对待检测患者涂片进行超分辨率放大重建

1.获得高分辨率字典D_h和低分辨率字典D_l：

预先收集若干(例如10-1000张)高分辨率图像，针对每一张图像，将其分割为高分辨率图像块X_h；另外，通过对所述高分辨率图像进行模糊采样和插值运算，得到其相对应的低分辨率图像块X_l。然后，利用字典训练算法例如K-SVD算法，训练上述高分辨率图像块X_h及其所对应的低分辨率图像块X_l，分别获得高分辨率字典D_h和低分辨率字典D_l。

2.获得患者涂片的高分辨率图像：

通过临床采样，获得待检测患者涂片的图像(低分辨率图像)，将其进行分块和特征提取，得到所述图像的特征图像块X_a；将所述特征图像块X_a通过上述高分辨率字典D_h和低分辨率字典D_l进行稀疏表示和稀疏表示系数提取，经过反向投影滤波器得到重建后的高分辨率的待检测患者涂片的图像。

二、应用深度卷积神经网络技术对待检测患者涂片进行图片识别

1.搭建框架：

(1)预先收集已知细菌的高分辨率图像，并将图像分割成S*S的单元格；

(2)每个单元格输出B个矩形框，每个所述矩形框带有4个位置信息(用x,y,w,h表示)，以及1个物体概率信息(用Pr(Germs)表示)，所述物体概率是指矩形框图像是细菌的概率；

(3)每一个单元格再输出C个类别条件概率，用Pr(Class|Germs)表示，其中C为细菌类别的数量；

(4)最终输出层(output layer)具有S*S*(B*5+C)个单元(unit)。

其中，x,y表示中心相对于单元格左上角的位置偏移，单元格左上角为(0,0)，右下角为(1,1)，w,h表示矩形框的宽和高，其为相对于整个图片的相对值，例如与整个图片大小一样则为(1,1)，长宽都是整个图像的一半就是(0.5,0.5)。

每个矩形框的细菌类别识别概率Pr(Class)(即矩形框内图像是某种细菌的概率)等于上述类别条件概率Pr(Class|Germs)乘以上述物体概率Pr(Germs)，即：

Pr(Class)＝Pr(Class|Germs)*Pr(Germs)

另外，如果一个细菌的中心落入一个单元格中，则该单元格上的B个矩形框的位置信息均为该细菌的位置信息。

其中细菌类别可按表1所示分类。

表1细菌类别

2.训练深度卷积神经网络

1)整个深度卷积神经网络的最终输出层(Output Layer)为Linear激活(线 性激活)，其他层都是Leaky Rectified Linear激活方式，即：

$\phi \left(x\right)=\left(\begin{array}{cc}x,& \begin{array}{cc}if& x>0\end{array}\\ 0.1x,& otherwise\end{array}\right)$

因为一张图片中大部分单元格都没有落入细菌中心，所以引入两个参数λ_coord＝5，λ_noger＝0.5，整个网络的代价函数变成：

$\left(\begin{array}{c}J={\lambda }_{coord}\underset{i=0}{\overset{s^2}{\Sigma }}\underset{j=0}{\overset{B}{\Sigma }}{\gamma }_{ij}^{ger}[{(x_i-\widehat{x_i})}^2+{(y_i-\widehat{y_i})}^2]\\ +{\lambda }_{coord}\underset{i=0}{\overset{s^2}{\Sigma }}\underset{j=0}{\overset{B}{\Sigma }}{\gamma }_{ij}^{ger}[{(\sqrt{w_i}-\sqrt{\widehat{w_i}})}^2+{(\sqrt{h_i}-\sqrt{\widehat{h_i}})}^2]\\ +\underset{i=0}{\overset{s^2}{\Sigma }}\underset{j=0}{\overset{B}{\Sigma }}{\gamma }_{ij}^{ger}{(C_i-\widehat{C_i})}^2\\ +{\lambda }_{coord}\underset{i=0}{\overset{s^2}{\Sigma }}\underset{j=0}{\overset{B}{\Sigma }}{\gamma }_{ij}^{noger}{(C_i-\widehat{C_i})}^2\\ +\underset{i=0}{\overset{s^2}{\Sigma }}{\gamma }_i^{ger}\underset{c\in class}{\overset{B}{\Sigma }}{\left(p_i\right(c)-\widehat{p_i}(c\left)\right)}^2\end{array}\right)$

其中，

x：激励函数自变量。

λ_coord：矩形框位置预测信息的损失权重。

λ_noger：不包含细菌矩形框的置信度损失权重。

J：损失函数。

i：第i个网格。

j：第j个矩形框。

指示第i个网格的第j个矩形框是否包含细菌，包含细菌则该参数为1，否则为0。

s²：指网格的个数。

B：指每个网格产生B个矩形框。

x_i,y_i,w_i,h_i：分别指包含细菌的第i个网格的标准矩形框的坐标x,y以及宽度和高度w,h。

C_i：指第i个网格的置信概率。

p_i(c)：指第i个网格的类别预测概率。

指示第i个网格的第j个矩形框是否不含细菌，不包含细菌则该参数为1，否则为0。

指示是否有细菌出现在第i个网格，有则该参数为1，否则为0。

含有^的参数均表示对应参数的估计值。

2)建立样本训练集，并将训练集数据进行标注，之后将标注好的训练集投入到网络中对网络进行训练。

3.重叠矩形框合并：

对于重叠区域进行优化，即对同一个物体识别出的多个有重叠的矩形框进行优化，删除并合并重叠的矩形框，具体步骤为：

①根据每个矩形框的细菌类别识别概率Pr(Class)大小进行排序；

②取概率最大的矩形框为一个细菌的框，记为A；

③在剩下的矩形框中，去掉与框A重叠率大于某个阈值(根据实际情况设置)的矩形框，保留其他矩形框；

④在保留的其它矩形框中，重复上面的步骤，直到没有矩形框为止；

⑤选出合适的矩形框。

4.图像识别

将步骤一经过超分辨率重建的高分辨率的待测患者涂片图像，输入到上述步骤二2建立的深度卷积神经网络中，得到包含细菌的多个待定矩形框，然后对矩形框进行上述步骤二3的矩形框优化，得到最终的细菌种类和位置，进而统计细菌的密度，输出图片识别结果，并根据细菌种类、密度计算Nugent评分和AV评分。

图1为识别图片中的细菌是滴虫的一个实例：待测患者涂片图像进行超分辨率重建，放大为原图的4倍；将重建后的待测图片输入到训练好的深度卷积神经网络，该网络将图像分割成7*7个单元格，每个单元格输出2个矩形框，共输出98个具有类别识别概率的待定矩形框；对待定矩形框优化合并后最终得到1个矩形框，其类别为滴虫，统计个数为1。

实施例2：本发明的阴道微生态形态学自动分析系统

1.系统框架

根据上述本发明的阴道微生态形态学自动分析方法，在Microsoft.Visual.Studio.Team.System.2008环境下，对阴道微生态形态学自动分析系统进行开发，实现患者信息录入、阴道微生态油镜下图片选取、选取图片的自动数据分析、未能自动识别图片的人工识别及打印患者微生态检测报告等功能。

软件开发系统整体构架及功能包含患者信息模块、病例采集模块、数据分析模块、人工识别模块、打印表单模块，所述患者信息模块用于实现患者身份、检查情况等信息的录入；所述病例采集模块用于输入需分析的油镜下荧光染色图片；所述数据分析模块用于对所采集的阴道分泌物染片进行微生态数据检测分析，并对微生态检测指标进行保存；所述人工识别模块用于对不能自动识别的染色片，进行人工识别；所述打印表单模块用于对检测完数据进行报表的打印。

2.各模块功能

阴道微生态形态学自动分析系统主要包括患者信息、采集病例、数据分析、人工识别、打印表单五大模块，系统主界面如图2所示。

(1)患者信息模块

主要实现患者信息的录入，包括患者信息手工输出和自动输入两级菜单。

手工输入部分包括患者姓名、性别、年龄、样本种类、检测地点、病例号、科别、床位号、采样时间、送检药师、样品编号等。该部分信息录入后，自动送往文件名为“Patient.mdb”数据库文件中的patient表，将患者的上述信息进行数据的保存，以方便日后医疗人员对该数据库中大规模的数据进行数据分析和统计。

自动输入部分为本系统预留输入接口，为了后续与医院HIS系统对接而设置，以帮助医师快速利用医院HIS系统完成患者条形码扫描而自动获取患者信息，从而减少因人工手动输入带来的耗时长、手工录入信息准确性下降等弊端。(2)采集病例模块

主要实现患者阴道分泌物染片的选取。

进入采集病例模块后，可根据油镜下拍摄的患者图片的存放位置进行文件的 查找，当选定了某患者阴道微生态染片后，可根据需要选择“文件名”及类型(JPG或BMP)，然后“打开”该染片。

(3)数据分析模块

主要实现患者阴道分泌物染片的自动微生态数据检测。

利用实施例1的本发明的阴道微生态形态学自动分析方法，对“采集病例”模块选取的患者染色图片进行密集度、多样性、孢子、菌丝、WBC/油镜>10等微生态检测指标的报告及输出。另外，患者姓名、病历号等信息可通过调用“Patient.mdb”数据库文件中patient表的相应字段报告在数据分析结果中，并将检测出的密集度、多样性、孢子、菌丝、WBC/油镜>10等微生态检测指标保存在“Patient.mdb”数据库文件AnalyseResult表中，以方便日后医疗人员对该数据库中大规模的数据进行数据分析和统计。

(4)人工识别模块

主要实现专业检验医师的人工识别及识别结果的数据库保存。

此模块作为数据分析模块的按需补充，对于少量不能自动识别的染色片，如染色后比较模糊的图片，可在“数据分析模块”报告出“计算机无法自动识别，建议人工识别！”信息时，可将该图片通过“另存为人工库”按钮，存入人工识别库。然后进入主界面的“人工识别”模块进行检验医师的人工识别。

由专业检测医师对密集度、多样性、优势菌等检测指标进行人工识别录入，并通过“保存”按钮将人工识别结果保存至“Patient.mdb”数据库文件Identify表中，以方便日后医疗人员对该数据库中大规模的数据进行数据分析和统计。

(5)打印表单模块

主要实现患者阴道微生态检验报告单的打印功能，可实现自动识别结果打印和人工识别结果打印的选取。

根据“Patient.mdb”数据库文件中Patient表、AnalyseResult表、Identify表中的患者信息字段值，直接提取到打印报告单中。