从舌图像提取关注区的方法及相应健康监控方法和设备

摘要

本发明提供一种从舌图像中提取关注区的方法及使用舌图像的健康监控方法和设备。该健康监控方法包括：建造一个数据库，在该数据库中，从一人获得的舌图像、为此人设置的模板图像以及对至少一个特征因素决定此人健康状况的结果相互联系；使用模板匹配从舌图像中提取关注区，该舌图像从要决定健康状况的人获得；从提取的关注区检测至少一个特征因素；以及基于舌状况的变化决定人的健康状况，该舌状况从检测的特征因素和从关于不同健康状况下的关注区的数据库检索到的特征因素之间的比较而检测得出。

说明书

技术领域

本发明涉及健康监控，特别涉及从舌图像中提取关注区的方法和使用特征因素进行健康监控的方法和设备，该特征因素是从舌图像中的关注区中提取的。

背景技术

随着生活环境和条件的全面改善，健康的个人关注不断增长。结果，已经研究和开发出许多家庭医疗设备，这些家庭医疗装置允许人们容易地监控他们的个人健康。

许多因素可以用来诊断人体状况。在这些因素之中，由于容易测量，血压或血糖经常使用。除了这些因素，近来认为舌的状况也能够提供关于内脏的许多信息。例如，当人们健康时，他们具有粉红色的舌和又薄又白的舌苔。当肝脏或消化器官工作不正常时，舌肿胀、变薄、由于干而收缩、成为黄色或灰色、舌苔厚或没有任何舌苔并且光滑。

近来，出版了关于舌状况和内脏癌症或冷热综合症(chill-fever syndrome)之间关系的许多论文。这些论文中的一些是：Chuang-Cine Chiu的、题目为“基于计算机图像分析并用于舌的传统中医诊断的新方法(ANovelApproachBased on Computerized Image Analysis for Traditional Chinese Diagnosis of theTongue)”、发表于Computer Methods and Programs in Biomedicine 61，pp.77-89，2000中的论文，Yang Cai的题目为“用于舌检查的新图像系统(A NovelImaging System for Tongue Inspection)”、发表于IEEE Instrumentation andMeasurement Technology Conference，pp.159-163，2002中的论文，Yao和Paotia的题目为“TCM舌图像和胃镜检查图像的比较(Comparison of TCM TongueImages with Gastroscopy Images)”、发表于Shangdong S & T Publisher，1996(中文)的论文，和Tadashi，Watsuji等的题目为“在传统中医中，医学应用于舌检查的诊断系统中的模糊理论(Medical Application of Fuzzy Theory to theDiagnostic System of Tongue Inspection in Traditional Chinese Medicine)”、发表于IEEE Intemational Fuzzy Systems Conference Proceedings，pp.145-148，1999的论文。

然而，基于舌的状况检测疾病入侵的初期阶段和疾病发展的设备非常昂贵并且多数在医院里才能找到，舌的状况例如是舌苔、颜色或外观。同样地，传统装置不适合人们进行个人健康监控。

发明内容

本发明提供从舌图像中提取关注区的方法，该关注区例如是舌尖、舌中部、舌边缘或舌根。

本发明也提供使用从舌图像中提取的关注区的至少一个特征因素进行健康监控的方法和设备。

根据本发明的一方面，提供从舌图像中提取关注区的方法，该方法包括：建造保存模板图像的数据库，每一个模板图像和个人信息相对应并且用关注区显示；从舌图像中分割舌区域，该舌图像从要决定健康状况的人中获得；把舌区域和保存在数据库中的模板图像进行匹配；以及从匹配的模板图像中提取关注区。

根据本发明的另一方面，提供使用舌图像的健康监控方法，该方法包括：建造一个数据库，在该数据库中，从一个人获得的舌图像、为此人设置的模板图像、对至少一个特征因素决定此人健康状况的结果相互关联；使用模板匹配从舌图像提取关注区，该舌图像从要决定健康状况的人获得；从提取的关注区中检测至少一个特征因素；以及基于舌状况的变化决定人的健康状况，该舌状况从检测的特征因素和从关于不同健康状况下的关注区的数据库检索到的特征因素之间的比较而检测得出。

根据本发明的另一方面，还提供使用舌图像的健康监控设备，该设备包括：舌图像数据库，在该数据库中，从一个人获得的舌图像、为此人设置的模板图像、对至少一个特征因素决定此人健康状况的结果相互关联；舌图像获得单元，该单元从要决定健康状况的人获得舌图像；关注区提取器，用于从提供的来自舌图像获得单元的舌图像分割舌区域，并且使用模板匹配从舌区域中提取关注区，该模板匹配是在舌区域和在舌图像数据库中保存的模板图像之间进行的；特征提取器，该提取器对于关注区提取器提取的关注区产生有关至少一个特征因素的数据；比较器，该比较器将特征提取器对于关注区产生的有关特征因素的数据与保存在舌图像数据库中的关于该关注区的特征因素进行比较；以及健康状况决定器，该决定器基于从比较器提供的比较结果决定此人的健康状况，并且将决定的结果通知此人。

附图说明

通过参照附图对其优选实施例的详细描述，本发明的上述和其他特征和优点会变得更清楚，其中：

图1是根据本发明的实施例的、使用舌图像的健康监控设备的方块图；

图2是图1中显示的舌图像处理单元的详细方块图；

图3是图2中显示的关注区提取器的操作流程图；

图4A到4D说明了保存在舌图像数据库中的模板图像的产生和匹配；

图5说明了舌尖、舌中部、舌左边缘、舌右边缘和舌根；

图6A和6B显示了通过图1显示的舌图像获得单元获得的舌图像的实例和保存在图1中显示的舌图像数据库中的基本舌图像的实例；

图7A和7B显示了从图6A和6B中显示的舌图像中提取出作为关注区的舌尖的实例；

图8A和8B显示了从图6A和6B中显示的舌图像中提取出作为关注区的舌中部的实例；

图9A和9B显示的图显示了关于图7A和7B中显示的舌尖的色调饱和度亮度(HSI)颜色坐标系统的直方图；及

图10A和10B显示的图显示了关于图8A和8B中显示的舌中部的色调饱和度亮度(HSI)颜色坐标系统的直方图。

具体实施方式

在下文中，将参考附图详细地说明本发明的一个优选实施例。

图1是根据本发明实施例的使用舌图像的健康监控设备的方块图。健康监控设备包括舌图像获得单元11、舌图像处理单元13和舌图像数据库15。

舌图像获得单元11实现为典型的数码相机，如拍舌的专用照相机、连接于个人电脑的照相机或连接于移动通信终端的照相机。要诊断的人的整个舌使用舌图像获得单元11每天拍照或必要时在他/她吃食物前拍照。舌图像获得单元11获得舌图像并将其传送到舌图像处理单元13。最好舌在不变的亮度下拍照以便减少舌图像的颜色失真。另外，最好还使用颜色检查器来补偿舌图像的颜色。在每次拍照舌时，假定人几乎以相同的方式伸出舌，例如几乎有相同的长度或相同的角度。

使用阈值处理和与保存在舌图像数据库15中的基本舌图像进行模板匹配，舌图像处理单元13从舌图像获得单元11提供的舌图像提取关注区，如舌尖、舌中部、舌边缘或舌根，并且将从当前获得的舌图像提取的关注区与基于预定特征因素的基本舌图像中的关注区进行比较。此外，舌图像处理单元13能够比较在关注区中的舌本或舌苔和基于预定特征因素的基本舌图像，并且基于中医决定健康状况。

舌图像数据库15包括个人信息，该个人信息包括每个人的唯一标志、通过舌图像获得单元11从每个人获得的舌图像、其中设置关注区的模板图像，和关于处于每种健康状况或在每个日期的每一个关注区的特征因素数据，这些唯一标志、舌图像、模板图像和特征因素数据互相关联。

在健康监控设备中，舌图像获得单元11、舌图像处理单元13和舌图像数据库15可以集成为单一设备或可以分开实现。当它们集成为单一设备时，该健康监控设备可以在如蜂窝电话或个人数字助理(PDA)的个人移动通信设备中实现。在这种情况下，舌图像数据库15保存与移动通信设备的主人的舌图像相关的个人信息、舌信息和舌特征。当它们分开实现时，使用有线或无线通信在它们之间进行数据传送和接收，并且舌图像处理单元13和舌图像数据库15可以在健康护理服务中心或个人电脑中实现。健康护理服务中心可以是移动通信设备公司的服务器或医院的服务器。这时，只有舌图像数据库15可以独立实现，必要时，舌图像可以从舌图像数据库15中有线或无线地传送到远程的东方医疗医生，东方医疗医生可以基于中医诊断健康状况和给出建议。

图2是图1中显示的舌图像处理单元13的详细方块图。舌图像处理单元13包括颜色补偿器21、关注区提取器23、特征提取器25、比较器27和健康状况决定器29。

颜色补偿器21补偿舌图像的颜色失真，该颜色失真是在通过舌图像获得单元11获得舌图像时由于周围亮度而产生的。对颜色补偿来说，舌图像获得单元11产生和保存颜色检查器，该颜色检查器包括在获得舌图像时要在舌图像上显示的多种颜色，颜色补偿器21比较包括在舌图像中的颜色检查器和从舌图像获得单元11提供的颜色检查器，得到两个颜色检查器之间的颜色区别值，并基于该颜色区别值决定补偿程度。在这儿，颜色补偿器21可以省略。换句话说，根据给舌拍照的环境，颜色补偿器21是任选的。

关注区提取器23将从颜色补偿器21接收的舌图像和相关人的基本模板图像进行匹配，该模板图像保存在舌图像数据库15中，关注区提取器23提取关注区，如舌尖、舌中部、舌左边缘、舌右边缘或舌根。

特征提取器25检测关注区提取器23提取的关注区的特征因素。特征提取器25能够检测特征因素，如色调饱和度亮度(HSI)颜色坐标系统中的颜色值的直方图、颜色值的平均值、偏差、熵和结构(texture)。

比较器27比较由特征提取器25检测的、舌图像关注区的特征因素和依据健康状况或日期保存在舌图像数据库15中的、基本模板图像的关注区的特征因素。

健康状况决定器29具有对于有关健康状况的每一个特征因素的数值范围，该数值范围提前设置，并且该决定器29利用从比较器27提供的比较结果来决定当前人的健康状况。例如，从有关健康状况和疲劳状况的保存在舌图像数据库15中的舌尖的HSI直方图得到的H、S和I，能够与从当前获取的舌图象提取的舌尖的HSI直方图中得到的H、S和I进行比较，从而基于比较结果决定当前的健康状况。此外，基于特征因素的比较结果能够检测关注区内舌本和舌苔的状况以便基于中医决定当前的健康状况。

表1显示了与舌的每个部位对应的内脏和基于中医的健康状态。

                                表1

项目                             说明器官▲舌尖：上焦(heater)，胃的上部-心和肺▲舌中部：中焦，胃的中部-脾和胃▲舌边缘：无-肝脏和胆囊▲舌根：下焦，胃的下部-肾脏健康标准基于舌本和舌苔的状况决定健康状况。▲舌本：主要决定内脏的虚或盛。▲舌苔：主要决定胃“气”(“Gi”)的清或浊和病原体的性质。(健康状态：舌本淡红且平滑、舌苔薄白和干湿适中)舌本▲白：白舌本表示虚寒症或贫血。▲淡红：淡红舌尖表示上焦热盛或心火旺(flaring-up)。淡红舌边缘表示肝热综合症。鲜红舌本表示由于心热(warm-heart)而潮热(steaming fever)，也就是因阴(Eum)虚而火旺(flaming-up)。深红色多数在致病热进入了营气“Gi”时出现。▲紫色：三焦有极热。深蓝色表示污浊血的淤积。带蓝的淡紫色的潮湿的舌表示寒症进入肝脏和肾脏。▲深蓝色：光滑的舌表示阴虚。干燥表示淤血症。这两种特征表示疾病已经发展。舌苔▲白舌苔：白、粘而滑的舌苔表示体内有湿痰。白、粘、厚的舌苔表示湿浊不化。像舌抖落粉末的状况表示流行病的污浊程度高。白舌苔多数是外因疾病的外部表征。▲黄舌苔：淡黄而不干的舌苔表示病原体开始进入身体。黄而粘的舌苔表示湿热。黄而褪色的舌苔表示湿盛于热。暗黄破损的舌苔表示热盛于湿。▲暗灰舌苔：灰、微湿而滑并带微粘和腐苔(stagnation)的舌苔表示由津液积聚或外部病原因的直接攻击而引起的阴寒(Eum-cold)。干而暗的舌苔表示多热致津伤和热极津枯。湿而滑的舌苔表示阳虚阴盛，也就是说，水胜于火。

图3是图2中显示的关注区提取器23的操作流程图。该操作包括模板图像的产生(31)、嘴内部区域的分割(33)、模板图像的匹配(35)和关注区的提取(37)。

在步骤31中，产生人的舌模板图像并保存在舌图像数据库15中。将参考附图4A到4D对步骤31进行详细描述。

为了产生舌的模板图像，对通过舌图像获得单元11获得的舌图像进行阈值处理，以便将舌图像分割为嘴内部区域和舌区域，该嘴内部区域大概占从舌图像顶部的1/4。图4A中显示的舌图像的阈值处理根据公式(1)进行。

g(x)＝1，f(x)≤T    ...(1)

g(x)＝0，f(x)＞T

在这儿，f(x)是在舌图像中的像素位置x处的像素值并且具有范围0≤f(x)≤255，g(x)是表示嘴内部区域的像素值并且可以是0或者1，T是可以通过实验获得的阈值，例如T可以设置为70。同时，每一个像素的红/绿/蓝(RGB)颜色值中的至少一个可以用作f(x)。可替代地，例如，对应于HSI颜色坐标系统中的亮度的I(x)可以取代f(x)而使用。在这种情况中，为了从RGB颜色值中获得I(x)，使用公式(2)中显示的RGB/HSI颜色坐标系统转换公式。RGB和HSI颜色坐标系统在这个实施例中使用，但可以使用如CMY、YIQ和HSV颜色坐标系统的其他各种颜色坐标系统。

$>>I>=>F>>>R>+>G>+>B>>3>>>s>$

$>>H>=>>F>>2>\pi >>>>cos>>->1>>>\{>>>>1>2>>[>>(>R>->G>)>>+>>(>R>->B>)>>]>>>[>>>(>R>->G>)>>2>>+>>(>R>->B>)>>>(>G>->B>)>>>]>>1>/>2>>>>>\}>->->->->->->->>(>2>)>>>s>$

$>>S>=>F>\{>1>->>3>>R>+>G>+>B>>>min>>(>R>,>G>,>B>)>>\}>>s>$

在这儿，0≤R，G，B≤1，F是常数，典型地设为255。

作为使用公式(1)对从舌图像获得单元11提供的图4A中显示的舌图像进行阈值处理的结果，舌图像分割成嘴内部区域401和舌区域402，其中，如图4B所示，嘴内部区域401中的每一个像素的g(x)是1，如图4C所示，该舌区域402中的每一个像素的g(x)是0。

接下来，如图4D所示，设置一个由三条边411、412和413组成的三角形，该三条边由嘴内部区域401的两个相对端点431、432和舌区域402的低端点限定，其中嘴内部区域401和舌区域402由图4A中所示的舌图像分割而成。如图5所示，使用该三角形设置关注区。图5中记号R1表示舌尖，记号R2表示舌中部，记号R3表示舌边缘，记号R4表示舌根。图4D中舌中部R2设置在舌区域402中心的预定区域。舌根R4设置在边411中心的预定区域。舌左边缘R3和舌右边缘R3分别设置在边413和412中心的预定外部区域。舌尖R1设置在两条边413和412相交点的附近的预定区域。

在步骤33中，使用舌图像获得单元11从要决定健康状况的人获得舌图像，且用和步骤31中产生模板图像相同的方式对获得的舌图像进行阈值处理以便将获得的舌图像分割成嘴内部区域401和舌区域402。

在步骤35中，舌区域402中的舌宽度“w”是基于嘴内部区域401的相对端点431和432获得的；舌的旋转角度“a”是基于从边411的左端开始的水平线414和从边411延伸的线416获得的；舌长度“d”是作为平行线415和416之间的距离获得的。使用如舌宽度“w”、舌角度“a”和舌长度“d”的模板特征因素，将人的舌图像和模板图像进行匹配。

在步骤37中，使用匹配的模板图像从获得的舌图像提取关注区，该关注区包括舌尖R1、舌中部R2、舌左边缘R3、舌右边缘R3和舌根R4的至少一个。

此后，将使用保存在舌图像数据库15中的基本舌图像的实例和通过舌图像获得单元11当前获得的舌图像的实例来说明决定健康状况的过程。

图6A是保存在舌图像数据库15中的基本舌图像，该基本舌图像对应于稍微疲劳状况。图6B是使用舌图像获得单元11从处于高度疲劳状况的人获得的舌图像。图7A和7B显示了从图6A所示的舌图像中提取的作为关注区71的舌尖和从图6B所示的舌图像中提取的作为关注区73的舌尖的实例。图8A和图8B显示了对应于舌中部的关注区81和83的实例，该关注区分别从图6A和图6B中所示的舌图像中提取。

图9A显示了与关注区71相关的HSI颜色坐标系统中颜色值的直方图，该关注区71与图7A中所示的舌尖相对应。图9B显示了与关注区73相关的HSI颜色坐标系统的颜色值的直方图，该关注区73与图7B中所示的舌尖对应。图10A显示了与关注区81相关的HSI颜色坐标系统的颜色值的直方图，该关注区81与图8A中所示的舌中部对应。图10B显示了与关注区83相关的HSI颜色坐标系统中颜色值的直方图，该关注区83与图8B中所示的舌中部对应。

表2显示了舌图像中的关注区的特征实例，该特征也就是关于从图9A到10B中所示的直方图中获得的每个H、S和I的平均值±标准偏差。

                         表2

      类  别      舌  尖      舌中部稍微疲劳状况(图6A) H＝20.23±19.71 S＝7.51±4.08  H＝68.59±14.42  S＝12.19±9.41 I＝156.64±15.97 I＝176.78±12.96非常疲劳状况(图6B) H＝73.26±36.75 S＝8.38±4.36 I＝157.55±31.14 H＝53.08±25.63 S＝15.16±8.75 I＝177.07±18.99

参考表2，H、S和I值随健康状况而不同，特别是H值依据健康状况有很大变化。

本发明能够作为代码实现，该代码记录在计算机可读记录媒介上并能够用计算机读取。例如，从舌图像中提取关注区的方法能够通过记录在计算机可读记录媒介上来实现，在计算机可读记录媒介上记录：第一个程序，用于建造保存模板图像的数据库，每一个模板图像和人的个人信息相对应；第二个程序，用于利用预定阈值对舌图像进行阈值处理，该舌图像是使用预定图像摄取设备从要决定健康状况的人中获得的，以便将舌图像分割成嘴内部区域和舌区域；第三个程序，用于利用从舌区域计算出的舌宽度、舌旋转角度、舌长度将获得的舌图像和模板图像进行匹配；以及第四个程序，用于从匹配的舌图像中提取关注区，如舌中部、舌根、舌边缘或舌尖。

同时，计算机可读记录媒介可以是任何类型的记录媒介，在该记录媒介上可以记录计算机系统可以读取的数据，例如：ROM、RAM、CD-ROM、磁带、软盘或光学数据保存设备。本发明也可以实现为载波(例如，通过因特网传送)。可替代地，计算机可读记录媒介分布在通过网络联接的计算机系统中以便本发明可以实现为代码，该代码保存在记录媒介中并能用计算机读取和执行。本发明技术领域中的程序员能够很容易地推导出实施本发明的功能性程序、代码和代码片段。

如上所述，根据本发明，使用舌图像的健康监控设备在带有数码相机的移动通信设备中实现，以便基于关注区的状况变化可以很容易地诊断一个人的健康状况，该关注区例如是使用数码相机从获得的来自人的舌图像提取的舌中部、舌根、舌边缘或舌尖。因此本发明能够对个人健康护理做出贡献。

此外，使用照相机获得的人的舌图像能够有线或无线地传送到远程健康护理服务中心，在该健康护理服务中心安装有舌图像处理单元和舌图像数据库，以便通过特征因素的比较能够决定健康状况或者能够由如东方医疗医生的专家更准确地诊断。

而且，舌图像处理单元和舌图像数据库能够在移动通信设备公司或医院的服务器上实现。因此，可以有效地提升公司或医院，并且能够通过提供附加的服务产生增值。

尽管显示和说明了本发明的几个实施例，但本领域技术人员会理解，在不脱离本发明的原理和精神的情况下可以改变这些要素，本发明的范围由所附的权利要求及其等价来限定。