医疗影像辨识系统及医疗影像辨识方法

摘要

一种医疗影像辨识方法，包含以下步骤：通过一预测单元传送一检查单号到一辨识模组；通过辨识模组接收一检查单号及一人体影像，将人体影像分别输入多个类神经网络模型；其中这些类神经网络模型各自输出至少一辨识结果；通过辨识模组将这些辨识结果回传到该预测单元；以及通过预测单元将这些辨识结果储存到一数据库中。

说明书

技术领域

本发明是关于一种医疗辨识系统，特别是关于一种医疗影像辨识系统及医疗影像辨识方法。

背景技术

一般而言，对于胸部X光影片的判读而言，医院有一定相当比例未能即时完成报告，这是因为全面性的医疗人力和资源不足所致。

此外，医疗纠纷日益增加，分析其原因，大致上为：病灶很隐微，容易忽略、未能即时或没有足够人力完成报告，引致医疗纠纷。

因此，如何在有限人力下，增进报告完成效率及筛选出异常的个案，便是本领域急待解决的目标。

发明内容

为了解决上述的问题，本公开内容的一个示例提供了一种医疗影像辨识系统，包含一预测单元以及一辨识模组。预测单元用以传送一检查单号。辨识模组用以接收检查单号及一人体影像，将人体影像分别输入多个类神经网络模型。其中这些类神经网络模型各自输出至少一辨识结果，辨识模组将这些辨识结果回传到预测单元。其中，预测单元将这些辨识结果储存到一数据库中。

在一实施例中，数据库传送对应检查单号的一病历数据到预测单元，预测单元将检查单号、病历数据及辨识结果合并为一原始结果(raw result)，并将原始结果回传到数据库。

在一实施例中，医疗影像辨识系统还包含：一整合单元。整合单元用以接收来自辨识模组的检查单号，依据检查单号到数据库中读取原始数据，并依据多个报告规则调整原始数据中的辨识结果，依据调整后的辨识结果产生一辨识报告，并将辨识报告储存至数据库；其中，由于辨识结果的数据有相依性，当这些辨识结果之间的数据相冲或互斥时，则整合单元依据报告规则调整原始数据中的辨识结果的至少一个。

在一实施例中，医疗影像辨识系统还包含：一医疗数字影像传输协定(DigitalImaging and Communications in Medicine，DICOM)读取器。医疗数字影像传输协定读取器用以接收来自一网络服务器的检查单号及来自一DICOM影像储存器的一DICOM影像档，并将DICOM影像档转换成PNG影像格式的一PNG(Portable Network Graphics)影像档，再将PNG影像档存入一PNG影像储存装置；其中DICOM影像档符合DICOM格式，PNG影像档包含人体影像。

在一实施例中，一自动报告系统至数据库读取对应检查单号的辨识报告，并将辨识报告通过一用户界面显示于一显示器；其中，自动报告系统通过用户界面接收一修改信息，依据检查单号将修改信息写入数据库。

本公开内容的另一示例提供了一种医疗影像辨识方法，包含以下步骤：通过一预测单元传送一检查单号；通过一辨识模组接收检查单号及一人体影像，将人体影像分别输入多个类神经网络模型；其中这些类神经网络模型各自输出至少一辨识结果；通过辨识模组将这些辨识结果回传到该预测单元；以及通过预测单元将这些辨识结果储存到一数据库中。

在一实施例中，数据库传送对应检查单号的一病历数据到预测单元，预测单元将检查单号、病历数据及辨识结果合并为一原始结果(raw result)，并将原始结果回传到数据库。

在一实施例中，通过一整合单元接收来自辨识模组的检查单号，依据检查单号到数据库中读取原始数据，并依据多个报告规则调整原始数据中的辨识结果，依据调整后的辨识结果产生一辨识报告，并将辨识报告储存至数据库；其中，由于辨识结果的数据有相依性，当这些辨识结果之间的数据相冲或互斥时，则整合单元依据报告规则调整原始数据中的辨识结果的至少一个。

在一实施例中，通过一医疗数字影像传输协定(Digital Imaging andCommunications in Medicine，DICOM)读取器接收来自一网络服务器的检查单号及来自一DICOM影像储存器的一DICOM影像档，并将DICOM影像档转换成PNG影像格式的一PNG(Portable Network Graphics)影像档，再将PNG影像档存入一PNG影像储存装置；其中DICOM影像档符合DICOM格式，PNG影像档包含人体影像。

在一实施例中，通过一自动报告系统至数据库读取对应检查单号的辨识报告，并将辨识报告通过一用户界面显示于一显示器；其中，自动报告系统通过用户界面接收一修改信息，依据检查单号将修改信息写入数据库。

本发明所示的医疗影像辨识系统及医疗影像辨识方法，能辅助医护人员进行医疗诊断，提升诊断效率，并辅以应用类神经网络模型分析人体影像，可达到更精准的辨识结果。

附图说明

图1是依照本发明一实施例绘示一种医疗影像辨识方法的流程图。

图2是依照本发明一实施例绘示一种医疗影像辨识系统的方块图。

图3是根据本发明一实施例绘示一种辨识模组的辨识功能的示意图。

图4是依照本发明一实施例绘示一种医疗影像辨识系统的方块图。

图5是依照本发明一实施例绘示一种自动产生报告的示意图。

图6是依照本发明一实施例绘示一种用户界面的示意图。

图7是依照本发明一实施例绘示一种操作界面的示意图。

具体实施方式

以下说明是为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。

必须了解的是，使用于本说明书中的“包含”、“包括”等词，是用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。

在权利要求中使用如“第一”、“第二”、“第三”等词是用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。

请参阅图1-3，图1是依照本发明一实施例绘示一种医疗影像辨识方法100的流程图。图2是依照本发明一实施例绘示一种医疗影像辨识系统200的方块图。图3是根据本发明之一实施例绘示一种辨识模组20的辨识功能的示意图。

在步骤110中，通过一预测单元10传送一检查单号。

在一实施例中，预测单元10可以是任何具有运算功能的电子装置。在一实施例中，预测单元10可由集成电路如微控制单元(micro controller)、微处理器(microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)或一逻辑电路来实施。

在一实施例中，检查单号可以是病人在此次检查身体时的数据单号。

在步骤120中，通过一辨识模组20接收检查单号及一人体影像，将人体影像分别输入多个类神经网络模型；其中这些类神经网络模型各自输出至少一辨识结果。

在一实施例中，人体影像例如是胸腔X光影像。

在一实施例中，辨识模组20用以执行类神经网络模型的演算法。辨识模组20可以是任何具有运算功能的电子装置。在一实施例中，预测单元10可由集成电路如微控制单元(micro controller)、微处理器(microprocessor)、数字信号处理器(Digital SignalProcessor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)或一逻辑电路来实施。

请参阅图3，辨识模组20可通过多个类神经网络模型对图3中的26种检测项目进行辨识。在一实施例中，多个类神经网络模型可以采用不同的演算法实现。例如，多个类神经网络模型可分为分类型(classification)、对象侦测型(object detection)、回归型(regression)、图像分割型(image segmentation)。

分类型例如为InceptionResNetV2、ResNet及/或VGG等已知的演算法，可以输出影像判断结果，例如，图3中的疾病诊断310，针对气胸项目，分类型的类神经网络模型可侦测出此医疗影像是否有气胸并以热图呈现病征区域。

对象侦测型例如为SSD、YOLOV3、RetinaNet等已知的演算法，例如，图3中的体内医疗器材侦测320，其包含的项目都属侦测型的类神经网络模型可以输出一个局部的框或是将输出的数值代入医学公式，例如，图3中的疾病诊断320可框出X光影像中有一个支架及一个中心静脉导管，又例如，图3中的心室肥大的判断方法，是通过分类型的类神经网络模型框出心脏与肺部的位置，再将心脏被框起来的面积除以肺部被框起来的面积，通过此计算的结果判断是否心室肥大。

回归型则为分类型的特例，基本上使用的演算法跟分类型一样，可以输出一个数值，例如，图3中的辅助判断330，回归型的类神经网络模型估计肺部年龄为23岁。

图像分割型为如为Fully Convolutional Networks(FCNs)、DeepLab、Mask R-CNN等已知的演算法，是以像素为单位显示结果，例如，图3中的疾病诊断310，针对肺肿块项目，图像分割型的类神经网络模型可侦测出此医疗影像是否有肺肿块并以像素为最小单位标注病征位置或其轮廓。

在一实施例中，图3一共有26个检测项目，这些项目可以将X光影像输入到26个类神经网络模型，以产生出对应此26个检测项目的辨识结果。然，本领域具通常知识者应可理解，本发明并不局限于检测项目的数目，此处仅为一例。

在步骤130中，通过辨识模组20将这些辨识结果回传到预测单元10。

在步骤140中，通过预测单元10将这些辨识结果储存到一数据库30中。

在一实施例中，数据库30可以储存于一储存装置中。储存装置可被实施为只读存储器、闪存、软盘、硬盘、光盘、随身盘、磁带、可由网络存取的数据库或熟悉此技术者可轻易想到具有相同功能的储存介质。

请参阅图4-6，图4是依照本发明一实施例绘示一种医疗影像辨识系统400的方块图。图5是依照本发明一实施例绘示一种自动产生报告的示意图。图6是依照本发明一实施例绘示一种用户界面GUI的示意图。图7是依照本发明一实施例绘示一种操作界面的示意图。

在一实施例中，如图4所示，医疗影像辨识系统400可以与医院信息系统(HospitalInformation System，HIS)、医学影像存档与通讯系统(Picture Archiving andCommunication System，PACS)及/或本自动报告系统(Auto Report System，ARS)以有线/无线方式建立通讯连结。一般而言，医院信息系统HIS、医学影像存档与通讯系统PACS是位于医院内部的系统。

在一实施例中，医院信息系统HIS是指医院使用的所有用于诊疗、管理、后勤等业务的信息化工具、信息系统等。换言之，医院信息系统HIS是储存病人数据的系统，储存的信息例如为病人身份代码及/或病历数据。

在一实施例中，医学影像存档与通讯系统PACS是指从医学影像检查设备中获取影像数据，然后进行加工、储存、检索、呈现，以及医学影像的智能识别等。

在一实施例中，如图4所示，医疗影像辨识系统400包含数据库30、预测单元10及辨识模组20。图4所示的数据库30、预测单元10及辨识模组20与图2中的数据库30、预测单元10及辨识模组20相同，故此处不赘述之。在一实施例中，图4还包括一整合单元40、一医疗数字影像传输协定(Digital Imaging and Communications in Medicine，DICOM)读取器50、一DICOM影像储存器60、一PNG(Portable Network Graphics)影像储存装置70及一网络服务(Web service)器80。

在一实施例中，整合单元40及DICOM读取器50可以分别由集成电路如微控制单元、微处理器、数字信号处理器、现场可编程门阵列、专用集成电路或一逻辑电路来实施。

在一实施例中，DICOM影像储存器60及PNG影像储存装置70可以各自以一储存装置实现之。

在一实施例中，网络服务器80可以是一服务器或具有传输、储存及运算功能的电子装置。

在步骤S1中，网络服务器80传送一时间区间给医院信息系统HIS。

在一实施例中，网络服务器80传送一时间区间(例如为2小时)给医院信息系统HIS，代表网络服务器80向医院信息系统HIS请求此时间区间内所有检查过之病人的数据。病人的数据例如为病历数据。病历数据包含检查数据、病历号码、身分证号、姓名、性别、检查日期、是否为初诊…等。

在步骤S2中，医院信息系统HIS将此时间区间所有检查过之病人的数据回传到网络服务器80。

例如，此两小时内，医院检查了50位病人，则医院信息系统HIS将此50位病人数据回传到网络服务器80。

在步骤S3中，网络服务器80向医学影像存档与通讯系统PACS发出对应一用户的影像档请求(request)，此影像档请求用以促使医学影像存档与通讯系统PACS取出对应此用户的一医学影像档。此医学影像档例如为电脑断层档及/或X光影像档。

在步骤S4中，医学影像存档与通讯系统PACS传送对应此用户的X光影像档到DICOM影像储存器60。在一实施例中，医学影像存档与通讯系统PACS也可以传送电脑断层档或其他的医学影像档到DICOM影像储存器60进行后续的处理，然为使方便叙述，本案以X光影像为例进行说明。

在步骤S5中，网络服务器80将病历数据及对应此病历数据的检查单号传送到数据库10。

例如，网络服务器80自行依据此笔病历数据产生一检查单号，检查单号用以代表病人在此次检查所记录的病历数据。

在步骤S6中，网络服务器80传送检查单号到DICOM读取器50。

在步骤S7中，DICOM影像储存器60传送X光影像档到DICOM读取器50。

在一实施例中，DICOM读取器50将X光影像档进行前处理。例如，X光影像档符合DICOM影像格式，DICOM读取器50将此X光影像档转换成PNG影像格式的一PNG影像档。

在步骤S8中，DICOM影像储存器60将X光影像档转换成PNG影像格式的PNG影像档后，将PNG影像档存入一PNG影像储存装置。

在一实施例中，PNG影像档包含人体影像。

在步骤S9中，DICOM影像储存器60将符合DICOM影像格式的X光影像档存入数据库10中。

在步骤S10中，DICOM影像储存器60传送检查单号到预测单元10。

在步骤S11中，预测单元10传送检查单号到辨识模组20。

在步骤S12中，PNG影像储存装置70传送PNG影像档到辨识模组20。

在一实施例中，辨识模组20取出PNG影像档中的人体影像部分，将人体影像分别输入多个类神经网络模型。其中，这些类神经网络模型各自输出至少一辨识结果。由于辨识模组20在此步骤进行的处理与图2中的步骤120相同，故此处不赘述之。

在步骤S13中，辨识模组20将这些辨识结果回传到预测单元10。

在步骤S14中，数据库30传送对应检查单号的病历数据到预测单元10。

在步骤S15中，预测单元10将一原始结果传送到数据库30。

在一实施例中，数据库30传送对应检查单号的病历数据到预测单元10，预测单元10将检查单号、病历数据及这些辨识结果合并为一原始结果(raw result)，预测单元10再将一原始结果传送到数据库30。

在一实施例中，预测单元10将病历数据及对应此病历数据的检查单号传送到数据库30中。

在步骤S16中，预测单元10将检查单号传送到整合单元40。

在步骤S17中，整合单元40依据检查单号到数据库30中读取原始数据，并依据多个报告规则调整原始数据中的这些辨识结果，依据调整后的这些辨识结果产生一辨识报告，并将辨识报告储存至数据库30。

在一实施例中，报告规则可以是由医生事先定义的一些医学规则。例如，报告规则的其中一项定义为：一个人只会有1个心脏，因此，当辨识报告中显示在一个人的身体中找到3个心脏，代表辨识报告存在误判的可能，由于类神经网络模型可以输出此3个心脏位置的置信机率，其置信机率代表此3个心脏位置被判断为心脏的可能性，因此，整合单元40从3个心脏位置中选出具有最高置信机率的1个心脏位置，以调整辨识报告。由此可知，通过这些报告规则可以将误判的辨识结果进行调整，再将调整后的辨识结果写回数据库30，由此提高辨识报告的准确度。

在一实施例中，整合单元40可以先针对一个检测项目审视一个类神经网络模型的辨识结果，再参考几个处理相关此检测项目的类神经网络模型的辨识结果，将多个辨识结果相互比对(例如第一个辨识结果框选出有3颗心脏异常，第二个辨识结果框选出1个心脏异常)，由于数据有相依性，当多个辨识结果之间的数据相冲或互斥时，则依据相关的报告规则调整原始数据中的这些辨识结果的至少一个(例如，由报告规则中可知人类只有1颗心脏，故第一辨识结果应作修改或删除)。

在一实施例中，可以通过训练类神经网络模型辨识验证数据集的辨识结果和实际医生标注的差异程度，例如:有无病征、病征框选位置偏移量和输出数值差异，来进行类神经网络模型准确率评估。在一实施例中，在训练阶段中，首先搜集大量的X光影像，将这些X光影像请医生进行有无疾病之答案标注，并依不同病人及影像比例分成训练数据集、验证数据集和测试数据集，将训练数据集和验证数据集影像导入深度学习中的卷积网络的不同层网络进行数据运算，而测试数据集则用于评估模型训练后的泛化能力(generalizationability)。以GoogleNet(一种类神经网络模型)为例，在数据特征撷取的卷积层(convolution)、数据值域缩放到一致范围的正规化层(normalization)、数据进行向下取样的池化层(pooling)...等，再将特征数据通过完全连接层(fully-connected)输出最后辨识结果，并通过辨识结果和实际年龄值的差异来反复修正类神经网络模型。换言之，在类神经网络模型的训练阶段所产生的这些辨识结果，经过计算其误差后，可以再反馈回类神经网络模型，以优化类神经网络模型的辨识精准度。

在一实施例中，如图5所示，自动报告系统ARS会读取医疗影像辨识系统400中的数据库30(步骤S18)，将数据库30中的数据根据医生(例如为用户USR)所提供的报告规则(即每个病征的报告用语抑或特定病征的相关性)去进行调整，并自动产生报告。当医生打报告时，一点选到病人的病人身分代码及/或病历数据，显示器则会显示此自动产生的报告。此外，医生可通过用户界面GUI来修改报告，当医生按下确认报告时，自动报告系统ARS会将此自动产生的报告或是经过修改后的报告会被送到放射信息管理系统RIS(步骤S19)，放射信息管理系统RIS取得报告后进行后续的应用，例如解决放射检查的预约、登记、报告、审核等业务过程。

图5中的医疗影像辨识系统400与医疗影像辨识系统400相同，为使图式简洁，在本领域具通常知识者能够理解的情况下，在图5的医疗影像辨识系统400中仅绘制出数据库30，其它元件则与图4的医疗影像辨识系统400相同。

请参阅图6，自动报告系统ARS至数据库30读取对应检查单号的辨识报告，并将辨识报告通过一用户界面GUI显示于一显示器。其中，自动报告系统ARS通过用户界面GUI接收一修改信息，依据检查单号将修改信息写入数据库30。

在一实施例中，如图6所示，用户界面GUI中包含病人数据栏位INF、人体影像IMG、清除项目B1、肿瘤项目B2、心脏项目B3、肺部项目B4、信息栏位C1及/或信息栏位C2。其中，病人数据栏位INF包含病历号码“926269”、姓名“王小明”、年龄“72”(岁)、性别“F”(女)及/或检查单号“A1”，本领域具通常知识者应可理解病人栏位数据INF的内容不仅于此，可以包含其他相关于病人的信息。人体影像IMG例如为X光影像。清除项目B1代表用户USR可点选此按钮，清除画面中被编辑的部分，肿瘤项目B2代表关于肿瘤的辨识结果，心脏项目B3代表关于心脏的辨识结果，肺部项目B4代表关于肺部的辨识结果，然本领域具通常知识者应能理解这些项目仅为例子，实作用户界面GUI时，可依据用户USR所需信息以呈现其他项目。

在图6所示的例子中，当用户USR可点选肺部项目B4后，人体影像IMG上显示一个框选位置VAR，代表肺部的辨识结果判定此框选位置VAR出现异常，其异常的进一步信息则写在信息栏位C1及信息栏位C2中，用户USR(例如为医生)可以由用户界面GUI快速理解病人可能肺部出现的问题，若用户USR认为此肺部的辨识结果有误，亦可以直接在用户界面GUI的信息栏位C1及/或信息栏位C2作修改，或点选框选位置VAR后，按下清除项目B1，以清除点选框选位置VAR，或是直接移动点选框选位置VAR到适当的位置。接着，自动报告系统ARS通过用户界面GUI接收当修改信息后，依据检查单号将修改信息写入数据库30。

请参阅图7，用户USR可以将用户界面GUI与医院的放射信息管理系统RIS一并呈现于显示器上，放射信息管理系统RIS中可以列出多笔病人的信息(例如病历号码、姓名、性别(符号“F”为女性，符号“M”为男性)、年龄(岁数))，当用户USR点选放射信息管理系统RIS中的病历号“01”时，用户界面GUI呈现病人“王小明”的人体影像IMG及其相关辨识结果。

综上所述，本发明所示的医疗影像辨识系统及医疗影像辨识方法，能辅助医护人员进行医疗诊断，提升诊断效率，并通过应用类神经网络模型分析人体影像，可达到取得更精准的辨识结果额效果。

本发明虽以较佳实施例公开如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明之精神和范围内，当可做些许的更动与润饰，因此本发明之保护范围当视后附的权利要求所界定者为准。

【符号说明】

100：医疗影像辨识方法

110～140、S1～S19：步骤

200、400：医疗影像辨识系统

10：预测单元

20：辨识模组

30：数据库

310：疾病诊断

320：体内医疗器材侦测

330：辅助判断

40：整合单元

50：DICOM读取器

60：DICOM影像储存器

70：PNG影像储存装置

80：网络服务器

HIS：医院信息系统

PACS：医学影像存档与通讯系统

ARS：自动报告系统

RIS：放射信息管理系统

GUI：用户界面

USR：用户

INF：病人数据栏位

IMG：人体影像

B1：清除项目

B2：肿瘤项目

B3：心脏项目

B4：肺部项目

C1、C2：信息栏位

VAR：框选位置