医学图像融合

摘要： 针对PET与MRI医学图像融合后部分区域灰度低,容易产生伪影,且特征提取不充分存在细节缺失等问题,首先设计基于NSST多尺度变换的图像融合方法,对于高频子带设计残差网络对PET与MRI图像像素点进行权重分配后再融合,对于低频子带按照稀疏表示的融合规则进行融合,通过逆变换得到融合后的结果;之后设计一个密集卷积网络框架,引入自注意机制对图像的不同区域特征进行权重分配,在密集块之间引入尺度变化层得到不同尺度的特征图,并跨层融合不同尺度的特征图以恢复因多层卷积丢失的信息;为恢复因池化丢失的特征细节,设计后处理模块postProcessor对多尺度层提取到的特征图进行处理;最后模型通过具有2个神经元的全连接层与softmax分类器得到分类标签。模型在哈佛大学全脑图谱数据集与TCIA上进行实验,结果表明,融合后的脑部水平切面PET-MRI图像能更好地反映中央沟征以及边缘支括弧征,分类准确率达到97.6%和98.2%。

摘要： 乳腺癌目前已成为女性第一大癌症。研发乳腺超声人工智能(artificial intelligence,AI)诊断技术有利于推进中国乳腺癌的精准诊疗,缓解地区发展不平衡下沉重的医疗负担。近年来,超声AI技术在提高诊断效能的基础上,不断与多种乳腺超声新兴技术进行结合,以适应各种临床应用场景,从而为临床决策提供更加全面可靠的循证依据。虽然基于传统乳腺超声灰阶图像的AI诊断技术以及三维成像、弹性成像等前沿技术图像得到一定发展,但乳腺超声AI诊断技术的开发中仍存在技术痛点、推广难点和伦理困境。

摘要： 针对基于残差网络和密集网络的图像融合方法存在网络中间层的部分有用信息丢失和融合图像细节不清晰的问题,提出了基于双残差超密集网络(Dual Residual Hyper-Densely Networks,DRHDNs)的多模态医学图像融合方法.DRHDNs分为特征提取和特征融合两部分.特征提取部分通过将超密集连接与残差学习相结合,构造出双残差超密集块,用于提取特征,其中超密集连接不仅发生在同一路径的层之间,还发生在不同路径的层之间,这种连接使特征提取更充分,细节信息更丰富,并且对源图像进行了初步的特征融合.特征融合部分则进行最终的融合.通过实验将其与另外6种图像融合方法对4组脑部图像进行了融合比较,并根据4种评价指标进行了客观比较.结果显示,DRHDNs在保留细节、对比度和清晰度等方面都有很好的表现,其融合图像细节信息丰富并且清晰,便于疾病的诊断.

摘要： 由于人眼对灰度的识别能力远远低于对彩色的识别能力,故在症状诊断及治疗时对灰度图像进行伪彩色处理,医生可以获得更多、更准确的信息.结合非下采样contourlet变换(NSCT)的平移不变性、多尺度、多方向特性和脉冲耦合神经网络(PCNN)的同步脉冲发放、捕获特性,论文提出一种基于人类视觉特性的医学图像伪彩色融合方法.首先,根据源图像的灰度信息,计算源图像公共区域.然后,使用NSCT和PCNN处理源图像得到灰度融合图像和融合图像来源信息.最后,根据人类视觉特性,使用源图像公共区域和融合图像来源信息,对灰度融合图像进行伪彩色处理得到伪彩色融合图像.实验结果表明,论文算法得到的伪彩色融合图像特征明显,有利于人眼的识别,与灰度融合图像相比,突出了融合图像的公共区域和来源信息,有利于发现病灶.

摘要： 在医学图像融合过程中,传统多尺度分析方法多采用线性滤波器,由于无法保留图像边缘特征导致分解阶段的强边缘处出现模糊,从而产生光晕.为提高融合图像的视觉感知效果,通过结合多尺度边缘保持分解方法与脉冲耦合神经网络(PCNN),提出一种新的图像融合方法.对源图像进行加权最小二乘滤波分解得到图像的基础层和细节层,采用高斯滤波器对基础层进行二次分解得到低频层和边缘层,将分解过程中每级边缘层和细节层叠加构建高频层,并引入非下采样方向滤波器组进行方向分析.在此基础上,利用改进的空间频率以及区域能量激励PCNN融合高频层和低频层,通过逆变换得到最终的融合图像.实验结果表明,该方法能够突出医学图像的边缘轮廓并增强图像细节,可将更多的显著特征从源图像分离并转移到融合图像中.

摘要： 为了尽可能多地获取图像中的细节与边缘信息,提出了一种基于非亚采样剪切波变换和改进自适应脉冲耦合神经网络相结合的图像融合算法.采用非亚采样剪切波变换算法将两幅精配准的图像进行分解,分别得到两幅图像的低频分量与不同尺度方向的高频分量.在低频系数区采取局部能量加权和与双边滤波来计算融合不同尺度的低通分量,实现细节的提取与能量的保存.在高频系数区域,采用改进的自适应参数脉冲耦合神经网络算法,通过简化脉冲耦合神经网络模型、优化自适应参数融合高通分量,提高融合的效率与质量,同时避免人工输入经验阈值的不便.最后,经过NSST的逆变换得到最终的融合图像.实验结果表明,该算法能有效地保持图像边缘与纹理,保留图像的细节信息与纹理特征.与传统算法相比,具有更好的性能与适用性.

摘要： 断层医学序列图像经三维重建得到的三维数字可视化医学模型,相比于二维图像能提供组织器官更加直观的三维立体视觉、显示更加复杂的空间结构,能帮助医生做出更加准确的判断.医学图像三维信息可视化技术已广泛应用于放射治疗、虚拟内窥镜、计算机辅助诊断、手术规划与导航、3D器官打印、个性化假体等众多医学诊断治疗过程中,医学诊疗技术进入了数字化体层成像新阶段.本文论述数字医学模型三维可视化任务及难点,总结分析该领域涉及到的图像分割、配准融合、面绘制、体绘制等相关关键技术,追踪最新技术进展,提出并讨论了面临的主要问题及解决策略.

摘要： 针对图像融合产生的边缘模糊、对比度偏低、重要细节信息保留不充分的问题,提出了一种新的非下采样剪切波变换域的医学图像融合方法.首先对源图像进行非下采样剪切波变换,获得其细节图和近似图;对于细节图,采用细节特征信息作为外部激励条件,刺激脉冲耦合神经网络以实现图像融合;对于近似图,采用基于视觉显著映射实现融合;最后,进行逆剪切波变换得到融合图像.实验表明,此方法能有效提高融合图像的对比度以及细节丰富度等重要信息,与5种代表性的融合方法相比,本方法具有较好的视觉效果,在图像客观评价指标方面具有一定优势.

摘要： 断层医学序列图像经三维重建得到的三维数字可视化医学模型,相比于二维图像能提供组织器官更加直观的三维立体视觉、显示更加复杂的空间结构,能帮助医生做出更加准确的判断.医学图像三维信息可视化技术已广泛应用于放射治疗、虚拟内窥镜、计算机辅助诊断、手术规划与导航、3D器官打印、个性化假体等众多医学诊断治疗过程中,医学诊疗技术进入了数字化体层成像新阶段.本文论述数字医学模型三维可视化任务及难点,总结分析该领域涉及到的图像分割、配准融合、面绘制、体绘制等相关关键技术,追踪最新技术进展,提出并讨论了面临的主要问题及解决策略.

摘要： 图像融合技术在计算机辅助诊断中发挥了重要作用.传统融合方法通过设计融合策略来同时解决图像融合中的两个关键问题,即细节提取和能量保存,而这容易造成信息丢失或能量保存度不足.鉴于此,提出了一种对细节提取和能量保存问题进行分别解决的融合方法.该方法的第一部分旨在进行细节提取,首先,使用非下采样剪切波变换(NSST)将源图像分解成低频和高频子带;然后,通过改进的能量策略来融合低频子带,而对于高频子带的融合,提出了一种基于直觉模糊集理论的策略;最后,利用逆NSST来重构图像.而在第二部分里,为了达成能量保存,提出了一种亮度增强方法.在43组图像上验证该方法的性能,并把该方法和主成分分析(PCA)、局部拉普拉斯滤波器(LLF)等其他八种传统融合方法进行对比,两种医学图像融合类型(核磁共振图像(MRI)和正电子发射断层图像(PET)、核磁共振图像(MRI)和单光子发射计算机断层图像(SPECT))的实验结果表明,该方法在视觉质量和互信息(MI)、空间频率(SF)、Q值、平均梯度(AG)、信息熵(EI)和标准差(SD)等客观评价指标上均具有优势,能够提高医学图像融合质量.

摘要： 信息融合是建立在多源信息系统之上的横向信息综合应用处理技术,医学图像融合作为信息融合的一个极具特色的应用领域,它充分利用多模式图像,获得互补信息,使临床的诊断和治疗更加准确完善.本文介绍了融合的方式和两大关键技术,即图像配准和信息提取,对常用的各类对位方法与内、外部特征法的多种算法进行了介绍和对比分析,并且展望了融合的发展趋势,最后分析了在现实应用中存在的问题。

摘要： 为了实现图像引导放射治疗(Image Guided Radiation Therapy,IGRT)的临床应用,本文对医学图像融合技术在放射治疗中的应用进行了初步探讨.阐述了采用模拟定位机成像和医用直线加速器接口成像融合用于患者治疗过程中摆位的验证.图像融合采用了基于Canny算子进行边缘特征提取的预处理方法,实现了特征级的图像融合.实验结果表明,本文所述算法是可行的,具有临床实用性.

摘要： 本发明公开了一种基于全局信息融合的多模态医学图像融合方法，其步骤包括：1、对原始多个模态的医学图像进行色彩空间转换和图像剪切的预处理；2、建立在多个尺度通过融合模块进行交互的模态分支网络，并建立由Transformer构成的融合模块来合并多模态特征信息；3、建立重构模块，从多尺度的多模态特征合成融合图像；4、在公开数据集上训练并评估上述模型；4、利用训练好的模型实现医学图像融合任务。本发明通过Transformer融合模块和交互式模态分支网络能充分地融合多模态的语义信息，实现细粒度的融合效果，不仅很好地保留了原图像的结构和纹理信息，也改善了由于低分辨率医学图像引起的马赛克现象。

摘要： 本发明公开了一种基于图像属性和引导滤波的多模医学图像融合方法，首先利用移动帧分解框架将源图像分解为纹理成分和近似成分，之后利用设计的一种基于图像属性和引导滤波的融合规则对近似成分进行融合，采用绝对值最大规则对纹理成分进行融合，最后重建原始图像。本发明优点：该方法能保留更多的图像边缘和纹理信息，同时融合图像具有较高的对比度，并且更符合人的视觉，由于该方法不仅能获得较好的融合效果，同时计算效率较高，其在多模医学图像融合系统中具有潜在的应用价值。

摘要： 本发明涉及一种提高图像评价结果可信度的两模态医学图像融合方法，所述方法包括以下步骤：(1)对已配准的PET和CT图像进行双树复小波变换，得到低频子带和高频子带；(2)根据低频子带的特点，采用自适应组合隶属度函数的融合规则，并利用层次分析法确定各隶属度函数的权重；(3)高频子带系数的选取，采用基于区域能量和加权相结合的融合规则。该方法避免隶属度函数选择上的主观性，以及融合系数的固定性，提高了评价结果的可信度；并且，保持了图像之间的相关性，保留原图的有用信息，使获得的融合图像具有更好的视觉效果。

摘要： 本发明提出了一种基于改进的Unet网络的医学图像融合算法，首先，对输入图像进行图像的镜像对称、翻转、旋转、随机裁剪等预处理；对图像的数据进行组归一化(Group Normalization，GN)的预处理；设置模型的初始权重和损失函数，并选定模型要使用的优化器；其次，将处理好后的图像数据导入改进后的VGG‑Unet网络中，得到切割后的图像；最后，将切割后的图像与同源获得的可见光图像进行融合。本发明可用于医学图像的高质量融合中，为后续的微观手术建立技术基础。

摘要： 本发明公开基于域变换保边滤波器的多源医学图像融合方法和系统，该方法包括如下步骤：将多源医学图像输入域变换保边滤波器进行滤波处理，获得多源医学图像的平滑分量和结构分量；融合相应的平滑分量和结构分量，获得融合后的平滑分量融合图像和融合后的结构分量融合图像；对融合后的平滑分量融合图像和结构分量融合图像进行逆变换，获得多源医学图像的融合图像。本发明可有效地对不同模态的图像之间的差异信息进行融合和集中显现，既可以辅助医生能够更好的了解病人的身体状况，精准判断身体的患病区域，还利于医学图像的后续处理。

摘要： 本发明提出一种多模态医学图像融合方法、装置及终端设备，所述方法包括如下步骤：对原始医学图像进行优化重构，得到重构医学图像；将所述重构医学图像进行融合，得到预融合医学图像；选取细节丰富度最高的所述原始医学图像作为引导图像；基于所述预融合医学图像与所述引导图像进行细节循环引导融合。本发明通过对原始医学图像进行优化重构，得到重构医学图像，可以在保证重构医学图像的视觉保真度的前提下，降低原始医学图像中可能存在的噪声对融合性能带来的影响，通过基于所述预融合医学图像与所述引导图像进行细节循环引导融合，能够从原始医学图像中整合尽可能多的细节和纹理信息到最终的融合结果。

摘要： 本公开提供了一种医学图像融合模型训练方法、装置、设备、介质和程序产品，涉及人工智能领域。该方法包括：将N个训练图像分别输入至所述编码器中的M个第一卷积层，得到每个训练图像的M个第一特征图；对所述每个训练图像的M个第一特征图进行拼接，得到所述每个训练图像的第二特征图；将所述编码器的输出作为所述融合层的输入，得到所述N个训练图像的融合特征图；将所述融合特征图输入至所述解码器，得到训练融合图像；利用融合图像和N个训练图像之间的差距程度训练医学图像融合模型。本公开还提供了一种医学图像融合方法、装置、设备、存储介质和程序产品。

摘要： 本发明是一种基于细节增强分解模型的医学图像融合方法，包括：步骤1、数据集获取；步骤2、将彩色图像转换为YUV信道；步骤3、设计细节增强分解模型，对医学图像进行分解，得到基本层B和细节层L，所述基本层B包含图像的基本内容信息，所述细节层L包含纹理细节与边缘轮廓信息；步骤4、使用不同的融合规则对步骤3中获得的基本层B和细节层L分别进行融合，步骤5、根据融合后的图像进行重构。本发明能在较短的处理时间内提供更清晰的边缘细节和优越的色彩，为现代医学图像融合提供了一定的应用价值。

摘要： 本发明涉及一种基于孪生卷积神经网络的零学习医学图像融合方法，属于及医学图像处理技术领域。对源图像进行预处理生成输入源图像，得到各卷积层的初始显著特征图，进行上采样运算处理，对各层的显著特征图进行指数运算，以归一化源图像作为引导滤波器的引导图像，得到引导滤波器输出图像，利用各层的权重图，采用加权平均融合算法，得到各层的融合图像，采用像素取大算法，得到最后的融合图像。本发明自动实现多模态医学图像的显著特征提取，省时省力，能够更加全面、深层次地表达图像，实现多个抽象层次上图像语义的表征，有利于实现高精度低硬件复杂度的图像融合平台的搭建，提高了融合精度和效率。

摘要： 本发明公开了一种三图多模态医学图像融合方法，首先，使用基于滚动引导滤波的方法对图像进行卡通纹理分解；其次，根据纹理成分含有较多细节信息的特点，且针对待融合图像的医学特征，提出用医学纹理图像作为训练字典样本的稀疏表示方法，用于纹理成分融合，同时，根据卡通成分的高能量特点，提出一种自适应绝对值取大和拉普拉斯能量和的方法对卡通成分进行融合；最后通过重构得到最终融合图像。本发明解决了多模态医学图像使用现有图像融合方法得到的融合结果存在明显的亮度信息丢失和边缘模糊的问题。