结合图像和临床元数据的皮肤病灶分割和分类方法及系统

摘要

本发明公开了一种结合图像和临床元数据的皮肤病灶分割和分类方法及系统，方法包括以下步骤：基于皮肤病灶分割网络，引入感受野模块来取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块实现跨多个尺度特征的整体探索，挖掘解码器合成的多尺度特征；皮肤病灶分类网络引入两个特征提取器以及提出跨模态协作特征探索模块，分别从皮肤镜图像和临床元数据中提取跨模态特征；利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。