基于联合学习和去噪机制的ICD代码预测方法及系统

摘要

本发明公开了一种基于联合学习和去噪机制的ICD代码预测方法及系统，涉及自然语言处理技术领域，使用clinicalBERT预训练，设计了基于提示的微调方法，提升冗长句子的表征效果，加快预训练的速度；使用双路注意力机制处理电子病历和医疗代码的文档，同时兼顾两部分数据，有效处理不平衡分类问题；将不同的注意力矩阵馈送到联合学习模块，引入两个权重系数，来自适应的确定这两个系数，通过这两个系数构建特定于ICD的注意力矩阵；设计了新型的去噪损失函数，引入损失阈值，计算样本损失，并进行排序，从超过阈值的样本开始截断，丢弃迭代过程中超过动态阈值的样本，最终识别和清洗嘈杂的样本，提高分类器的训练质量。