一种基于多模态线索融合的远程会诊会话理解与摘要方法

摘要

本发明公开了一种基于多模态线索融合的远程会诊会话理解与摘要方法，属于远程医疗技术领域，建立远程视频会议系统和中心服务器，远程视频会议系统与中心服务器通过网线通信；在中心服务器中建立语音识别模块、图像识别模块、会话结构分析模块、摘要提取模块、未登录术语核对模块和存储库模块；将远程会议记录的音频和视频信息传输至中心服务器；中心服务器运用语音识别模块对多人会话内容和身份进行识别，通过图像识别模块，将多维度图像信息与语音信息在时间维度建立关联，用会话分析模块对会话文本进行结构分析，并通过摘要提取模块转化为结构化文摘，最后用存储库模块进行知识图谱更新，提升了远程会诊会话理解和摘要的准确性。