基于卷积神经网络和长短期记忆网络的手术工具跟踪系统

摘要

本发明公开了基于卷积神经网络和长短期记忆网络的手术工具跟踪系统，获取模块，获取内窥镜手术工具工作状态视频流，从视频流中提取相邻两帧图像；对第一帧图像的手术工具边界框进行标记；特征提取模块，对第一帧图像和第二帧图像进行特征提取，得到手术工具的空间运动特征；特征融合模块，将特征输入到第一LSTM模型中，第一LSTM模型对手术工具的空间运动特征进行处理得到第一特征向量；特征识别模块，将特征与第一特征向量进行融合后，输入到第二LSTM模型中，第二LSTM模型输出第二特征向量；对第二特征向量输入到全连接层中，得到最终特征向量；得到第二帧图像的手术工具的边界框。