大语言模型ChatGPT在电阻抗断层显像(EIT)肺通气诊断中的应用价值

摘要

目的使用ChatGPT对电阻抗断层显像(EIT)肺通气参数进行分析并提供诊断。方法回顾中国人民解放军总医院呼吸与危重症医学中心2020年9月至2023年6月的EIT数据,使用GPT-3.5和GPT-4进行EIT数据的自动判断,采用零样本学习为基础,并使用上下文学习测试以提高诊断准确度。在统计方面使用敏感度和特异度来评估模型性能。结果ChatGPT对EIT具有一定的知识储备。本研究纳入530例患者的1215份EIT检查数据,显示ChatGPT对EIT数据的自动判断效果并不理想:零样本数据提示,与人工诊断相比一致性不佳;上下文学习的方法提示,GPT-4虽然比GPT-3.5的逻辑推理能力有了显著提升,但GPT-4对指令的遵循能力却显著下降。GPT-4最终对肺通气诊断准确率只有16.83%,虽然“重度通气功能缺失”的敏感度为100%,表示所有实际为“重度通气功能缺失”的情况都被预测为“重度通气功能缺失”,但遗憾的是“无特殊”“轻度通气功能障碍”“中度通气功能障碍”的敏感度都为0。结论ChatGPT并没有掌握EIT测量参数来诊断通气功能缺失。尽管上下文学习能够提高模型的诊断能力,但结果仍然不够理想,未来需要纳入更多的特征和更复杂的模型来提高自动判断的准确度。