基于实体识别技术的中医药语句分词方法

摘要

本发明公开了一种基于实体识别技术的中医药语句分词方法，包括步骤：采集中医药语句作为语料库；从语料库内提取出常用词组组成词库W；对词库W进行分类，根据分类结果对语料库每个序列的每个元素进行序列标注；采用Bert语言模型对语料库进行预训练并获得词向量；构建具有条件随机场的时间循环神经网络模型，基于标注数据集进行模型训练；向训练好的时间循环神经网络模型输入测试语句，得到实体列表；根据实体列表，对输入语句进行第一次切分，切分出实体列表中所含元素；基于前缀词典扫描剩余待切分句子，生成句子中汉字所有可能成词情况，构成有向无环图；对有向无环图进行动态规划查找最大概率路径，找出基于词频的最大切分组合。