中文分词

摘要： 针对复杂海洋场景(目标多尺度、对象多样化、风格差异大、时空强关联且存在不确定性目标)特点,研究基于注意力机制的复杂图像有效特征提取方法,提出一种基于卷积神经网络(convolutional neural network,CNN)和长短时记忆网络(long short-term memory,LSTM)相结合的复杂海洋场景图像中文描述生成模型;结合Jieba分词工具,实现了对复杂海洋场景监测图像的自动翻译。利用91卫图助手及无人机高清影像数据,建立模型并对算法进行验证。结果表明,Inception-v4比VGG16模型有更强的复杂特征提取能力,在相同数据集下,Inception-v4模型的图像分类能力高出约5.3个百分点;基于卷积神经网络和长短时记忆模型的图像中文描述生成算法基本可行,可以解决批量图像的自动标注问题,但在算法的稳定性和描述的准确性上需进一步提高。

摘要： 中医医案是中医医生学习临床经验的重要文献资料,对中医医案进行结构化处理有利于采用机器学习等方法总结临床经验,加速中医传承。为了实现中医医案快速结构化,提出了一种基于自然语言处理的中医医案文本快速结构化方法。将《中国现代名中医医案精粹》作为结构化对象,采用光学字符识别技术识别医案截图的文本,同时对文本做初步结构化。构建简单症状词典,采用结合词典的改进的N-gram模型获取医案文本中的症状、体征等词,并在结构化过程中更新词典,实现了对4754份文本医案的结构化。随机选取666份医案文本对最终模型进行测试,其F1值达到82.99%。

摘要： "择校热"引发的"入学难""天价房"等一系列社会性问题日益凸显。为遏制择校问题,《中共中央国务院关于深化教育教学改革全面提高义务教育质量的意见》要求推进义务教育学校免试就近入学全覆盖,旨在通过促进教育起点公平,营造良好的教育生态,从而促进社会公平。文章立足于信息化技术发展,运用中文分词技术和贝叶斯概率模型,试图构建一套落实义务教育阶段免试就近入学政策的实用入学分配策略,旨在促进义务教育学校免试就近入学政策精准高效落地。

摘要： 中文分词在自然语言处理中占据了十分重要的地位。为了提高中文分词的速度,论文提出了一种新的求解最大概率路径的方法。该方法主要分为两步:1)将词频总和的数值减小来解决下溢问题;2)避免使用复杂的计算方法,使用简单的除法操作来降低运行时间提高分词速度。最后,使用搜狗新闻数据集进行实验验证,新方法的中文分词速度相较于JIEBA的中文分词的速度显著提高,并且为了验证分词的性能,对准确率,召回率以及F1进行了计算,三个指标的值均可达到95%以上。

摘要： 中文短文本分类是自然语言处理的重要领域之一,文中提出了一种基于多维度图神经网络的短文本分类方法,通过对文档中的中文词语进行建模,分别构建序列边、词频边、主题边与结点信息相融合以达到提取深度语义信息的目的,提高图神经网络的分类能力。通过和现有方法对比,本文提出的基于多维度图神经网络的短文本分类方法具有更高的准确率,能够有效的达到中文短文本分类的目的。

摘要： 笔者所在学校在2020年下半年建立了人工智能实验室,在其畅言AI实验平台中,学生对自然语言处理中的四大名著分词颇有兴趣,并产生了疑问:中文分词和词频统计的核心算法是什么?针对这种情况,笔者利用Python编程,帮助学生掌握词频统计中的枚举算法。

摘要： 成词信息是一种对中文分词任务十分重要的文本特征。最新中文分词模型之一的WMSEG就是通过引入成词信息来获得最顶尖的分词性能。然而这类模型在建模时并未考虑标签之间的依赖关系,导致其分词性能特别是对未登录词的识别有所欠缺。针对这一问题,通过在学习过程中引入标签嵌入的注意力机制,提出了一种带标签注意力的成词记忆网络来增强标签之间的依赖关系以及标签和字符之间的相关性。实验结果表明,该模型在四个常用数据集上都取得了不弱于WMSEG的分词性能,同时提高了对未登录词的识别能力。

摘要： 作为自然语言处理任务的基础,中文分词的准确率直接影响命名实体识别、信息检索等任务的效果.针对现有分词模型使用的静态词向量精确表征能力较差和专业领域分词中模型适应性差等问题,本文提出一种使用字根信息为辅助特征的中文分词模型.模型分为主任务和辅助任务,主任务中使用ALBERT语言模型训练词向量,利用去池化卷积残差神经网络提取特征,与辅助任务抽取的特征融合后进行分词.辅助任务使用字根向量表示文本,通过浅层卷积提取特征,进行序列标注.借助损失函数利用辅助任务对主任务进行纠正,协助主任务实现中文分词.在BakeOff2005语料库的4个数据集以及两个小型法律文书数据集上进行实验,实验表明该文提出的分词模型在多数大型数据集上实验效果达到最优,并且在小型法律数据集上F1值最高达到97.90%.

摘要： 中文分词(Chinese Word Segmentation,CWS)是自然语言处理(Natural Language Processing,NLP)中一项重要的基础任务。由于不同领域中文词汇的特殊性以及缺乏相关领域的标记数据,面向特定领域的分词任务是近年来中文分词研究面临的挑战之一。因此,提出了一种基于双向长短时记忆网络(Bidirectional Long Short-Term Memory,Bi-LSTM)的分词模型,其中分别使用了大规模的中文通用语料以及少量中文医学语料训练模型来构建这种全新的分词模型。该模型在仅使用少量中文医学领域标记数据的情况下,在该领域的分词任务上获得了较好的分词效果,实验结果中的最优F1值为95.54%,相比单独使用中文医学语料训练的分词模型,有比较明显的提升。

摘要： 为便利听障人士的正常社会生活,提高其社会融入度,设计开发了基于B/S模式的仿真手语翻译系统。此系统包含语音识别模块、文本分词模块和虚拟人控制模块。采集到的语音经过Mel尺度的小波包分解提取语音声学特征,并进行快速语音识别得到对应文本,使用jieba完成对应的文本分词;同时创建仿真虚拟人模型并为其添加关键帧手语动作,使用Three.js实现Web端仿真手语动作渲染,最终实现语音到仿真手语的翻译过程。此系统操作方便、实用性强,具有很好的应用前景。

摘要： 中文分词是利用计算机自动识别文本中词的边界的过程,是中文原始文本处理最重要的预处理步骤.目前,北京地质资料馆拥有近万档电子化成果地质资料,但是作为公益投资形成的、具有社会服务属性的准公共产品,仍属于不完整的信息产品,难以开展二次开发.本文探讨利用中文分词模块分析成果地质资料的摘要文本相似性,为馆内后续利用计算机进行文本分类、信息检索、信息过滤等后续中文文本信息处理打下基础.

摘要： 中文分词是中文信息处理领域中的一项关键基础技术,而多粒度分词是中文分词领域较新的研究方向.针对多粒度中文分词任务,提出一种基于Lattice-LSTM的多粒度中文分词模型,在传统基于字的多粒度中文分词模型基础上,加入了多分词粒度的词典信息.与传统模型相比,本文所提出的模型在网格结构的辅助下,对不同粒度的分词标准都有较强的捕捉能力,且不局限于单一的分词标准.实验表明,本文提出的方法在多粒度中文分词方向取得了目前最好的结果.

摘要： 文本提出了一种基于感知器的中文分词增量训练方法.该方法可在训练好的模型基础上添加目标领域标注数据继续训练,解决了大规模切分数据难于共享,源领域与目标领域数据混合需要重新训练等问题.实验表明,增量训练可以有效提升领域适应性,达到与传统数据混合相类似的效果.同时本文方法模型占用空间小,训练时间快,可以快速训练获得目标领域的模型.

摘要： 本文提出了一种基于神经网络的中文分词方法,以提高分词系统向新领域迁移的适应性和灵活性.本文方法采用了对现有分词器分词结果进行纠正的思路.这种基于纠正的两阶段方法与分词模型解耦,避免了对源领域语料和分词器构建方式的依赖.然而现有的基于纠正的方法依赖于特征工程,无法自动适应不同领域.本文利用神经网络对纠正器进行建模,在无需手工设计特征的情况下即可实现领域适应.实验表明,与当前方法相比,文本方法在领域文本上具有更好的分词性能和鲁棒性,尤其在未登录词召回率方面提升显著.

摘要： 由于面向中文微博的分词标注语料相对较少,导致基于传统方法和深度学习方法的中文分词系统在微博语料上的表现效果很差.针对此问题,本文提出一种新的主动学习方法从大规模未标注语料中挑选更具标注价值的微博分词语料.该方法根据微博语料的特点,在主动学习迭代过程中引入参数λ来控制所选的重复样例的个数,确保了所选样例的多样性;同时,根据样例中字标注结果的不确定性和上下文的多样性,采用Max、Avg和AvgMax三种策略衡量样例整体的标注价值;此外,用于主动学习的初始分词器除了使用当前字的上下文作为特征外,还利用字向量自动计算当前字成为停用字的可能性作为模型的特征.实验使用NLPCC2015公开的训练语料和测试语料,结果表明,本文提出的基于主动学习的分词方法,其F值较基线系统提高了0.84％～1.49％,与目前最优的WBA主动学习方法相比提升效果更加显著.

摘要： 由于地质矿产文本中含有大量的专业术语，通用领域方法无法很好识别其未登录词，而其他特定领域中文分词方法移植性较差，不适用于地质矿产文本分词。目前，针对地质领域的中文分词研究不多，张思发等采用“庖丁解牛”中文分词算法实现对地学信息领域文本进行了分词研究，但其算法对未登录词汇识别能力较差。Huang et al.基于条件随机场构建地学领域分词方法，其训练语料库的标注采用的是人工自定义的方法，其方法虽然对地矿专业术语具有很好的识别能力，但训练语料库对于地矿专业术语的标注、定义在规范程度方面仍需提高。为了提高训练语料标注的规范程度，本文基于条件随机场模型方法，引人地质大辞典和地质矿产术语等标准规范词汇，采用半自动标注的语料处理方法制作地质领域语料库，将地质语料库和通用语料库结合训练条件随机场模型的分词规则，对地质矿产文本进行分词研究。

摘要： 本文阐述了网络热点专题图系统的结构,并重点介绍了基于Python的数据下载、页面解析、数据存储和中文分词等关键点.

摘要： 根据军工软件质量管理要求,航空系统软件测试用例需要进行规范化管理及高效的复用,TCARS系统基于主题模型,通过主题挖掘判断需求的相似性和需求与用例的关联性,实现测试用例高效复用.系统先建立测试用例管理知识库和需求管理库,对新上传的测试用例和需求,经过中文分词和LDA主题抽取处理,自动推荐相似需求和相关测试用例.系统同时推荐与文档相关的标签,方便用户标记和查找所需用例和需求.用户也可以定制搜索条件,通过精确匹配和模糊匹配,查找所需测试用例和需求,对主题生成过程和结果进行可视化,有利于系统分析和优化.

摘要： 随着信息技术的普及与应用,人们可以使用互联网来获取所有需要的信息,而近几年对旅游信息的需求呈现出前所未有的发展态势.通过分析与抓取国内众多知名旅游网站的相关数据,将数据抓取工具集成到云计算环境中,从而构建出一个性能良好的分布式搜索引擎,使得海量数据的抓取更加快速和可靠;并对抓取后的数据进行中文分词,采用增加IKAnalyzer中文分词器对中文词语进行处理的方法,来对搜索的信息进行中文索引,进而得到基于所抓取旅游网站的高频旅游信息关键词;最后使用全文搜索服务器搭建中文旅游信息搜索平台.

摘要： 在汉语一体化依存分析中,如何利用分词、词性标注和句法分析的中间结果作为分析特征成为核心问题,也是三个任务相互制约协调、共同提高性能的关键所在.目前无论基于特征工程的方法还是基于深度学习的方法尚无法充分利用分析过程中依存子树的完整信息,而依存子树作为中间结果的主要成分对三个任务的后续分析具有重要的指导意义.为解决该问题,本文在基于转移的依存分析框架下,提出Stack-Tree LSTM依存子树编码方法,通过对分析栈中所有依存子树的有效建模,获取任意时刻的依存子树的完整信息作为特征参与转移动作决策.利用该编码方式提出词性特征使用方法,融合N-gram特征构建汉语一体化依存分析神经网络模型.最后在宾州汉语树库上进行了验证实验,并与已有方法进行了比较.实验结果显示本文提出的模型在分词、词性标注和依存分析任务上的性能非常接近特征工程最好的结果,并且均超过已有的一体化依存分析神经网络模型.

摘要： 本发明公开了一种中文分词方法、中文分词装置和终端，涉及自然语言处理技术领域，如果基于字符串匹配的分词结果和基于统计的分词结果不一致时，则根据用户输入的语音数据中的韵律特征对该交互文本进行分词，如果基于语音数据的韵律特征的分词结果与基于字符串匹配的分词结果或者基于统计的分词结果一致，则将基于语音数据的韵律特征的分词结果确定为该交互文本的最终分词结果，从而实现了根据用户输入的语音数据中的韵律特征获取的自然语言处理中的中文分词结果，解决基于字符串匹配的分词结果和基于统计的分词结果不一致时，如何输出中文分词结果的问题，实现了韵律特征在中文分词中的应用，提高了中文分词结果的准确度和中文分词效率。

摘要： 本发明实施例公开一种中文分词系统及分词方法，该分词系统包括：分词算法单元，用于为用户提供至少两种中文分词系统所支持的分词算法；分词模型单元，用于为用户提供至少两种中文分词系统所支持的第一分词模型；处理单元，用于确定用户从分词算法单元中选择的分词算法和从分词模型单元中选择的第一分词模型的类型是否对应；在对应的情况下，利用用户选择的分词算法以及第一分词模型对中文文本进行分词；在不对应的情况下，利用用户选择的分词算法以及类型与分词算法具有对应关系的第一分词模型，对中文文本进行分词。该中文分词系统降低了使用和调优门槛，便于用户调整分词流程，适应不同应用场景下的分词需求。

摘要： 本申请是关于一种医学领域的中文分词方法，该方法对基于双向长短期记忆网络Bi‑LSTM分词模型进行改进得到的，可以提升分词效果，以达到预期的分词效果。该中文分词方法，包括：利用预先标注的中文医学语料作为训练集输入基于双向长短期记忆网络的分词模型中进行训练，得到医学领域中文分词模型；将待分词文本输入医学领域中文分词模型中进行标签概率预测，得到第一概率预测结果，其中待分词文本为中文医学领域的文本句；将待分词文本输入通用中文分词模型中进行标签概率预测，得到第二概率预测结果，其中通用中文分词模型也是基于双向长短期记忆网络的分词模型设计得到；根据第一概率预测结果和第二概率预测结果确定待分词文本的分词结果。

摘要： 本发明公开了一种中文分词方法、中文分词装置和终端，涉及自然语言处理技术领域，根据用户输入的语音数据中的韵律特征确定用户输入的交互文本的韵律边界，进而根据该交互文本的韵律边界，对该交互文本进行分词，通过提取用户输入的语音数据中的韵律特征将用户输入的交互文本分割成多个韵律单元，从而实现了根据用户输入的语音数据中的韵律特征获取自然语言处理中的中文分词结果，实现了韵律特征在中文分词中的应用，从普通话发音规则的角度对用户输入的交互文本进行分词，提高了中文分词结果的准确度和中文分词效率，进而提高了语音交互产品的用户体验性。

摘要： 本发明公开了一种中文分词方法、中文分词装置和终端，涉及自然语言处理技术领域，如果基于字符串匹配的分词结果和基于统计的分词结果不一致时，则根据用户输入的语音数据中的韵律特征对该交互文本进行分词，如果基于语音数据的韵律特征的分词结果与基于字符串匹配的分词结果或者基于统计的分词结果一致，则将基于语音数据的韵律特征的分词结果确定为该交互文本的最终分词结果，从而实现了根据用户输入的语音数据中的韵律特征获取的自然语言处理中的中文分词结果，解决基于字符串匹配的分词结果和基于统计的分词结果不一致时，如何输出中文分词结果的问题，实现了韵律特征在中文分词中的应用，提高了中文分词结果的准确度和中文分词效率。

摘要： 本发明公开了一种基于NLPIR中文分词系统的中文分词工具，NLPIR中文分词系统包括API接口以及动态链接库，中文分词工具包括：用户输入窗口，用于供用户输入文本文件的路径地址；分词函数调用模块，用于接收到用户输入的路径地址后自动调用相应的API接口或动态链接库内的函数来进行相应的分词操作，得到文本文件对应的分词后的文本文件，并将分词后的文本文件发送至显示界面进行显示。本发明实现了用户界面化操作，方便了用户进行人机交互，能够为用户提供分词结果的文档说明，使非专业人员也能够看懂及使用，通用性强，便利性好。

摘要： 本发明实施例公开一种中文分词系统及分词方法，该分词系统包括：分词算法单元，用于为用户提供至少两种中文分词系统所支持的分词算法；分词模型单元，用于为用户提供至少两种中文分词系统所支持的第一分词模型；处理单元，用于确定用户从分词算法单元中选择的分词算法和从分词模型单元中选择的第一分词模型的类型是否对应；在对应的情况下，利用用户选择的分词算法以及第一分词模型对中文文本进行分词；在不对应的情况下，利用用户选择的分词算法以及类型与分词算法具有对应关系的第一分词模型，对中文文本进行分词。该中文分词系统降低了使用和调优门槛，便于用户调整分词流程，适应不同应用场景下的分词需求。

摘要： 本发明公开了一种分词识别词库构建方法、中文分词方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：针对训练文本集中的短句，执行：为短句去重，并为去重后的短句中的每一个字构建对应的神经元，其中，神经元指示的信号类型与神经元对应的字相匹配；根据短句中每两个字之间的相对位置和出现频次，为每两个字所对应的两个神经元之间构建链接关系，以构成短句对应的短句神经网络，其中，链接关系指示链接系数和信号传递方向；将各个短句神经网络融合，以构成分词识别词库。该实施方式能够有效地提高词库的词语量以及分词的准确性。

摘要： 本发明公开了一种基于强编码和中文分词的中文文本分拣系统，该系统基于强编码模型和中文分词数据实现中文文本分拣，首先获取包含大量中文文本及对应标签的数据库，采用带标签的中文文本数据作为输入，对中文文本进行分词后再编码成机器可识别格式，将该编码后的句子输入中文文本分拣模型进行模型训练，得到训练好的模型便可用于新获取的中文文本自动分拣。本发明实现了自动化、高准确率的中文文本分拣，考虑了中文字词的前后关系，克服了人工进行文本分拣效率低以及传统方法准确率低的不足，可广泛应用并有助于军事情报分拣、新闻主题分类和电影评论分类等领域的智能化。

摘要： 本发明提出了一种基于中文分词的中文校对纠错方法及系统，所述方法包括以下步骤：对输入的中文文本按单句进行中文分词得到词数组，所述词数组包括单字、两字、三字或四字词语；对所述词数组进行重组形成短句；判断所述短句在预设文本库中出现的次数是否大于第一阈值，若是，则将所述短句标记为正确；若否，则对所述短句进行字形及拼音纠错处理。本发明实现了对文本中错别字进行自动校对与纠错，提升了中文校对纠错的准确性及工作效率。