汉语自动分词

摘要： 基于.NET技术,采用改进的增字最大匹配算法3、"退一字组合法"5、自定义规则和Lucene.Net技术实现了汉语自动分词系统。实验证明系统在保证歧义、人名、数字、邮箱识别等方面的切分精度的同时,还保证了较高的切分效率。文章介绍了汉语中的三种歧义定义和示例、系统实现的技术方案、分词算法、系统实现概述与实验结果。

摘要： This paper presents methods of mechanical matching, feature lexicon, Binding matrix, grammar analysis and semantic understanding for the Chinese language automatic word segmentation. It is pointed out that we must study deeply the morphology, grammar, semantics and even pragmatics and chapter understanding of Chinese as well as it's formal theory before we can solve satisfactorily the problem of the Chinese language automatic word segmentation.%汉语自动分词是计算机中文信息处理系统的基础和难题,本文对近年来的汉语自动分词的方法如机械匹配法、特征词库法等进行了分析.在此基础上指出:要使汉语自动分词问题得到圆满的解决,就必须深入研究汉语的词法、语法、语义甚至语用和篇章理解及其形式化理论.

摘要： 本文基于统计和规则提出一种中文识别方法。利用统计信息得到候选中文姓名,而后利用姓名前后的指界词、称谓词等相关信息从候选中文姓名中进行筛选,完成识别。实验表明该方法的正确率和召回率比较高,并且由于中文姓名在未登录词中占有很大比例,本文方法可以帮助进一步提高汉语自动分词的识别效果。

摘要： 本文利用本体丰富的语义知识和语法结构及其共享性,构建了电子商务领域的本体知识库,用于解决数据的结构异构和语义异构问题.同时开发了面向电子商务领域本体知识库的汉语自动分词系统.结果表明,引入本体知识库能在一定程度上提高词语切分的正确率.

摘要： 计算语言学是从语言学中分离开来的学科交叉的门类.汉语自动分词是计算语言学中的一个热门研究方向,研究发现,汉语自动分词的语料库、最大匹配法、分词规范、歧义问题、未登录词等理论知识对英语教学有很好的启发作用.

摘要： 基于三数组Trie索引树的分词系统采用由短词及长词的确定性工作方式,在对汉字串的一遍扫描过程中就能得到结果,避免了整词二分词典查询机制中不必要的多次试探性查询,因而具有较高的处理效率.

摘要： 采用数论的思想结合计算机的算法设计技术,提出了一种新的基于统计学的计算机中文自动分词数学模型CNET及其算法.

摘要： 汉语自动分词在面向大规模真实文本时,仍然存在很多困难.本文在传统的语料库方法的基础上,提出一种基于开放性语料库的汉语自动分词方法.建立开放性语料库,并引入开放式知识库学习和评价机制.实验结果表明,开放机制的引入能有效提高汉语自动分词的精确率.

摘要： 设计并实现了一个基于FAQ的自动答疑系统.阐述了自动答疑过程的主要环节和基本流程,介绍了系统实现的关键技术,包括改进的汉语自动分词算法、问句关键词的提取与同义词变换、疑问词分类与知识点分类相结合的问题分类法、根据用户问题建立候选问题集和问句相似度计算等.实验表明,答疑系统对用户问题的回答具有较高的准确率.

摘要： 词性标注作为汉语自动分词以至中文信息处理领域比较关键的问题之一,是该领域的研究难点也是研究重点,对兼类词词性标注的正确率严重影响着词性标注的质量.在基于规则的词性标注的基础上,提出了一种基于规则优先级的词性标注方法,即对每条词性标注规则加上优先级,并在标注算法中通过对优先级进行控制来完成兼类词的词性标注.并用大规模语料对该方法做了试验,结果表明其词性标注正确率可达到96.4%.

摘要： 上下文相关歧义字段(CSAS)的处理是汉语自动分词中的难题之一.本文对收集到的CSAS逐个进行了研究,提出了"人脑认定+语料库验证"的提取方法以及基本词表、校正词表和规则库互动的处理手段,其中不相邻条件匹配的越过规则可解决统计方法难以解决的问题.测试结果表明,该方法是有效的.

摘要： 词典是汉语自动分词的基础,分词词典机制的优劣直接影响到汉语自动分词的速度和效率.本文简要分析了汉语自动分词的三种主要算法,指明了分词词典机制在自动中分词中的重要性,然后深入研究和比较了已有的几种典型分词词典机制,总结了各词典机制的优缺点.在此基础上,根据汉语中二字词较多的特点,提出了一种新的分词词典机制,该机制在词典数据结构中添加二字词检测位图表,在分词时,该位图表可快速判断二字词来优化分词速度.文章还给出了在正向最大匹配分词算法中应用该方法实现自动分词的算法分析,并选取人民日报语料片断进行了实验测试.实验结果表明,该分词词典机制有效地提高了汉语自动分词的速度和效率.

摘要： 该文对汉语自动分词的方法进行了概述，并在考察分词精度和分词知识的基础上，提出了一改进的机械分词方法。

摘要： 新词识别是汉语自动分词的难题之一。在大规模中文自动分词中，新词是造成分词错误的一个重要原因。本文将新词的识别问题看成一种分类问题，在给定的上下文中判断一个字符串是否为新词。本文采用基于五类特征：前字成词概率、后字成词概率、前字前位成词概率、后字后位成词概率和共现概率的C4.5和SVM算法解决该问题，并使用ACL-SIGHAN第一届中文分词竞赛中北京大学语料库进行测试，取得了较高的准确率和召回率。

摘要： 本文介绍了智能技术与系统国家重点实验室开发的"北极光"盲人用计算机软件系统中涉及的语音和语言处理技术.该系统能够获取和分析需要反馈的屏幕信息,通过语音合成平台将其内容朗读出来,对用户进行语音提示:与汉语自动分词、语言模型等自然语言处理技术的结合,使系统能够进行汉字和盲文的转换,反馈信息可以通过盲文点显器输出,使用户能够摸读盲文点字来获取所需要的信息,用户也可以采用盲文输入法进行输入,输入结果可转换为汉字文本形式.

摘要： 本文通过对人工智能方法的讨论,分析了基于专家系统方法和基于人工神经网络各自存在的问题,提出利用知识发现、文本挖掘技术来解决专家系统知识获取的困难;利用深层次语言特征作为人工神经网络的输入,以及结合专家系统知识组织能力和神经网络的非线性和自学习能力来协同完成分词问题.

摘要： 本文给出我们为建立国家标准《信息处理用现代汉语分词词表》而制订的规范(草案),目的是广泛征求意见,引起讨论,以期改善之.

摘要： 本文给出我们为建立国家标准《信息处理用现代汉语分词词表》而制订的规范(草案),目的是广泛征求意见,引起讨论,以期改善之.

摘要： 本文给出我们为建立国家标准《信息处理用现代汉语分词词表》而制订的规范(草案),目的是广泛征求意见,引起讨论,以期改善之.

摘要： 本文给出我们为建立国家标准《信息处理用现代汉语分词词表》而制订的规范(草案),目的是广泛征求意见,引起讨论,以期改善之.

摘要： 本发明公开了一种基于自动分词的新闻文本处理方法。该方法首先生成词组数据库。接着提取时事文本、领域标签、新闻文本，对比时事文本与基础词组，确定该时事文本的多个有源词组以及无源词组。然后检索新闻文本中与有源词组和无源词组相同的待处理字符串，生成第一字符串和第二字符串以及中间文本。再对比中间文本与基础词组，确定第三字符串以及第四字符串，最后拼接第一、二、三、四字符串完成对新闻文本的分词处理。本方法通过对新闻文本的分词为文本语义识别提供技术基础。也有利于挖掘新闻的价值，能够更加精准的定位搜索。

摘要： 本发明公开了一种基于自动分词的新闻文本处理方法。该方法首先生成词组数据库。接着提取时事文本、领域标签、新闻文本，对比时事文本与基础词组，确定该时事文本的多个有源词组以及无源词组。然后检索新闻文本中与有源词组和无源词组相同的待处理字符串，生成第一字符串和第二字符串以及中间文本。再对比中间文本与基础词组，确定第三字符串以及第四字符串，最后拼接第一、二、三、四字符串完成对新闻文本的分词处理。本方法通过对新闻文本的分词为文本语义识别提供技术基础。也有利于挖掘新闻的价值，能够更加精准的定位搜索。

摘要： 本申请公开了一种自动分词拼写的文本识别方法及装置、存储介质，所述方法包括：获取设定类型的文件，对所述文件中的文本进行识别，并确定文本之间的间距，文本之间的行距；根据文本之间的间距，确定出每行文本中是否存在换行；对文本中的词语进行识别，并提取所识别的词语；输出所述词语，并接收针对所述词语的调整，将调整后的词语作为识别的最终词语；接收针对所述最终词语的语音输出参数的设置；根据所述语音输出参数对所述最终词语中的文字进行读音标注，并为读音设置声调；接收读音及声调标注后的文本，根据文本所标注的读音、声调进行语音输出。本申请提升了其应用广泛性以及用户体验。

摘要： 一种基于信息论的中文自动分词算法，将待分词句子和已经初始化成功的语料库中的词进行对比匹配，根据概率统计学，将待分词句子拆分为网状结构，利用信息论方法求解网状结构中每条边的权值，权重最大的一条路径，即为待分词句子的分词结果，利用准确率可召回率判定分词效果。本发明中中文预处理的速度较基于分词词典的方法快；较基于分词词典的方法精度更高；较基于统计学方法有更好的准确度；实用性更大，更符合经验值；为后续自然语言处理技术提供了极大的应用价值。

摘要： 一种新的中文自动分词算法，根据《分词词典》找到待分词句子中与词典中匹配的词，依据概率统计学，将待分词句子拆分成网状结构，给网状结构每条边赋予权值，找出权值最大的路径即为待分词句子的分词结果。本发明中文预处理的速度较基于分词词典的方法更快；较基于分词词典的方法精度更高；较基于统计学方法有更好的准确度；为后续自然语言处理技术提供了极大的应用价值。

摘要： 一种改进的中文自动分词算法，将待分词句子和已经初始化成功的语料库中的词进行对比匹配，根据概率统计学，将待分词句子拆分为网状结构，将网状结构的每条边都赋予一定的权值，其中权值最大的路径便是最终的分词结果，最后将验证分词结果的准确率和召回率。本发明中中文预处理的速度较基于分词词典的方法快；较基于分词词典的方法精度更高；较基于统计学方法有更好的准确度；实用性更大，更符合经验值；为后续自然语言处理技术提供了极大的应用价值。

摘要： 本发明提供了智能藏文自动分词系统，包括数据处理服务器、信息录入装置及网络通讯装置，其中信息录入装置若干并通过网络通讯装置与数据处理服务器连接，且各信息录入装置均相互并联，数据处理服务器包括数据采集子服务器、身份认证识别管理子服务器、通讯协议子服务器、数据检索子服务器、字库子服务器、数据处理运算子服务器。本发明一方面可有效的对藏文进行全面持续录入整理，处理且在藏文的处理过程中，可准确根据藏文词义进行分词操作，提高藏文处理及文本自动分析的工作效率和真确度。

摘要： 本发明涉及一种利用自动分词提供繁简体拼音标记正确性系统及其方法，该系统包含：存储单元，储存分词；拼音数据库，存放分词对应的拼音序列表；拼音接收单元，接收拼音；拼音处理单元，将拼音进行分词处理；产生单元，产生分词序列；分词拼音查询单元，查询分词序列中的每个分词的拼音；标记单元，标记分词序列中的每个分词的拼音，并储存结果；判断单元，判断标记结果是否正确；输出单元，输出标记结果。

摘要： 本发明提供一种古汉语自动分词及词性标注一体化方法及装置，能够有效提升古汉语分词及词性标注的正确率。所述方法包括：获取古汉语语料库中的古汉语文本；对获取的古汉语文本的标签进行标签转换，得到包含词性标记信息和分词标记信息的二元标签结构；对得到的二元标签结构进行编码；构建双向长短期记忆神经网络，基于编码后得到的二元标签信息，利用获取的古汉语文本对构建的双向长短期记忆神经网络进行训练，得到基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，其中，所述基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，用于对输入的古汉语文本同时进行分词和标注。本发明适用于机器翻译、信息检索、语义识别领域。

摘要： 本发明提供一种古汉语自动分词及词性标注一体化方法及装置，能够有效提升古汉语分词及词性标注的正确率。所述方法包括：获取古汉语语料库中的古汉语文本；对获取的古汉语文本的标签进行标签转换，得到包含词性标记信息和分词标记信息的二元标签结构；对得到的二元标签结构进行编码；构建双向长短期记忆神经网络，基于编码后得到的二元标签信息，利用获取的古汉语文本对构建的双向长短期记忆神经网络进行训练，得到基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，其中，所述基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，用于对输入的古汉语文本同时进行分词和标注。本发明适用于机器翻译、信息检索、语义识别领域。