汉语分词

摘要： [目的/意义]汉语分词、词性标注和依存句法分析作为汉语自然语言处理的三大基本任务发挥着至关重要的作用。基于转移的三个任务联合模型曾经取得最好精度,但是随着神经网络和计算能力的发展,具有全局信息建模能力的图模型,在单任务和两个任务上已经超过转移模型。如何在基于图模型下联合三个任务,进一步提升精度成为新的挑战。[方法/过程]本文提出一种基于图的汉语分词、词性标注和依存句法分析的联合模型,通过设计统一的字级别标签实现三个任务的联合,并采用预训练语言模型融合上下文信息的字表示方法和基于双仿射注意力机制的评分函数。本文也设计了联合模型的解法算法用于三个任务的解码。[结果/结论]实验结果表明,本文词性标注任务的引入方式可以建模词性与分词以及词性与依存句法分析之间的关系,从而带来其他两个任务上精度的提升。与目前精度最好的Yan[1]工作相比,在三个任务上都取得最好精度。

摘要： 汉语自动分词问题可以说是目前中文信息处理中一个老大难的问题了.笔者近日读了文庭孝、侯经川等人合作的一篇论文,题为《汉语自动分词新思维:无词典切分》,对文中所述的某些观点有些不同的看法,故作此文.为方便起见,以下将《汉语自动分词新思维:无词典切分》简称为《新思维》.

摘要： 步入了大数据时代,可接收到的信息越来越多.面对海量的信息,无论是新闻的阅读者还会新闻网站的工作人员,往往都面对这一个问题——文本分类.人工分类耗时耗力,且工作效率随时间增加而下降,这些缺点无不将这件难题推向计算机来解决.本文选择朴素贝叶斯算法,以多篇新闻为实验训练样本进行实验,结合数据预处理、汉语分词等过程得出一个较完整的数学模型,并对数据平滑技术提出改进,为今后学者的研究提供一个可参考的方案.

摘要： 蒙古族人名译名的自动识别对汉语自动分词的研究具有重要意义.本文提出了一种在中文文本中自动识别蒙古族人名译名的算法.以蒙古族人名译名用字信息为基础,利用译名首尾字表、称谓词表和指界动词表对候选译名再定界,并针对译名特点采用译名音节串成词的优先策略.实验结果表明,召回率达到97.67％,正确率达到95.26％.

摘要： 本文从全文检索定义出发，主要介绍全文检索的相关技术，例如，汉语分词技术、倒排索引等，以及介绍全文检索的检索语言，文章最后就全文检索的几种实现方法和系统衡量指标加以阐释。

摘要： Chinese word segmentation is fundamental for Chinese information processing.To a-void ambiguity and out-of-vocabulary word,there was a proposal for adding a manual space between Chinese words,which we disagree with it.This paper first elaborates difficulties in word segmenta-tion from the point of linguistic studies,language performance and language engineering,and then it discusses some uncertain factors in definition of the word,language awareness,word segmentation specification,construction of word list and its application in automatic text information processing. Not dwelling on exact definition of the word,the paper lists recent advances in character-based tag-ging with massive manually annotated recourses,which show an inspiring progress.At the end of the paper,we put forward a word segmentation guideline from a stance of language policy strategies. Guided by linguistic theory and data-driven machine learning algorithms,a practical word segmenta-tion system can achieve better success in precision and adaptability.%汉语分词是中文信息处理的一项基础性工作。为避免人工阅读或机器处理时的分词歧义和未登录词难以识别的问题，有专家建议写作时在汉语词之间添加空格。文章从语言学本体研究、语言使用以及语言工程等不同角度对传统观念下的汉语分词存在的困难进行探讨，指出汉语分词在词的定义、群众语感以及分词规范、词表确定及工程应用等方面都存在不确定及不一致等因素。近年汉语自动分词处理不纠缠于词的确切定义，以字组词，针对标注语料和网络上带有丰富结构信息的海量文本，利用机器学习方法对汉语“切分单位”的标注取得了较好的进展。针对基础性的汉语分词规范，从语言规划的政策性、科学性及引导性角度提出建议，最后指出结合语言学指导和数据驱动的机器学习策略，可望为实现汉语自动分词的准确性和适应性提升服务。

摘要： 在特定领域的汉英机器翻译系统开发过程中,大量新词的出现导致汉语分词精度下降,而特定领域缺少标注语料使得有监督学习技术的性能难以提高.这直接导致抽取的翻译知识中出现很多错误,严重影响翻译质量.为解决这个问题,该文实现了基于生语料的领域自适应分词模型和双语引导的汉语分词,并提出融合多种分词结果的方法,通过构建格状结构(Lattice)并使用动态规划算法得到最佳汉语分词结果.为了验证所提方法,我们在NTCIR-10的汉英数据集上进行了评价实验.实验结果表明,该文提出的融合多种分词结果的汉语分词方法在分词精度F值和统计机器翻译的BLEU值上均得到了提高.

摘要： 针对汉语分词中的未登录词识别和歧义消除这两个瓶颈问题和目前方法的不足,将类型论的思想引入到汉语分词领域中,提出了类型匹配模型,以类型论函数贴合为主要算法,融合了全切分、统计,前后缀识别信息等多种技术手段,将分词、未登录词识别、歧义消除,词典的动态扩充有机的融合到一个统一的理论模型当中.在此理论框架的基础上,最后实现了基于类型论的汉语分词系统TTCS.

摘要： 汉语分词是构建汉语到其他语言机器翻译系统的一项重要工作.基于单语的分词不一定完全适合机器翻译,一个适合于机器翻译所需要的分词方法,应该考虑到机器翻译所具有的双语特点.本文提出了一种单语和双语知识相结合的适应于统计机器翻译系统的分词方法.首先利用对齐可信度的概念从双语平行语料中抽取可信对齐集合,然后根据可信对齐集合对双语语料中的中文部分重新分词;接着将可信对齐分词的结果和单语分词工具的结果相结合,构建出一个新的分词训练语料,并用CRF分词模型训练出一个融合了单双语信息的分词工具.本文用该工具对机器翻译所需的训练语料、开发语料和测试语料进行分词并在基于短语的统计机器翻译系统上进行实验.实验结果表明,本文所提的方法提高了系统性能.

摘要： 本文提出了一种有效的汉语分词方法。该方法在计算N元概率时采用统计语言模型中常用的Katz平滑算法,对计算N元概率时所用的最大似然法和加1平滑算法进行了改进,同时采用了将字符串映射到整数的方法设计了N元短语的词典结构,以降低分词系统的空间/时间复杂度。

摘要： 对于一般的分词系统,由于数据稀疏而识别失败的未登录词往往被切分成单字串.这里将切分结果中连续的单字串称之为"单字碎片".本文提出的一种碎片过滤方法的基本思想就是重新检测出单字碎片中识别失败的未登录词,并将此方法作为"后处理"引入到一个原有的基于统计方法的分词系统(ICTCLAS)中.在第一届SIGHAN北大测试语料上测试,新系统未登录词召回率提高了4％,F值比原系统提高了1％.可以看出,利用这种过滤方法在一定程度上削弱了数据稀疏问题,从而提高了汉语分词的性能.

摘要： 汉语词法分析是中文信息处理的基础,现阶段汉语词法分析的主流技术是基于统计的方法,这类方法的本质都是把词法分析过程看作序列数据标注问题.上下文是统计语言学中获取语言知识和解决自然语言处理中多种实际应用问题必须依靠的资源和基础.汉语词法分析时需要从上下文获取相关的语言知识,但上文和下文是否同样重要。为克服仅凭主观经验给出猜测结果的不足,对汉语词法分析的分词、词性标注、命名实体识别这三项子任务进行了深入研究,对比了上文和下文对各个任务性能的影响,在国际汉语语言处理评测Bakeoff多种语料上进行了封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验,结果表明,上文和下文对汉语分词和中文命名实体识别性能的影响差别较大,对汉语词性标注的性能影响差别较小.

摘要： 文本分类有助于用户有选择地阅读和处理海量文本,因此其预备工作——分词系统的研究很有意义。汉语分词是计算机中文信息处理中的难题,也是中文文献内容分析中必须解决的关键问题之一.本文对已有自动分词方法进行研究,实现对应的分词系统,分析这些方法的分词率和效率。

摘要： 本文采用了目前汉语分词领域中一种优秀的分词方法-基于字的分词方法,通过实验的方式量化地探讨了在这一方法中不同的特征模板对于词表词和未登录词识别所起的作用。结果显示,各种特征模板大的添加可以在一定程度上提高分词精度,但是在这一分词方法中起决定作用的仍然是上下文中的词例信息。

摘要： 本文以学界两次对组合型歧义字串考察的矛盾结果为引子,指出在现代汉语自动分词中"组合型歧义"和"切分变异"的概念界定不清,并以例示的方式给出了各自的定义。通过四次语料考察、统计和分析,总结了汉语自动分词中组合型歧义字串和切分变异字串的常见类型,并探讨了切分变异的消解方法。

摘要： 本文以学界两次对组合型歧义字串考察的矛盾结果为引子,指出在现代汉语自动分词中"组合型歧义"和"切分变异"的概念界定不清,并以例示的方式给出了各自的定义。通过四次语料考察、统计和分析,总结了汉语自动分词中组合型歧义字串和切分变异字串的常见类型,并探讨了切分变异的消解方法。

摘要： 本文以学界两次对组合型歧义字串考察的矛盾结果为引子,指出在现代汉语自动分词中"组合型歧义"和"切分变异"的概念界定不清,并以例示的方式给出了各自的定义。通过四次语料考察、统计和分析,总结了汉语自动分词中组合型歧义字串和切分变异字串的常见类型,并探讨了切分变异的消解方法。

摘要： 本发明涉及一种基于最小信息量的汉语快速分词系统及方法，包括备选词确定、歧义区域识别、歧义分词消除、结果统计四个模块。本发明无需提前获取词语的先验统计信息，并且能够在仅有词库的条件下实现高效分词。该方法适用于各种中文文本的分词处理，在搜索引擎、文本信息提取、文本语义分析、知识图谱等的中文信息处理领域有着重要的应用价值。

摘要： 本发明公开了一种基于单词查找树实现的汉语拼音快速分词方法，该方法通过计算机或者嵌入式可移动设备来实现，主要工作步骤如下：步骤一、根据所有已知的汉语单字拼音表建立汉语单字拼音查找树；步骤二、依据已建立的单词查找树，将查找树与哈希表结合，对给定的一串汉语拼音进行分词；步骤三、给出分词结果；步骤四、销毁查找树，释放资源。本发明利用字符串的公共前缀来节约构造空间，最大限度地减少无谓的字符串比较；利用带索引的冗余哈希表来提高查询效率，最大限度减小算法的时间复杂度。

摘要： 本发明公开了一种基于古代汉语的分词方法，包括从朝代维度构建分词词典和分词文本库并存储到数据库中，利用分词词典对数据库中的语料集进行分词，结合已有的分词文本进行训练语料标注；使用BiLSTM‑CRF算法对古文分词文本的数据进行模型训练；生成古代汉语的分词模型；抽取该朝代的部分古文文本，使用分词模型进行切分词操作，获取分词结果，然后与专家人工的古文分词结果做对比，判断该模型的性能与实用性，对识别结果进行审核、筛选、修正；对审核修改后的分词结果进行按照需求的维度进行存储。

摘要： 本发明涉及一种基于最小信息量的汉语快速分词系统及方法，包括备选词确定、歧义区域识别、歧义分词消除、结果统计四个模块。本发明无需提前获取词语的先验统计信息，并且能够在仅有词库的条件下实现高效分词。该方法适用于各种中文文本的分词处理，在搜索引擎、文本信息提取、文本语义分析、知识图谱等的中文信息处理领域有着重要的应用价值。

摘要： 本发明公开了一种基于单词查找树实现的汉语拼音快速分词方法，该方法通过计算机或者嵌入式可移动设备来实现，主要工作步骤如下：步骤一、根据所有已知的汉语单字拼音表建立汉语单字拼音查找树；步骤二、依据已建立的单词查找树，将查找树与哈希表结合，对给定的一串汉语拼音进行分词；步骤三、给出分词结果；步骤四、销毁查找树，释放资源。本发明利用字符串的公共前缀来节约构造空间，最大限度地减少无谓的字符串比较；利用带索引的冗余哈希表来提高查询效率，最大限度减小算法的时间复杂度。

摘要： 本发明提供一种古汉语自动分词及词性标注一体化方法及装置，能够有效提升古汉语分词及词性标注的正确率。所述方法包括：获取古汉语语料库中的古汉语文本；对获取的古汉语文本的标签进行标签转换，得到包含词性标记信息和分词标记信息的二元标签结构；对得到的二元标签结构进行编码；构建双向长短期记忆神经网络，基于编码后得到的二元标签信息，利用获取的古汉语文本对构建的双向长短期记忆神经网络进行训练，得到基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，其中，所述基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，用于对输入的古汉语文本同时进行分词和标注。本发明适用于机器翻译、信息检索、语义识别领域。

摘要： 本发明涉及机器翻译技术领域，尤其涉及一种适用于神经网络机器翻译的汉语分词方法及装置；所述分词方法包括以下步骤：S100：对传统分词词表进行处理，形成适用于神经网络机器翻译的新分词词表；S200：依照新分词词表，对句子进行分词，采用前向最大匹配法和后向最大匹配法结合的方式，分别进行分词；S300：将前向最大匹配法的分词结果和后向最大匹配法的分词结果进行比较，进行评价处理后择一输出，该方法降低了待译文本的数据维度，提高了神经网络机器翻译的效率和准确性。

摘要： 本发明公开了基于Bi‑LSTM和字词融合的汉语分词方法，基于Bi‑LSTM和字词融合的汉语分词系统包括依次连接的边界标注模块、字词融合模块、特征提取模块和中文分词模块，采用上述系统的方法包括以下步骤：S10，对待训练中文语料做边界标注；S20，进行字词融合；S30，特征提取：将字词向量序列VK输入Bi‑LSTM，监督标签为S10中的边界标注信息，经过若干轮迭代训练提取出分词所需要的文本特征；S40，进行分词：将待分词的中文文本输入训练好的Bi‑LSTM中，得到文本中每个字的标注信息，再根据标注信息对文本进行分词。

摘要： 本发明涉及机器翻译技术领域，尤其涉及一种适用于神经网络机器翻译的汉语分词方法及装置；所述分词方法包括以下步骤：S100：对传统分词词表进行处理，形成适用于神经网络机器翻译的新分词词表；S200：依照新分词词表，对句子进行分词，采用前向最大匹配法和后向最大匹配法结合的方式，分别进行分词；S300：将前向最大匹配法的分词结果和后向最大匹配法的分词结果进行比较，进行评价处理后择一输出，该方法降低了待译文本的数据维度，提高了神经网络机器翻译的效率和准确性。

摘要： 本发明提供一种古汉语自动分词及词性标注一体化方法及装置，能够有效提升古汉语分词及词性标注的正确率。所述方法包括：获取古汉语语料库中的古汉语文本；对获取的古汉语文本的标签进行标签转换，得到包含词性标记信息和分词标记信息的二元标签结构；对得到的二元标签结构进行编码；构建双向长短期记忆神经网络，基于编码后得到的二元标签信息，利用获取的古汉语文本对构建的双向长短期记忆神经网络进行训练，得到基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，其中，所述基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，用于对输入的古汉语文本同时进行分词和标注。本发明适用于机器翻译、信息检索、语义识别领域。