自动分词

摘要： 传统网络检索自动分词系统存在检索速度慢、分词准确率和召回率低等问题,为解决上述问题,设计基于数据挖掘的网络检索自动分词系统。首先,依据网络检索自动分词器的工作原理对网络检索词汇进行分类;其次,基于数据挖掘技术挖掘词汇数据库中的网络检索词汇数据,利用分词主题来查询网络检索主题,将搜索后的网络检索结果与主题相匹配,以完成网络检索词汇的分词处理;最后,根据词频数据总和与阈值的关系,改进网络检索自动分词算法。实验结果表明:所设计系统对人民日报BCC语料网络检索词汇的自动分词准确率为94.33%,召回率为91.87%,F值为90.29%,且系统的平均分词速度达到了127 kb/s。

摘要： 数字人文研究为古籍文献的深度开发与展示提供了良好的平台。精准的文本分词是研究者在古籍文献处理中需要优先解决的问题。文章基于记载春秋至魏晋时期历史的最具有代表性的6部官修史籍构建古文分词语料库,结合预训练和词典信息融合两种策略,运用4种深度学习模型进行多组对比实验,以确定不同模型的适用范畴。在此基础上,开发面向繁体古文的分词工具,为从事数字人文的研究者提供简单有效的文本分词方法。

摘要： 为了对公共资源电子交易平台运行过程中产生的大规模结构化或非结构化的电子数据进行分析和利用,充分挖掘公共资源交易数据的价值,并提升电子交易水平和监管能力,本文设计了一种大数据平台的建设和应用方法,通过建立分层平台架构,集成自动分词、OCR文字识别、音频识别等技术,实现数据自动汇聚的能力;通过建立算法工具箱,实现数据汇聚、数据存储、算法管理、数据驾驶舱等多个子系统,完成公共资源电子交易大数据平台的建设。实践的结果表明,基于本文方法建设的大数据平台在实际的客户业务中部署使用,能够起到良好的应用效果。

摘要： 古汉语自动分词技术是实现古汉语文本深度处理的重要前提。经过多年探索,该领域已有了实质性进展。但是古汉语自动分词仍然面临一些关键问题:分词粒度界定、歧义消解和未登录词处理等。通过对基于词典和统计、机器学习序列标注以及深度神经网络模型等自动分词方法研究现状的梳理,指明充分利用深度学习技术是古汉语自动分词的未来发展趋势,并对古汉语自动分词的探索提出了三个方面的展望:扩充古汉语分词语料数据量、构建适应不同文本领域的分词模型、开发一体化模型。

摘要： 正所谓工欲善其事必先利其器,深度学习以其模型结构的深度性、特征获取的自动性,在非结构化文本的自动分词、词性标注、组块识别、句法分析、语义标注、分类与聚类、关联知识发现等知识组织与挖掘研究任务上取得了优异的成绩或在一定程度上实现了质的飞跃,从而得到了迅速和广泛的应用和推广。而对于深度学习来说,数据特别精加工的数据是其根本,脱离数据而谈深度学习无异于追求镜中花、水中月,终无所成。

摘要： 在自然语言的智能处理领域中,相较于现代汉语,古汉语的研究由于可用有效标注资源有限、种类欠缺,使得古汉语自然语言处理技术的发展相对缓慢.针对古汉语的分词任务,文中借助于双向最大匹配法则,通过训练多种古汉语语料库建立适用于古汉语自动分词的BERT模型,并在多种语料库上进行实验分析.与使用一般神经网络的模型相比,文中所提模型具有更优的训练效果.数据实验结果表明,在3种古汉语文献中双向匹配多阶段迭代训练分词方法获得的F1值分别为96.4％、96.4％、95.4％;而一般神经模型所获得的F1值为92.8％、92.8％和90.5％,即文中方法在古汉语的自动切词任务上具有更优的性能表现.

摘要： 词典是汉语自动分词的基础,减少交集型歧义可以提高分词的准确率.在基于词典切分中,传统的Trie树每个节点存储一个字符,构建时产生了很多空指针.为了优化词典存储结构,在Trie树的基础上,采用双字Hash机制:把Trie索引树的深度限制为2,词的剩余字符串则按序组成类似"整词二分"的词典正文,并在每组词语的叶子节点上增加词频和词性的属性值,用于后序的交集型歧义识别.加载了搜狗实验室中文互联网语料统计出的15万条高频词,平均大小为60KB的5篇不同领域的测试语料作为测试样本.实验结果表明:相比其他词典而言,双字Hash分词速度得到显著提高,分词的正确率达到93.1％,基本可以满足实用型中文信息处理系统的需要.

摘要： 近几年,随着产业界人工智能领域应用服务不断落地,学术界对于AI分支科学的研究也愈加深入。NLP,即自然语言处理,在信息时代向智能时代的过渡中发挥着极其重要的作用。由此衍生出的一门高度交叉的新兴学科,计算机语言学,也正在进行着突飞猛进的发展。自然语言处理是计算机翻译的过程,涉及数据挖掘、知识图谱、机器学习及与语言计算相关的语言学等研究。中文自然语言处理是以转换自然语言为基本原则,遵循基于规则、基于统计等研究思路,并且适当添加一些可靠的实例来完成翻译过程。本文我们将围绕计算机在处理中文自然语言方面的问题来展开分析,通过详细的分析了解一下中文自然语言处理的基本概念,再来研究一下中文自然语言处理的关键问题与步骤。

摘要： 汉语自动分词是计算机中文信息处理中的难题,文章通过对现有自动分词方法研究进行了分析.

摘要： 藏文新词在科技、新闻和网络等领域不断出现,对藏文自动分析带来了挑战.本文将使用序列标注方法来识别藏文新词,首先用规则方式将时间词、数词、后接成份嵌入到统计模型中,然后利用统计学习的方法对包括新闻、法律、小说、诗歌、中小学教材和地名等多种题材的共15万藏文句子进行统计建模,最后对3087句(其中包含12348个新词)开放语料进行测试,实验结果表明将规则嵌入到最大熵模型比嵌入到HMM模型中的正确率、召回率、F值分别高1.772、0.3905、1.0912个百分点,对于藏文新词识别最大熵模型优于HMM模型.

摘要： 彝文自动分词是彝文信息处理领域一项基础性研究课题.文章首先分析了彝文的特点,其次对彝文分词的概念与应用,以及各类彝文自动分词算法做了系统的介绍,然后结合彝文的特点分析了实现彝文自动分词所面对的难点所在,指出了彝文自动分词技术未来的发展方向.

摘要： 泰语是声调语言,也是分析型、孤立型语言,目前有6000多万人口使用,基本词汇多由单音节词构成.作为泰语文语转换(TTS)系统的前端,本文构建一本泰语词典,用前后向最大匹配算法进行泰语分词,再替换成音节信息;针对未匹配到的词语(即未登陆词),设计基于泰语音节拼写规则的处理方法;在皇家泰语转写系统的基础上,提出一个新的适用于TTS的泰语罗马化编码方案,并对泰语文本实现自动编码.实验结果表明,初步分词正确率达到78%,论文提出的泰语罗马化编码方案能更准确地表达泰语语音信息.

摘要： 本文以藏文传统文法和日常用语作为基础,文本中将出现的大量虚词作为查找目标,结合语料库初探不自由虚词校对的算法,准确地将文本中出现的虚词进行切割并加以判断其是否符合传统藏文文法的添接法,为的是进一步提高藏文信息处理技术中藏文自动分词的准确率.

摘要： 针对先秦文献在信息处理方面所做的研究还比较匮乏，并且多停留在使用现代汉语信息处理方法来处理古汉语的模式上，缺乏对先秦文献体裁、古汉语语言刚各等特殊之处的有针对性处理。正是在这种背景下，本文以先秦传世文献中篇幅最大的《左传》为研究对象，讨论了一种从先秦文献本身特点出发、充分考虑古汉语信息处理特殊性的《左传》分词新方法，并希望籍此育豁岩整个先秦文献的信息处理研究带来有益的启示和帮助。先秦文献的注疏文献中包含有大量词汇语义知识,是先秦文献自动分词的重要依据.本文以篇幅最大的先秦文献《左传》为研究对象,在对《左传》及其注疏文献进行自动对齐的基础上,提出了一种利用注疏的《左传》分词新方法.分词实验的F值达到89.0％,较之baseline有明显提升.该方法无需训练语料,利用注疏文献辅助分词的思想也适合推广到其他先秦文献的自动分词任务中去.

摘要： 文本分析是文语转换系统的前端，是制约语 音合成自然度的一个重要因素，本文在考察汉语文本 分析方案的基础上，分析了藏语的特点，提出了一套 适合于藏语语音合成的文本分析模块的实现方案。文 中采用最大匹配法和分词词库相结合的方法实现文 本的自动分词，建立一套层次化的规则体系对文本的 进行规范化的处理，字音转换则通过SAMPA_ST的藏 语机读音标系统来实现，本文的完成为藏语的语音合 成打下了良好的基础。

摘要： 本文提出了一种面向机器翻译的中文分词自适应方法。该方法综合利用中文单语语料库和中英双语平行语料库,自动获取目标领域的分词知识,提高自动分词系统的领域适应能力。实验结果表明，该方法可以有效提高汉英机器翻译系统的性能。

摘要： 本研究针对藏语模式匹配法自动分词，收集了多部藏语字词典的所有词条及藏语标点符号，进行归并、词性标注、删减审定、最后形成了约10万词条的大型藏语分词词典。如此大型的词典，切分正确率固然好，但访问查询速度缓慢，分词效率极为低下，故结合藏语本身特点，提出了以藏语词条长度为主要依据，建立了多级索引词库，大大提高了分词效率。

摘要： 本文依据班智达藏语料自动分词技术，设计出班智达藏文查询接口及信息西抽取总体功能结构，较详细地讨论了班智达藏文藏词性规范、词典库的数据结构和信息抽取的文法规则，并给出了班智达藏文查询接口的信息抽取算法。

摘要： 维吾尔语自动分词是维吾尔语信息处理的基础工程，维吾尔语对偶词的自动识别则是维吾尔语自动分词的难点之一。维吾尔语中，内部成分平等连接而形成的词汇单位叫做对偶词。本文首先介绍了对偶词的基本概念以及分析了维吾尔语对偶词的结构特征。然后在字符串匹配算法的基础上，提出了一种基于规则的维吾尔语对偶词的识别算法。

摘要： 在统计机器翻译系统中，目标语言的语言模型一般以词为基本单位。然而面对汉语、日语等存在不同分词标准、词语颗粒度不易确定、存在切分不一致和容易产生分词错误的语言来说，语言模型的单位难以取舍。本文研究了两种语言模型：基于词和基于字的语言模型，比较他们各自的优缺点，以比分析分词对语言模型质量的影响，然后提出方法将这两种语言模型融合到SMT解码中。实验结果表明，基于字的语言模型在测试集上的交叉熵要低于基于词的语言模型。当应用于SMT时，基于字的语言模型和基于词的语言模型相比，尤其在是语言模型领域和机器翻译测试语料的领域一致时，机器翻译的性能较高。而无论是否领域一致，融合两种语言模型总能得到最优的翻译结果。

摘要： 本发明公开了一种基于自动分词的新闻文本处理方法。该方法首先生成词组数据库。接着提取时事文本、领域标签、新闻文本，对比时事文本与基础词组，确定该时事文本的多个有源词组以及无源词组。然后检索新闻文本中与有源词组和无源词组相同的待处理字符串，生成第一字符串和第二字符串以及中间文本。再对比中间文本与基础词组，确定第三字符串以及第四字符串，最后拼接第一、二、三、四字符串完成对新闻文本的分词处理。本方法通过对新闻文本的分词为文本语义识别提供技术基础。也有利于挖掘新闻的价值，能够更加精准的定位搜索。

摘要： 本发明提供一种古汉语自动分词及词性标注一体化方法及装置，能够有效提升古汉语分词及词性标注的正确率。所述方法包括：获取古汉语语料库中的古汉语文本；对获取的古汉语文本的标签进行标签转换，得到包含词性标记信息和分词标记信息的二元标签结构；对得到的二元标签结构进行编码；构建双向长短期记忆神经网络，基于编码后得到的二元标签信息，利用获取的古汉语文本对构建的双向长短期记忆神经网络进行训练，得到基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，其中，所述基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，用于对输入的古汉语文本同时进行分词和标注。本发明适用于机器翻译、信息检索、语义识别领域。

摘要： 本发明公开了一种基于自动分词的新闻文本处理方法。该方法首先生成词组数据库。接着提取时事文本、领域标签、新闻文本，对比时事文本与基础词组，确定该时事文本的多个有源词组以及无源词组。然后检索新闻文本中与有源词组和无源词组相同的待处理字符串，生成第一字符串和第二字符串以及中间文本。再对比中间文本与基础词组，确定第三字符串以及第四字符串，最后拼接第一、二、三、四字符串完成对新闻文本的分词处理。本方法通过对新闻文本的分词为文本语义识别提供技术基础。也有利于挖掘新闻的价值，能够更加精准的定位搜索。

摘要： 本申请公开了一种自动分词拼写的文本识别方法及装置、存储介质，所述方法包括：获取设定类型的文件，对所述文件中的文本进行识别，并确定文本之间的间距，文本之间的行距；根据文本之间的间距，确定出每行文本中是否存在换行；对文本中的词语进行识别，并提取所识别的词语；输出所述词语，并接收针对所述词语的调整，将调整后的词语作为识别的最终词语；接收针对所述最终词语的语音输出参数的设置；根据所述语音输出参数对所述最终词语中的文字进行读音标注，并为读音设置声调；接收读音及声调标注后的文本，根据文本所标注的读音、声调进行语音输出。本申请提升了其应用广泛性以及用户体验。

摘要： 本发明提供一种古汉语自动分词及词性标注一体化方法及装置，能够有效提升古汉语分词及词性标注的正确率。所述方法包括：获取古汉语语料库中的古汉语文本；对获取的古汉语文本的标签进行标签转换，得到包含词性标记信息和分词标记信息的二元标签结构；对得到的二元标签结构进行编码；构建双向长短期记忆神经网络，基于编码后得到的二元标签信息，利用获取的古汉语文本对构建的双向长短期记忆神经网络进行训练，得到基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，其中，所述基于双向长短期记忆神经网络的自动分词及词性标注一体化模型，用于对输入的古汉语文本同时进行分词和标注。本发明适用于机器翻译、信息检索、语义识别领域。

摘要： 一种基于信息论的中文自动分词算法，将待分词句子和已经初始化成功的语料库中的词进行对比匹配，根据概率统计学，将待分词句子拆分为网状结构，利用信息论方法求解网状结构中每条边的权值，权重最大的一条路径，即为待分词句子的分词结果，利用准确率可召回率判定分词效果。本发明中中文预处理的速度较基于分词词典的方法快；较基于分词词典的方法精度更高；较基于统计学方法有更好的准确度；实用性更大，更符合经验值；为后续自然语言处理技术提供了极大的应用价值。

摘要： 一种新的中文自动分词算法，根据《分词词典》找到待分词句子中与词典中匹配的词，依据概率统计学，将待分词句子拆分成网状结构，给网状结构每条边赋予权值，找出权值最大的路径即为待分词句子的分词结果。本发明中文预处理的速度较基于分词词典的方法更快；较基于分词词典的方法精度更高；较基于统计学方法有更好的准确度；为后续自然语言处理技术提供了极大的应用价值。

摘要： 一种改进的中文自动分词算法，将待分词句子和已经初始化成功的语料库中的词进行对比匹配，根据概率统计学，将待分词句子拆分为网状结构，将网状结构的每条边都赋予一定的权值，其中权值最大的路径便是最终的分词结果，最后将验证分词结果的准确率和召回率。本发明中中文预处理的速度较基于分词词典的方法快；较基于分词词典的方法精度更高；较基于统计学方法有更好的准确度；实用性更大，更符合经验值；为后续自然语言处理技术提供了极大的应用价值。

摘要： 本发明提供了智能藏文自动分词系统，包括数据处理服务器、信息录入装置及网络通讯装置，其中信息录入装置若干并通过网络通讯装置与数据处理服务器连接，且各信息录入装置均相互并联，数据处理服务器包括数据采集子服务器、身份认证识别管理子服务器、通讯协议子服务器、数据检索子服务器、字库子服务器、数据处理运算子服务器。本发明一方面可有效的对藏文进行全面持续录入整理，处理且在藏文的处理过程中，可准确根据藏文词义进行分词操作，提高藏文处理及文本自动分析的工作效率和真确度。

摘要： 本发明涉及一种利用自动分词提供繁简体拼音标记正确性系统及其方法，该系统包含：存储单元，储存分词；拼音数据库，存放分词对应的拼音序列表；拼音接收单元，接收拼音；拼音处理单元，将拼音进行分词处理；产生单元，产生分词序列；分词拼音查询单元，查询分词序列中的每个分词的拼音；标记单元，标记分词序列中的每个分词的拼音，并储存结果；判断单元，判断标记结果是否正确；输出单元，输出标记结果。