文本处理

摘要： 本文以一节高中英语课外阅读教学为例,探讨如何选择适合学生、服务教学的课外阅读材料,并从内容和语言两个角度提出了材料的处理策略,以使改编后的文本更适合学生的认知水平和实际需求。教师可以从文本内容、文本结构和文本探究三个方面解读文本,从而加深学生对文本的理解。

摘要： 近年来,企业办公系统的更新速度越来越快,对于不同的系统功能和版本,随之产生了大量的帮助文档。当用户遇到一些问题时,如果让用户从这些文档中去寻找解决问题的办法,将会浪费很多时间。本文使用Python语言,通过对收集到的帮助文档内容进行处理,最终搭建了一个基于Flask的企业办公帮助文档检索系统。办公系统的用户只需要输入简单的问题描述,就可返回解决该问题的帮助文档,方便系统使用人员快速准确地定位问题的解决办法,从而有利于提高工作效率。

摘要： OCR-NLP图文处理系统是一种结合大OCR-NLP图文处理数据进行人工智能阅卷的系统。该系统通常先扫描或者拍照学生试卷或作业,进行图片OCR识别,再利用NLP文本处理进行英语书写质量和语义层面的自动评价,系统会抽取多个维度的特征,在文章结构、表达方式、修辞识别等方面得到评分数据来帮助英语教师更加精准地分析学生的薄弱点,通过技术辅助教师达到精准诊断,最终实现精准教学。

摘要： 微博作为目前主流的互联网社交媒体,群众可在其上随时随地发布"河湖长制"相关的事件信息.通过微博对感兴趣事件进行提取与分类可以有效提高"河湖长制"管理过程中问题事件的发现与解决效率,并针对群众对河湖岸线管理状态评价进行有效的监测与分析.随着"互联网+"技术在河湖长制中发挥巨大作用,对微博社交大数据在"河湖长制"管理工作中的应用进行了探讨,基于互联网社交媒体中含有的大量关于"河湖长制"事件的文字描述信息,提出了微博社交文本信息挖掘系统框架,采用互联网爬取技术和语义分析技术抓取关于"河湖长制"事件的新闻和公众信息,并对事件进行识别,提取时间、位置和事件类型等标签,最后进行数据挖掘分析情感倾向.以2018年6月至2020年12月微博上珠江河网区数据为实例,情感分析模型在测试集上的事件分类准确率为88.6％,证明该模型具有一定的可用性.该舆情分析系统可极大提高了"河湖长制"管理效率.

摘要： 针对从海量新闻数据中难以提取热点事件发展趋势的问题,提出了一种基于事件的地区局势分析方法,并以香港事件为例进行建模分析.首先,利用Solr搜索引擎从海量新闻文本数据中快速高效搜索新闻数据;接着,利用自然语言处理技术对新闻进行分词,通过构建事件严重程度词典和政府态度词典,实现了单篇新闻评分;然后,考虑事件累加效应和新闻衰减特性,建立衡量事件严重程度和政府态度的计算模型;最后,利用GDELT(全球事件、语言和语气数据库)数据集验证了模型的准确性.

摘要： 信息技术日新月异的发展对教育教学提出了更高的要求.培养学生的信息意识、提高学生的信息处理与加工技能、发展学生利用信息技术解决问题的能力,已成为新时代对信息科技课程提出的又一迫切要求.不论是日常生活还是专业研究领域,文字信息图示化的运用都非常广泛,因此信息科技课程对该部分内容亦十分重视.另外,由于该技能具有较强的延展性,能融合多门学科的知识内容,因此教师在进行教学设计时,还需额外考虑文字信息的语篇长度和文本结构等因素.总而言之,教师应遵循学生的认知发展规律,基于本学科核心素养的相关要求,去探索文字信息图示化的各种方法,挖掘文字信息加工的意义和价值,促使学生成长为具有社会责任感的信息时代公民.

摘要： 算法,实现电网企业储备项目数据的价值挖掘,为企业项目管理及投资决策提供支撑。

摘要： 术语是通过语言或文字来表达或限定专业概念的约定性语言符号,本文首先对术语的定义、术语的特性以及术语抽取效果的评价方法进行概述,并在概述的基础上介绍了目前常见的术语抽取方法,包括基于规则、基于统计、基于词图模型、基于主题模型和基于深度学习的方法等.文章还对上述方法做了原理介绍和使用该方法进行术语抽取的流程,最后指出了术语抽取面临的挑战和研究展望.

摘要： 企业项目储备是公司明确发展方向,打造公司核心竞争产品的关键.国家电网有限公司每年会投资大量项目,项目征集储备过程数据量较大,储备项目筛选、数据整理需要大量的人力、物力.基于此,利用人工智能、机器学习算法对企业储备项目数据进行智能整理、归类,以及剔除重复提报项目、抽取储备项目主要建设方向和内容,对于公司投资决策、产品研发、项目管理有重要意义.文章基于国家电网有限公司海量项目储备数据,针项目征集储备过程智能管理和价值分析的需求,融合文本数据的预处理方法、数据向量表示模型及相似度计算方法,改进K-Means算法,实现项目储备数据智能聚类,并在项目储备数据聚类的基础上,研究储备项目内容智能摘要算法,实现电网企业储备项目数据的价值挖掘,为企业项目管理及投资决策提供支撑.

摘要： 针对从海量新闻数据中难以提取热点事件发展趋势的问题,提出了一种基于事件的地区局势分析方法,并以香港事件为例进行建模分析。首先,利用Solr搜索引擎从海量新闻文本数据中快速高效搜索新闻数据;接着,利用自然语言处理技术对新闻进行分词,通过构建事件严重程度词典和政府态度词典,实现了单篇新闻评分;然后,考虑事件累加效应和新闻衰减特性,建立衡量事件严重程度和政府态度的计算模型;最后,利用GDELT(全球事件、语言和语气数据库)数据集验证了模型的准确性。

摘要： 中文分词是利用计算机自动识别文本中词的边界的过程,是中文原始文本处理最重要的预处理步骤.目前,北京地质资料馆拥有近万档电子化成果地质资料,但是作为公益投资形成的、具有社会服务属性的准公共产品,仍属于不完整的信息产品,难以开展二次开发.本文探讨利用中文分词模块分析成果地质资料的摘要文本相似性,为馆内后续利用计算机进行文本分类、信息检索、信息过滤等后续中文文本信息处理打下基础.

摘要： 基于对专家案例库系统的展望以及当前应急管理案例库系统的建设情况,结合数据挖掘和文本处理领域的分类、聚类等技术,本文提出了一种结构化案例库构建的思路,围绕信息采集、事件跟踪、事件处理和案例表示四部分对结构化案例库构建的流程进行了描述.同时,基于结构化案例库的特点,本文从辅助决策的角度出发,展示了如何将结构化案例库应用在应急管理领域中,为结构化案例库系统的建设与应用提供了一种思路.

摘要： 在业务场景下，尽量收集并理解数据，分析问题本质，选择合适模型，初始阶段可以使用传统机器学习模型快速尝试再引入深度学习技术。

摘要： 在业务场景下，尽量收集并理解数据，分析问题本质，选择合适模型，初始阶段可以使用传统机器学习模型快速尝试再引入深度学习技术。

摘要： 在业务场景下，尽量收集并理解数据，分析问题本质，选择合适模型，初始阶段可以使用传统机器学习模型快速尝试再引入深度学习技术。

摘要： 针对由微博短文本特征规模大、自身特征较少等特点导致的数据稀疏性,提出一种基于特征簇的微博情感分类方法.提出的分类方法以大规模语料库为基础,利用word2vec模型学习词语之间潜在的语义关联,将单个词语表示成多维向量的形式;结合情感词典,提取出微博文本的情感特征集,在基于词向量计算词语相似度方法的基础上,将情感特征合并为特征簇,以此构造低维的文本向量;最后利用机器学习算法,构建情感分类器,实现微博短文本的情感分类.实验结果表明,本文提出的方法对情感特征的降维是可行和有效的,并且取得很好的情感分类效果.

摘要： 针对由微博短文本特征规模大、自身特征较少等特点导致的数据稀疏性,提出一种基于特征簇的微博情感分类方法.提出的分类方法以大规模语料库为基础,利用word2vec模型学习词语之间潜在的语义关联,将单个词语表示成多维向量的形式;结合情感词典,提取出微博文本的情感特征集,在基于词向量计算词语相似度方法的基础上,将情感特征合并为特征簇,以此构造低维的文本向量;最后利用机器学习算法,构建情感分类器,实现微博短文本的情感分类.实验结果表明,本文提出的方法对情感特征的降维是可行和有效的,并且取得很好的情感分类效果.

摘要： 针对由微博短文本特征规模大、自身特征较少等特点导致的数据稀疏性,提出一种基于特征簇的微博情感分类方法.提出的分类方法以大规模语料库为基础,利用word2vec模型学习词语之间潜在的语义关联,将单个词语表示成多维向量的形式;结合情感词典,提取出微博文本的情感特征集,在基于词向量计算词语相似度方法的基础上,将情感特征合并为特征簇,以此构造低维的文本向量;最后利用机器学习算法,构建情感分类器,实现微博短文本的情感分类.实验结果表明,本文提出的方法对情感特征的降维是可行和有效的,并且取得很好的情感分类效果.

摘要： 针对由微博短文本特征规模大、自身特征较少等特点导致的数据稀疏性,提出一种基于特征簇的微博情感分类方法.提出的分类方法以大规模语料库为基础,利用word2vec模型学习词语之间潜在的语义关联,将单个词语表示成多维向量的形式;结合情感词典,提取出微博文本的情感特征集,在基于词向量计算词语相似度方法的基础上,将情感特征合并为特征簇,以此构造低维的文本向量;最后利用机器学习算法,构建情感分类器,实现微博短文本的情感分类.实验结果表明,本文提出的方法对情感特征的降维是可行和有效的,并且取得很好的情感分类效果.

摘要： 事件关系分类是一项研究事件之间存在何种逻辑关系的自然语言处理技术.该文针对事件关系分类任务中训练语料不足的问题,提出了基于Tri-Training的事件关系分类方法.该方法首先根据已标注的语料训练三个不同的分类器,以多数投票的方式从未标注集中抽取置信度较高的样本对训练集进行扩充,然后利用新的训练集重新训练分类器,如此反复迭代,不断完善分类模型,最终达到提升事件关系分类性能的目的.实验结果表明,以F1值为评价标准,基于Tri-Training的事件关系分类方法在四大类事件关系上的分类性能为64.36％.

摘要： 本申请实施例提供了一种文本处理方法、文本处理装置及文本处理设备，该文本处理方法包括：获取参考文本数据和待归类文本；参考文本数据包括多个文本类型下的多个参考文本以及多个参考文本对应的参考文本特征，一个参考文本对应一个参考文本特征；对待归类文本进行预处理，得到待归类文本的目标文本特征；根据目标文本特征和多个参考文本对应的参考文本特征对多个参考文本和待归类文本进行文本聚类处理，确定待归类文本所在的目标文本集合；基于目标文本集合中包括的参考文本所属的文本类型确定待归类文本所属的文本类型。采用本申请实施例，可以有效提升文本分类效率和文本分类准确率。

摘要： 文本处理系统(10)具备：字符码变更单元(11a)，按照语句中的字符的出现顺序来记录所述字符的字体数据，并且将记录了字体数据的字符的字符码变更成由字体数据的排序编号构成的变换字符码；变换表格创建单元(11b)，创建表示字符码和变换字符码的对应关系的变换表格；以及输出单元(11c)，根据字体数据来以字体输出字符。另外，字符码变更单元(11a)按照通过输入装置(15)输入的字符的顺序来记录字符的字体数据，并且将记录了字体数据的字符的字符码变更成变换字符码。由此，能够提供能够削减数据量同时防止字符码中的数字复制的文本处理系统、电子文本以及文本处理方法。

摘要： 本说明书实施例提供了文本处理方法、文本处理设备及计算机可读存储介质，其中，文本处理方法包括：对输入的初始文本进行检查，确定错误文字以及所述错误文字的上下文段落；基于所述错误文字及所述错误文字的上下文段落，确定融合特征数据；基于所述错误文字，确定纠正候选集，所述纠正候选集包括：多个纠正候选文字；基于所述融合特征数据，分别确定所述纠正候选集中各纠正候选文字与所述上下文段落之间的匹配度；基于所述纠正候选集中各纠正候选文字的匹配度，确定所述错误文字的纠正结果。采用上述方案，能够自动进行文本纠正，并提高文本纠正的处理效率和准确性。

摘要： 本申请的实施例揭示了一种文本处理方法、文本处理装置、电子设备及存储介质。本申请提供的文本处理方法包括：获取待处理的文本；对文本中含有的目标字进行掩码处理，得到处理文本，其中，在对目标字进行掩码处理的过程中，按照第一概率从预设的混淆字集中选取混淆字对目标字进行替换，或者按照第二概率对目标字进行随机替换，或者按照第三概率保持目标字不变，第一概率、第二概率和第三概率之和为1，且第一概率大于第二概率和第三概率；根据处理文本的上下文对经过掩码处理的字符位置进行文字预测，得到预测结果。本申请的文本处理方法能够在文字预测的过程中学习到大量的易错字信息。

摘要： 本公开提供了一种文本处理方法、文本处理装置、计算机可读存储介质与电子设备，属于自然语言处理技术领域。所述方法包括：获取待处理文本；提取所述待处理文本中的拼音序列，并将所述拼音序列划分为多个拼音单元；基于各所述拼音单元对应的候选汉字的初始概率和转移概率，计算表征所述拼音序列的真实汉字意图的隐藏序列的最大概率，所述初始概率为候选汉字在文本中的出现概率，所述转移概率为当前候选汉字后面出现下一候选汉字的概率；对具有所述最大概率的隐藏序列对应的汉字序列进行纠错处理，生成目标汉字序列。本公开可以将拼音文本转换为汉字文本，提高拼音文本的识别准确率。

摘要： 本公开提供了一种文本处理方法、文本处理模型的训练方法、装置和设备，涉及人工智能领域，具体涉及自然语言处理技术和深度学习技术。文本处理方法包括：利用特征提取模型基于查询文本提取目标文本的多个文本特征；利用答案标注模型基于多个文本特征对目标文本进行标注，以得到目标文本中的多个文本片段和多个文本片段各自的标注结果，其中，标注结果包括列表项答案；基于多个文本片段中的标注结果为列表项答案的多个列表项文本片段，确定至少一个候选列表，其中，至少一个候选列表中的每一个候选列表包括所述多个列表项文本片段中的至少两个列表项文本片段；以及在至少一个候选列表中确定答案文本。

摘要： 本公开提供了文本处理模型的训练、文本处理方法、装置、设备和介质，涉及数据处理技术领域，具体为人工智能、智能搜索和深度学习技术领域。具体实现方案为：获取训练样本，所述训练样本包括同一文档提取的短文本和长文本；将所述短文本输入第一文本处理模型，得到第一输出，以及将所述长文本输入第二文本处理模型，得到第二输出；根据所述第一输出和所述第二输出，计算一致性损失，并调整参数共享的所述第一文本处理模型的参数和所述第二文本处理模型的参数。本公开实施例可以提高文本处理模型准确率，提高文本处理模型的处理效率。

摘要： 本发明公开了一种文本处理方法和文本处理系统，方法包括：服务器接收待处理文本，并在第一缓存区中排序形成文本队列；获取待处理文本的特征片段；将文本队列中的待处理文本的特征片段依次存储至第二缓存区中；第二处理器从第二缓存区中提取待处理文本的特征片段；第二处理器对提取的特征片段进行初步处理得到初步结果，将初步结果返回至服务器；服务器将初步结果返回至用户终端；第一处理器从第一缓存区中依次提取各个待处理文本进行完整处理，根据完整处理结果形成精确结果，将精确结果返回至服务器；服务器将精确结果返回至用户终端。本发明有利于解决现有技术中用户等待文本处理时间过长的缺陷。

摘要： 本公开提供了文本处理神经网络模型的生成方法和文本处理方法，涉及人工智能技术领域，尤其涉及深度学习、数据处理等领域。具体实现方案为：将同一样本文本分两次输入至待训练的神经网络模型中生成第一和第二预测处理结果、第一和第二丢弃层结果，根据生成的结果和样本文本对应的实际处理结果计算多个任务损失并根据多个任务损失计算综合损失，根据综合损失对模型进行训练以生成神经网络模型。本公开通过将同一样本文本分两次输入至待训练的神经网络模型中生成多个结果，根据多个结果计算多个任务损失并根据计算损失计算综合损失，最终根据综合损失对待训练的模型进行训练以生成神经网络模型，提高了神经网络模型的泛化性。

摘要： 本申请提供文本处理模型的训练方法、文本处理方法及装置，其中所述文本处理模型的训练方法包括：获取样本集及多个基础模型，将样本集平分为多个样本子集；从多个样本子集中确定各基础模型分别对应的预测集和训练集，其中，针对每个基础模型选择作为预测集的样本子集不同；利用各基础模型对应的训练集，分别对各基础模型进行训练，并利用训练后的各基础模型分别对各基础模型对应的预测集中的样本文本数据进行预测，得到预测结果；将针对各基础模型得到的预测结果整合为目标训练集，利用目标训练集，对预先构建的初始文本处理模型进行训练，得到融合的文本处理模型。提高文本处理模型的泛化性，进一步提高文本处理的准确性。