向量空间模型

摘要： 文章从问题意识视角出发,以石油术语为基础,引入词向量空间模型的方法展开三个相关实验对机器译文和人工译文进行对比研究,探索机器翻译结果在空间模型中的演绎和呈现。实验结果显示机器翻译对于石油术语的语言翻译准度能达到0.403。文章尝试结合计算机技术、语言学和翻译学等不同领域量化论证两种翻译结果在语义层面的接近和靠拢程度,以期探索评价分析机器翻译系统输出结果质量的新途径。

摘要： 自然语言处理是人工智能的核心技术,文本表示是自然语言处理的基础性和必要性工作,影响甚至决定着自然语言处理系统的质量和性能.探讨了文本表示的基本原理、自然语言的形式化、语言模型以及文本表示的内涵和外延.宏观上分析了文本表示的技术分类,对主流技术和方法,包括基于向量空间、基于主题模型、基于图、基于神经网络、基于表示学习的文本表示,进行了分析、归纳和总结,对基于事件、基于语义和基于知识的文本表示也进行了介绍.对文本表示技术的发展趋势和方向进行了预测和进一步讨论.以神经网络为基础的深度学习以及表示学习在文本表示中将发挥重要作用,预训练加调优的策略将逐渐成为主流,文本表示需要具体问题具体分析,技术和应用融合是推动力.

摘要： 为实现高校图书资源的准确推送,本文提出了一套基于《中国图书馆分类法》的高校图书馆用户兴趣模型。本文详细介绍了用户兴趣模型的设定与更新方法,并运用《中国图书馆分类法》和《汉语主题词表》来确定文献主题词,进而建立基于主题词的文献特征向量,在此基础上计算文献特征向量与用户兴趣特征之间的相似度,最终实现文献资源的精确推送。

摘要： 针对现有检索算法在实际应用中存在查准率低、查全率低和查找速度慢的问题,文章基于向量空间模型设计网络信息智能检索算法。建立网络信息检索规则和查询扩展检索规则,引入向量空间模型,对网络信息索引项权重进行分配;计算门槛值实现网络信息过滤,并对过滤后检索结果输出。通过对比实验证明,设计的检索算法查准率和查全率更高。

摘要： 为了解决传统对外汉语应用文写作词汇分类系统存在分类精度低、运行空间占用过大的问题,提出基于向量空间模型的对外汉语应用文写作词汇分类系统.首先,分析系统功能,对外汉语应用文写作词汇分类系统的主要功能为训练与词汇判定.根据上述的分析结果,明确分类系统的大致程序,并构建系统的总体结构.其次,设计系统的硬件与软件,硬件部分主要包括词汇训练模块、特征权重计算模块以及词汇分类模块.软件部分计算词汇特征权重值,并基于向量空间模型完成对外汉语应用文写作词汇的分类.最后,进行验证实验.实验结果表明,与传统的词汇分类系统相比,基于向量空间模型的分类系统具有更高的分类精度,并且运行空间占用明显缩小.

摘要： 以图书馆的常见问题为基础,研究全文检索、中文分词、向量空间模型等技术,构建符合相关问题的知识库,结合云数据库设计,在微信小程序平台运用JavaScript,WXML,WXSS,Python等开发语言和Flask框架,实现一个基于微信小程序的图书馆智能客服系统,其中的智能回复模块实现了全文检索和中文分词等技术,以鲜明的便捷性、开放性和自主性拓宽了图书馆的智能服务模式.

摘要： 为解决信息检索时不同用户对搜索结果有不同期望的问题,提出了一种基于向量空间模型的个性化网页搜索算法.针对用户不同兴趣,利用用户画像能够更加全面地表示用户兴趣的特点,通过向量空间模型建立用户画像来表达用户兴趣,结合传统的网页排序算法得出最终的网页排序结果.对于不同用户可得到不同的网页搜索结果,排序靠前的网页中符合用户兴趣的网页数量增多.通过对模拟网页搜索实验结果的分析,证明所提算法较传统PageRank算法在个性化网页搜索方面有所提高.

摘要： 当前,利用非结构化数据进行信息提取是地理信息领域的研究热点.针对这一热点,本文提出了基于中心向量的KNN分类方法.首先,对向量空间模型的特征项选择及权重计算方法进行了改进;其次,利用KNN算法对非结构化数据进行了分类与排序;最后,以与郑州市相关的200篇网络资源为非结构数据语料库进行验证.实验表明:该方法能够有效地提取非结构数据的城市属性信息,计算效率较高,实用性较强.

摘要： 为满足当前高校学生舆情监督的工作需要,针对传统网络舆情采集系统的舆情信息采集效率低下、质量差等问题,设计和开发了一套基于爬虫技术与语义分析的网络舆情采集系统.该系统通过主题网络爬虫对互联网上感兴趣的资源数据进行爬取,同时利用语义分析中的向量空间模型(VSM)算法对采集到的网页数据进行进一步过滤,充分保证所采集到的舆情数据的质量.系统的各项性能试验测试结果表明,文中所设计的系统能够按照用户需求在保证效率和质量的情况下,较好地完成互联网舆情信息采集,验证了系统的可行性.

摘要： 词向量作为自然语言处理的基础技术,随着大数据和深度神经网络的发展,其算法也随之得到了更好的发展,尤其是近些年来各类新式算法和思想层出不穷,使得自然语言处理的准确度得到极大的提升.在阐述各个词向量算法的同时,穿插例子和图表,使大众更加清晰透彻理解算法的过程和优缺点.通过对词向量算法的发展进行整体的回顾,加深对词向量的理解,在解决问题的前提下为正确选用哪种词向量而做出更好的判断.

摘要： 将文本分类技术引入唐诗研究.首先将唐诗按照题材分为爱情婚姻、边塞战争、交游送别、羁旅思乡、山水田园、咏史怀古和其他7类,并据此提出唐诗题材自动分类模型.所选500首诗歌样本以《唐诗三百首》为基础,并有所补充.采用向量空间模型(VSM)将唐诗文本转换为向量,通过卡方检验进行词语特征选择,最后基于朴素贝叶斯和支持向量机算法构造文本分类器,取得较好的题材分类效果.此外,还验证了作者关于题目、体制、作者等变量对题材分类产生影响的假设,为相关诗歌本体研究提供了科学依据。

摘要： 为从微博服务平台产生的大量实时信息中抽取新闻事件,提出了一套完整的云计算环境下的微博事件检测跟踪算法.首先采用新的基于微博转发数和评论数的权值计算方法,将微博文本表示成向量空间模型;再利用基于代表点的增量层次密度聚类(RIHDBSCAN)算法抽取关健词，最终实现新闻事件的检浏和跟踪。针对单一节点无法快速高效地处理海量微博数据的问题，将算法部署在云计算平台Hadoop上。通过在新浪微博平台上获取的真实数据进行实验，结果表明，所提出的权值计算方法比TF-IDF和UF-ITUF有更高的性能，并且云框架的使用较好地提高了处理速度，适合用于海量数据的分析和挖掘。

摘要： 本文尝试利用知网基于词语的语义相似度构建词汇链,再以词汇链的义原构建话题的义原特征向量,再将其应用于话题跟踪中,以期提高话题跟踪的效率和准确性.最后实验证明该方法是有效的.

摘要： 藏文文本表示是将非结构化的藏文文本转换为计算机能够处理的数据形式，是藏文文本分类、文本聚类等领域特征抽取的前提。传统的文本表示方法并没有考虑特征项之间的关联度，或者只是简单的计算相互问的共现，造成了语义的损失，很难准确的表示文档。本文首先提取文本中的高TFIDF值的部分词项作为对比词项，然后对藏文文本进行断句处理，以每个句子作为一个语境主题，以卡方统计量来计算文本中词项于对比词项的关联程度，结合信息检索领域的经典模型一向量空间模型，提出了一种新颖的文本表示方法Chi—T—VSM以解决藏文文本表示问题。实验结果表明，这种方法能够比传统的VSM方法更准确的表示藏文文本。

摘要： 为了能更快更准确地对互联网舆情中的短文本信息分类,同时考虑到短文本信息的特点,将采用向量空间模型(VSM)表示短文本,并将特征项权重值的计算和特征项选择合二为一的方法对分类器进行训练,然后实施分类.理论和实验结果表明,这种方法提高了短文本分类的效率和准确度,是一种可行的分类方法.

摘要： 信息社会中在线百科已成为人们获取知识的重要途径,而在线百科的标签系统作为其重要组成部分,不仅可以帮助人们在浏览某张页面时获取其他相关页面的信息,而且对于海量文本分类,以及提高在线百科检索系统的检索效率都有很大帮助.充分利用在线百科页面间的链接关系,提出了一种基于页面间的同质性原理和向量空间模型的全新针对在线百科的标签推荐算法HVSM.该标签推荐算法具有普适性,可在不同在线百科系统间推荐标签.实验结果表明,通过与朴素推荐算法NAM进行比较,新的推荐算法可以达到更高的准确率.并且通过对实验数据进行分析,得到了若干有益的结论,为今后的研究工作奠定了基础.

摘要： 该文首先介绍了文本过滤模型的特点以及发展状况。针对传统信息过滤处理方式无法满足现阶段海量数据环境下业务需求这一现状,该文提出了一种基于MapReduce框架的文本数据过滤模型,实现了传统的向量空间模型的分布式扩展。在实际环境中的测试表明,该模型的过滤精度和速度都较为理想,较好的满足了用户的需求。

摘要： 数据加密是保证数据安全的有效方法。针对传统的密文检索方法，设计了一种基于搜索历史的密文检索系统。分别构建文档特征向量和用户兴趣向量，运用向量空间模型对其做相关性计算，返回用户感兴趣的检索结果。并且能够根据使用者的检索历史对兴趣库实现动态更新。实验表明该方法能有效提高检索结果的准确性。

摘要： 提出了一种改进蚁群文本聚类算法。改进蚁群文本聚类算法利用信息素对蚂蚁随机移动进行控制,使蚂蚁朝着文本向量相对集中的区域移动，缩短蚂蚁寻找文本向量簇的时间，提高聚类效率。采用复旦大学中文文本分类语料库进行仿真实验，实验结果表明，改进蚁群文本聚类算法不仅加快了文本聚类算法的收敛速度，而且提高文本聚类结果的精度。

摘要： 提出了一种改进蚁群文本聚类算法。改进蚁群文本聚类算法利用信息素对蚂蚁随机移动进行控制,使蚂蚁朝着文本向量相对集中的区域移动，缩短蚂蚁寻找文本向量簇的时间，提高聚类效率。采用复旦大学中文文本分类语料库进行仿真实验，实验结果表明，改进蚁群文本聚类算法不仅加快了文本聚类算法的收敛速度，而且提高文本聚类结果的精度。

摘要： 本发明公开了一种基于向量空间模型的中文虚假评论过滤方法，通过改进版向量空间模型判断评论间的相似性，将相似性高的评论作为虚假评论的一部分。同时结合评论的情感极性与用户评分，筛选出另一部分虚假评论。并且引入一部分真实评论样本，使用这两类样本训练BP神经网络。使用训练好的网络对未标签的评论进行判断。

摘要： 本发明公开了一种基于词共现的中药处方向量空间模型方法及装置，该方法包括：预处理中药处方数据，保留药方与相应证型对应关系，构建药方事务集；扫描整个药方事务集，计算各个中药频率以及药对的词共现频率，并根据此计算药对词共现的支持度和置信度；当药对词共现的支持度和置信度大于对应预设阈值时，将该药对加入共现词集合，直至遍历事务集；将共现词集合中属于中药处方药对库的药对构建语义向量空间模型。本发明有效表示中药处方潜在语义信息，从而提高中药处方聚类效果。

摘要： 本发明公布了一种基于向量空间模型的关系词映射方法，属于自然语言处理领域。本发明方法的基本步骤如下：首先采用关系词与实体对之间的对应关系，通过统计实体对出现的频率及特异性构造每个关系词的特征向量。其次采用向量空间模型计算关系词与对应谓语的相似度，选取相似度值较高的谓语作为关系词的候选。最后将所有关系词的候选排序，选取具有最高可信度的谓语候选构造映射词典。本发明提出的关系词谓语映射方法，能够为自然语言中关系词与RDF图数据中谓语的自动映射提供一种有效的解决方案，达到使自然语言转换为图数据进行相应匹配的目的。

摘要： 本发明属于语义向量空间模型语义核方法技术领域，具体涉及一种文献资源主题聚类共现潜在语义向量空间模型语义核方法。本发明主要解决目前的语义向量空间模型语义核方法存在语义信息提取复杂度较大、语义信息提取不充分、模型的维度较高、且应用于聚类算法时时间和空间上的复杂度较高等问题。本发明文献资源主题聚类共现潜在语义向量空间模型语义核方法，包括以下步骤：第一步文献数据的预处理；第二步所提取的关键词进行词频统计，以备后续建立共现矩阵使用；第三步以关键词在文献中是否出现为权重，构建文献表示的向量空间模型；第四步共现潜在语义向量空间模型的构建；第五步语义核函数的构建；第六步文献聚类。

摘要： 本发明公开了一种基于向量空间模型的英汉语料提取方法，包括：步骤1、分别对汉语和英语语料库进行预处理；步骤2、构建双向前后文词语向量空间模型；步骤3、进行计权等效分析，将第一升序集合{km,k2,k1,k3··ki··k4}中的英语单词依次进行计权等效相似度Sim(ki)|计权计算，所述计权等效相似度Sim(ki)|计权为：其中，ωai为第一计权因子，ωbi为第二计权因子；步骤4、将Sim(k1)|计权、Sim(k2)|计权、…Sim(ki)|计权、…、Sim(km)|计权中最大数值对应的英语单词确定为汉语语料中心词语的词对，建立中英双语词表。本发明的基于向量空间模型的英汉语料提取方法基于双向向量空间模型，大大提高语言在翻译过程中传输的准确度。

摘要： 本发明提出了一种基于LDA和向量空间模型的公共政策参与度评估方法及系统，其方法包括：获取目标公共政策文档和目标动态数据；采用TF‑IDF算法分别对目标公共政策文档和目标动态数据进行分词处理，得到文档特征分词集合和数据特征分词集合；通过LDA模型分别提取目标公共政策文档和目标动态数据中隐含的语义信息，得到文档‑数据矩阵；基于文档特征分词集合和数据特征分词集合构建向量空间模型，计算出目标公共政策文档与目标动态数据之间的相似度，得到相似度矩阵；对文档‑数据矩阵和相似度矩阵进行线性加权处理。本发明能够对公共政策中的公民参与度进行有效评估，同时也解决了数据稀疏和语义丢失的问题，提高了评估的准确性和有效性。

摘要： 本发明涉及一种基于信息向量空间模型的个人标识信息分类方法，属于网络信息安全技术领域。本方法首先通过网络流量分析，抽取网络流量中传输的特征文本信息，并转化为包含服务、位置、信息和频率特征维度的数据集。然后将数据集描述转化为文本分类的样本空间。之后结合文本分类模型，建立基于三层贝叶斯的生成模型。通过数据样本训练得到模型参数，自动将服务‑位置及其传输的信息表征为向量，得到服务‑位置、信息与类型之间的概率分布。最后推测出新服务通过计算各个服务‑位置、信息与类型之间的概率分布。本方法能够更精细地描述网络流量中传输的不同信息语义的分布特点，达到准确地分类个人标识信息的目的。

摘要： 本发明公开了一种基于改进向量空间模型的电子产品CTO订单聚类方法。包括订单收集模块、订单信息预处理模块、订单信息文本向量化模块、订单聚类模块。通过将CTO订单的文本信息用VSM模型转化为高维矩阵的数学化信息，并对产品相关特征进行加权处理，可以提高订单中相关信息的关联程度，使订单能够更加侧重于将含有相同品牌,或者相同类型的订单合并为同一订单组。使用改进K‑means++算法对VSM模型生成的高维矩阵的向量进行聚类，加快原K‑means算法的收敛速度，有效提高了聚类结果的准确性，使得企业更加灵活、高效地针对客户的CTO订单安排相应的生产工作。

摘要： 一种基于向量空间模型的文本分类及R语言实现，包括以下具体步骤：构建文本数据库和构建向量空间模型；对数据库中的文本进行分类，得到文本集合A；输入待分类的文本B；使用向量空间模型逐一计算文本B与文本集合A中的文本A1之间的向量夹角，得到夹角集合C；逐一判断夹角集合C中的夹角C1是否小于等于设定的阙值；若夹角C1小于等于设定的阙值，则将文本B划分至夹角C1所对应的文本A1中；若夹角C1均大于设定的阙值，则判定文本B不属于文本集合A中任意一个文本A1。本发明能大大提高对文本B的分类效率，同时也能提高对文本B的分类的准确率。

摘要： 本发明公开了一种基于优化向量空间模型定制商品信息分类标识的方法，包括以下步骤：采集电子商务网站上的商品信息和所属分类标识，进行数据集成，生成数据集；根据所述数据集中的不同商品信息类别提取特征信息，构建属性词典；依据所述属性词典对商品信息进行向量化预处理，构成矩阵；利用优化的SVM模型训练出分类器；提供基于Web的商品预测服务。本发明支持在海量商品信息中训练出高效模型对商品进行快速准确的分类，实现对商品标签的合理判定。